CN1280715C - 构建智能用户辅助设备的方法和设备 - Google Patents
构建智能用户辅助设备的方法和设备 Download PDFInfo
- Publication number
- CN1280715C CN1280715C CNB97196520XA CN97196520A CN1280715C CN 1280715 C CN1280715 C CN 1280715C CN B97196520X A CNB97196520X A CN B97196520XA CN 97196520 A CN97196520 A CN 97196520A CN 1280715 C CN1280715 C CN 1280715C
- Authority
- CN
- China
- Prior art keywords
- user
- help
- probability
- incident
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99943—Generating database or data structure, e.g. via user interface
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种构建智能用户辅助设备的方法。在一台具有处理机和存储器,并且还包括一个输出部件以提供使用户和程序交互的用户接口的计算机中,向用户提供与在该计算机中执行的程序一起使用的用户帮助工具程序的方法,包括步骤:在执行该程序期间,进行当前用户和该接口交互的概率评定,以产生多个不同的可使用的帮助主题的数值概率分布,从而为每个所述帮助主题生成独立的概率量测,该交互表明用户意图通过该程序完成某特定任务,从而所定义的多个独立概率量测中的每个量测表示在给定动作下用户为完成该任务是否会需要这些主题中的相关的一个的特定信息的概率,其中该交互既具有语言成分又具有非语言成分;根据多个分布上的概率量测,选择和用户交互最有关的一个特定的帮助主题;并且通过该输出部件向用户提供和一个帮助主题相关的预定帮助消息。
Description
技术领域
本发明与数据处理中的专家系统有关。具体地说,本发明涉及一种自动机推理系统和方法,通过推断用户在操作软件系统或应用上的需要和偏好为软件用户提供帮助和使计算机系统和软件的功能最佳化。
背景技术
虽然在图形用户接口方面的显著进步已使各种软件应用对于个人计算机用户来说较容易操作和更富有成效,但是为了使使用更为方便就需要包括越来越多的复杂功能部件。首次面对一个复杂的软件应用,一个新的用户可能会被大量复杂的可通过用户接口的菜单和工具栏访问的功能搞得不知所措。对于一个不熟悉软件功能的用户来说,在希望发现怎样实施所希望的功能的过程中,通常不能依靠菜单冲浪,迅速地在菜单选项之间来回切换。即使用户知道一个或几个方法利用一个软件应用执行一项任务,然而往往找不到一条有效的途径。此外,用户可能知道怎样执行任务而不是自己执行任务,他们宁可让一个系统事先主动地确定他们的需要和执行或提供需执行的操作,如弹出即将需要的应用、退出应用和从远地服务器预取文件或信息以使它们在需要时马上可用。
以自动方式确定需执行的最佳行动或提供给正在用软件进行工作的用户的最佳信息需要开发与软件程序配合工作、具有根据用户的背景和行动识别出用户的要求、意图或目标的计算方法。这些方法可以通过构成和利用直接将用户的要求与他们的背景和行动联系起来的模型得出。
在采用模型对执行各种任务的人们的意图进行推理和根据这些模型提供可采纳的建议或帮助上已经有了一些研究。研究在教育中利用计算机的一些研究人员已致力于编制利用用户模型确定错误理解的原因和指导学生的最佳方式的程序。这些模型监视用户对问题和其他询问作出的回答。八十年代的战略计算倡议(Strategic Computing Initiative)把注意力部分集中在根据一组不同的输入对飞行员的意图进行推理和为他们提供驾驶和用战斗机战斗的最佳帮助的方法。在许多诸如“飞行员助理”的课题中,工程技术人员致力于设计能对用户意图进行推理的系统。通常,采用基于规则的逻辑方法来确定或按优先次序排列可供选择的方案。
在利用概率模型模型化用户对诸如监视复杂、时间要求苛刻的应用之类的任务的要求上也做了一些工作。早期的一些对概率依从模型及其在改善信息显示上的应用的探讨反映在通过对用户建模控制向飞机驾驶员显示的信息的一些实验项目中。概率推理作为控制向飞行员显示的信息的一种措施进行了研究。其他工作包括利用决策论方法推断需向NASA任务控制中心的飞行工程师显示的最重要的信息。这些方法考虑了上下文、用户熟练程度和来自宇航运载工具的遥测数据作出这些判决,利用了用户的想法和意图的瞬时性和概率模型。其他有关工作探索了在给定各个显示折衷方案情况下向飞行员显示的最佳类型的信息和解释。在其他工作中,科研人员研究了利用概率模型用计算机操作系统的命令行输入系统帮助正在工作的计算机用户。
还有一些项目注意力集中在利用若干组逻辑规则和根据逻辑规则的试探方法根据上下文和行动为用户提供帮助上。例如,在为Microsoft Windows操作系统编写的一些应用中可用的公共上下文敏感帮助可以通过选择一个图形目标和点击一个标准的帮助命令(例如键盘上的一个功能键)来访问。于是,就为用户提供帮助信息,说明这个图形目标(如工具栏)的功能。另一个例子是Microsoft Excel产品中的TipWizard系统,它利用了一大组逻辑规则,不断监视相继发生的用户事件,为用户提供帮助,使他们更有效地完成任务。在授予给Luciw等人的美国专利No.5,390,281所说明的对Apple计算机所做的工作中,利用了若干组规则通过应用对规则的若干条件与在具体情况下看到的、其中部分可转换为与这个规则指示的行动对应的强度的那些特定条件进行比较的启发式推理在一些任务上为用户提供帮助。
还有一些工作对较为复杂的概率模型作了研究,考虑了用户目标和需要软件帮助中的不确定性。Microsoft Office产品的Answer Wizard功能为了帮助用户使用计算机软件应用利用概率模型判读用户自由文本查询中的词。在这个工作中,在查询中可以看到的有关词组与各种帮助之间的不确定关系用概率加以模型化。这方面的研究可参见美国专利申请No.08400797。
然而,这些以前的研究中还没有一个利用复杂的方法在不确定性的情况下考虑多种证据(包括用户的背景信息和程序自主监测到的用户的活动)对用户需要帮助进行推理,根据推理为用户提供有意义的相关帮助。这些系统也没有考虑监视用户与软件程序的交互作用,因此,在用户用自由文本查询直接请求帮助时,系统也不能将对自由文本查询中的词的分析与历来对用户行动和程序上下文的分析加以综合考虑。
因此,希望开发的是这样一种智能用户辅助设备,它能在考虑多种证据(包括用户的背景信息和用户的活动)的基础上自主地体会到用户在使用一个特定功能或执行某具体任务上可能需要帮助和显示可提供的相关帮助。还需要这样一种智能用户辅助设备,每当用户用自由文本查询直接请求帮助时,它能将对自由文本查询中的词的分析与历来对用户行动和程序上下文的分析综合起来加以考虑。本发明解决了在考虑多种证据(包括用户的背景信息和用户的活动)的基础上自主地体会到用户在使用一个特定功能或执行某具体任务上可能需要帮助和显示可提供的相关帮助的问题。本发明还解决了每当用户用自由文本查询直接请求帮助时将对自由文本查询中的词的分析与历来对用户行动和程序上下文的分析综合起来加以考虑的问题。此外,本发明还能对几种事件进行监视和推理,这些事件包括:一个程序中的关键数据结构的状态,在通常与图形用户界面交互作用过程中用鼠标器控制的光标进行的普通用户输入序列,请求帮助时在自由文本查询中键入的词,有关用户的诸如凝视和姿态信息之类的视觉信息,以及语音信息。
发明内容
本发明提供了一种为一个软件程序构建一个帮助用户操作这个软件程序的智能用户辅助设备的方法。在具有一个处理机和存储器的计算机中,其中该存储器和该处理机连接并存储着可由计算机执行的指令,一种用于向用户提供与在该计算机中执行的程序一起使用的用户帮助工具程序的方法,该计算机还包括一个输出部件以向用户提供使用户和该程序交互的用户接口,该方法包括步骤:在执行该程序期间,进行当前用户和该接口的交互的概率评定,以产生多个不同的可使用的帮助主题的数值概率分布,从而为每个所述帮助主题生成独立的概率量测,该交互表明用户意图通过该程序完成某特定任务,从而所定义的多个独立概率量测中的每个量测表示在给定动作下用户为完成该任务是否会需要这些主题中的相关的一个的特定信息的概率,其中该交互既具有语言成分又具有非语言成分,语言成分由用户通过接口输入的至少一个单词,例如自由文本询问,构成,而非语言成分由用户利用该接口的肯定动作或在预定时间间隔内不存在所述肯定动作构成,该预定时间间隔是从用户刚使用该接口进行交互之前的时刻开始的,其中肯定动作包括用户对该接口的某部分的操作或者包括用户对接口的口语、视觉或姿势响应,概率评定至少部分地基于贝叶斯推理过程;根据多个分布上的概率量测,选择和用户交互最有关的一个特定的帮助主题;并且通过该输出部件向用户提供和一个帮助主题相关的预定帮助消息。
对于这个所标识的程序功能,为完成提供智能用户帮助的任务建立了一个推理模型。这个推理模型通过分析有关用户的行动、程序的状态和词的信息计算出各备选的用户的意图、目标和信息要求。定义了所标识的程序功能的一系列模型化事件供推理模型使用,以提供智能用户帮助。标识了表明发生模型化事件的基本用户接口交互作用。
本发明还包括一个使高层事件可以通过组合低层事件产生的通用事件合成和监视系统。这个事件系统与一个推理系统相结合能对几类事件进行监视和推理,以满足不同的需要。各类事件包括:一个程序中的关键数据结构的状态,在通常与图形用户界面交互作用过程中用鼠标器控制的光标进行的用户输入序列,请求帮助时在自由文本查询中键入的词,有关用户的诸如凝视和姿态信息之类的视觉信息,以及语音信息。本发明还提供了一种监视用户与一个软件程序的交互作用和加以概率推理的系统和方法,用来检测用户在使用一个特定功能或执行某具体任务上可能需要帮助。系统不断地审视用户的行动,根据这个信息产生有关用户需要和目标的概率。
在一个典型的实施例中,对各种基于文本的帮助主题或演示不同软件任务是相关的这些似然性进行计算,以便为用户提供帮助。对相关的帮助主题的概率以及用户可能需要帮助的概率也进行计算。在这个实施例中,在请求帮助时本发明计算出用户需要帮助的各种备选形式的概率,利用这个信息按优先次序列出一个帮助主题表。在还没有请求帮助时,系统利用它的推理确定用户可能需要帮助的时间,自主地提供帮助,这取决于计算得出的提供帮助的重要性是否超过用户设置的门限的值。每当用户用自由文本查询直接请求帮助时,这个实施例就将对自由文本查询中的词的分析与历来对用户行动和程序上下文的分析综合在一起加以考虑。
本发明包括一个丰富的可更新用户资料系统。在帮助主题实施例中,推理系统访问用户资料系统,不断核查用户能力,根据用户能力改变给出的帮助。
本发明还包括一个具有一个带注释的贝叶斯网络的新颖推理系统,以具备专用的时序推理能力。时序推理的机制用来考虑事件发生后事件与用户的当前需要和目标的相关性随时间的变化。这种推理机包括一个新的专用近似过程,它利用一个单个显式贝叶斯网络数据库,但根据自观察以后所过去的时间改变网络中的似然信息。
这种系统还允许用户控制在为用户提供帮助前必需达到的门限,这使用户可以根据用户各自对于受帮助打扰的容忍程度修改系统的行为。最后,这些方法可以与多种图形用户接口,包括呈卡通人物形式的友善用户接口,结合起来。
附图说明
在本说明的附图中:
图1为一个计算机系统的方框图;
图2示出了为一个软件程序构建智能用户设备的流程图;
图3例示了一个二变量贝叶斯网络;
图4为一个智能用户辅助设备的方框图;
图5为一个带监测的应用程序的方框图;
图6为一个与智能用户辅助设备配合使用的带监测的电子表格应用程序的方框图;
图7为一个事件处理器的方框图;
图8是一个建立模型化事件合成器的事件系统描述工具的方框图;
图9为一个用户资料系统的方框图;
图10为图9所示用户资料系统的事件状态更新例行程序的流程图;
图11为图9所示用户资料系统的用户资料访问例行程序的流程图;
图12为图9所示用户资料系统的用户化个别指导例行程序的流程图;
图13为本发明所提出的推理系统的方框图;
图14为例示利用本发明所提出的为用户提供帮助的IUAF的任何软件程序的总影响关系的贝叶斯网络图;
图15为部分贝叶斯网络的例示图,示出了在各时刻的一些概率依从关系;
图16为按照本发明的原理设计的用来获取用户信息的信息价值过程的流程图;
图17-22分别例示了在一个电子表格应用的典型实施例中按照本发明的原理构成的IUAF的一些屏幕输出;
图23例示了在一个电子表格应用的典型实施例中按照本发明的原理构成的IUAF的屏幕输出,显示专为用户制定的个别指导的摘要;
图24示出了按照本发明的原理构成的IUAF的贝叶斯网络的一部分;
图25示出了用于电子表格应用的贝叶斯网络的一部分,其中例示了电子表格绘图数据的模型化事件和资料化事件;
图26示出了在一个电子表格应用的典型实施例中按照本发明的原理构成的带瞬时动态信息注释的贝叶斯网络;
图27示出了贝叶斯网络的一部分,其中例示了按照本发明的原理建立的在一个多应用的设置中帮助退出的模型;
图28-30示出了贝叶斯网络的一部分,其中例示了在一个多应用的设置中为帮助退出所进行的推理;
图31为示出IUAF控制器的各种控制模式的例示图;
图32为按照本发明所提出的将对用户行动和程序状态的分析进行的推理与对自由文本查询的分析进行的推理综合起来考虑的方法的流程图;
图33为本发明的自主帮助过程的流程图;
图34例示了为一个电子表格程序提供智能用户帮助的友善界面;以及
图35为显示利用推理结果改善语音识别的带语音识别系统的IUAF的方框图。
具体实施方式
本发明提供了一种可以通过组合低层事件来建立高层事件的通用事件合成和监视系统。这种事件系统与推理系统相结合就能为各种目的对各类事件进行监视和推理。所谓各类事件包括:一个程序中关键数据结构的状态,在与图形用户界面交互作用过程中用鼠标器控制的光标执行的普通用户输入序列,自由文本求助请求中打入的词,有关用户的可视信息(如凝视和姿态信息),以及语音信息。本发明还利用了一种新颖的事件描述工具,可以迅速开发能通过组合用户的行动来建立高层事件的通用事件处理器。
本发明还包括一种具有带注释的贝叶斯网络的新颖推理系统,以包括一些专用的瞬时推理过程。这种推理机包括一个特定的近似过程,它利用单个显式贝叶斯网络知识库,但根据自观察以后所经过的时间改变网络中的似然信息。这个知识库包括带瞬时动态信息的专用注释,而推理机包括处理相关性随时间改变的专用过程。
本发明还提供了一种利用概率和逻辑推理决定为计算机软件用户提供帮助的最佳方式的智能用户辅助设备和方法。本发明还提供了一种建立智能用户辅助设备的方法,通过分析有关用户的行动、程序状态和词语的信息构造计算用户的意向、目的或信息需要的概率的推理模型。本发明的一个典型实施例通过对用户与软件应用的交互作用的监视运用概率推理来体会用户在使用某个功能上或要完成特定任务上可能需要帮助。本发明的这个实施例还接受来自用户的请求帮助的自由文本查询,将对用户行动和程序状态的推理分析与对自由文本查询的推理分析结合起来。本发明的这个实施例还采用了一个新颖的用户资料系统,存储最初可以通过用户输入或与用户的对话建立的、以后根据用户的行动更新的用户能力的信息。这个持久的用户资料提供了在推理分析期间所需的用户能力信息,还能在一段应用对话结束后为用户制定个别指导信息。
此外,这个实施例还包括确定什么时候用户可能需要帮助的自主帮助推理,根据计算得出的给予帮助的重要性和用户设定的门限的级别自动给予帮助。在用户真正用自由文本查询直接请求帮助时,系统还将对自由文本请求中的词的分析与对用户行动的历来分析结合起来。
图1为适合实现本发明典型实施例的计算机系统10的方框图。熟悉本技术领域的人员可以理解,图1所示的计算机系统10只是示例性的,本发明也可以用其他计算机系统配置(如分布系统和多处理器系统)和便携设备实现。计算机系统10包括处理器12和输入/输出系统14。输入装置例如可以是摄像机15、键盘16、鼠标器18、拾音器20、指点装置或其他输入装置。输出装置例如可以是显示屏22、打印机24、扬声器26或其他输出装置。计算机系统10可以包括将语音系统与拾音器20和扬声器26对接的语音接口27。计算机系统10可以包括将视觉识别和监视系统与摄像机15或其他带红外反射器或三维超声传感器的专用头盔对接的视觉识别和监视接口29。计算机系统10还可以包括将计算机与网络(可以是局域网或诸如Internet那样的广域网)30对接的网络接口28。此外,计算机系统10还包括存有应用程序和智能用户辅助设备的系统存储器32和永久性存储器34。永久性存储器可以是软盘、CDROM、硬驱动器或固件。计算机系统10包括操作系统36和一些应用程序,如电子表格(spreadsheet)应用程序38、文字处理应用程序40或其他应用程序42。系统总线44将处理器12、系统存储器32、永久性存储器34和输入/输出系统14互连在一起。熟悉本技术领域的人员可以理解,智能用户辅助设备可以直接并入应用程序,也可以是作为系统库或操作系统一部分的独立设备。
智能用户辅助设备(IUAF)综述
虽然软件适用性研究可以精确确定用户界面在访问复杂功能时的问题,加以简化,使用户界面对于访问这些功能更为直观,但对用户界面的改善并不能为没有经验的用户藏起大量的复杂功能或简化复杂功能的操作性而不减少通过界面暴露的功能数和/或仅暴露完整功能的简化版本。
软件程序适用性研究的一个附加收获是可以标识用户在使用某个软件程序的基本功能中遇到困难时的行为。本发明提供了一种通过观察和理解用户在遇到这种困难时或在可能由于提供自动帮助而获益时的行为为一个具体软件程序构成一个智能用户辅助设备的处理方法。
图2示出了为一个软件程序构成智能用户辅助设备的方法的流程图。这个方法的第一个步骤50是标出一个具体软件程序中用户遇到困难或可能从自动帮助获益的基本功能以及用户在遇到这些困难或希望得到帮助时的行动。完成这一步骤的一种方式是在对这个具体软件程序进行适用性研究期间观察和记录用户遇到困难时的行动。例如,在电子表格程序适用性研究期间,可能要请求与电子表格交互作用的用户更新电子表格上的数据的图形图表(如条形图)。然而,用户可能还没有改变或修正已建立的条形图的经验。于是,用户就表现出如下行为:首先,用户通过将鼠标器指针压到条形图上双击鼠标器按钮选择这个条形图;然后,用户会暂停一段时间,省视这个图表,寻思或搜索下一步操作。观察到这个行动,表示用户在利用电子表格的图表功能上正遇到困难。
一旦标出了在利用基本功能上的困难,下一个步骤52就是建立一个为所标基本功能提供智能帮助的任务的模型。一种模型是一个能表示可观察证据、中间变量和所关注假设之间的概率关系的相关变量网络,如贝叶斯网络。贝叶斯网络是一个有向非循环图,其中的节点表示随机变量,而节点间的连线表示这些变量之间的概率关系。一个贝叶斯网络表示了一组变量的联合概率分布。业已研究了一些称为贝叶斯推理算法的计算程序来处理贝叶斯网络。这些算法用来在变量状态值有改变后更新贝叶斯网络中变量状态上的概率分布。状态改变的一个例子是在观察到这个领域的一些状态后为表示这个领域的这些可观察状态的变量的状态指定新的值。有关贝叶斯网络的情况可参见“智能系统中的概率推理”(“Probabilistic Reasoning In Intelligent Systems”,by Judea Pearl,1Morgan Kaufmann Publishing Inc.San Mateo,1988)。
节点中有些是表示可以观察到的证据的变量,而另一些则表示不能观察或很难观察到的所关注假设,这些假设在进行自动判决时要用到。图3示出了一个简单的二变量贝叶斯网络。这个网络表示了用户处于一个需要帮助的状态68与用户正在多菜单探索69或“菜单冲浪”(menusurfing)而没有进展之间的关系。菜单冲浪可以察觉,但用户是否需要帮助却不能轻易观察到。在对用户面对复杂软件功能遇到的困难进行建模中,证据节点可以表示用户在用一个软件程序功能完成朝向目标的行动或遇到困难时的行动,而假设节点可以表示用户的目标或用户为了用这个功能完成任务所需的具体帮助。例如,在创建一个图表时用户在选择了建立图表命令后暂停。可以用一个证据节点变量表示用户选择一个命令后暂定这个情况。一个假设节点变量可以表示在用户选择建立图表命令之后暂定的情况下用户在创建一个图表中需要帮助这个假设的概率。利用贝叶斯网络是构建这类用户行动与假设之间不确定关系的模型的一种方法。熟悉本技术领域的人员可以理解,也能利用其他模型,如判决树或基于规则的推理。
无论是哪种模型,下个步骤54是定义证据变量和相应的模型化事件,这些模型化事件能用来鉴别个人在使用软件程序基本功能上可能有的个别困难和所需帮助,并且在用户的与软件的交互作用中是可以察觉的。在构建智能辅助设备的贝叶斯网络模型中的一个关键任务是定义将要观察的证据变量和指出这些变量与表示所关注假设的变量之间的概率关系。这些事件都是有利于检测和鉴别个人在使用一个软件应用的复杂软件功能特别是特殊的复杂软件功能上通常可能有的个别困难和需要的事件。
对于识别用户什么时候和需要什么样的帮助有价值的观测种类包括:搜索证据(如多菜单探索),寻思证据(如突然暂停或减慢命令流),注意力集中证据(如选择后停在目标上),无效动作证据(如命令/撤消、对话框打开后又关闭而没有动作),无效命令序列的证据、正在处理的文件的结构和语义内容,以及目标明确的行动序列。此外,程序状态和程序内容、用户能力、用户检阅信息的历史也都是有用的。
在构建贝叶斯网络和规定这些可观察变量中,重要的是要考虑将有利于检测用户行动的智能用户辅助设备的特性和规定。必需考虑那些软件系统或应用可加利用的基本事件。在发发生时可被系统检测到的模型化事件设计成与可观察变量相应。模型化事件必需根据软件程序产生的基本事件定义。
在运行时,与可观察证据变量相应的在贝叶斯网络中模型化的模型化事件提供给推理系统,由它将这些证据变量设置为具体值。智能用户辅助设备具有考虑最近多个模型化事件并行发生的能力,考虑这些事件发生的时间的能力,以及利用这些所监测信息更新贝叶斯网络内受观察变量的状态的能力。在推理系统中,按照受观察变量的状态和定时对贝叶斯网络及其相应的动态改变的设置进行分析,产生各个所关注假设的经更新的似然性。这些概率用来对用户的行动作出判决,确定向用户显示什么信息。
完成定义贝叶斯网络中的证据变量及相应的模型化事件后,下一步骤56是标识指示发生各模型化事件的基本事件。模型化事件可用发生与用户行动或程序状态关联的单个基本事件定义,或者可以表示由一个或多个基本事件构成的序列。例如,(1)用户选择一个条形图和(2)停在这个图上超过10秒没有动作这两个基本事件可以合成一个模型化事件,相应于贝叶斯网络中的一个证据变量。这样两个基本事件可以组合成一个模型化事件Sel-Chart-Pause,表示用户在更新电子表格的带数据图表上有困难。
贝叶斯网络中的变量可以是二值的,也就是只有两个状态(如不发生、发生),也可以有多个状态。在有多个值的情况下,变量设置为状态中与观察相应的一个状态。虽然说明的是二值观察变量的情况,但这些技术也可以用于具有更多的值的变量。在观察到模型化事件、将情况通知推理系统时,与这个事件相应的证据变量就在得知事件发生的时刻被置为“发生”。每当对贝叶斯网络执行概率推理时,考虑所有可由模型化事件设置的变量的状态。通过推理,所关注的假设变量就会有所改变。例如,如果发生Sel-Chart-Pause和其他要更新用户在与图表有关的任务上有困难的概率的观察,那么指配给用户在更新电子表格的带数据图表上有困难这个假设的概率就可能增大。
模型化事件的另一个例子是用户选择了与图表有关的命令集合中的任何一个命令后接着又选择Undo(撤消)命令的行动。发生一个集合中任何基本或模型化事件之一后接Undo命令会合成一个Chart-Cmd-Undo模型化事件。在这个模型化事件设置贝叶斯网络中的相应证据节点后,可以看到指配给用户在更新电子表格的带数据图表上有困难这个假设的概率增大。再来看前面这个例子,模型化事件Sel-Chart-Pause的基本事件是(1)用户选择一个条形图,然后(2)暂停了超过预定的一段时间(如10秒)没有动作。
基本事件可以用作模型化事件。例如,Del-Chart是一个基本事件,表示删除一个图表,但它也是一个模型化事件,相应于贝叶斯网络中的一个观察变量。
模型化事件还包括有关一个应用中的数据结构的状态的文本信息。例如,Chart-View,表示一个图表正在显示。这将增大用户需要图表制作有关帮助的概率。
出现在自由文本查询中的词也是基本事件。高层的模型化事件可以定义为在用户的查询中出现预定词集合中的一个词。如果用户的查询是“我怎样改变这个图表中的颜色”,那么在这个查询中发现一个词集合(例如,在这种情况下,集合含有词“修改”,“改变”,和“更新”作为它的元)中的一个词出现的这个模型化事件就送至推理系统。在查询中其他重要的词,如“颜色”和“图表”,被发现是包括在先前模型化集合的包括类似的词的集合中时也检测为模型化事件。这些模型化事件以与“改变”相同的方式加以分析。
模型化事件中在软件程序的多次使用中一直出现的那类定义为资料信息。这些模型化事件包括指示用户有能力或缺乏能力的事件,存储在用户资料数据库内。存储在用户资料内的事件提供有关用户的附加信息,如用户在操作具体应用功能或完成特定任务方面的先前经验,或过去检阅指导材料的情况。这些事件可以相应于在贝叶斯网络内所表示的变量,由推理系统用来调整对假设的评估。
基本事件的其他类型可以包括有关用户是否在计算机前的信息,如由附近检测器所收集到的,按用户的视觉特点来说,包括如由摄像机和视觉识别和跟踪系统所识别的用户凝视的视点、用户的表情或用户的姿势的信息,以及如由语言理解系统所检测到和所处理的用户发话的语调的信息。
为每个模型化事件标识了基本事件和它们的适当组合后,下一步骤58是为软件程序构成一个事件监视器,监视用户接口的动作,提取推理分析需输入的基本事件。在构建智能用户辅助设备中,在步骤60,将所构成的监视器与软件应用集成在一起,配备软件应用。熟悉本技术领域的人员能够理解,事件监视器可以集成在应用软件内,也可以是一个独立部件,作为系统库或操作系统的一部分。
为了完成智能用户辅助设备,事件处理器根据基本用户接口动作合成模型化事件(步骤62)。然后,根据模型构成一个知识库(步骤64)。最后一个步骤66是根据模型构成一个利用知识库确定发生模型化事件时确定所建议的用户帮助的推理机。一个具有推理过程的贝叶斯网络既用作知识库也用作推理机。
图4为采用上述方法构成的智能用户辅助设备(IUAF)的一个实施例的各部件的功能方框图。智能用户辅助设备包括一个带监测的软件程序72,用来监视由正与这个软件程序交互作用的用户引起的行动或事件。事件处理器74周期性地核查这些行动或事件,以便发现它们之中是否有什么单独或组合在一起表示贝叶斯网络内的可观察变量的行动或事件。推理系统76对模型化事件进行分析,形成和评估用户可能需要什么帮助的多个假设。这些事件能导致增大或减小用户在使用一个具体应用功能上或在完成一个特定任务上遇到困难的概率。
推理系统76还访问用户资料系统76,查核用户能力,根据用户能力改变给予的帮助。用户的背景、表示在一些具体方面的能力的成功完成的关键任务和先前检阅的帮助都可以是存储在用户资料系统78内的变量。
IUAF控制器79根据设定的控制模式启动推理系统76执行的推理分析循环。可以每当用户请求帮助时或每当发生某些特定事件中的一个或多个事件时启动推理周期,也可以就周期性地启动推理循环,或者是这些模式的任何组合。在控制模式设置成在发生一个特定事件时触发推理循环或设置成周期性地启动推理循环的情况下,每当计算出的提供帮助的重要性超过用户设定的自动帮助门限时,推理系统76将自动地为用户提供帮助。在控制模式设置成每当用户请求帮助时启动推理循环的情况下,每当用户提出自由文本查询时,就将对用户行动和程序上下文的推理分析与对自由文本查询中的词的分析结合起来考虑。
熟悉本技术领域的人员显然理解,本方框图中所示的这些功能块可以做成各个独立的部件,也可以将几个或所有的功能块做在一个部件内。例如,可以将一个独立的库配置成具有推理系统功能和事件处理器功能。在这样实现的情况下,推理系统可以周期性地向经装备的程序查询自上次查询后发生的所有基本事件,也可以就询问最近发生的特定数量的事件,然后推理系统可以访问这个具体软件程序的模型化事件数据库,确定这些基本事件中是否有一些是推理分析输入的模型化事件。熟悉本技术领域的人员也可理解,除了在用户用自由文本查询直接请求帮助的情况以外,推理分析可以只包括对用户行动和程序上下文的历来分析。在这种情况下,每当用户用自由文本查询时,推理分析可以只包括对自由文本查询中的词的分析。熟悉本技术领域的人员也可理解,对于不同类别的模型化事件,如查询中的词和接口中的行动,可以分别进行不同的分析,然后再对这些分别分析的结果进行综合。在综合中可以控制对不同分析的结果所加的权。
带监测的程序
任何软件程序或库都可以是一个带监测的程序,包括操作系统程序和应用程序。作为一个带监测的程序的例子,下面将对一个应用程序进行说明。一个典型的软件应用含有一个用户接口和一些应用过程。当一个用户利用输入装置通过按压键盘的键或点击鼠标器的按钮与一个软件应用交互作用时,操作系统就将这些用户行动翻译成事件送至这个应用程序。应用程序的用户接口部件对这些事件进行处理后送至响应这些事件的相应应用过程。为一个具体应用的智能用户辅助设备构成的事件监视器可以集成在应用软件内,如图5所示。在这种配置中,事件监视器84观测到有事件从用户接口部件82送至应用过程86时,就通过一个对事件处理器的呼叫接口将它们送至事件处理器。它也可以配置成一个是系统或应用数据库一部分的独立部件,周期性地呼叫应用程序,以将自上个周期以来的所有事件都发送给它,或者它可以就请求应用程序只发送特定数量的最近发生的事件。或者,它可以配置成操作系统的一部分,在这种情况下,事件监视器监视从操作系统送至应用程序的事件,并将它们送至事件处理器。
图6为作为在帮助主题实施例中的带监测的电子表格应用程序的功能方框图。当用户利用输入装置与电子表格应用程序交互作用时,操作系统将这些用户行动翻译成事件送至电子表格应用程序。例如,用户可以将鼠标器的指示压在一个菜单项上再点击鼠标器上的按钮。操作系统就将这个用户行动翻译成用户点击了一个应用菜单项的事件,将这个事件送至电子表格应用。带监测的电子表格应用程序90的用户接口部件92接收到这个事件后,就将它送至相应的电子表格应用过程96进行处理。电子表格事件监视器94监视从用户接口部件92送至应用过程96的事件,在发现这个事件时就将一个拷贝送至事件处理器。
事件处理器
事件处理器是一个通用的监视和事件合成系统,可以根据低层事件的组合来生成高层事件。事件处理器不需要具备复杂的推理能力。然而,熟悉本技术领域的人员可以理解,可以利用各种确定性和概率论的事件预处理方法进行任意的事件提取和组合,以各种数学函数(包括可以直接解释为似然性的那些)将事件变换为数值信息。
由于事件处理器产生由一些逻辑事件构成的集合,因此任何推理机(无论是基于规则的还是概率的)都可利用它的输出。图7为例示事件处理器各组成部分的方框图。基本事件或用户与输入装置交互作用由诸如带监测的程序那样的事件源100送至事件处理器。带监测的程序可以利用一个调用接口规定送至事件处理器的事件信息。接收到这些事件,事件处理器可以为每个事件加上时间标记,以几种存储信息的数据结构(包括记录数据库或以时间标记或先进先出为序的有限环形队列)中的一种数据结构存入诸如系统存储器那样的本地存储器102。
模型化事件合成器104周期性地监视本地存储器102内的基本事件,搜索可以合成一个模型化事件的一个或多个基本事件。这通常可以由推理系统74在一个推理循环的开始加以启动。然而,模型化事件合成器104也可以在推理循环之间,如每当接收到一个新的基本事件或在接收到特殊的触发事件时,进行事件合成。于是,模型化事件合成器104按照在事件描述中规定的事件合成规则根据基本事件形成模型化事件。模型化事件合成器104将根据基本事件产生的各模型化事件存入模型化事件数据库108。
熟悉本技术领域的人员可以理解,可以为每个利用智能用户辅助设备的独立程序分别配备一个模型化事件数据库。例如,可以为驻留在一个计算机系统的每个带监测的应用程序分别配备一个模型化事件数据库。熟悉本技术领域的人员也可以看到,还可以再配备一个独立的通用模型化事件数据库,存储诸如启动一个程序或退出一个程序之类的共同的系统或应用事件。在这种情况下,推理系统在推理循环内可以访问通用模型化事件数据库和当前正在运行的这个程序的模型化事件数据库。
在模型化事件数据库的一个例子中,这个数据库为每个模型化事件都存有一个单项记录。在一个带智能用户接口的程序启动时,存储在用户资料内的原有持久性事件可用来对模型化事件数据库进行初始化。随着合成器形成模型化事件,在模型化事件数据库内更新相应的事件记录。这种模型化事件数据库内的模型化事件的记录格式的一个例子为:
字段名 | 类型 | 说明 |
EventName | 字符串 | 模型化事件的名称 |
Occurred | 布尔型 | 指示这个模型化事件在它的有效期内发生的标志 |
Atomic | 布尔型 | 指示这个模型化事件由单个基本事件得出的标志 |
StartTime | 实数型 | 合成这个模型化事件的任何基本事件的开始时间中的最小者 |
EndTime | 实数型 | 合成这个模型化事件的任何基本事件的结束时间中的最大者 |
Value | 实数型 | 该字段保存对一个表达式的评估结果 |
LastTime | 实数型 | 最近发生这个模型化事件的时间 |
Count | 实数型 | 所有会话期内发生这个模型化事件的总次数 |
LastTimeThisSession | 实数型 | 这个会话最近发生的时间 |
CountThisSession | 实数型 | 这个会话发生的次数 |
Persistent | 布尔型 | 指示这是一个持久性模型化事件的标志 |
这些字段中用来计数发生的次数和发生的速率的字段LastTime和Count存储在存储所有的持久性模型化事件的用户资料数据库内。程序初始化时,这些字段从用户资料数据库装入模型化事件数据库内的它们相应的模型化事件。
模型化事件只是在一段比较短的时间内才是有意义的。一个模型化事件有意义的这段时间称为它的有效期(horizon)。不同的事件可以具有不同的有效期。用户行动所产生的大多数事件的有效期的适当时间长度为60秒。有效期的长度确定了在推理系统76内考虑一个模型化事件的时间长度。
可以为每个模型化事件指定一个缺省的系统或应用有效期,也可以指定一个专用有效期。每当访问或更新模型化事件数据库104时,驻留在模型化事件数据库104内的超过有效期的模型化事件就被删去。然而,在从模型化事件数据库104内删去前,那些持久性模型化事件先录入用户资料。通常,推理机76和用户资料都起着事件宿的作用,对模型化事件数据库104进行访问,提取模型化事件记录。然而,有一个例外。在程序初始化时,存储在用户资料内的原有持久性事件用来初始化模型化事件数据库104,从而修改了程序的性能。
事件系统描述工具
事件描述工具可以在建立软件程序的智能用户辅助设备期间快迅地为特定应用程序建立模型化事件合成器和模型化事件数据库。业已为根据可由一个程序(例如应用)得到的基本事件(例如在10秒内访问多个菜单而没有动作,光标压在电子表格位置等)构成模型化事件(例如菜单冲浪)开发了一种语言。这种语言允许一些基本事件直接用作模型化事件,和将一些基本事件形成较高层的模型化事件。此外,模型化事件也可以再组合形成其他的模型化事件。具体地说,这种语言可以用注意到时间性的算子对基本事件进行布尔组合,将布尔型事件组合成模型化事件。事件描述工具可以直接与贝叶斯网络建模工具链接,使得在构建和改进贝叶斯用户模型的同时可以产生模型化事件和它们的定义。
图8为用来产生模型化事件合成器104和模型化事件数据库定义118的代码的事件系统描述工具110的方框图。在定义模型化事件步骤期间建立的每个模型化事件定义用来以事件语言114规定和描述事件。然后,事件描述114送至事件语言翻译器116,将描述的事件语言语句翻译成诸如C那样的高级语言代码,以建立模型化事件合成器104,事件语言翻译器还建立模型化事件数据库定义。作为这个进程的一部分,事件语言翻译器116还可以在应用一种数据结构的系统内直接根据模型化事件数据库定义118建立模型化事件数据库106,存储有关模型化事件的状态的信息。
事件语言包括布尔和集合算子,以及包括暂停和顺序的时序操作。模型化事件以用事件描述语言写成的独立文本段定义,然而,也可以利用专用的定义形式构成。文本定义被建立为各模型化事件的命名语句块。这些定义含有基本事件的标记,并且指出对一个或多个基本事件的操作。以事件定义语言作出的模型化事件说明的通用形式为:
declare ModeledEventName
{
<expression list>
}
对于Dwell_on_Chart模型化事件的模型化事件说明的例子为:
declare Dwell_on_Chart
{
(and(Select_Chart,Dwell(5,s))
}
翻译器将事件定义语言的语法语句翻译成模型化事件名称Dwell_on_Chart,通过附加一个带事件名称的记录更新模型化事件数据库和初始化所有的记录字段。一个模型化事件可以是几个其他事件(包括其它模型化事件)的复合,也可以就是一个基本事件的重命名。这种事件综合语言支持需要对基本事件、模型化事件、算术和逻辑算子进行逻辑组合的中缀表示式。随着各基本操作的执行,所得到的中间结果处理成为一个事件,具有类似的特性。
事件语言具有一系列逻辑、集合论算子和时序、算术算子。这些算子可以用来定义具体事件和根据事件集合广义化定义的事件。例如,高层事件可以通过用如下Element那样的算子进行抽象化或广义化建立:
Element({x1,…,xn}):发生任何由事件集合{x1,…,xn}中的元而引起的事件。这样的集合可以定义为特定的事件类。
时序算子可以用来以事件的时间顺序定义事件。时间间隔可以用用户动作数、时间量或其他可以定义为用户动作和时间的函数的时间间隔度量。例如,用经换算的秒定义模型化事件是很有益的。将度量时间间隔的秒用用户工作速度加以比例换算后,可使各时间常数适合工作速度比平均用户速度快或慢的用户。在规定时间算子时,通过规定时间量纲d的值来指出测量时间间隔的量纲(例如,c表示命令,s表示秒,ss表示经换算的秒)。下面列出了一些有用的时序算子:
Rate(x,t,d):在量纲为d的持续期t内发生至少x个基本事件;
Ensemble_N({x1,…,xn},t,d):在量纲为d的持续期t内发生事件集合{x1,…,xn}中的至少N个事件;
All({x1,…,xn},t,d):在量纲为d的持续期t内发生特定的事件集合{x1,…,xn}中的所有事件;
Sequence({x1,…,xn},t,d):在量纲为d的持续期t内发生在一个事件集合{x1,…,xn}中所规定的各个事件;
TightSeq({x1,…,xn},t):在量纲为d的持续期t内发生在一个事件集合{x1,…,xn}中所规定的各个事件;以及
Dwell(t,d):用户有t秒或用量纲d换算后的t秒没有动作。
此外,还可以规定一些参数,用来定义贝叶斯网络内的模型化事件与其他变量之间自模型化事件发生以来随时间增大保持不变或改变的概率关系。在一般情况下,可以提供任何时间函数来描述贝叶斯网络内的事件与其他变量的概率关系在一个事件发生后随时间增大的改变情况。
具体地说,这种语言可以描述在当时时刻tp假设Hj为真的条件下过去在时刻to发生事件Ei的概率p(Ei,to|Hj,tp)自事件最近发生以来随时间量tp=t增大而改变的情况。
表示时间动态的实用性差别包括有效期和衰减。
有效期:在一个事件为真的时刻t=to开始,概率关系保持为p(Ei,to|Hj,to)不变的时间间隔。只要当前时刻tp与最近发现这个事件的时刻to的差小于有效期,这个概率就保持不变。
动态:描述p(Ei,to|Hj,tp)和p(Ei,to|not(Hj),tp)在有效期后的与时间有关的函数。动态可以概括地用由这些概率的比定义的似然比的变化来描述。这些函数指出了初始概率p(Ei,to|Hj,tp)和p(Ei,to|not(Hj),tp)随着事件成为真的时间距当前时间tp的距离增大而改变的情况。可以断定,这些概率在某个时间收敛为p(not(Ei)|Hj,tp)和p(not(Ei)|not(Hj),tp),而初始似然比在tp=to时收敛为这两个概率之比,因此可将这些函数评估为使概率或似然比从tp=to时的初始似然比衰减为与事件不发生相应的似然比。
这些概率可以计算为以初始概率(tp=to)、与事件不发生相应的概率和当前时间tp为自变量的保证任何时刻概率之间一致性的函数。即:
p(Ei,to|Hj,tp)=f[p(Ei,to|Hj,tp),p(not(Ei)|Hj,tp),tp]以及
p(Ei,to|not(Hj),tp)=f[p(Ei,to|not(Hj),tp),p(not(Ei)|not(Hj),tp),tp]
用来定义模型化事件的算子可以影响得出的模型化事件的持续期信息。合取导致存储任何下级事件的最近发生时间,而析取导致存储与最先为真的下级事件相应的时间。
所产生的模型化事件的中间结果的值段按表达式结果设置。所有算术比较操作的结果或为1(布尔“真”)或为0(布尔“假”)。如果算术操作的自变量是一个事件,那么在这个事件发生时自变量估为1,而在这个事件没有发生时自变量估为0。为当前循环的时间段设置与基数相应的时间标记,换句话说,开始时间为上个循环的时间,而结束时间为当前时间。
由于这种语法允许递推,因此应该注意不要出现无限递推。这些语句输入一个称为事件描述块的文本文件。
然后,事件描述块114由事件定义语言翻译器116加以处理。事件语言翻译器将事件描述语言114变换成可编辑成机器语言的C++代码,直接链接事件处理器系统库、IUAF库、操作系统库或其他已实现的库。翻译一个高层事件描述的结果是建立模型化事件的模型化事件合成器104。模型化事件合成器104在一个推理周期期间被调用时,建立当前有效的模型化事件的集合,返回给调用方。于是,推理代码执行由这个事件集合指出的相应操作。
用户资料系统
推理系统76访问用户资料系统78检查用户能力,根据用户能力改变给出的帮助。用户的背景、指示在具体范围内用户能力的成功完成关键任务的情况、用户先前检阅的帮助都是可存储在一个持久性文件内随时间加以更新的变量。这种有关用户的背景、经验和能力的持久性信息称为“资料信息”。
图9为用户资料系统78的方框图。用户资料系统78包括用户资料数据库120、用户资料访问例行程序122、事件状态更新例行程序124、背景和能力对话例行程序126和用户化个别指导例行程序128。
用户资料数据库120含有格式上与模型化事件数据库106内的记录一致的记录,因此在模型化事件数据库记录与用户资料库记录之间有着一个共同的格式。这个共同的格式使得用模型化事件更新用户资料数据库和推理机在访问这些数据库进行推理分析时解释这些记录都更为方便。用户资料数据库记录得到持久性存储,从而这些记录形成一个对具体用户在一些特定软件应用上的能力的历史性记录。这个数据库是按用户和应用情况加以维护的。指示用户能力的持久性存储的模型化事件的例子为完成或没完成一定任务、成功或不成功利用一些具体功能、过去接受帮助或检阅帮助信息等等情况。
图10为示出用户资料数据库120怎样用用户与具体应用程序交互作用的事件状态加以更新的流程图。事件状态更新例行程序120在步骤130检索出模型化事件数据库内的第一个模型化事件记录,然后在步骤132检验该记录是否标为一个持久性记录。如果是标为一个持久性记录,就在步骤134将这个记录加至用户资料数据库。如果不是称为一个持久性记录,就不将它加至用户资料数据库。然后,通过步骤136和138依次返回,再检索模型化事件数据库内的下一个记录,检验它是否标为一个持久性记录(步骤132),如果是标为一个持久性记录,就将它加至用户资料数据库(步骤134)。
如果具备了一个含有“持久性事件”信息的标准存储用户资料,那么这个用户资料就能通过本地网或互联网一直随同用户,无论用户处在何地,都可专为用户改编用户的软件。在一个软件应用激活的同时,一个新的用户可以挂到系统上,使用这个激活的软件应用。图11为示出每当新用户挂到系统或应用上时访问用户资料的情况的流程图。在一个用户挂到系统或应用上时(步骤140),用户资料访问例行程序122就对本地用户资料数据库进行搜索,寻找这个用户的资料(步骤141)。如果发现这个资料,就将通向用户资料的路径送至推理系统76(步骤142)。如果没有发现这个用户的资料(因为用户可能正在远地使用这个应用),用户资料访问例行程序就对所用的网络进行搜索,寻找任何含有这个用户资料的用户资料数据库(步骤143)。如果没有发现用户的资料数据库,或者在任何受访问的用户资料数据库内都没有发现用户的资料,用户资料访问例行程序就请求用户进入与用户的用户能力对话(步骤144),为这个用户建立一个用户资料(步骤145)。然后,将通向这个用户资料的路径送至推理系统76(步骤142)。如果没有完成对话,就将通向缺省资料信息的路径送至推理系统76(步骤146)加以利用。
除了维护一个持久性用户资料在实时推理期间使用外,还可以不断地对在一个或多个会话期间用户对帮助的需要超过某门限的重复模式进行背景分析,以便结合用户具体情况编制用户化帮助信息指南,在用户与该程序会话结束时提供给用户。图12为产生用户化指南的例行程序的流程图。在用户与一个特定应用程序会话期间,由推理系统76记录超过有关概率门限的帮助主题的直方图(步骤150)。在用户请求退出与应用程序的会话时,用户资料系统就将这个直方图保存在这个用户的资料内(步骤152),根据记录在直方图内的帮助主题准备相应的用户化帮助信息指南(步骤154)。在退出这个应用程序时,用户资料系统就通知用户,已准备了用户化指南供在线检阅或打印成使用细则(步骤156)。
推理系统
在启动一个推理分析循环时,推理系统76访问模型化事件数据库106,提取自上个推理循环以来发生的各模型化事件的模型化事件记录。图13示出了推理系统的功能方框图。推理系统76包括一个或多个知识库160和一个推理机165。知识库160含有使表示现实世界的可观察状态(如用户行动和词之类)的变量与表示不可能直接观察或需要很大花费才能观察到的有关用户的目标和需要帮助的情况的所关注假设的变量联系起来的信息。例如,可以不必直接审视用户的目标,而将一连串的计算机命令记录下来。可以主动地对用户询问有关目标的情况,然而这可能很使用户觉得烦恼。
一个包括由一系列逻辑规则组成的相互关联的集合的确定性知识库可以将观察与隐假设联系起来。然而,将不定性关系处理为观察与有关用户需要的假设的似然性之间的概率通常更为适当。例如,在试图理解和预测一个诸如人类生理那样的复杂系统的行为中,通常不能用一些确定性关系完全建立一个考虑系统的所有成分的模型和通过接入一个确定性模型根据一组症状进行诊断或设计治疗。为了诊断和对复杂系统作出判决,通常必需在不确定的情况下进行推理,显然要涉及我们理解中的不完全性。概率论为我们提供了在给定有关观测变量与我们认为是重要的隐变量之间一组关系的知识的情况下诊断和预测复杂系统的性状的方法。我们可以利用概率论方法来表示和推断在诸如一个病人的症状之类的观察与诸如病人所患疾病之类的变量之间的或强或弱的非确定性关系。复杂系统的一个很好的例子是一个意图通过与计算机软件应用或系统交互作用完成一项任何的用户。要构建将一个用户的行为与他的目标或意图联系起来的确定性模型是十分困难的。判断用户的需要的最佳方式是根据我们对各种用户目标与行动之间的关系的理解进行适当抽象,以概率论方法来表示和推断这些关系。概率论方法使我们可以在适合我们对用户和他们的行动不完全理解的抽象级别上构建模型。
贝叶斯网络或称为推理图的贝叶斯网络的推广可以用来表示在给定诸如一个或多个用户行动之类的可观察信息的情况下用户的行动与诸如用户目标、用户意向和用户需要之类隐匿而重要的状态之间的确定性或非确定性关系。贝叶斯网络是一个有向非循环图,其中的节点为随机变量,而弧表示这些变量之间的概率关系。一个贝叶斯网络内的变量是随机性变量或确定性变量。贝叶斯网络表示对于它所表示的变量集合的联合概率分布。在随机变量各值上的概率分布取决于上一辈或是节点母体的母变量的值。确定性变量的值是其前驱变量的确定性函数。影响图是贝叶斯网络的一种推广,再提出了一些附加节点,表示可能的行动和产生的后果的效用。
推理机165包括对知识库160进行操作的推理过程166。知识库160包括一个贝叶斯网络162。熟悉本技术领域的人员将认识到,知识库可以是一个确定性知识库,带有作为推理机的推理过程的逻辑链接过程。或者,知识库可以是一个贝叶斯影响图,带有作为推理机的推理过程的对贝叶斯网络进行操作的推理过程。作为推理机165的部件,还包括时序推理过程167和信息值过程168。其他专用过程也可以包括在内。
贝叶斯推理过程对贝叶斯网络进行操作,在根据观察将可观察或证据变量的状态设置为具体状态的情况下计算出在网络内各变量的值上的一致后验概率分布。假设我们关心的是在没有观察到的所关注假设H1,…,Hm上的概率分布,并且可以利用观察和资料信息E1,…,En。贝叶斯网络推理算法计算出在给定观察的条件下在H上的概率分布p(H|E1,…,En)。对于影响图来说,执行的是决策论推理,标识各备选行动的期望效用。最佳行动为与最高期望效用相应的行动。
在最普通的意义上,设计智能用户辅助设备的推理的任务从决策论(概率论的一种扩展,反映在不确定性情况下的值的关系)观点可以看得最为清楚。影响图使我们可以表示有关不确定性、行动、行动的后果和这些后果的价值之间的基本关系。这种表示方式有利于设计、理解和在许多情况下实际实现智能用户辅助系统。然而,一般情况是可以构建一个比较简单的系统,不是明显表示判决、后果和后果的效用,而是使用贝叶斯网络来表示概率关系,结合过程控制和门限使用概率推理作为较复杂的影响图模型的近似。
图14示出了对用户建模和采取行动帮助软件用户的总体影响图,作为用作知识库的贝叶斯影响图的一个示例性实施例。如图所示,用户背景170以不确定性影响用户在使用软件中的总目标171和用户在使用软件中的知识172。用户知识172还受用户可能已看到的先前帮助173的影响。用户背景170和先前帮助173为可以存储在一个持久性文件内的变量,可随时加以更新。这种有关用户的背景、经验和能力的持久性信息称为“资料信息”。如这个影响图所示,用户的目标171和知识172又以不确定性影响用户的信息需要174。目标171和需要174再影响所感知的活动175和可能在对软件或软件帮助系统的查询中使用的词176。用户的效用函数177表示为一个菱形。效用177直接受用户的信息需要174、采取自主行动的代价178(例如当前对用户打扰的程度)和所采取的行动的影响。对于系统来说可以采取几类行动,包括提供建议或帮助179、执行各种软件行动180和从系统或直接从用户获取先前没有观察到的信息181。如图14中在帮助变量的代价178旁的标尺所示,可以允许用户直接改变帮助的代价,以便灵活地控制给系统的自主程度。
推理系统的总目标是标识在给定用户需要和采取自主行动的代价情况下使用户的期望效用最佳的行动。给定一个有关用户背景和行动的证据集E,计算出在所关注的用户需要的假设H上的概率分布。在图14所示的贝叶斯影响图的情况下,计算在用户对帮助的需要上的概率分布。必需考虑在所有可能行动的集合A中各行动的期望值。为此,考虑各后果的效用,这表示为一个效用模型(菱形节点)。效用模型含有有关后果的价值或效用的信息。后果(A,H)定义为采取的行动A和实际的用户需要状态H的二元组。效用模型告诉我们与每个后果对应的效用u(A,H)。采取的最佳行动A*为在不确定性情况下使期望效用最大的行动,计算为:
A*=arg maxA∑ju(Ai,Hj)p(Hj|E)
虽然影响图表示了行动的显式模型,但贝叶斯网络通常较为容易构建,能利用有关网络内各变量的概率的门限或规则进行判决和行动,根据赋予各种状态(包括描述有关行动的优先性的状态)的可信度指出什么时候应该采取行动。诸如图14所示的影响图可用来阐明在贝叶斯网络所采用的近似情况。
时序推理和动态
推理系统76还包括处在知识库160内的专用时序推理知识库164和处在推理机165内的时序推理过程167,对随着一些观察在过去逐个时刻发生而改变模型中的观察与其他变量的关系进行推理。在一般情况下,应用贝叶斯过程和知识库对在所有时刻所看到的观察模式进行推理需要考虑在同一时刻和不同时刻的各个变量和它们之间的相关性。构建包括对于不同时刻流逝的各变量拷贝和相关性的贝叶斯网络用以进行推理会导致十分困难的推理计算问题,其响应时间对于与程序交互作用的用户来说是不能接受的。因此,进行一些近似是有价值的。在一种近似方法中,在各时刻只考虑一些特定的、被认为最重要的相关性。
一个带有在不同时刻的变量集合和所表现的典型要关性的贝叶斯网络的一部分示于图15。图15所示的贝叶斯网络明显地示出了在不同时刻的随机变量以及在同一时刻的变量之间和在不同时刻的变量之间的概率依从的相关性。在变量之间缺乏依从关系的就认为是独立的。图中示出了在当前时刻提供给用户的基本相关帮助与早些或晚些时刻提供给用户的最相关帮助之间的可能影响。此外,图中强调了观察(Ei和Ej)在当前的状态与在过去和将来所作的观察之间的可能依从关系。图中还指出了在当前的基本相关帮助与过去的观察之间的关系。在一般情况下,这种多重连接的网络在模型构建期间是很难求解和评估的。
下面将说明一种易于求解和评估的对各时刻的相关帮助进行推理的方法,这种方法作了一些附加的独立性假设,将过去陆续观察到的证据与所关注假设之间的关系用决定这些观察与当前的目标或对帮助的需要之间概率关系的强度的参量化函数来表示。在一个典型的实施例中采用了这种近似方法,虽然用的是单个显式贝叶斯网络,但是使系统可以隐含地考虑在各时刻上构建的多重贝叶斯网络的情况。这个方法利用了在建模期间可直接评估出适当描述一个贝叶斯网络内的观察变量与其他变量之间概率关系的动态的函数。在建模时,评估每个观察变量Ei的有效期和动态,并用这信息标注这个观察变量Ei。在运行时,推理机165内的过程167就利用这些有关有效期和动态的信息。一个事件的有效期为与假设Hj的概率关系保持为p(Ei,to|Hj,to)和p(Ei,to|not(Hj),to)一直不变的时间间隔。动态为当前时刻的这些概率随所述以前时刻而改变的情况。
直观推断事件的有效期可以是对于系统考虑的所有观察事件都使用一个缺省的有效期,除非另有规定,也可以使用一个具有有限长度k的事件队列,在分析中只考虑最近的k个模型化事件。这种方法可以与刚才所说明的动态结合使用。
信息价值
推理机165还包括信息期望价值(EVI)过程168,用来计算从用户获取信息的期望价值。EVI过程和可在概率模型中应用的信息论近似方法对于熟悉决策论的人员来说都是很清楚的。EVI过程是一个计算获取还没有观察的变量的信息的期望价值的程序。这种信息包括用户对计算机系统有关他的目标和需要的提问的回答。信息的净价值(NEVI)为收集信息的净价值,包括收集信息的代价。推理系统76只是在收集信息的信息效益超过代价时才自主地询问问题或收集信息。如果用Ex表示每个先前没有观察而能加以询问的变量,用Ok表示Ex的一个可能的观察值,而A表示在估计Ex时将观察到的值,于是变量Ex的NEVI为:
NEVI(Ex)=
∑kp(Ex=Ok|E)*[maxA∑ju(Ai,Hj)p(Hj|E,Ex=Ok)]-maxA∑ju(Ai,Hj)p(Hj|E)-C(Ex)
其中C(Ex)为估计证据Ex的代价。EVI可以直接用于影响图。有几种众所周知的信息论算法,包括那些基于计算熵的算法,可以用来提供对在诸如贝叶斯网络之类的概率模型中的信息收集进行判决的类似功能。这些算法通常比用影响图计算NEVI更为容易。它们并不直接计算效用,但能与折衷考虑信息代价和信息价值度量的直观试探方法结合使用。
图16为信息价值部件内的信息价值过程的流程图。信息价值部件按作为备选信息的信息价值的次序列出所有未观察到的信息(步骤190),逐项权衡获取信息的效益和为获取信息而打扰用户的代价(步骤192)。如果效益大于用户设定的代价,IUAF就请求用户提供具有最高价值的那项信息(步骤194)。如果用户作出响应,信息价值部件就重复前两个步骤,直至打扰用户的代价大于获取信息的效益或用户不再响应(步骤196)。
IUAF屏幕输出示例
图17至23例示了在电子表格应用实施例中的智能用户辅助设备的屏幕输出。该系统根据用户资料、用户规定的门限信息,结合词和用户行动,为用户提供智能化的帮助。系统具有对请求帮助进行响应的能力以及自主提供帮助的能力。图17示出了用户直接请求帮助时所产生的帮助界面200。对向用户提供的有用帮助的一些推测显示在左上角的列表框201内。在左下角的当前系统设置框202指出这个用户是一个熟练的用户。这信息由用户资料系统提供。当前系统设置框202还指出推理机在推理分析周期所用的用户行动和自由文本查询。给定了资料信息和涉及与正文版面交互作用的当前行动,结合就在主动请求帮助前的暂停间歇和用户为了改变行和列的外观而采取的行动,系统认为用户如果得到在处理字体、高级格式化指令和利用改变电子表格文件几何尺寸方面的帮助可能最为有益。在这个屏幕拷贝的右方显示了一个示出推理系统76产生的在一组任备区上的概率分布的推理图203。这个图是为工程需要而建立的,但也可以向用户显示。每个任务区右侧的条的长度表示这个区的概率。概率最大的两个区(具有最长的条)分别是处理字体和高级格式化主题的任务区。
在图18中,资料信息改为初学用户的资料。当前系统设置框202内的经验级别指出这个用户具有初学者的水平。所有其他事件处理情况保持不变,但现在使用的是初学用户的资料。资料信息用来修改贝叶斯网络内的概率关系。显示在相关帮助上的概率分布的推理图203示出了用资料信息修改了的概率分布。如在最佳推测表框201内所可看到的那样,系统现在认为在电子表格行列基本处理、准线改变和图表基本格式化这些方面的帮助可能对用户最为有益。
图19示出了对同样的一组用户行动进行的分析,但现在考虑了在用户查询中出现的词。用户已在查询输入框204内向系统输入了自然语言查询“How do I make this look prettier?”(“我怎样将这个变得更加好看?”)。这些词和行动的分析加以综合后就产生了如推理显示203中所示的新的概率分布和最佳推测表框201内的相应新建议主题表。现在,这表更新为将自动格式化帮助列为最相关的帮助,但仍列有其他格式化主题,包括准线改变、边界处理和字体处理。
图20示出了在与文件内的图表交互作用后暂停在图表命令上一段时间再请求帮助时的情况。推理系统76计算出的概率分布示于推理图203。现在,在最佳推测表框201内的建议主题集中在绘图信息方面的高似然区。图21示出了在查询输入框204内以查询形式递交的附加信息。用户的自然语言查询为“I need to access data from a differentapplication”(“我需要从一个不同的应用获取数据”)。现在这些词与事件结合在一起进行考虑。推理系统76在推理图203中给出了经修改的概率分布,而在最佳推测表框201内列出了经修改的建议主题表,集中在从数据库检索数据和改变在图表中显示的数据这些方面。
图22例示了推理系统76自主为用户提供帮助的屏幕输出。在用户与电子表格程序205交互作用的同时,帮助监测代理程序计算用户需要帮助的概率,而在用户是需要帮助时,推理系统76还计算出需给用户的各种帮助的似然性。帮助监测代理程序在帮助监测代理程序窗口206内显示对用户需要帮助的概率的推理结果。与以上推理图203的显示类似,帮助监测代理程序窗口206也是为了工程需要而建立的,但也可向用户显示。与电子表格程序205交互作用的用户现在选择了整张图表后暂停。随着帮助监测代理程序窗口206显示计算出的用户需要帮助的概率从26%增大到89%,达到门限,就有一个小的定时窗口(自主帮助窗口207)自动弹出,显示计算得出的最大似然帮助区。在本情况下,最大似然主题包括格式化小区、检查拼写错误和执行计算这些具有分析或修改整文件含意的主题。自主帮助窗口207有礼貌地提供帮助。它还为用户提供重新设置门限的机会,以增大或减小在显示这个窗口前应达到的用户需要帮助的概率。如果用户没有与窗口207交互作用,窗口207超过定时后就会对打扰用户作出道歉后关闭。
图23示出了根据对用户在利用一个软件进行会话期间具有的问题进行不断背景推理的记录和总结确定的对用户有价值的主题显示208。其中还包括有关用户的背景和能力以及有关用户过去曾接受或检阅的帮助的资料信息。这些主题均已备妥,可打印成一个专为用户修改了的指导,供以后阅读。
带时序推理注释的贝叶斯网络
图24示出了根据用户的资料信息以及用户当前所采取的行动计算为用户提供的各备选帮助形式的概率的贝叶斯网络的一个例子。为了表示这种结构可用于许多种类的观察和取决于任务的帮助要求,在一些节点用了变量x、y、z和A。
在这个模型中,我们用一组标为User Competence x 210和UserCompetence y 211的变量分别表示各表示在软件功能的两个不同区域x和y内的用户能力的状态的资料变量。这两个用户资料各受表示(1)具体观察到的用户行动、(2)用户曾检阅过的历来帮助主题、(3)可以是不确定的也可以是通过与用户的对话设定的总用户背景212这些变量的影响。如在这个贝叶斯网络中所示,用户能力直接影响与用户相关的不同帮助的先验概率,如Primary Assistance Needed变量213的这些状态所示。这个变量还受表示诸如在一个应用的当前版本中存在特定数据结构之类情况的有关程序状态的信息的上下文变量214的影响。在这个模型中,问题用具有一些表示各备选帮助形式的状态的单个基本帮助变量表示。模型假设在任何特定时刻只有其中一个基本帮助状态是用户要求的。也可以用多变量表示帮助,以提醒在同一时刻可能有多种帮助都是相关的。
如在这个贝叶斯网络中所示,Primary Assistance Needed节点213影响一组受观察的模型化事件,如选择一个图形目标Z后暂停了超过预定的某段时间(Sel Z Pause 215)或修改一个目标后又执行撤消(ZCmd Undo 216)。在运行时,这些模型化事件由事件处理器74检测,送至推理系统76。通过更新与模型化事件相应的可观察变量和执行贝叶斯推理,更新系统内所有非观察变量(包括Primary Assistance Needed变量213)上的概率。记下事件的时间,随着事件逐渐成为过去,应用时序推理过程167更新网络内的概率关系。
图25示出了带有变量x和z以示与根据来自电子表格(如MicrosoftExcel产品)的绘图信息对行动和资料信息的关系进行推理有关的区别的这些节点的例子。存储在一个资料内是持久性的变量在邻近标以P。作为模型化可观察事件加以观察的变量标以M。一个或多个节点可以表示在绘图上的各类能力。单变量User Competence Charting 220示为含有用户绘图能力的总体水平信息的变量。在这个变量的各状态上的概率分布受Hx Help Charting 221和Hx Activity Charting 222以及UserBackground 212的影响。Hx Help Charting 221由存储在持久性资料内有关用户成功地完成一个或多个绘图活动的观察和有关用户曾检阅过在联机指南中的绘图帮助信息的信息设定。在软件功能的绘图和其他各方面的能力影响Primary Assistance Needed变量213,而这个变量又影响观察用户不同行动的概率。例如,用户在一种具体绘图任务上需要帮助的这种状态就会影响看到用户选择文件中的一个图表而后暂停s秒(SelChart Pause 223)的概率。附录1示出了在一个电子表格应用的典型实施例中一个较为完整的贝叶斯网络。
图26示出了时序知识和推理的典型实施例。每个可观察模型化事件都用有关时间流对本事件与贝叶斯网络内其他变量的概率关系的影响的信息注释。在这种情况下,每个节点用有效期和衰减的瞬时动态信息注释,这可以做成一个概率表,或用其他数据结构实现。各变量为瞬时动态的时间量纲用事件发生以来经过的秒来表示。
下面给出一个基于图26所示知识库中各部分的情况作为例子。
考虑具有以下资料信息的情况:
User_Background 212:Consumer_Novice
HX_Help_Charting 221:No_Help_Reviewed
Context:Normal_View
Objects:Sheet(1),Chart(2)
在时间t=50秒,注意到以下模型化事件:
Chart_Cmd_Undo 224:Absent
Chart_Create_Pause 225:Absent
Sel_Chart_Pause 223:Absent
Move_Chart_Pause 226:Absent
Chart_Dialog_UnSucc 227:Absent
Menu_Surfing 228:Absent
Click_Unrelated 229:Absent
================================
Sel_Chart_Pause 223
p(E1,to|Hj,to)=.15
p(not(E1)|Hj,to)=.85
p(E1,to|not(Hj),to)=.005
p(not(E1),to|not(Hj),to)=.995
有效期:5秒
动态:
p(E1,to|Hj,to):线性收敛于15秒
p(E1,to|not(Hj),to):线性收敛于15秒
=================================
Chart_Dialog_Unsucc 227
p(E2,to|Hj,to)=.08
p(not(E2)|Hj,to)=.92
p(E2,to|not(Hj),to)=.0005
p(not(E2),to|not(Hj),to)=.9995
有效期:20秒
动态:0
============================
分析循环在t=50秒启动。这个循环包括合成来自基本事件本地存储器102的模型化事件,将这些事件送至推理系统,以及用这些新的观察进行推理。我们将研究用户需要的主要帮助是含有绘图信息的帮助的当前概率p(Charting_Assistance|E)。在这样的用户背景、能力和检阅帮助历史的条件下,用户这方面需要帮助的先验概率为0.001。上下文信息使这个概率增大到0.04。还根据历来所看到的证据为有关基本帮助的其他假设指配相应的概率(但在本例中未示出)。
在t=52秒时,用户选择了一个图表。检测到选择图表这个基本事件后,就将它存入基本事件本地存储器102。然后,用户暂停了3秒没有任何动作。检测到暂停3秒后,也将它存入事件本地存储器102。在t=60秒时调用了一个分析循环。事件处理器74合成模型化事件Sel_Chart_Pause 223,加上在t=55秒成真的附标后送至推理系统76。
推理系统访问用瞬时动态信息注释的贝叶斯网络。如在对于Sel_Chart_Pause 230的概率表中所示,有效期为5秒,在15秒时概率线性收敛为该事件不发生时的概率。
在t=63秒时,用户选择了一个图表对话,没有执行而又在t=66秒时取消了这个对话。在t=70秒时调用了一个分析循环,合成模型化事件Chart_Dialog_Unsucc 227,加上一个66秒的时间附标后送至推理系统76。如在对于Chart_Dialog_Unsucc 231的概率表中所示,有效期为20秒,无瞬时动态。
这个用户已将不愿受自动帮助打扰的门限设定为p=0.12。因此,在绘图方面帮助有意义的概率上升到p=0.14时,就为用户提供这个主题的帮助。
在t=50秒时
p(Sel_Chart_Pause,to|Hj,tp)=.15
p(Sel_Chart_Pause,to|not(Hj),tp)=.005
p(not(Sel_Chart_Pause)|Hj,tp)=.85
p(not(Sel_Chart_Pause)|not(Hj),tp)=.995
p(Chart_Dialog_Unsucc,to|Hj,tp)=.08
p(Chart_Dialog_Unsucc,to|not(Hj),tp)=.0005
p(not(Chart_Dialog_Unsucc)|not(Hj),tp)=.9995
p(not(Cbart_Dialog_Unsucc)|Hj,tp)=.92
推理结果:p(Charting_Assistance|E,tp)=.02
---------------------------
在t=60秒时
p(Sel_Chart_Pause,to|Hj,tx)=.15
p(Sel_Chart_Pause,to|not(Hj),tp)=.005
p(not(Sel_Chart_Pause)|Hj,tp)=.85
p(not(Sel_Chart_Pause)|not(Hj),tp)=.995
p(Chart_Dialog_Unsucc,to|Hj,tp)=.08
p(Chart_Dialog_Unsucc,to|not(Hj),tp)=.0005
p(not(Chart_Dialog_Unsucc)|not(Hj),tp)=.9995
p(not(Chart_Dialog_Unsucc)|Hj,tp)=.92
推理结果:p(Charting_Assistance|E,tp)=.07
-------------------------------------
在t=70秒时
p(Sel_Chart_Pause,to|Hj,tp)=.15-->.46
p(Sel_Chart_Pause,to|not(Hj),tp)=.005-->.66
p(not(Sel_Chart_Pause)|not(Hj),tp)=.995
p(not(Sel_Chart_Pause)|Hj,tp)=.85
p(Chart_Dialog_Unsucc,to|Hj,tp)=.08
p(Chart_Dialog_Unsucc,to|not(Hj),tp)=.0005
p(not(Chart_Dialog_Unsucc)|not(Hj),tp)=.9995
p(not(Chart_Dialog_Unsucc)|Hj,tp)=.92
推理结果:p(Charting_Assistance|E,tp)=.04
----------------------------
在t=80秒时
p(Sel_Chart_Pause,to|Hj,tp)=.15-->.46-->.85
p(Sel_Chart_Pause,to|not(Hj),tp)=.005-->.66-->.995
p(not(Sel_Chart_Pause)|not(Hj),tp)=.995
p(not(Sel_Chart_Pause)|Hj,tp)=.85
p(Chart_Dialog_Unsucc,to|Hj,tp)=.08
p(Chart_Dialog_Unsucc,to|not(Hj),tp)=.0005
p(not(Chart_Dialog_Unsucc)|not(Hj),tp)=.9995
p(not(Chart_Dialog_Unsucc)|Hj,tp)=.92
推理结果:p(Charting_Assistance|E,tp)=.13
---------------------------------
在t=90秒时
p(Sel_Cbart_Pause,to|Hj,tp)=.85
p(Sel_Chart_Pause,to|not(Hj),tp)=.995
p(not(Sel_Chart_Pause)|not(Hj),tp)=.995
p(not(Sel_Chart_Pause)|Hj,tp)=.85
p(Chart_Dialog_Unsucc,to|Hj,tp)=.08
p(Chart_Dialog_Unsucc,to|not(Hj),tp)=.0005
p(not(Chart_Dialog_Unsucc)|not(Hj),tp)=.9995
p(not(Chart_Dialog_Unsucc)|Hj,tp)=.92
推理结果:p(Charting_Assistance|E,tp)=.04
多应用的系统层IUAF
以上说明的这些方法不仅可用于各个单独的应用,也可以在操作系统层上用于具有多应用的系统中对提供帮助进行推理。在提供系统帮助的一个典型实施例中,利用贝叶斯网络通过推测在用户完成或即将完成一项任务时帮助用户退出应用。
帮助用户的贝叶斯网络知识库示于图27。其中的资料信息包括是否用户过去检阅过帮助(Reviewed_Help_in_Past 240)、以前退出过(User_Exited_Before 241)和显示过能执行双击操作(Successful_Double_Click 242)。示为贝叶斯网络中观测的模型化事件包括动作后暂停(Dwell After Activity 243)、接连点击一系列不相关的图标(Click on Seq of Unrelated 244)、鼠标器游荡(MouseMeandering 245)、当前打印了一个文件(Print Doc 246)还是发送了一个消息(Send Msg 247)、以及应用已持续的时间(Duration of TimeWith App 248)。有一个变量表示在最希望的行动上的概率分布,使我们可以利用概率推理对各备选最佳行动的似然性进行推理。
下面举例说明监测到的事件影响对有关用户进行推理的一些结果。所例示的情况假设用户资料为:用户以前没有自己退出过,用户没有显示能成功进行双击操作,用户检阅过有关退出应用的帮助但没有注意研究这信息。系统现在检测到用户停留在电子邮件已几乎10分钟和用户已接连点击一系列不相关的图标。图28示出了各随机变量的状态,并用状态边上的条的长度表示在各随机变量的不同状态上的概率。如条形图所示,推理系统76已计算出用户不知道退出(User Ignorant about Exit249)具有高概率,而用户已经或即将完成一个主任务(Major Taskcompleted 250)具有低概率。
在图29中,可以看到考虑了新的模型化事件后的推理结果。在这种情况下,用户已发送了电子邮件(Send Msg 247),在这行动后现已暂定了超过了换算秒(Dwell after Activity 243)。向用户提供详细说明现在被认为是最希望的与退出有关的行动(Most Desired Exit Action251)。图30示出了同样的情况,但有一个变化:用户已在最近的2分钟内接受了帮助(Recent rec Exit Help 252)。现在看来最希望的行动是什么都不做,只是询问用户是否系统应为之退出应用(Most DesiredExit Action 251)。
IUAF控制器
通常有必要对智能用户辅助设备的各个部件进行总体控制。为了决定调用事件处理器74和推理系统76的策略和确定什么时候应自主地提供帮助,都需要控制。图31示出了可以单独使用也可以综合使用的智能用户接口控制器的各种总体协调控制模式。所示的第一种协调控制模式是定时模式260。在这种模式,有一个周期性的系统定时器反复启动,通知IUAF控制器开始下一循环的监视和推理分析(步骤261)。于是,IUAF控制器调用推理系统(步骤262)。完成推理分析后,控制器就等待定时器的下次触发(步骤263)。定时模式可以加以扩展,以在允许下一循环开始前考虑其他一些限制。例如,在事件监视和推理期间出现复杂的推理的情况下,可以加上评估计算资源可用性(例如,识别是否有空闲时间)的附加条件。因此,事件处理和推理循环将在定时器触发并满足有计算资源可用的条件的情况下才开始。
所示的第二种模式是请求模式265。这种模式只是在用户请求帮助时才进行推理。在一个带监测的应用接收到一个查询帮助信息的请求时(步骤266),这个带监测的应用就向IUAF控制器发送一个通知(步骤267)。接收到这个通知,IUAF控制器调用推理系统(步骤268)。完成推理分析后,控制器就一直等待接收下个通知(步骤269)。
所示的第三种模式是特定事件触发模式270。在这种模式,列有一个由一些可触发推理分析循环的特定事件构成的表。每当事件处理器检测到发生其中一个特定事件时(步骤271),事件处理器就向IUAF控制器发送一个通知(步骤272)。同样,IUAF控制器接收到这个通知后调用推理系统(步骤273)。完成推理分析后,控制器就一直等待接收下个通知(步骤274)。
任何两种或所有三种模式可以同时有效。在所有三种模式都有效的情况下,如果在定时周期内用户没有请求帮助,也没有作出任何可成为特定事件之一的行动,那么在定时终了时就开始下个推理分析循环。否则,在定时周期内,当用户请求帮助或作出可成为特定事件之一的行动时就会开始下个推理分析循环。
自由文本查询与事件的综合分析
如前面所提到的那样,可以将用户对帮助的自由文本查询中的词处理为模型化事件源。集成在Microsoft Office 95产品系列的所有应用内的Microsoft Answer Wizard利用了一个建立自由文本查询中的词与相关帮助主题的概率之间关系的概率模型,这可参见美国专利申请No.08400797,该申请列为本申请的参考。在一个典型的实施例中,词与行动可以统一处理为对词和行动的概率关系进行推理的系统中的模型化事件。
在另一个实施例中,配置了分立的子系统分别处理词和行动。在分别完成概率分析后,再对这些分立子系统的分析进行综合。图32为综合分别概率分析的方法的流程图。首先,对于给定的自由文本查询计算最相关的一些帮助主题的第一贝叶斯分析(步骤280)。这可以遵循在美国专利申请No.08400797中所述的方法进行。下个步骤是输出一个由以相关概率最高为序排列的一些帮助主题组成的第一帮助主题表(步骤281)。然后,对于给定的程序状态、用户资料和一系列用户行动计算最相关的一些帮助主题的第二贝叶斯分析(步骤282)。下个步骤是输出一个由以相关概率最高为序排列的一些帮助主题组成的第二帮助主题表(步骤283)。然后,通过为每个表中的各相关主题指定相应权系数后计算同时出现在这两个表中的每个帮助主题的概率,将这两个帮助主题表合并在一起(步骤284)。最后一个步骤是输出这个由以相关概率最高为序排列的一些帮助主题组成的经合并的帮助主题表(步骤285)。在这个实施例中,系统的性能可以通过改变用来与指定为由词或行动分析提供的所关注假设的概率的似然性(例如帮助主题的相关性)相乘的实参数的值对一组事件的结果进行比其他事件的结果更重一些的加权来调整。
建立分别分析对在自由文本查询中的词和用户行动进行的处理的分立系统使这两个子系统可以根据各自事件类别的特殊性质分别得到最佳化。同样的情况可以适用于其他行动集合,例如在配有视觉和语音事件监视措施的扩展系统中的视觉和语音事件。
分别分析也使在综合、分别或依次考虑分别分析结果上的具体策略实现较为容易。例如,在给定词分析系统和行动分析系统的性能情况下,在一个实施例中可以显示基于根据所监测的行动的推理得出的对帮助的初步推测,但在有词加入时,则只依赖于根据词的分析结果。另一种方法是利用一些控制规则,根据对词和行动分析结果的比较分析综合或分别考虑在不同子系统中的推理。
通知和执行帮助的控制
除了协调控制功能外,IUAF控制器还对什么时候自主提供帮助或询问用户目标信息(根据信息价值计算)会打扰用户作出判决。在一个典型的实施例中,驻留在推理系统76内的一个专用贝叶斯网络(或一个网络的部件)计算出用户当时会希望得到帮助的总概率。IUAF控制器利用这个改变的概率来控制什么时候提供自主帮助。IUAF每当计算出的用户当时会希望得到帮助的概率超过一个可由用户改变的门限时提供自主帮助。用户利用一个门限控制器来改变出现自主帮助的门限。这个门限控制器例如可以是能在一个自主帮助窗向用户显示的一个滑动门限控制栏,允许用户根据他在获得帮助与受到打扰中发现的值改变门限。带有门限滑动栏的动态帮助窗的屏幕拷贝示于图22。
图33为在这个实施例中提供自主帮助方法的流程图。在一个推理分析循环期间,推理系统76输一个由一系列以相关概率最高为序排列的相关帮助主题组成的表(步骤290)。这可以如前面在讨论推理系统中所说明的那样实现。下一步骤是确定用户需要帮助的概率是否超过用户设定的提供自主帮助的门限(步骤292)。如果用户需要帮助的概率超过用户设定的门限,推理系统76就提供一个以最高概率为序列有各相关帮助主题的表(步骤294)。这个表可以是截短的,只示出一个或几个最可能的帮助主题,但如果需要,用户可以在一个窗口内卷滚检阅一个较长的表。然后,检验相关主题表,确定是否有已在前一段预定时间内的表中出现过的冗余帮助主题(步骤296)。如果没有冗余帮助主题,就向用户显示这个相关主题表(步骤298)。如果用户对自主提供的帮助作出响应,就重复步骤290至298。如果用户在响应定时器计满响应时间前用户没有响应,就在窗口标题上显示道歉消息(步骤299)后关闭这个窗口。
熟悉本技术领域的人员可以认识到也能采用其他实施方式,例如只是在用户直接请求(如点击与智能辅助设备有关的一个图标)时才提供自主帮助。系统也能利用计算得到的期望效用或它的近似值来确定提供自主帮助。此外,系统可以只在需要提供帮助的这些主题内的各主题的相关概率之和超过某个恒定值时才提供自主帮助。
在一个典型的实施例中,对帮助主题的推测在用户请求帮助时并不提供,除非对于前五个主题计算得到的概率之和超过0.40。在另一个实施例中,自主帮助只有在用户暂定时才提供,这样就可以不打扰正在进行动作的用户,除非相信用这个行动帮助正在进行动作的用户确实重要。
提供友善的传统方式或隐喻也是有益的。例如,推理结果可以用来控制一个友善的图形卡通人物的行动姿态。这种界面的一个例子示于图34。IUAF对用户可能有的问题或可能有价值的帮助也可以用卡通人物头上的“思想云”隐喻显示。自由文本查询可以打入呈现为卡通人物看或听询问的措施的图形文本输入框内。
利用IUAF部件改善语言识别
熟悉语音识别技术的人员可以理解,在利用语音语言模型以概率表征各个音素的情况下所能获得的效益动态地受计算得出的有关计算机用户的目标、意图或需要的信息的影响。如图12这个影响图所示,用户的背景和目标影响在一个接口所看到的行动、在自由文本查询中所使用的词和希望与一个软件系统或应用通信的用户产生的语音。理解正在发出语音的用户的目标和意图的似然性可以增强我们进行自动语音识别的能力。这种系统将使我们可以调整各语音的概率,从而调整计算机软件用户说出的词和音素的似然性。
语音识别系统涉及将语音产生的音频信号处理成可能的音素,再将音素处理成可能的词。用于语音识别的概率系统计算出给定音频信号情况下的音素的似然性和各备选词的似然性。语音(Speech)这个术语用来指将发出的语音处理成音频信号或音素的步骤所提供的证据。
贝叶斯语音理解系统按下式计算根据语音得出词或词串(words)的概率p(words|speech):
通过计算在给定如由模型化事件所表示的用户行动(包括基于凝视的那些行动)的情况下用户的要求或目标上的概率,我们能像如下所述那样更精确地得到在给定用户语音情况下的词的概率。
我们可以通过表示词或词串将在具体目标的上下文中使用的似然性更新词或词串将在目标上下文中使用的似然性,从而实时更新包含在一个典型的语言模型内的将使用的词的概率p(words)的数据率。也就是说,不使用静态的p(words)数据库,而将词的概率p(words)更新为:
p(words)=∑ip(words|user needsi)*p(user needsi)
这种计算利用了一个含有形式为p(words)=∑i p(words|user needsi)的信息的上下文特定的语言模型的知识库。
在运行时,各个行动由事件监视系统分析后送至推理系统,由它不断计算出在各用户要求上的概率分布p(user needs|events),如前面所述。一个典型的应用是对帮助主题进行推理,而上下文特定的语言模型含有形式为p(words|relevant help topic)的信息。
在证明上式对语音识别的修改情况的较为普通的讨述中,如果输入一些动态事件events,即有
从而可得
图35示出了通过动态地改变名词的似然性因而也就是改变发出的各音素的似然性来改善语音识别的智能用户辅助设备的关键部件和利用这些关键进行分析的流程。如图所示,用户的行动由带监测的程序72监视。基于事件由事件处理器74合成为模型化事件送至推理系统76。推理系统计算出用户要求的概率分布,将经加权的要求表送至动态语言模型产生器300。
动态语言模型产生器300具有一个在备选要求与语音或词的似然性之间的映射。这个部件可以含有来自语言模型数据库301的信息。语言模型数据库301含有一些语言模型,它们含有形式为在给定用户要求的情况下用户说出不同的词或词串的概率p(words|user need)的概率信息。这些语言模型可以通过以统计方式用大量记录在不同用户要求上下文中的词串进行训练来构成。在运行时,推理系统提供在各用户要求上的概率分布,用来根据来自不同上下文的经加权的语言模型控制建立一个更新的语言模型。更新的语言模型302含有形式为p(words|events)的信息,它是根据概率推理结果利用各备选要求的似然性对各个词集合加权得出的。
总之,利用监听中的上下文可以通过按用户模型化降低看来不大可能的语音的概率而增大较为可能的语音的概率来提高语音识别系统303的准确性。
除了与软件一起用于接受帮助外,这种动态语音理解还可用于各种语音理解任务。作为一个例子,这些方法可用于各种与涉及处理软件的控制和功能的命令和控制的接口。如果我们将用户的目标模型化,我们就能产生一些经适当加权后反映用户以后步骤的语法,从而不易出错。
这些方法可以与产生在给定用户目标的情况下的下一个软件命令的概率的模型结合使用。在这种使用中,我们关注的是一个特殊的用户要求,即行动愿望。用户的行动愿望可以是指用语音实现一个或多个软件控制,包括取得一个或多个帮助主题。我们用在给定事件的情况下所希望的行动的概率p(desired action|events)代替前面各式中的p(userneeds|events),利用含有信息p(words|deired action)而不是p(words|userneeds)的语言模型。在这个模型中所考虑的事件能包括可含有正有效的窗口的信息的上下文以及在发生有语音发出时向用户显示的正文、按钮和控制。
例如,命令和控制的动态语言模型可用于部分功能是直接产生和显示一些概率结果的系统。作为一个例子,考虑一个利用贝叶斯网络或影响图帮助医生根据一组症状进行诊断的系统。用于医学的贝叶斯推理系统可能有若干组含有一些诊断推理结果的窗口。一个窗口可以按计算得出的似然性列出一些疾病,而另一个窗口可以根据信息的价值列出以后的最可能的症状和需做的检查。通过构建和评估在给定所显示信息的上下文的情况下用户行动的概率的模型(可以包括赋予所显示目标的计算概率和期望效用的函数),我们可以在语音识别中计算和利用动态地重新计算出的p(words events)。
虽然以上对本发明参照典型实施例作了说明,但熟悉本技术领域的人员可以理解,对这些实施例无论在形式上或细节上都可在所附权利要求规定的本发明的范围内加以改变。例如,这种通用的事件合成和推理系统也可以用于操作系统,以提供一个智能用户壳体,在更普遍的意义上来说,使任何计算机系统或软件的功能最佳化。由于能对所例示和说明的本发明施行种种改变,因此,本发明的专利保护范围仅由所附权利要求限定。
为用户提供电子表格程序帮助的较完整的贝叶斯网络
Claims (118)
1.在具有一个处理机和存储器的计算机中,其中该存储器和该处理机连接并存储着可由计算机执行的指令,一种用于向用户提供与在该计算机中执行的程序一起使用的用户帮助工具程序的方法,该计算机还包括一个输出部件以向用户提供使用户和该程序交互的用户接口,该方法包括步骤:
在执行该程序期间,进行当前用户和该接口的交互的概率评定,以产生多个不同的可使用的帮助主题的数值概率分布,从而为每个所述帮助主题生成独立的概率量测,该交互表明用户意图通过该程序完成某特定任务,从而所定义的多个独立概率量测中的每个量测表示在给定动作下用户为完成该任务是否会需要这些主题中的相关的一个的特定信息的概率,其中该交互既具有语言成分又具有非语言成分,语言成分由用户通过接口输入的至少一个单词,例如自由文本询问,构成,而非语言成分由用户利用该接口的肯定动作或在预定时间间隔内不存在所述肯定动作构成,该预定时间间隔是从用户刚使用该接口进行交互之前的时刻开始的,其中肯定动作包括用户对该接口的某部分的操作或者包括用户对接口的口语、视觉或姿势响应,概率评定至少部分地基于贝叶斯推理过程;
根据多个分布上的概率量测,选择和用户交互最有关的一个特定的帮助主题;并且
通过该输出部件向用户提供和一个帮助主题相关的预定帮助消息。
2.权利要求1的方法,其中概率评定进行步骤包括响应程序的当前上下文进行概率评定的步骤。
3.权利要求2的方法,其中上下文包括程序数据结构的当前状态。
4.权利要求3的方法,其中用户输入序列包括用户对接口中示出的由鼠标器控制的光标的操纵。
5.权利要求3的方法,其中视觉响应包括眼睛的注意力集中或者注视。
6.权利要求3的方法,其中姿势响应包括面部姿态。
7.权利要求3的方法,其中口语响应包括用户发出的语音或语调。
8.权利要求2的方法,其中概率评定进行步骤包括下述步骤:
判定用户需要帮助的概率超过某预先规定的阈值,从而确定自主帮助条件;以及
响应该自主帮助条件,在无须用户提示下,自主地向用户提供预先规定的帮助消息,从而提供自主帮助。
9.权利要求8的方法在向用户提供所述自主帮助的同时,若由预置的公用程序定义的信息的期待值超过与从用户得到的信息的相关的当前价值,还包括从用户获取信息的步骤。
10.权利要求2的方法,其中为了用于后继的推理分析,所述概率评定进行步骤包括:基于当前用户交互后已经过的时间间隔,修改下个相继用户交互的概率评定中所使用的概率量测的步骤。
11.权利要求2的方法,其中概率评定进行步骤包括通过贝叶斯分析进行概率评定的步骤。
12.权利要求11的方法,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
13.权利要求2的方法,其中帮助消息提供步骤包括在输出部件上生成一个友好用户接口,通过该接口用户可和用户帮助工具程序交互。
14.权利要求13的方法,其中友好用户接口包括一个动画字符。
15.权利要求2的方法,其中概率评定进行步骤包括步骤:
进行语言成分的第一概率评定,以产生第一概率分布并产生和帮助主题中的一些主题对应的第一集;
独立于第一概率评定,在连带当前上下文下进行非语言成分的第二概率评定,以产生第二概率分布并产生和帮助主题中的一些主题对应的第二集;以及
第一概率分布和第二概率分布形成多个概率量测。
16.权利要求15的方法,还包括选择步骤,以从帮助主题的第一集和第二集中把具有最大对应概率值的主题选择为和用户交互最有关的一个特定帮助主题。
17.权利要求16的方法,其中概率评定进行步骤还包括步骤:
分别通过预先规定的第一和第二数值加权,对与帮助主题的第一集和第二集中包括的每个帮助主题相关的各个概率量测进行加权,从而产生加权后的概率量测的第一集和第二集,其中第一加权和第二加权的数值值不同;以及
把加权后的概率量测的第一集和第二集中带有最大值的帮助主题选择成一个特定的帮助主题。
18.权利要求15的方法,其中上下文包括程序数据结构的当前状态。
19.权利要求18的方法,其中用户输入序列包括用户对接口中示出的由鼠标器控制的光标的操纵。
20.权利要求16的方法,其中视觉响应包括眼睛的注意力集中或者注视。
21.权利要求16的方法,其中姿势响应包括面部姿态。
22.权利要求16的方法,其中口语响应包括用户发出的语音或语调。
23.权利要求16的方法,还包括通过贝叶斯分析进行第一和第二概率评定的步骤。
24.权利要求23的方法,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
25.权利要求15的方法,其中帮助消息提供步骤包括在输出部件上生成一个友好用户接口的步骤,通过该接口用户可和用户帮助工具程序交互。
26.权利要求25的方法,其中友好用户接口包括一个动画字符。
27.权利要求2的方法,其中概率评定进行步骤包括下述步骤:
监视用户对接口的活动,从而生成原子用户事件流,其中每个这种原子用户事件代表一个独立的和不同的用户事件,所述用户动作构成事件族中的任一动作,该事件族包括:
对接口某部分的一次独立的非语言的操纵;
对接口的口语、视觉或姿势响应;或者
通过接口输入作为自由文本询问的一部分的所述一个单词;
通过一个事件处理机并且根据原子事件以及各次原子事件的出现时间,生成模型化事件系列,其中每一个模型化事件依据一个预定的合成规则表示出现一个带有至少一个原子事件的相应预先规定集;
通过一个推理系统并根据各个模型化事件及当前上下文,推导多个所述帮助主题上的概率分布,从而产生用于多个帮助主题的多个概率量测。
28.权利要求27的方法,其中计算机还包括存储器中存储的用户概要,用户概要存储用于指示用户能力的一些预先规定的模型化事件,其中概率评定进行步骤包括步骤:若一个模型化事件是一个预先规定的事件,把该模型化事件存储到用户概要中;并且其中概率分布推导步骤还响应用户概要,以便推导多个所述帮助主题上的概率分布。
29.权利要求28的方法,其中概率分布推导步骤还包括步骤:还响应目前呈现给用户的帮助主题的历史,推导多个所述帮助主题上的概率分布。
30.权利要求29的方法,其中概率分布推导步骤还包括步骤:若对用户不存在用户概要或所述帮助主题历史,则通过推理系统,响应用户人工地向接口提供的用于代替用户概要和代替帮助主题历史的权限信息,推导多个所述帮助主题上的概率分布。
31.权利要求27的方法,其中概率分布推导步骤包括下述步骤:
通过推理系统判定用户需要帮助的概率超过预先规定的阈值,从而确定自主帮助条件;以及
响应该自主帮助条件,在无须用户提示下,自主地向用户提供预先确定的帮助消息,从而提供自主帮助。
32.权利要求31的方法,在向用户提供所述自主帮助的同时,若由预置公用程序定义的信息期待值超过与从用户得到的信息相关的当前价值,还包括从用户获取信息的步骤。
33.权利要求27的方法,其中为了用于后继的推理分析,所述概率分布推导步骤包括步骤:基于出现构成所述一个模型化事件的一些原子事件后已经过的时间间隔,修改作为出现该所述一个模型化事件的结果而生成的概率量测。
34.权利要求27的方法,其中概率分布推导步骤包括通过贝叶斯分析进行第一和第二概率评定的步骤。
35.权利要求34的方法,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
36.权利要求27的方法,其中帮助消息提供步骤包括在输出部件上生成一个友好用户接口,通过该接口用户可和用户帮助工具程序交互。
37.权利要求36的方法,其中友好用户接口包括一个动画字符。
38.权利要求27的方法,其中概率分布推导步骤包括下述步骤:
对当前上下文和第一组所述模型化事件进行第一推理分析,以产生第一概率分布并产生和帮助主题中的一些主题对应的第一集,所述第一组的所述模型化事件是由和对接口的某部分的独立非语言操纵对应的或者和对接口的口语、视觉或姿势响应对应的用户动作造成的;
独立于第一推理分析,对第二组模型化事件进行第二推理分析,以产生第二概率分布并产生和帮助主题中的一些主题对应的第二集,所述第二组的模型化事件是由和输入作为自由文本询问的一部分的所述单词相对应的用户动作造成的;以及
第一概率分布和第二概率分布形成多个概率量测。
39.权利要求38的方法,还包括选择步骤,以从帮助主题的第一集和第二集中把具有最大概率值的主题选择为和用户交互最有关的一个特定帮助主题。
40.权利要求27的方法,其中计算机还包括存储器中存储的用户概要,用户概要存储用于指示用户权限的一些预先规定的模型化事件,其中概率分布推导步骤包括步骤:若一个模型化事件是一个预先规定的事件,把该模型化事件存储到用户概要中;并且其中概率分布推导步骤还响应用户概要,以便推导多个所述帮助主题上的概率分布。
41.权利要求40的方法,其中概率分布推导步骤包括步骤:还响应目前呈现给用户的帮助主题的历史,推导多个所述帮助主题上的概率分布。
42.权利要求41的方法,其中概率分布推导步骤包括步骤:若对用户不存在用户概要或所述帮助主题历史,则通过推理系统,响应用户人工地向接口提供的用于代替用户概要和代替帮助主题历史的权限信息,推导多个所述帮助主题上的概率分布。
43.权利要求27的方法,其中概率分布推导步骤包括下述步骤:
通过推理系统判定用户需要帮助的概率超过预先规定的阈值,从而确定自主帮助条件;以及
响应该自主帮助条件,在无须用户提示下,自主地向用户提供预先确定的帮助消息,从而提供自主帮助。
44.权利要求43的方法,在向用户提供所述自主帮助的同时,若由预置公用程序定义的信息期待值超过与从用户得到的信息相关的当前价值,还包括从用户获取信息的步骤。
45.权利要求27的方法,其中为了用于后继的推理分析,所述概率分布推导步骤包括步骤:基于出现构成所述一个模型化事件的一些原子事件后已经过的时间间隔,修改作为出现该所述一个模型化事件的结果而生成的概率量测。
46.权利要求27的方法,其中概率分布推导步骤包括通过贝叶斯分析进行第一和第二概率评定的步骤。
47.权利要求46的方法,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
48.权利要求39的方法,其中概率分布推导步骤包括下述步骤:
分别通过预先规定的第一和第二数值加权,对与帮助主题的第一集和第二集中包括的每个帮助主题相关的各个概率量测进行加权,从而产生加权后的概率量测的第一集和第二集,其中第一加权和第二加权的数值值不同。
49.权利要求39的方法,其中上下文包括程序数据结构的当前状态。
50.权利要求49的方法,其中用户输入序列包括用户对接口中示出的由鼠标器控制的光标的操纵。
51.权利要求39的方法,其中视觉响应包括眼睛的注意力集中或者注视。
52.权利要求39的方法,其中姿势响应包括面部姿态。
53.权利要求39的方法,其中口语响应包括用户发出的语音或语调。
54.权利要求39的方法,其中概率分布推导步骤包括通过贝叶斯分析进行第一和第二概率评定的步骤。
55.权利要求54的方法,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
56.权利要求27的方法,其中帮助消息提供步骤包括在输出部件上生成一个友好用户接口的步骤,通过该接口用户可和用户帮助工具程序交互。
57.权利要求56的方法,其中友好用户接口包括一个动画字符。
58.权利要求2的方法,其中计算机还包括一个用于识别用户和接口交互期间所提供的口语响应的语音识别器,该语音识别器具有语言模型,语言模型含有集合地把当前用户需求交换成发生用户要给出某些给定词或语调的对应概率的多个条目,并且该语音识别器响应语言模型调整其操作,其中该方法还包括根据用户交互的概率评定修改语言模型中所述各给定词或语调的出现概率的步骤,从而在用户的给定需求下提高那些更有可能出现的口语响应的出现概率,同时,在用户的给定需求下降低那些较少可能出现的口语响应的出现概率。
59.权利要求58的方法还包括根据程序的当前上下文修改语言模型中的出现概率的步骤。
60.在计算机中,一种用于提供和该计算机中执行的程序一起使用的用户帮助工具程序的设备,该计算机还包括一个输出部件以向用户提供可和该程序交互的用户接口,该设备包括:
一个处理机;以及
一个和该处理机连接并在其中存储着计算机可执行指令的存储器;并且
该处理器包括一个智能用户辅助设备控制器和一个推理系统,其中该智能用户辅助设备控制器启动该推理系统,该推理系统进行当前用户和该接口的交互的概率评定,以产生多个不同的可使用的帮助主题的数值概率分布,从而为每个所述帮助主题生成独立的概率量测,该交互表明用户意图通过该程序完成某特定任务,从而所定义的多个独立概率量测中的每个量测表示在给定动作下用户为完成该任务是否会需要这些主题中的相关的一个的特定信息的概率,其中该交互既具有语言成分又具有非语言成分,语言成分由用户通过接口输入的至少一个单词,例如自由文本询问,构成,而非语言成分由用户利用该接口的肯定动作或在预定时间间隔内不存在所述肯定动作构成,该预定时间间隔是从用户刚使用该接口进行交互之前的时刻开始的,其中肯定动作包括用户对该接口的某部分的操作或者包括用户对接口的口语、视觉或姿势响应,概率评定至少部分地基于贝叶斯推理过程;
根据多个分布上的概率量测,选择和用户交互最有关的一个特定的帮助主题;并且
通过该输出部件向用户提供和一个帮助主题相关的预定帮助消息。
61.权利要求60的设备,其中处理机响应存储的指令根据程序的当前上下文进行概率评定。
62.权利要求61的设备,其中上下文包括程序数据结构的当前状态。
63.权利要求62的设备,其中用户输入序列包括用户对接口中示出的由鼠标器控制的光标的操纵。
64.权利要求62的设备,其中视觉响应包括眼睛的注意力集中或者注视。
65.权利要求62的设备,其中姿势响应包括面部姿态。
66.权利要求62的设备,其中口语响应包括用户发出的语音或语调。
67.权利要求61的设备,其中处理机响应所存储的指令:
判定用户需要帮助的概率超过某预先规定的阈值,从而确定自主帮助条件;以及
响应该自主帮助条件,在无须用户提示下,自主地向用户提供预先规定的帮助消息,从而提供自主帮助。
68.权利要求67的设备,其中,在响应所存储的指令并向用户提供所述自主帮助下,若由预置的公用程序定义的信息的期待值超过与从用户得到的信息的相关的当前价值,处理机从用户获取信息。
69.权利要求61的设备,其中响应所存储的指令,为了用于后继的推理分析,处理机基于当前用户交互后已经经过的时间间隔修改下个相继用户交互的概率评定中所使用的概率量测。
70.权利要求61的设备,其中处理机响应所存储的指令通过贝叶斯分析进行概率评定。
71.权利要求70的设备,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
72.权利要求61的设备,其中响应所存储的指令,处理机在输出部件上生成一个友好用户接口,通过该接口用户可和用户帮助工具程序交互。
73.权利要求72的设备,其中友好用户接口包括一个动画字符。
74.权利要求61的设备,其中处理机响应所存储的指令:
进行语言成分的第一概率评定,以产生第一概率分布并产生和帮助主题中的一些主题对应的第一集;
独立于第一概率评定,在连带当前上下文下进行非语言成分的第二概率评定,以产生第二概率分布并产生和帮助主题中的一些主题对应的第二集;以及
第一概率分布和第二概率分布形成多个概率量测。
75.权利要求74的设备,其中处理机响应所存储的指令并通过选择操作,从帮助主题的第一集和第二集中把具有最大对应概率值的主题选择为和用户交互最有关的一个特定帮助主题。
76.权利要求75的设备,其中处理机响应所存储的指令:
分别通过预先规定的第一和第二数值加权,对与帮助主题的第一集和第二集中包括的每个帮助主题相关的各个概率量测进行加权,从而产生加权后的概率量测的第一集和第二集,其中第一加权和第二加权的数值值不同;以及
把加权后的概率量测的第一集和第二集中带有最大值的帮助主题选择成一个特定的帮助主题。
77.权利要求74的设备,其中上下文包括程序数据结构的当前状态。
78.权利要求77的设备,其中用户输入序列包括用户对接口中示出的由鼠标器控制的光标的操纵。
79.权利要求75的设备,其中视觉响应包括眼睛的注意力集中或者注视。
80.权利要求75的设备,其中姿势响应包括面部姿态。
81.权利要求75的设备,其中口语响应包括用户发出的语音或语调。
82.权利要求75的设备,其中处理机响应所存储的指令通过贝叶斯分析进行第一和第二概率评定。
83.权利要求82的设备,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
84.权利要求75的设备,其中响应所存储的指令,处理机在输出部件上生成一个友好用户接口,通过该接口用户可和用户帮助工具程序交互。
85.权利要求84的设备,其中友好用户接口包括一个动画字符。
86.权利要求61的设备,其中处理机响应所存储的指令:
监视用户对接口的活动,从而生成原子用户事件流,其中每个这种原子用户事件代表一个独立的和不同的用户事件,所述用户动作构成事件族中的任一动作,该事件族包括:
对接口某部分的一次独立的非语言的操纵;
对接口的口语、视觉或姿势响应;或者
通过接口输入作为自由文本询问的一部分的所述一个单词;
通过一个事件处理机并且根据原子事件以及各次原子事件的出现时间,生成模型化事件系列,其中每一个模型化事件依据一个预定的合成规则表示出现一个带有至少一个原子事件的相应预先规定集;
通过一个推理系统并根据各个模型化事件及当前上下文,推导多个所述帮助主题上的概率分布,从而产生用于多个帮助主题的多个概率量测;。
87.权利要求86的设备,其中设备还包括存储器中存储的用户概要,用户概要存储用于指示用户权限的一些预先规定的模型化事件,其中处理机响应所存储的指令,
若一个模型化事件是一个预先规定的事件,把该模型化事件存储到用户概要中;并且
通过推理系统并且进而响应用户概要,推导多个所述帮助主题上的概率分布。
88.权利要求87的设备,其中推理系统响应所存储的指令,还根据目前呈现给用户的帮助主题的历史,推导多个所述帮助主题上的概率分布。
89.权利要求88的设备,其中响应所存储的指令并且若对用户不存在用户概要或所述帮助主题历史,处理机根据用户人工地向接口提供的用于代替用户概要和代替帮助主题历史的权限信息,推导多个所述帮助主题上的概率分布。
90.权利要求86的设备,其中处理机响应所存储的指令:
通过推理系统判定用户需要帮助的概率超过预先规定的阈值,从而确定自主帮助条件;以及
响应该自主帮助条件,在无须用户提示下,自主地向用户提供预先规定的帮助消息,从而提供自主帮助。
91.权利要求90的设备,其中响应所存储的指令并在向用户提供所述自主帮助下,若由预置公用程序定义的信息期待值超过与从用户得到的信息相关的当前价值,处理机从用户获取信息。
92.权利要求91的设备,其中响应所存储的指令,为了用于后继的推理分析,处理机基于当前当用户交互后已经经过的时间间隔修改下个相继用户交互的概率评定中所使用的概率量测。
93.权利要求86的设备,其中处理机响应所存储的指令通过贝叶斯分析进行第一和第二概率评定。
94.权利要求93的设备,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
95.权利要求86的设备,其中响应所存储的指令,处理机在输出部件上生成一个社会用户接口,通过该接口用户可和用户帮助工具程序交互。
96.权利要求95的设备,其中社会用户接口包括一个动画字符。
97.权利要求86的设备,其中处理机响应所存储的指令并且通过推导操作:
对当前上下文和第一组所述模型化事件进行第一推理分析,以产生第一概率分布并产生和帮助主题中的一些主题对应的第一集,所述第一组的所述模型化事件是由和对接口的某部分的独立非语言操纵对应的或者和对接口的口语、视觉或姿势响应对应的用户动作造成的;
独立于第一推理分析,对第二组模型化事件进行第二推理分析,以产生第二概率分布并产生和帮助主题中的一些主题对应的第二集,所述第二组的模型化事件是由和输入作为自由文本询问的一部分的所述单词对应的用户动作造成的,以及
第一概率分布和第二概率分布形成多个概率量测。
98.权利要求97的设备,其中响应所存储的指令并且通过选择操作,处理机从帮助主题的第一集和第二集中把具有最大概率值的主题选择为和用户交互最有关的一个特定帮助主题。
99.权利要求86的设备,其中设备还包括存储器中存储的用户概要,用户概要存储用于指示用户权限的一些预先规定的模型化事件,其中处理机响应所存储的指令,
若一个模型化事件是一个预先规定的事件,把该模型化事件存储到用户概要中;并且
通过推理系统并且进而响应用户概要,推导多个所述帮助主题上的概率分布。
100.权利要求99的设备,其中推理系统响应所存储的指令,还根据目前呈现给用户的帮助主题的历史,推导多个所述帮助主题上的概率分布。
101.权利要求100的设备,其中响应所存储的指令并且若对用户不存在用户概要或所述帮助主题历史,处理机根据用户人工地向接口提供的用于代替用户概要和代替帮助主题历史的权限信息,推导多个所述帮助主题上的概率分布。
102.权利要求86的设备,其中处理机响应所存储的指令:
通过推理系统判定用户需要帮助的概率超过预先规定的阈值,从而确定自主帮助条件;以及
响应该自主帮助条件,在无须用户提示下,自主地向用户提供预先规定的帮助消息,从而提供自主帮助。
103.权利要求102的设备,其中响应所存储的指令并在向用户提供所述自主帮助下,若由预置公用程序定义的信息期待值超过与从用户得到的信息相关的当前价值,处理机从用户获取信息。
104.权利要求86的设备,其中响应所存储的指令,为了用于后继的推理分析,处理机基于当前用户交互后已经经过的时间间隔修改下个相继用户交互的概率评定中所使用的概率量测。
105.权利要求86的设备,其中处理机响应所存储的指令通过贝叶斯分析进行第一和第二概率评定。
106.权利要求105的设备,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
107.权利要求98的设备,其中处理机响应所存储的指令:
分别通过预先规定的第一和第二数值加权,对与帮助主题的第一集和第二集中包括的每个帮助主题相关的各个概率量测进行加权,从而产生加权后的概率量测的第一集和第二集,其中第一加权和第二加权的数值值不同。
108.权利要求98的设备,其中上下文包括程序数据结构的状态,并且非语言成分包括用户的输入所提供的对接口各部分的一序列操纵。
109.权利要求108的设备,其中用户输入序列包括用户对接口中示出的由鼠标器控制的光标的操纵。
110.权利要求98的设备,其中视觉响应包括眼睛的注意力集中或者注视。
111.权利要求98的设备,其中姿势响应包括面部姿态。
112.权利要求98的设备,其中口语响应应包括用户发出的语音或语调。
113.权利要求98的设备,其中处理机响应所存储的指令通过贝叶斯分析进行第一和第二概率评定。
114.权利要求103的设备,其中贝叶斯分析包括贝叶斯网络或贝叶斯影响图。
115.权利要求98的设备,其中处理机响应存储的指令在输出部件上生成一个友好用户接口,通过该接口用户可和用户帮助工具程序交互。
116.权利要求115的设备,其中友好用户接口包括一个动画字符。
117.权利要求61的设备,其中还包括一个用于识别用户和接口交互期间所提供的口语响应的语音识别器,该语音识别器具有语言模型,语言模型含有集合地把当前用户需求交换成发生用户要给出某些给定词或语调的对应概率的多个条目,并且该语音识别器响应语言模型调整其操作,并且处理机还响应存储的指令根据用户交互的概率评定修改语言模型中所述各给定词或语调的出现概率,从而在用户的给定需求下提高那些更有可能出现的口语响应的出现概率,同时,在用户的给定需求下降低那些较少可能出现的口语响应的出现概率。
118.权利要求117的设备,其中处理机响应存储的指令根据程序的当前上下文修改语言模型中的出现概率。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/684,003 US6021403A (en) | 1996-07-19 | 1996-07-19 | Intelligent user assistance facility |
US08/684,003 | 1996-07-19 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2004100749685A Division CN1632749A (zh) | 1996-07-19 | 1997-07-02 | 构建智能用户辅助设备的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1231742A CN1231742A (zh) | 1999-10-13 |
CN1280715C true CN1280715C (zh) | 2006-10-18 |
Family
ID=24746328
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2004100749685A Pending CN1632749A (zh) | 1996-07-19 | 1997-07-02 | 构建智能用户辅助设备的方法 |
CNB97196520XA Expired - Lifetime CN1280715C (zh) | 1996-07-19 | 1997-07-02 | 构建智能用户辅助设备的方法和设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2004100749685A Pending CN1632749A (zh) | 1996-07-19 | 1997-07-02 | 构建智能用户辅助设备的方法 |
Country Status (7)
Country | Link |
---|---|
US (4) | US6021403A (zh) |
EP (2) | EP1742174A2 (zh) |
JP (3) | JP4676037B2 (zh) |
CN (2) | CN1632749A (zh) |
CA (1) | CA2210601C (zh) |
DE (1) | DE69736552T2 (zh) |
WO (1) | WO1998003907A2 (zh) |
Families Citing this family (786)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE47908E1 (en) | 1991-12-23 | 2020-03-17 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
US6418424B1 (en) | 1991-12-23 | 2002-07-09 | Steven M. Hoffberg | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
USRE48056E1 (en) | 1991-12-23 | 2020-06-16 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
USRE46310E1 (en) | 1991-12-23 | 2017-02-14 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
US5822720A (en) | 1994-02-16 | 1998-10-13 | Sentius Corporation | System amd method for linking streams of multimedia data for reference material for display |
US6434530B1 (en) * | 1996-05-30 | 2002-08-13 | Retail Multimedia Corporation | Interactive shopping system with mobile apparatus |
US7263659B2 (en) | 1998-09-09 | 2007-08-28 | Ricoh Company, Ltd. | Paper-based interface for multimedia information |
US20080028292A1 (en) * | 1997-12-22 | 2008-01-31 | Ricoh Company, Ltd. | Techniques to facilitate reading of a document |
US7954056B2 (en) | 1997-12-22 | 2011-05-31 | Ricoh Company, Ltd. | Television-based visualization and navigation interface |
US7257589B1 (en) | 1997-12-22 | 2007-08-14 | Ricoh Company, Ltd. | Techniques for targeting information to users |
US7596755B2 (en) | 1997-12-22 | 2009-09-29 | Ricoh Company, Ltd. | Multimedia visualization and integration environment |
US7124093B1 (en) | 1997-12-22 | 2006-10-17 | Ricoh Company, Ltd. | Method, system and computer code for content based web advertising |
JP4183311B2 (ja) * | 1997-12-22 | 2008-11-19 | 株式会社リコー | 文書の注釈方法、注釈装置および記録媒体 |
JP3079079B2 (ja) * | 1998-01-07 | 2000-08-21 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | 画面表示装置及び画面表示制御方法 |
GB9800590D0 (en) * | 1998-01-13 | 1998-03-11 | Bae Sema Ltd | Intelligent human computer interface system |
EP1052580A4 (en) * | 1998-02-05 | 2005-11-02 | Fujitsu Ltd | DEVICE PROVIDING ACTIONS TO BE UNDERTAKEN |
US6151585A (en) * | 1998-04-24 | 2000-11-21 | Microsoft Corporation | Methods and apparatus for determining or inferring influential rumormongers from resource usage data |
US6199061B1 (en) * | 1998-06-17 | 2001-03-06 | Microsoft Corporation | Method and apparatus for providing dynamic help topic titles to a user |
US6256633B1 (en) * | 1998-06-25 | 2001-07-03 | U.S. Philips Corporation | Context-based and user-profile driven information retrieval |
US6307544B1 (en) * | 1998-07-23 | 2001-10-23 | International Business Machines Corporation | Method and apparatus for delivering a dynamic context sensitive integrated user assistance solution |
US6405188B1 (en) * | 1998-07-31 | 2002-06-11 | Genuity Inc. | Information retrieval system |
DE69906540T2 (de) * | 1998-08-05 | 2004-02-19 | British Telecommunications P.L.C. | Multimodale benutzerschnittstelle |
IL125684A0 (en) * | 1998-08-06 | 1999-04-11 | Univ Ben Gurion | Method for computer operation by an intelligent user adaptive interface |
NO984066L (no) * | 1998-09-03 | 2000-03-06 | Arendi As | Funksjonsknapp for datamaskin |
US7496854B2 (en) | 1998-11-10 | 2009-02-24 | Arendi Holding Limited | Method, system and computer readable medium for addressing handling from a computer program |
US7272604B1 (en) | 1999-09-03 | 2007-09-18 | Atle Hedloy | Method, system and computer readable medium for addressing handling from an operating system |
US7263671B2 (en) * | 1998-09-09 | 2007-08-28 | Ricoh Company, Ltd. | Techniques for annotating multimedia information |
US6369811B1 (en) | 1998-09-09 | 2002-04-09 | Ricoh Company Limited | Automatic adaptive document help for paper documents |
US6582475B2 (en) | 1998-09-09 | 2003-06-24 | Ricoh Company Limited | Automatic adaptive document printing help system |
US7215436B2 (en) * | 1998-09-09 | 2007-05-08 | Ricoh Company, Ltd. | Device for generating a multimedia paper document |
US7266782B2 (en) * | 1998-09-09 | 2007-09-04 | Ricoh Company, Ltd. | Techniques for generating a coversheet for a paper-based interface for multimedia information |
JP2000146629A (ja) * | 1998-09-23 | 2000-05-26 | Agilent Technol Inc | 測定装置用ヘルプ画面情報表示装置 |
WO2000022549A1 (en) * | 1998-10-09 | 2000-04-20 | Koninklijke Philips Electronics N.V. | Automatic inquiry method and system |
US8121891B2 (en) | 1998-11-12 | 2012-02-21 | Accenture Global Services Gmbh | Personalized product report |
US6446076B1 (en) | 1998-11-12 | 2002-09-03 | Accenture Llp. | Voice interactive web-based agent system responsive to a user location for prioritizing and formatting information |
US6845370B2 (en) | 1998-11-12 | 2005-01-18 | Accenture Llp | Advanced information gathering for targeted activities |
US6320623B1 (en) * | 1998-11-13 | 2001-11-20 | Philips Electronics North America Corporation | Method and device for detecting an event in a program of a video and/ or audio signal and for providing the program to a display upon detection of the event |
AU1730200A (en) * | 1998-11-19 | 2000-06-13 | Andersen Consulting Llp | A system, method and article of manufacture for effectively interacting with a network user |
US6195651B1 (en) | 1998-11-19 | 2001-02-27 | Andersen Consulting Properties Bv | System, method and article of manufacture for a tuned user application experience |
WO2000031671A1 (en) * | 1998-11-19 | 2000-06-02 | Accenture Llp | Collection and analysis of user profile information |
US20030187925A1 (en) * | 1998-12-08 | 2003-10-02 | Inala Suman Kumar | Software engine for enabling proxy chat-room interaction |
US6236989B1 (en) * | 1998-12-11 | 2001-05-22 | International Business Machines Corporation | Network-based help architecture |
US6747675B1 (en) * | 1998-12-18 | 2004-06-08 | Tangis Corporation | Mediating conflicts in computer user's context data |
US6018730A (en) * | 1998-12-22 | 2000-01-25 | Ac Properties B.V. | System, method and article of manufacture for a simulation engine with a help website and processing engine |
FR2788615B1 (fr) * | 1999-01-18 | 2001-02-16 | Thomson Multimedia Sa | Appareil comportant une interface utilisateur vocale ou manuelle et procede d'aide a l'apprentissage des commandes vocales d'un tel appareil |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US6310633B1 (en) | 1999-03-23 | 2001-10-30 | Ricoh Company Limited | Method and system for organizing document information |
US6741995B1 (en) * | 1999-03-23 | 2004-05-25 | Metaedge Corporation | Method for dynamically creating a profile |
US7107253B1 (en) * | 1999-04-05 | 2006-09-12 | American Board Of Family Practice, Inc. | Computer architecture and process of patient generation, evolution and simulation for computer based testing system using bayesian networks as a scripting language |
US6999955B1 (en) * | 1999-04-20 | 2006-02-14 | Microsoft Corporation | Systems and methods for estimating and integrating measures of human cognitive load into the behavior of computational applications and services |
US6581050B1 (en) * | 1999-04-20 | 2003-06-17 | Microsoft Corporation | Learning by observing a user's activity for enhancing the provision of automated services |
US6340977B1 (en) * | 1999-05-07 | 2002-01-22 | Philip Lui | System and method for dynamic assistance in software applications using behavior and host application models |
US6434527B1 (en) * | 1999-05-17 | 2002-08-13 | Microsoft Corporation | Signalling and controlling the status of an automatic speech recognition system for use in handsfree conversational dialogue |
US6671661B1 (en) * | 1999-05-19 | 2003-12-30 | Microsoft Corporation | Bayesian principal component analysis |
US6633852B1 (en) * | 1999-05-21 | 2003-10-14 | Microsoft Corporation | Preference-based catalog browser that utilizes a belief network |
US6606613B1 (en) * | 1999-06-03 | 2003-08-12 | Microsoft Corporation | Methods and apparatus for using task models to help computer users complete tasks |
US6421655B1 (en) * | 1999-06-04 | 2002-07-16 | Microsoft Corporation | Computer-based representations and reasoning methods for engaging users in goal-oriented conversations |
US6415274B1 (en) * | 1999-06-24 | 2002-07-02 | Sandia Corporation | Alpha-beta coordination method for collective search |
US6647534B1 (en) | 1999-06-30 | 2003-11-11 | Ricoh Company Limited | Method and system for organizing document information in a non-directed arrangement of documents |
US7228492B1 (en) * | 1999-07-06 | 2007-06-05 | Ricoh Company, Ltd. | 2D graph displaying document locations of user-specified concept of interest |
AU763131B2 (en) * | 1999-07-09 | 2003-07-17 | Acularo Pty Ltd | Methods of organising information |
US7194681B1 (en) * | 1999-07-30 | 2007-03-20 | Microsoft Corporation | Method for automatically assigning priorities to documents and messages |
US6618716B1 (en) * | 1999-07-30 | 2003-09-09 | Microsoft Corporation | Computational architecture for managing the transmittal and rendering of information, alerts, and notifications |
US6622160B1 (en) * | 1999-07-30 | 2003-09-16 | Microsoft Corporation | Methods for routing items for communications based on a measure of criticality |
US7120865B1 (en) | 1999-07-30 | 2006-10-10 | Microsoft Corporation | Methods for display, notification, and interaction with prioritized messages |
US6714967B1 (en) * | 1999-07-30 | 2004-03-30 | Microsoft Corporation | Integration of a computer-based message priority system with mobile electronic devices |
US7007240B1 (en) * | 1999-08-03 | 2006-02-28 | Gateway Inc. | Method and system for displaying non-overlapping program and auxiliary windows |
JP2001056889A (ja) * | 1999-08-19 | 2001-02-27 | Konica Corp | 機器の警告情報制御方法及び当該機能を有する機器 |
US6499024B1 (en) * | 1999-08-24 | 2002-12-24 | Stream International, Inc. | Method and system for development of a knowledge base system |
US6556960B1 (en) * | 1999-09-01 | 2003-04-29 | Microsoft Corporation | Variational inference engine for probabilistic graphical models |
WO2001027849A2 (en) * | 1999-10-13 | 2001-04-19 | Troba, Inc. | Electronic shopping management: task models |
US20080221927A1 (en) * | 1999-10-29 | 2008-09-11 | Victor Levy | Web-Enabled, Evidence Based Medical Diagnostic System |
EP1234251B1 (en) | 1999-11-03 | 2011-04-06 | Sublinks ApS | Method, system, and computer readable medium for managing resource links |
US6526395B1 (en) * | 1999-12-31 | 2003-02-25 | Intel Corporation | Application of personality models and interaction with synthetic characters in a computing system |
US7099855B1 (en) | 2000-01-13 | 2006-08-29 | International Business Machines Corporation | System and method for electronic communication management |
US6513026B1 (en) | 2000-06-17 | 2003-01-28 | Microsoft Corporation | Decision theoretic principles and policies for notification |
US6847924B1 (en) * | 2000-06-19 | 2005-01-25 | Ncr Corporation | Method and system for aggregating data distribution models |
US7634528B2 (en) * | 2000-03-16 | 2009-12-15 | Microsoft Corporation | Harnessing information about the timing of a user's client-server interactions to enhance messaging and collaboration services |
US7249159B1 (en) | 2000-03-16 | 2007-07-24 | Microsoft Corporation | Notification platform architecture |
US7743340B2 (en) * | 2000-03-16 | 2010-06-22 | Microsoft Corporation | Positioning and rendering notification heralds based on user's focus of attention and activity |
US8701027B2 (en) * | 2000-03-16 | 2014-04-15 | Microsoft Corporation | Scope user interface for displaying the priorities and properties of multiple informational items |
US8024415B2 (en) * | 2001-03-16 | 2011-09-20 | Microsoft Corporation | Priorities generation and management |
US6601012B1 (en) | 2000-03-16 | 2003-07-29 | Microsoft Corporation | Contextual models and methods for inferring attention and location |
US20020087649A1 (en) * | 2000-03-16 | 2002-07-04 | Horvitz Eric J. | Bounded-deferral policies for reducing the disruptiveness of notifications |
US7444383B2 (en) | 2000-06-17 | 2008-10-28 | Microsoft Corporation | Bounded-deferral policies for guiding the timing of alerting, interaction and communications using local sensory information |
US7243130B2 (en) * | 2000-03-16 | 2007-07-10 | Microsoft Corporation | Notification platform architecture |
US7181693B1 (en) * | 2000-03-17 | 2007-02-20 | Gateway Inc. | Affective control of information systems |
WO2001071695A1 (en) * | 2000-03-22 | 2001-09-27 | Virtual Gold, Inc. | Data-driven self-training system and technique |
US6427146B1 (en) * | 2000-03-31 | 2002-07-30 | Wesley W. Chu | Database event detection and notification system using type abstraction hierarchy (TAH) |
US6671802B1 (en) * | 2000-04-13 | 2003-12-30 | Hewlett-Packard Development Company, L.P. | Performance optimization of computer system by dynamically and immediately updating a configuration setting based on detected change in preferred use |
US7730072B2 (en) * | 2000-04-14 | 2010-06-01 | Rightnow Technologies, Inc. | Automated adaptive classification system for knowledge networks |
US6704728B1 (en) | 2000-05-02 | 2004-03-09 | Iphase.Com, Inc. | Accessing information from a collection of data |
US8478732B1 (en) | 2000-05-02 | 2013-07-02 | International Business Machines Corporation | Database aliasing in information access system |
US6938024B1 (en) | 2000-05-04 | 2005-08-30 | Microsoft Corporation | Transmitting information given constrained resources |
US6883019B1 (en) * | 2000-05-08 | 2005-04-19 | Intel Corporation | Providing information to a communications device |
WO2001088662A2 (en) * | 2000-05-17 | 2001-11-22 | Answerfriend.Com | Answering natural language queries |
US6957213B1 (en) | 2000-05-17 | 2005-10-18 | Inquira, Inc. | Method of utilizing implicit references to answer a query |
US7062475B1 (en) * | 2000-05-30 | 2006-06-13 | Alberti Anemometer Llc | Personalized multi-service computer environment |
US6684202B1 (en) * | 2000-05-31 | 2004-01-27 | Lexis Nexis | Computer-based system and method for finding rules of law in text |
US8086672B2 (en) * | 2000-06-17 | 2011-12-27 | Microsoft Corporation | When-free messaging |
US9699129B1 (en) | 2000-06-21 | 2017-07-04 | International Business Machines Corporation | System and method for increasing email productivity |
US6948135B1 (en) * | 2000-06-21 | 2005-09-20 | Microsoft Corporation | Method and systems of providing information to computer users |
US6408277B1 (en) * | 2000-06-21 | 2002-06-18 | Banter Limited | System and method for automatic task prioritization |
US7000230B1 (en) * | 2000-06-21 | 2006-02-14 | Microsoft Corporation | Network-based software extensions |
US7191394B1 (en) * | 2000-06-21 | 2007-03-13 | Microsoft Corporation | Authoring arbitrary XML documents using DHTML and XSLT |
US6883168B1 (en) * | 2000-06-21 | 2005-04-19 | Microsoft Corporation | Methods, systems, architectures and data structures for delivering software via a network |
US7346848B1 (en) * | 2000-06-21 | 2008-03-18 | Microsoft Corporation | Single window navigation methods and systems |
US7155667B1 (en) * | 2000-06-21 | 2006-12-26 | Microsoft Corporation | User interface for integrated spreadsheets and word processing tables |
US8290768B1 (en) | 2000-06-21 | 2012-10-16 | International Business Machines Corporation | System and method for determining a set of attributes based on content of communications |
EP1421479A2 (en) | 2000-06-22 | 2004-05-26 | Microsoft Corporation | Distributed computing services platform |
CN1300677C (zh) * | 2000-06-22 | 2007-02-14 | 微软公司 | 分布式计算服务平台 |
US7080321B2 (en) * | 2000-06-23 | 2006-07-18 | Aspect Software, Inc. | Dynamic help option for internet customers |
KR100433678B1 (ko) * | 2000-06-29 | 2004-05-31 | 주식회사 아이너스기술 | 이벤트 흐름 차트를 이용한 이산 이벤트 시스템의 모델링방법 |
DE10032225A1 (de) * | 2000-07-03 | 2002-01-17 | Pixfind Com Gmbh | Verfahren und Vorrichtung zur automatischen Suche relevanter Bilddatensätze |
US6788313B1 (en) | 2000-09-28 | 2004-09-07 | International Business Machines Corporation | Method and apparatus for providing on line help for custom application interfaces |
US20020091993A1 (en) * | 2000-09-29 | 2002-07-11 | International Business Machines Corporation | Contextual help information |
US6993528B1 (en) * | 2000-10-04 | 2006-01-31 | Microsoft Corporation | Methods and systems for allowing third party client applications to influence implementation of high-level document commands |
US8868448B2 (en) | 2000-10-26 | 2014-10-21 | Liveperson, Inc. | Systems and methods to facilitate selling of products and services |
US9819561B2 (en) | 2000-10-26 | 2017-11-14 | Liveperson, Inc. | System and methods for facilitating object assignments |
WO2002037228A2 (en) * | 2000-10-30 | 2002-05-10 | Harvard Business School Publishing | System and method for network-based personalized educational environment |
US7100115B1 (en) * | 2000-10-31 | 2006-08-29 | Sun Microsystems, Inc. | Method and apparatus for providing computer-based help |
US6691127B1 (en) * | 2000-11-09 | 2004-02-10 | General Electric Company | Storage and retrieval of process capability and guidance information, and computer media therefor |
US6941290B2 (en) * | 2000-11-10 | 2005-09-06 | Nec Laboratories America, Inc. | Method for computing all occurrences of a compound event from occurrences of primitive events |
FR2816728B1 (fr) * | 2000-11-14 | 2003-09-12 | Evidian | Outil d'assistance pour le parametrage de logiciels |
US6834120B1 (en) * | 2000-11-15 | 2004-12-21 | Sri International | Method and system for estimating the accuracy of inference algorithms using the self-consistency methodology |
US8751957B1 (en) * | 2000-11-22 | 2014-06-10 | Pace Micro Technology Plc | Method and apparatus for obtaining auditory and gestural feedback in a recommendation system |
US7844666B2 (en) * | 2000-12-12 | 2010-11-30 | Microsoft Corporation | Controls and displays for acquiring preferences, inspecting behavior, and guiding the learning and decision policies of an adaptive communications prioritization and routing system |
US7206997B2 (en) * | 2000-12-18 | 2007-04-17 | General Motors Corporation | Functional visualization of spreadsheets |
US6931644B2 (en) | 2000-12-21 | 2005-08-16 | International Business Machines Corporation | Hierarchical connected graph model for implementation of event management design |
JP2002197181A (ja) * | 2000-12-27 | 2002-07-12 | Sharp Corp | サービス管理方法およびサービス管理方法を実行するプログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
US7644057B2 (en) | 2001-01-03 | 2010-01-05 | International Business Machines Corporation | System and method for electronic communication management |
AUPR242801A0 (en) * | 2001-01-08 | 2001-02-01 | Telstra New Wave Pty Ltd | A contact centre management system |
US7366990B2 (en) * | 2001-01-19 | 2008-04-29 | C-Sam, Inc. | Method and system for managing user activities and information using a customized computer interface |
US7013297B2 (en) * | 2001-02-27 | 2006-03-14 | Microsoft Corporation | Expert system for generating user interfaces |
SE518484C2 (sv) * | 2001-02-27 | 2002-10-15 | Peder Holmbom | Apparat och förfarande för desinficering av vatten till för sjuk- eller tandvårdsändamål avsedda vattenförbrukningsenheter |
US7024662B2 (en) * | 2001-03-14 | 2006-04-04 | Microsoft Corporation | Executing dynamically assigned functions while providing services |
US7302634B2 (en) * | 2001-03-14 | 2007-11-27 | Microsoft Corporation | Schema-based services for identity-based data access |
US7376576B2 (en) * | 2001-03-16 | 2008-05-20 | Portblue Corporation | Decision making and implementation system |
US20020178440A1 (en) * | 2001-03-28 | 2002-11-28 | Philips Electronics North America Corp. | Method and apparatus for automatically selecting an alternate item based on user behavior |
US7065524B1 (en) * | 2001-03-30 | 2006-06-20 | Pharsight Corporation | Identification and correction of confounders in a statistical analysis |
US7478051B2 (en) * | 2001-04-02 | 2009-01-13 | Illah Nourbakhsh | Method and apparatus for long-range planning |
US6952732B2 (en) * | 2001-04-30 | 2005-10-04 | Blue Pumpkin Software, Inc. | Method and apparatus for multi-contact scheduling |
US7155399B2 (en) | 2001-04-03 | 2006-12-26 | Witness Systems, Inc. | System and method for complex schedule generation |
US6959405B2 (en) * | 2001-04-18 | 2005-10-25 | Blue Pumpkin Software, Inc. | Method and system for concurrent error identification in resource scheduling |
WO2002091120A2 (en) * | 2001-05-04 | 2002-11-14 | Logic Junction | System and method for logical agent engine |
ATE410728T1 (de) * | 2001-05-04 | 2008-10-15 | Microsoft Corp | Schnittstellensteuerung |
US7107254B1 (en) | 2001-05-07 | 2006-09-12 | Microsoft Corporation | Probablistic models and methods for combining multiple content classifiers |
EP1256875A1 (en) * | 2001-05-10 | 2002-11-13 | Nokia Corporation | Method and device for context dependent user input prediction |
US6795778B2 (en) | 2001-05-24 | 2004-09-21 | Lincoln Global, Inc. | System and method for facilitating welding system diagnostics |
ATE292302T1 (de) * | 2001-05-29 | 2005-04-15 | Ibm France | Vorrichtung und verfahren in einer büroapplikation zur bereitstellung von inhaltsabhängiger hilfeinformation |
US7209912B2 (en) * | 2001-06-06 | 2007-04-24 | Microsoft Corporation | Wizard and help file search and management |
JP2002366166A (ja) * | 2001-06-11 | 2002-12-20 | Pioneer Electronic Corp | コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム |
US6785664B2 (en) * | 2001-06-21 | 2004-08-31 | Kevin Wade Jameson | Collection knowledge system |
US6782093B2 (en) | 2001-06-27 | 2004-08-24 | Blue Pumpkin Software, Inc. | Graphical method and system for visualizing performance levels in time-varying environment |
US7409423B2 (en) * | 2001-06-28 | 2008-08-05 | Horvitz Eric J | Methods for and applications of learning and inferring the periods of time until people are available or unavailable for different forms of communication, collaboration, and information access |
US7689521B2 (en) * | 2001-06-28 | 2010-03-30 | Microsoft Corporation | Continuous time bayesian network models for predicting users' presence, activities, and component usage |
US7233933B2 (en) | 2001-06-28 | 2007-06-19 | Microsoft Corporation | Methods and architecture for cross-device activity monitoring, reasoning, and visualization for providing status and forecasts of a users' presence and availability |
US7089226B1 (en) * | 2001-06-28 | 2006-08-08 | Microsoft Corporation | System, representation, and method providing multilevel information retrieval with clarification dialog |
US7493369B2 (en) * | 2001-06-28 | 2009-02-17 | Microsoft Corporation | Composable presence and availability services |
US7519529B1 (en) | 2001-06-29 | 2009-04-14 | Microsoft Corporation | System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service |
US7409335B1 (en) | 2001-06-29 | 2008-08-05 | Microsoft Corporation | Inferring informational goals and preferred level of detail of answers based on application being employed by the user |
DE10135287A1 (de) * | 2001-07-19 | 2003-03-06 | Siemens Ag | Apparatur und Verfahren zur Analyse der Bedienung von komplexen Systemen |
US6694308B2 (en) * | 2001-07-23 | 2004-02-17 | Hewlett-Packard Development Company, L.P. | System and method for user adaptive software interface |
US7526439B2 (en) | 2001-08-06 | 2009-04-28 | Proficient Systems, Incorporated | Systems and methods to facilitate selling of products and services |
US7130861B2 (en) | 2001-08-16 | 2006-10-31 | Sentius International Corporation | Automated creation and delivery of database content |
US20030041159A1 (en) * | 2001-08-17 | 2003-02-27 | David Tinsley | Systems and method for presenting customizable multimedia presentations |
WO2003017122A1 (en) * | 2001-08-17 | 2003-02-27 | Interactive Sapience Corp. | Systems and method for presenting customizable multimedia |
US20040205648A1 (en) * | 2001-08-17 | 2004-10-14 | David Tinsley | Systems and methods for authoring content |
US6744729B2 (en) * | 2001-08-17 | 2004-06-01 | Interactive Sapience Corp. | Intelligent fabric |
US20030043191A1 (en) * | 2001-08-17 | 2003-03-06 | David Tinsley | Systems and methods for displaying a graphical user interface |
US6871322B2 (en) * | 2001-09-06 | 2005-03-22 | International Business Machines Corporation | Method and apparatus for providing user support through an intelligent help agent |
US6973620B2 (en) * | 2001-09-06 | 2005-12-06 | International Business Machines Corporation | Method and apparatus for providing user support based on contextual information |
US6976067B2 (en) * | 2001-09-06 | 2005-12-13 | International Business Machines Corporation | Method and apparatus for providing entitlement information for interactive support |
US20030043178A1 (en) * | 2001-09-06 | 2003-03-06 | International Business Machines Corporation | Initiation of interactive support from a computer desktop |
CA2357160A1 (en) * | 2001-09-10 | 2003-03-10 | Ibm Canada Limited-Ibm Canada Limitee | Wizard user interface providing interim system product generation and reversion during wizard traversal |
KR100438857B1 (ko) * | 2001-09-26 | 2004-07-05 | 엘지전자 주식회사 | 사용자 선호도 기반 멀티미디어 검색 시스템 |
US7149957B2 (en) | 2001-11-19 | 2006-12-12 | Ricoh Company, Ltd. | Techniques for retrieving multimedia information using a paper-based interface |
US7747655B2 (en) * | 2001-11-19 | 2010-06-29 | Ricoh Co. Ltd. | Printable representations for time-based media |
US7861169B2 (en) | 2001-11-19 | 2010-12-28 | Ricoh Co. Ltd. | Multimedia print driver dialog interfaces |
US8635531B2 (en) * | 2002-02-21 | 2014-01-21 | Ricoh Company, Ltd. | Techniques for displaying information stored in multiple multimedia documents |
US7495795B2 (en) * | 2002-02-21 | 2009-02-24 | Ricoh Company, Ltd. | Interface for printing multimedia information |
US7788080B2 (en) * | 2001-11-19 | 2010-08-31 | Ricoh Company, Ltd. | Paper interface for simulation environments |
US8539344B2 (en) | 2001-11-19 | 2013-09-17 | Ricoh Company, Ltd. | Paper-based interface for multimedia information stored by multiple multimedia documents |
US7703044B2 (en) * | 2001-11-19 | 2010-04-20 | Ricoh Company, Ltd. | Techniques for generating a static representation for time-based media information |
US7743347B2 (en) * | 2001-11-19 | 2010-06-22 | Ricoh Company, Ltd. | Paper-based interface for specifying ranges |
TWI233024B (en) * | 2001-11-30 | 2005-05-21 | Penbex Data Systems Incoporati | Data synchronizing system and method |
US20030140063A1 (en) * | 2001-12-17 | 2003-07-24 | Pizzorno Joseph E. | System and method for providing health care advice by diagnosing system function |
US7685278B2 (en) * | 2001-12-18 | 2010-03-23 | Hewlett-Packard Development Company, L.P. | Adapting Bayesian network parameters on-line in a dynamic environment |
US7013275B2 (en) * | 2001-12-28 | 2006-03-14 | Sri International | Method and apparatus for providing a dynamic speech-driven control and remote service access system |
US7167917B2 (en) * | 2002-01-03 | 2007-01-23 | International Business Machines Corporation | Visual tool for developing service components for use in advanced intelligent networks |
US7716170B2 (en) * | 2002-01-08 | 2010-05-11 | Wafik Farag | Holistic dynamic information management platform for end-users to interact with and share all information categories, including data, functions, and results, in collaborative secure venue |
US7200635B2 (en) * | 2002-01-09 | 2007-04-03 | International Business Machines Corporation | Smart messenger |
US7310636B2 (en) * | 2002-01-15 | 2007-12-18 | International Business Machines Corporation | Shortcut enabled, context aware information management |
US7146348B2 (en) * | 2002-01-22 | 2006-12-05 | Honeywell International Inc. | Probabilistic goal recognition system and method incorporating inferred unobserved actions |
US20030171657A1 (en) * | 2002-01-22 | 2003-09-11 | Ralph Leonard | Selection of optimal medication methodology (SOOMM) |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
WO2003073417A2 (en) * | 2002-02-26 | 2003-09-04 | Sap Aktiengesellschaft | Intelligent personal assistants |
US6996558B2 (en) | 2002-02-26 | 2006-02-07 | International Business Machines Corporation | Application portability and extensibility through database schema and query abstraction |
US7003730B2 (en) * | 2002-03-08 | 2006-02-21 | International Business Machines Corporation | Graphical user interface to build event-based dynamic searches or queries using event profiles |
US7016849B2 (en) * | 2002-03-25 | 2006-03-21 | Sri International | Method and apparatus for providing speech-driven routing between spoken language applications |
US20040006593A1 (en) * | 2002-06-14 | 2004-01-08 | Vogler Hartmut K. | Multidimensional approach to context-awareness |
US7177859B2 (en) * | 2002-06-26 | 2007-02-13 | Microsoft Corporation | Programming model for subscription services |
US7698276B2 (en) * | 2002-06-26 | 2010-04-13 | Microsoft Corporation | Framework for providing a subscription based notification system |
US20040002958A1 (en) * | 2002-06-26 | 2004-01-01 | Praveen Seshadri | System and method for providing notification(s) |
US20040002988A1 (en) * | 2002-06-26 | 2004-01-01 | Praveen Seshadri | System and method for modeling subscriptions and subscribers as data |
US9886309B2 (en) | 2002-06-28 | 2018-02-06 | Microsoft Technology Licensing, Llc | Identity-based distributed computing for device resources |
US7363398B2 (en) * | 2002-08-16 | 2008-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Intelligent total access system |
US20040036715A1 (en) * | 2002-08-26 | 2004-02-26 | Peter Warren | Multi-level user help |
US20040064725A1 (en) * | 2002-09-18 | 2004-04-01 | Microsoft Corporation | Method and system for detecting a communication problem in a computer network |
EP1408674B1 (en) * | 2002-10-09 | 2005-09-07 | Matsushita Electric Industrial Co., Ltd. | Method and device for anticipating operation |
US7158965B1 (en) * | 2002-11-26 | 2007-01-02 | Microsoft Corporation | Method and apparatus for providing help content corresponding to the occurrence of an event within a computer |
US20040109030A1 (en) * | 2002-12-09 | 2004-06-10 | International Business Machines Corporation | Adaptive timing and adaptive content for graphical user interfaces |
FR2850185A1 (fr) * | 2003-01-20 | 2004-07-23 | France Telecom | Frocede d'assistance personnalisee a la navigation au sein d'un reseau de telecommnication tel que le resau internet |
US20040145601A1 (en) * | 2003-01-29 | 2004-07-29 | International Business Machines Corporation | Method and a device for providing additional functionality to a separate application |
US7370066B1 (en) * | 2003-03-24 | 2008-05-06 | Microsoft Corporation | System and method for offline editing of data files |
US7415672B1 (en) | 2003-03-24 | 2008-08-19 | Microsoft Corporation | System and method for designing electronic forms |
US7296017B2 (en) * | 2003-03-28 | 2007-11-13 | Microsoft Corporation | Validation of XML data files |
US7913159B2 (en) | 2003-03-28 | 2011-03-22 | Microsoft Corporation | System and method for real-time validation of structured data files |
US7739583B2 (en) * | 2003-03-31 | 2010-06-15 | Ricoh Company, Ltd. | Multimedia document sharing method and apparatus |
US7703002B2 (en) | 2003-03-31 | 2010-04-20 | Ricoh Company, Ltd. | Method and apparatus for composing multimedia documents |
US7509569B2 (en) | 2003-03-31 | 2009-03-24 | Ricoh Co., Ltd. | Action stickers for nested collections |
US7552381B2 (en) * | 2003-03-31 | 2009-06-23 | Ricoh Co., Ltd. | Check boxes for identifying and processing stored documents |
US7536638B2 (en) * | 2003-03-31 | 2009-05-19 | Ricoh Co., Ltd. | Action stickers for identifying and processing stored documents |
US20070050696A1 (en) * | 2003-03-31 | 2007-03-01 | Piersol Kurt W | Physical key for accessing a securely stored digital document |
US7757162B2 (en) * | 2003-03-31 | 2010-07-13 | Ricoh Co. Ltd. | Document collection manipulation |
US7457879B2 (en) | 2003-04-01 | 2008-11-25 | Microsoft Corporation | Notification platform architecture |
US7389230B1 (en) | 2003-04-22 | 2008-06-17 | International Business Machines Corporation | System and method for classification of voice signals |
US7319993B2 (en) * | 2003-04-25 | 2008-01-15 | Intel Corporation | Automatically generating a path to an item depending on its access history |
US20040243531A1 (en) * | 2003-04-28 | 2004-12-02 | Dean Michael Anthony | Methods and systems for representing, using and displaying time-varying information on the Semantic Web |
US20050187913A1 (en) | 2003-05-06 | 2005-08-25 | Yoram Nelken | Web-based customer service interface |
US8495002B2 (en) * | 2003-05-06 | 2013-07-23 | International Business Machines Corporation | Software tool for training and testing a knowledge base |
US7185231B2 (en) * | 2003-05-14 | 2007-02-27 | Microsoft Corporation | Methods and systems for collecting, analyzing, and reporting software reliability and availability |
US7197447B2 (en) * | 2003-05-14 | 2007-03-27 | Microsoft Corporation | Methods and systems for analyzing software reliability and availability |
US7739661B2 (en) * | 2003-05-14 | 2010-06-15 | Microsoft Corporation | Methods and systems for planning and tracking software reliability and availability |
JP4027269B2 (ja) * | 2003-06-02 | 2007-12-26 | キヤノン株式会社 | 情報処理方法及び装置 |
US20040268267A1 (en) * | 2003-06-25 | 2004-12-30 | Xerox Corporation. | Methods and apparatus for prompted activation of an inactive control element in graphical user interface, and context-based help therefor |
US7882434B2 (en) * | 2003-06-27 | 2011-02-01 | Benjamin Slotznick | User prompting when potentially mistaken actions occur during user interaction with content on a display screen |
US8739146B2 (en) * | 2003-07-30 | 2014-05-27 | International Business Machines Corporation | Systems and methods for generating and distributing executable procedures for technical desk-side support |
US7406660B1 (en) | 2003-08-01 | 2008-07-29 | Microsoft Corporation | Mapping between structured data and a visual surface |
US7334187B1 (en) | 2003-08-06 | 2008-02-19 | Microsoft Corporation | Electronic form aggregation |
US7275159B2 (en) * | 2003-08-11 | 2007-09-25 | Ricoh Company, Ltd. | Multimedia output device having embedded encryption functionality |
EP1522939A1 (en) * | 2003-08-12 | 2005-04-13 | GBS Global Business Software and Services Limited | Method for providing process-dependent data |
US20050054381A1 (en) * | 2003-09-05 | 2005-03-10 | Samsung Electronics Co., Ltd. | Proactive user interface |
EP1671268A4 (en) * | 2003-09-19 | 2006-12-06 | Lattix Inc | DEVICE AND METHOD FOR MANAGING THE DESIGN OF A SOFTWARE SYSTEM USING A DEPENDENCE STRUCTURE |
US8335755B1 (en) * | 2003-09-23 | 2012-12-18 | Evolving Logic | Derived contexts for computational experiments |
US20050071479A1 (en) * | 2003-09-30 | 2005-03-31 | Dimitris Achlioptas | Smart button |
US7383170B2 (en) * | 2003-10-10 | 2008-06-03 | At&T Knowledge Ventures, L.P. | System and method for analyzing automatic speech recognition performance data |
EP1524589A1 (en) * | 2003-10-17 | 2005-04-20 | Alcatel | A method for providing a functionality set to a user, a device, a computer software product, a user interface network service, and a user interface therefor |
US7669177B2 (en) | 2003-10-24 | 2010-02-23 | Microsoft Corporation | System and method for preference application installation and execution |
US7620667B2 (en) * | 2003-11-17 | 2009-11-17 | Microsoft Corporation | Transfer of user profiles using portable storage devices |
DE10356399B4 (de) * | 2003-12-03 | 2006-06-14 | Ontoprise Gmbh | Datenverarbeitungssystem |
US7620888B2 (en) * | 2003-12-04 | 2009-11-17 | Microsoft Corporation | Quality enhancement systems and methods for technical documentation |
US7559057B2 (en) * | 2003-12-05 | 2009-07-07 | International Business Machines Corporation | Alignment and generalization of demonstrated procedure traces |
US7900133B2 (en) | 2003-12-09 | 2011-03-01 | International Business Machines Corporation | Annotation structure type determination |
US7865829B1 (en) | 2003-12-31 | 2011-01-04 | Intuit Inc. | Providing software application help based on heuristics |
US7707039B2 (en) * | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
US8819072B1 (en) | 2004-02-02 | 2014-08-26 | Microsoft Corporation | Promoting data from structured data files |
US20060053097A1 (en) * | 2004-04-01 | 2006-03-09 | King Martin T | Searching and accessing documents on private networks for use with captures from rendered documents |
US20060041484A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
US20060041605A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
US7812860B2 (en) * | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US20060122983A1 (en) * | 2004-12-03 | 2006-06-08 | King Martin T | Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination |
US7277884B2 (en) * | 2004-02-17 | 2007-10-02 | Microsoft Corporation | Method and system for generating help files based on user queries |
US7430711B2 (en) * | 2004-02-17 | 2008-09-30 | Microsoft Corporation | Systems and methods for editing XML documents |
US20080096174A1 (en) * | 2004-03-01 | 2008-04-24 | Koninklijke Philips Electronics, N.V. | Tutorial generation unit, multimedia management system, portable apparatus, method of explanation of multimedia management behavior, computer program product |
US7802265B2 (en) * | 2004-03-15 | 2010-09-21 | Imi Innovations, Inc. | Computer interface system using multiple independent graphical data input devices |
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
US7836461B2 (en) * | 2004-03-15 | 2010-11-16 | Imi Innovations, Inc. | Computer interface system using multiple independent hardware and virtual human-computer input devices and related enabling subroutines |
US7779355B1 (en) | 2004-03-30 | 2010-08-17 | Ricoh Company, Ltd. | Techniques for using paper documents as media templates |
US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US20080313172A1 (en) * | 2004-12-03 | 2008-12-18 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
US7990556B2 (en) * | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US9008447B2 (en) * | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
US20070300142A1 (en) * | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
US8081849B2 (en) * | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
US20050246434A1 (en) * | 2004-04-05 | 2005-11-03 | International Business Machines Corporation | Services for capturing and modeling computer usage |
US7890744B2 (en) * | 2004-04-07 | 2011-02-15 | Microsoft Corporation | Activating content based on state |
US8612208B2 (en) | 2004-04-07 | 2013-12-17 | Oracle Otc Subsidiary Llc | Ontology for use with a system, method, and computer readable medium for retrieving information and response to a query |
US7747601B2 (en) | 2006-08-14 | 2010-06-29 | Inquira, Inc. | Method and apparatus for identifying and classifying query intent |
US8082264B2 (en) * | 2004-04-07 | 2011-12-20 | Inquira, Inc. | Automated scheme for identifying user intent in real-time |
US7822992B2 (en) * | 2004-04-07 | 2010-10-26 | Microsoft Corporation | In-place content substitution via code-invoking link |
US8713418B2 (en) * | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
KR100584380B1 (ko) * | 2004-04-13 | 2006-05-26 | 삼성전자주식회사 | 이동통신장치용 에이전트의 네트웍 기반 성장 구현방법 및시스템 |
US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
US8489624B2 (en) * | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
US8874504B2 (en) * | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
US20050246241A1 (en) * | 2004-04-30 | 2005-11-03 | Rightnow Technologies, Inc. | Method and system for monitoring successful use of application software |
US20110099053A1 (en) * | 2004-04-30 | 2011-04-28 | Irizarry Jr Robert T | Method and system for monitoring successful use of application software |
WO2005111840A2 (en) * | 2004-05-11 | 2005-11-24 | Gerjets Sven W | Computerized comprehensive health assessment and physician directed systems |
US20060031465A1 (en) * | 2004-05-26 | 2006-02-09 | Motorola, Inc. | Method and system of arranging configurable options in a user interface |
US20050266866A1 (en) * | 2004-05-26 | 2005-12-01 | Motorola, Inc. | Feature finding assistant on a user interface |
US20060107219A1 (en) * | 2004-05-26 | 2006-05-18 | Motorola, Inc. | Method to enhance user interface and target applications based on context awareness |
US7774620B1 (en) | 2004-05-27 | 2010-08-10 | Microsoft Corporation | Executing applications at appropriate trust levels |
US20050278340A1 (en) * | 2004-05-28 | 2005-12-15 | Rehberg Charles P | Problem solving assistant |
US7440933B2 (en) * | 2004-06-18 | 2008-10-21 | International Business Machines Corporation | Method for facilitating problem resolution |
US7350190B2 (en) * | 2004-06-29 | 2008-03-25 | International Business Machines Corporation | Computer implemented modeling and analysis of an application user interface |
US20060010381A1 (en) * | 2004-07-07 | 2006-01-12 | International Business Machines Corporation | Method for visually indicating the quality of on-screen help messages |
US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
US8341172B2 (en) * | 2004-07-22 | 2012-12-25 | International Business Machines Corporation | Method and system for providing aggregate data access |
US20060026531A1 (en) * | 2004-07-29 | 2006-02-02 | Sony Coporation | State-based computer help utility |
GB2416877A (en) * | 2004-08-03 | 2006-02-08 | Tis Software Ltd | Context sensitive information provision |
US20060031780A1 (en) * | 2004-08-05 | 2006-02-09 | Schlotzhauer Ed O | Dynamically configurable, task oriented communication between user and application |
US20060053100A1 (en) * | 2004-09-03 | 2006-03-09 | Ich Servers, S.L. | Rapid search system |
US7730010B2 (en) * | 2004-09-20 | 2010-06-01 | Microsoft Corporation | Method, system, and apparatus for maintaining user privacy in a knowledge interchange system |
US7707167B2 (en) * | 2004-09-20 | 2010-04-27 | Microsoft Corporation | Method, system, and apparatus for creating a knowledge interchange profile |
US7593924B2 (en) * | 2004-09-20 | 2009-09-22 | Microsoft Corporation | Method, system, and apparatus for receiving and responding to knowledge interchange queries |
US7950044B2 (en) * | 2004-09-28 | 2011-05-24 | Rockwell Automation Technologies, Inc. | Centrally managed proxy-based security for legacy automation systems |
US9307577B2 (en) | 2005-01-21 | 2016-04-05 | The Invention Science Fund I, Llc | User assistance |
US20060074933A1 (en) * | 2004-09-30 | 2006-04-06 | Microsoft Corporation | Workflow interaction |
US10445799B2 (en) | 2004-09-30 | 2019-10-15 | Uber Technologies, Inc. | Supply-chain side assistance |
US10687166B2 (en) | 2004-09-30 | 2020-06-16 | Uber Technologies, Inc. | Obtaining user assistance |
US9747579B2 (en) * | 2004-09-30 | 2017-08-29 | The Invention Science Fund I, Llc | Enhanced user assistance |
US10514816B2 (en) | 2004-12-01 | 2019-12-24 | Uber Technologies, Inc. | Enhanced user assistance |
US7692636B2 (en) * | 2004-09-30 | 2010-04-06 | Microsoft Corporation | Systems and methods for handwriting to a screen |
US7275017B2 (en) * | 2004-10-13 | 2007-09-25 | Cisco Technology, Inc. | Method and apparatus for generating diagnoses of network problems |
US8487879B2 (en) * | 2004-10-29 | 2013-07-16 | Microsoft Corporation | Systems and methods for interacting with a computer through handwriting to a screen |
US20060106854A1 (en) * | 2004-11-01 | 2006-05-18 | Haigh Karen Z | System and method for automatically including supplemental information in reminder messages |
US8805894B2 (en) * | 2004-11-05 | 2014-08-12 | Michael Valdiserri | Interactive 3-dimensional object-oriented database information storage/retrieval system |
US7584417B2 (en) * | 2004-11-15 | 2009-09-01 | Microsoft Corporation | Role-dependent action for an electronic form |
US7712022B2 (en) * | 2004-11-15 | 2010-05-04 | Microsoft Corporation | Mutually exclusive options in electronic forms |
US20060107224A1 (en) * | 2004-11-15 | 2006-05-18 | Microsoft Corporation | Building a dynamic action for an electronic form |
US7721190B2 (en) * | 2004-11-16 | 2010-05-18 | Microsoft Corporation | Methods and systems for server side form processing |
US8942985B2 (en) | 2004-11-16 | 2015-01-27 | Microsoft Corporation | Centralized method and system for clarifying voice commands |
US8176422B2 (en) * | 2004-11-19 | 2012-05-08 | International Business Machines Corporation | Method for aligning demonstrated user actions with existing documentation |
US7480648B2 (en) * | 2004-12-06 | 2009-01-20 | International Business Machines Corporation | Research rapidity and efficiency improvement by analysis of research artifact similarity |
US20060150077A1 (en) * | 2004-12-30 | 2006-07-06 | Microsoft Corporation | User interface method |
US20060155686A1 (en) * | 2005-01-13 | 2006-07-13 | Peterson John W | Facilitating direct access to live controls for features of a system or application via a keyword search |
US7937651B2 (en) * | 2005-01-14 | 2011-05-03 | Microsoft Corporation | Structural editing operations for network forms |
US8122012B2 (en) * | 2005-01-14 | 2012-02-21 | International Business Machines Corporation | Abstract record timeline rendering/display |
US7624097B2 (en) * | 2005-01-14 | 2009-11-24 | International Business Machines Corporation | Abstract records |
US7272587B1 (en) * | 2005-01-28 | 2007-09-18 | Hrl Laboratories, Llc | Generation of decision trees by means of a probabilistic model |
US9124729B2 (en) * | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
US9325781B2 (en) | 2005-01-31 | 2016-04-26 | Invention Science Fund I, Llc | Audio sharing |
US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
US9489717B2 (en) * | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
US20060187230A1 (en) * | 2005-01-31 | 2006-08-24 | Searete Llc | Peripheral shared image device sharing |
US20060170956A1 (en) * | 2005-01-31 | 2006-08-03 | Jung Edward K | Shared image devices |
US20060172267A1 (en) * | 2005-01-31 | 2006-08-03 | Microsoft Corporation | Input device training and automatic assignment |
US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
US7725834B2 (en) | 2005-03-04 | 2010-05-25 | Microsoft Corporation | Designer-created aspect for an electronic form template |
US20060206444A1 (en) * | 2005-03-11 | 2006-09-14 | International Business Machines Corporation | Services using beliefs and rules for improved flexibility |
US7673228B2 (en) * | 2005-03-30 | 2010-03-02 | Microsoft Corporation | Data-driven actions for network forms |
US8010515B2 (en) * | 2005-04-15 | 2011-08-30 | Microsoft Corporation | Query to an electronic form |
US7703037B2 (en) * | 2005-04-20 | 2010-04-20 | Microsoft Corporation | Searchable task-based interface to control panel functionality |
US8964054B2 (en) * | 2006-08-18 | 2015-02-24 | The Invention Science Fund I, Llc | Capturing selected image objects |
US20070222865A1 (en) * | 2006-03-15 | 2007-09-27 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Enhanced video/still image correlation |
US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
US20070008326A1 (en) * | 2005-06-02 | 2007-01-11 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Dual mode image capture technique |
US9093121B2 (en) | 2006-02-28 | 2015-07-28 | The Invention Science Fund I, Llc | Data management of an audio data stream |
US20070139529A1 (en) * | 2005-06-02 | 2007-06-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Dual mode image capture technique |
US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US20070109411A1 (en) * | 2005-06-02 | 2007-05-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Composite image selectivity |
US9621749B2 (en) * | 2005-06-02 | 2017-04-11 | Invention Science Fund I, Llc | Capturing selected image objects |
US9967424B2 (en) * | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
US9167195B2 (en) * | 2005-10-31 | 2015-10-20 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US9076208B2 (en) * | 2006-02-28 | 2015-07-07 | The Invention Science Fund I, Llc | Imagery processing |
US9001215B2 (en) * | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
US9451200B2 (en) * | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
US9191611B2 (en) * | 2005-06-02 | 2015-11-17 | Invention Science Fund I, Llc | Conditional alteration of a saved image |
US20090144391A1 (en) * | 2007-11-30 | 2009-06-04 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Audio sharing |
US20070098348A1 (en) * | 2005-10-31 | 2007-05-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Degradation/preservation management of captured data |
US8280719B2 (en) * | 2005-05-05 | 2012-10-02 | Ramp, Inc. | Methods and systems relating to information extraction |
US20060279531A1 (en) * | 2005-05-25 | 2006-12-14 | Jung Edward K | Physical interaction-responsive user interface |
US20070011665A1 (en) * | 2005-06-21 | 2007-01-11 | Microsoft Corporation | Content syndication platform |
JP4774825B2 (ja) * | 2005-06-22 | 2011-09-14 | ソニー株式会社 | 演技評価装置及び方法 |
US7428521B2 (en) * | 2005-06-29 | 2008-09-23 | Microsoft Corporation | Precomputation of context-sensitive policies for automated inquiry and action under uncertainty |
US8200975B2 (en) * | 2005-06-29 | 2012-06-12 | Microsoft Corporation | Digital signatures for network forms |
US7484179B2 (en) * | 2005-06-30 | 2009-01-27 | Microsoft Corporation | Integrated work management and tracking |
EP1899937A4 (en) * | 2005-07-07 | 2010-09-15 | Sermo Inc | METHOD AND DEVICE FOR MANAGING INFORMATION BROKERAGE SERVICE |
US9183752B2 (en) * | 2005-07-14 | 2015-11-10 | Red Hat, Inc. | Tutorial generator with automatic capture of screenshots |
JP2007025497A (ja) * | 2005-07-20 | 2007-02-01 | Fujitsu Ltd | 教育支援プログラムおよび教育支援装置 |
FR2888968B1 (fr) * | 2005-07-25 | 2008-05-09 | Airbus Sas | Procede de traitement de donnees en vue de la determination de motifs visuels dans une scene visuelle |
US7601904B2 (en) * | 2005-08-03 | 2009-10-13 | Richard Dreyfuss | Interactive tool and appertaining method for creating a graphical music display |
JP2007048035A (ja) * | 2005-08-10 | 2007-02-22 | Konica Minolta Business Technologies Inc | 制御装置、プログラム及び操作インターフェイス |
US7613996B2 (en) * | 2005-08-15 | 2009-11-03 | Microsoft Corporation | Enabling selection of an inferred schema part |
US20070043717A1 (en) * | 2005-08-18 | 2007-02-22 | Arellanes Paul T | Relevancy association architecture |
US20070061706A1 (en) * | 2005-09-14 | 2007-03-15 | Microsoft Corporation | Mapping property hierarchies to schemas |
US9432468B2 (en) | 2005-09-14 | 2016-08-30 | Liveperson, Inc. | System and method for design and dynamic generation of a web page |
US8738732B2 (en) | 2005-09-14 | 2014-05-27 | Liveperson, Inc. | System and method for performing follow up based on user interactions |
US20070061467A1 (en) * | 2005-09-15 | 2007-03-15 | Microsoft Corporation | Sessions and session states |
WO2007111648A2 (en) * | 2005-10-28 | 2007-10-04 | Openconnect Systems, Incorporated | Modeling interactions with a computer system |
US20070120980A1 (en) | 2005-10-31 | 2007-05-31 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Preservation/degradation of video/audio aspects of a data stream |
US20070101287A1 (en) * | 2005-11-03 | 2007-05-03 | International Business Machines Corporation | Pop-up windows in a computer system |
US7840451B2 (en) * | 2005-11-07 | 2010-11-23 | Sap Ag | Identifying the most relevant computer system state information |
US8805675B2 (en) * | 2005-11-07 | 2014-08-12 | Sap Ag | Representing a computer system state to a user |
US7979295B2 (en) * | 2005-12-02 | 2011-07-12 | Sap Ag | Supporting user interaction with a computer system |
US8001459B2 (en) * | 2005-12-05 | 2011-08-16 | Microsoft Corporation | Enabling electronic documents for limited-capability computing devices |
US7676489B2 (en) * | 2005-12-06 | 2010-03-09 | Sap Ag | Providing natural-language interface to repository |
US20070136222A1 (en) * | 2005-12-09 | 2007-06-14 | Microsoft Corporation | Question and answer architecture for reasoning and clarifying intentions, goals, and needs from contextual clues and content |
US20070143275A1 (en) * | 2005-12-21 | 2007-06-21 | International Business Machines Corporation | Work-context search strings for work-embedded e-learning |
US20070157093A1 (en) * | 2005-12-30 | 2007-07-05 | Patrick Karcher | Systems and methods for adaptive help mechanisms for a user |
US7917904B2 (en) | 2006-01-06 | 2011-03-29 | Microsoft Corporation | Automated analysis tasks of complex computer system |
US7904887B2 (en) * | 2006-02-16 | 2011-03-08 | International Business Machines Corporation | Learning and cache management in software defined contexts |
US7599861B2 (en) | 2006-03-02 | 2009-10-06 | Convergys Customer Management Group, Inc. | System and method for closed loop decisionmaking in an automated care system |
US7925975B2 (en) * | 2006-03-10 | 2011-04-12 | Microsoft Corporation | Searching for commands to execute in applications |
JP4783181B2 (ja) * | 2006-03-13 | 2011-09-28 | 株式会社東芝 | 行動予測装置 |
US7752545B2 (en) * | 2006-03-15 | 2010-07-06 | Microsoft Corporation | Generator system |
US8032375B2 (en) | 2006-03-17 | 2011-10-04 | Microsoft Corporation | Using generic predictive models for slot values in language modeling |
WO2007109444A2 (en) * | 2006-03-17 | 2007-09-27 | Schmitt William C | Common format learning device |
US7752152B2 (en) * | 2006-03-17 | 2010-07-06 | Microsoft Corporation | Using predictive user models for language modeling on a personal device with user behavior models based on statistical modeling |
US8358976B2 (en) | 2006-03-24 | 2013-01-22 | The Invention Science Fund I, Llc | Wireless device with an aggregate user interface for controlling other devices |
WO2007116689A1 (ja) * | 2006-03-27 | 2007-10-18 | Matsushita Electric Industrial Co., Ltd. | ユーザ支援装置、方法、及びプログラム |
US8244545B2 (en) * | 2006-03-30 | 2012-08-14 | Microsoft Corporation | Dialog repair based on discrepancies between user model predictions and speech recognition results |
US7921099B2 (en) | 2006-05-10 | 2011-04-05 | Inquira, Inc. | Guided navigation system |
US9507778B2 (en) | 2006-05-19 | 2016-11-29 | Yahoo! Inc. | Summarization of media object collections |
US7809663B1 (en) | 2006-05-22 | 2010-10-05 | Convergys Cmg Utah, Inc. | System and method for supporting the utilization of machine language |
US8379830B1 (en) | 2006-05-22 | 2013-02-19 | Convergys Customer Management Delaware Llc | System and method for automated customer service with contingent live interaction |
US8010094B2 (en) * | 2006-06-06 | 2011-08-30 | Turner Broadcasting System, Inc. | Mobile device with themed multimedia effects |
WO2007145680A1 (en) * | 2006-06-13 | 2007-12-21 | Microsoft Corporation | Declarative management framework |
US7970746B2 (en) * | 2006-06-13 | 2011-06-28 | Microsoft Corporation | Declarative management framework |
US7730068B2 (en) * | 2006-06-13 | 2010-06-01 | Microsoft Corporation | Extensible data collectors |
US20080155409A1 (en) * | 2006-06-19 | 2008-06-26 | Andy Santana | Internet search engine |
CN101473295B (zh) * | 2006-06-21 | 2011-11-16 | 松下电器产业株式会社 | 推断用户操作意图的装置及具备该装置的电子设备 |
US7970637B2 (en) | 2006-06-27 | 2011-06-28 | Microsoft Corporation | Activity-centric granular application functionality |
US8364514B2 (en) * | 2006-06-27 | 2013-01-29 | Microsoft Corporation | Monitoring group activities |
US20070300225A1 (en) * | 2006-06-27 | 2007-12-27 | Microsoft Coporation | Providing user information to introspection |
US7548895B2 (en) * | 2006-06-30 | 2009-06-16 | Microsoft Corporation | Communication-prompted user assistance |
US8781813B2 (en) | 2006-08-14 | 2014-07-15 | Oracle Otc Subsidiary Llc | Intent management tool for identifying concepts associated with a plurality of users' queries |
US7647286B2 (en) * | 2006-09-07 | 2010-01-12 | International Business Machines Corporation | System and method for managing a chaotic event by providing optimal and adaptive sequencing of decision sets with supporting data |
US7647288B2 (en) * | 2006-09-07 | 2010-01-12 | International Business Machines Corporation | System and method for optimally customizable and adaptive personalized information display for information associated with managing a chaotic event |
US7630948B2 (en) * | 2006-09-07 | 2009-12-08 | International Business Machines Corporation | System and method for managing a chaotic event |
US7584160B2 (en) * | 2006-10-27 | 2009-09-01 | International Business Machines Corporation | System and method for optimizing project subdivision using data and requirements focuses subject to multidimensional constraints |
US7653609B2 (en) * | 2006-09-07 | 2010-01-26 | International Business Machines Corporation | System and method for managing a chaotic event by optimizing decision subdivisions subject to multidimensional constraints |
US9202184B2 (en) | 2006-09-07 | 2015-12-01 | International Business Machines Corporation | Optimizing the selection, verification, and deployment of expert resources in a time of chaos |
US7698246B2 (en) * | 2006-09-07 | 2010-04-13 | International Business Machines Corporation | System and method for optimal and adaptive process unification of decision support functions associated with managing a chaotic event |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
EP2067119A2 (en) | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
EP2067102A2 (en) * | 2006-09-15 | 2009-06-10 | Exbiblio B.V. | Capture and display of annotations in paper and electronic documents |
US8145582B2 (en) | 2006-10-03 | 2012-03-27 | International Business Machines Corporation | Synthetic events for real time patient analysis |
US7752154B2 (en) * | 2007-02-26 | 2010-07-06 | International Business Machines Corporation | System and method for deriving a hierarchical event based database optimized for analysis of criminal and security information |
US7809660B2 (en) * | 2006-10-03 | 2010-10-05 | International Business Machines Corporation | System and method to optimize control cohorts using clustering algorithms |
US8055603B2 (en) * | 2006-10-03 | 2011-11-08 | International Business Machines Corporation | Automatic generation of new rules for processing synthetic events using computer-based learning processes |
US20090287503A1 (en) * | 2008-05-16 | 2009-11-19 | International Business Machines Corporation | Analysis of individual and group healthcare data in order to provide real time healthcare recommendations |
US8589190B1 (en) | 2006-10-06 | 2013-11-19 | Liberty Mutual Insurance Company | System and method for underwriting a prepackaged business owners insurance policy |
US20080102428A1 (en) * | 2006-10-25 | 2008-05-01 | Monitor Company Group Limited Partnership | System and Method for Providing a User-Centric Interactive Learning Environment |
US20080104101A1 (en) * | 2006-10-27 | 2008-05-01 | Kirshenbaum Evan R | Producing a feature in response to a received expression |
US8594702B2 (en) * | 2006-11-06 | 2013-11-26 | Yahoo! Inc. | Context server for associating information based on context |
US8032834B2 (en) * | 2006-11-07 | 2011-10-04 | International Business Machines Corporation | Context-based user assistance |
US7720868B2 (en) * | 2006-11-13 | 2010-05-18 | Microsoft Corporation | Providing assistance with the creation of an XPath expression |
US8640034B2 (en) * | 2006-11-16 | 2014-01-28 | International Business Machines Corporation | Remote GUI control by replication of local interactions |
US8595636B2 (en) * | 2006-11-16 | 2013-11-26 | International Business Machines Corporation | Method and system for mapping GUI widgets |
US9110903B2 (en) * | 2006-11-22 | 2015-08-18 | Yahoo! Inc. | Method, system and apparatus for using user profile electronic device data in media delivery |
US8402356B2 (en) * | 2006-11-22 | 2013-03-19 | Yahoo! Inc. | Methods, systems and apparatus for delivery of media |
US8095476B2 (en) | 2006-11-27 | 2012-01-10 | Inquira, Inc. | Automated support scheme for electronic forms |
US7881990B2 (en) * | 2006-11-30 | 2011-02-01 | Intuit Inc. | Automatic time tracking based on user interface events |
US8060385B1 (en) | 2006-12-08 | 2011-11-15 | Safeco Insurance Company Of America | System, program product and method for segmenting and underwriting using voting status |
US7711462B2 (en) * | 2006-12-15 | 2010-05-04 | International Business Machines Corporation | Vehicle help system and method |
US8285732B2 (en) * | 2006-12-18 | 2012-10-09 | Sap Ag | Method and system for providing themes for software applications |
US8769099B2 (en) * | 2006-12-28 | 2014-07-01 | Yahoo! Inc. | Methods and systems for pre-caching information on a mobile computing device |
US8131536B2 (en) * | 2007-01-12 | 2012-03-06 | Raytheon Bbn Technologies Corp. | Extraction-empowered machine translation |
US8024660B1 (en) | 2007-01-31 | 2011-09-20 | Intuit Inc. | Method and apparatus for variable help content and abandonment intervention based on user behavior |
US20080189163A1 (en) * | 2007-02-05 | 2008-08-07 | Inquira, Inc. | Information management system |
US8635307B2 (en) * | 2007-02-08 | 2014-01-21 | Microsoft Corporation | Sensor discovery and configuration |
US7805390B2 (en) * | 2007-02-26 | 2010-09-28 | International Business Machines Corporation | System and method for deriving a hierarchical event based database optimized for analysis of complex accidents |
US7702605B2 (en) * | 2007-02-26 | 2010-04-20 | International Business Machines Corporation | System and method for deriving a hierarchical event based database optimized for privacy and security filtering |
US7853611B2 (en) * | 2007-02-26 | 2010-12-14 | International Business Machines Corporation | System and method for deriving a hierarchical event based database having action triggers based on inferred probabilities |
US7917478B2 (en) * | 2007-02-26 | 2011-03-29 | International Business Machines Corporation | System and method for quality control in healthcare settings to continuously monitor outcomes and undesirable outcomes such as infections, re-operations, excess mortality, and readmissions |
US7970759B2 (en) * | 2007-02-26 | 2011-06-28 | International Business Machines Corporation | System and method for deriving a hierarchical event based database optimized for pharmaceutical analysis |
US7788202B2 (en) * | 2007-02-26 | 2010-08-31 | International Business Machines Corporation | System and method for deriving a hierarchical event based database optimized for clinical applications |
US7783586B2 (en) * | 2007-02-26 | 2010-08-24 | International Business Machines Corporation | System and method for deriving a hierarchical event based database optimized for analysis of biological systems |
US7792774B2 (en) * | 2007-02-26 | 2010-09-07 | International Business Machines Corporation | System and method for deriving a hierarchical event based database optimized for analysis of chaotic events |
US7788203B2 (en) * | 2007-02-26 | 2010-08-31 | International Business Machines Corporation | System and method of accident investigation for complex situations involving numerous known and unknown factors along with their probabilistic weightings |
US8281234B2 (en) * | 2007-03-20 | 2012-10-02 | Microsoft Corporation | Definable application assistant |
US7903970B2 (en) * | 2007-03-30 | 2011-03-08 | Georgia Tech Research Corporation | Optical network evaluation systems and methods |
JP2008257345A (ja) * | 2007-04-02 | 2008-10-23 | Fuji Xerox Co Ltd | 情報処理装置、情報処理プログラム、及び、画像処理システム |
US7930676B1 (en) * | 2007-04-27 | 2011-04-19 | Intuit Inc. | System and method for adapting software elements based on mood state profiling |
US7788204B1 (en) * | 2007-04-27 | 2010-08-31 | Intuit Inc. | System and method for adapting program elements based on application usage |
US7870491B1 (en) | 2007-04-27 | 2011-01-11 | Intuit Inc. | System and method for user support based on user interaction histories |
US20080288865A1 (en) * | 2007-05-16 | 2008-11-20 | Yahoo! Inc. | Application with in-context video assistance |
US7680645B2 (en) * | 2007-06-15 | 2010-03-16 | Microsoft Corporation | Software feature modeling and recognition |
US7747988B2 (en) * | 2007-06-15 | 2010-06-29 | Microsoft Corporation | Software feature usage analysis and reporting |
US7739666B2 (en) * | 2007-06-15 | 2010-06-15 | Microsoft Corporation | Analyzing software users with instrumentation data and user group modeling and analysis |
US7870114B2 (en) | 2007-06-15 | 2011-01-11 | Microsoft Corporation | Efficient data infrastructure for high dimensional data analysis |
US7996400B2 (en) * | 2007-06-23 | 2011-08-09 | Microsoft Corporation | Identification and use of web searcher expertise |
US7962344B2 (en) * | 2007-06-29 | 2011-06-14 | Microsoft Corporation | Depicting a speech user interface via graphical elements |
US9224147B2 (en) * | 2007-07-16 | 2015-12-29 | Hector Franco | Customer service management system |
US20090030902A1 (en) * | 2007-07-24 | 2009-01-29 | Microsoft Corporation | Schematized data intelligent assistance for development environments |
US8244503B1 (en) | 2007-08-30 | 2012-08-14 | The United States Of America As Represented By The Secretary Of The Air Force | Quantitative measurements of system complexity |
US20110145068A1 (en) * | 2007-09-17 | 2011-06-16 | King Martin T | Associating rendered advertisements with digital content |
US8307334B2 (en) * | 2007-09-17 | 2012-11-06 | International Business Machines Corporation | Method for assisting a user in the process of creating software code |
US8307333B2 (en) * | 2007-09-17 | 2012-11-06 | International Business Machines Corporation | System and computer program product for assisting a user in the process of creating software code |
US7836003B2 (en) * | 2007-09-21 | 2010-11-16 | Intel Corporation | Assisting a user experiencing cognitive decline by retracing footsteps |
US8595642B1 (en) | 2007-10-04 | 2013-11-26 | Great Northern Research, LLC | Multiple shell multi faceted graphical user interface |
US7890539B2 (en) | 2007-10-10 | 2011-02-15 | Raytheon Bbn Technologies Corp. | Semantic matching using predicate-argument structure |
US8165985B2 (en) * | 2007-10-12 | 2012-04-24 | Palo Alto Research Center Incorporated | System and method for performing discovery of digital information in a subject area |
US8073682B2 (en) | 2007-10-12 | 2011-12-06 | Palo Alto Research Center Incorporated | System and method for prospecting digital information |
US8671104B2 (en) | 2007-10-12 | 2014-03-11 | Palo Alto Research Center Incorporated | System and method for providing orientation into digital information |
US7930262B2 (en) | 2007-10-18 | 2011-04-19 | International Business Machines Corporation | System and method for the longitudinal analysis of education outcomes using cohort life cycles, cluster analytics-based cohort analysis, and probabilistic data schemas |
US8150791B2 (en) * | 2007-10-19 | 2012-04-03 | Hartwell Brown | Benefits services privacy architecture |
US20090138849A1 (en) * | 2007-10-30 | 2009-05-28 | Microsoft Corporation | Enhanced Prompting in a Visual Editor |
US9063979B2 (en) * | 2007-11-01 | 2015-06-23 | Ebay, Inc. | Analyzing event streams of user sessions |
US7940168B2 (en) * | 2007-11-19 | 2011-05-10 | Intel-Ge Care Innovations Llc | System, apparatus and method for automated emergency assistance with manual cancellation |
US10083420B2 (en) | 2007-11-21 | 2018-09-25 | Sermo, Inc | Community moderated information |
US8069142B2 (en) * | 2007-12-06 | 2011-11-29 | Yahoo! Inc. | System and method for synchronizing data on a network |
US8307029B2 (en) * | 2007-12-10 | 2012-11-06 | Yahoo! Inc. | System and method for conditional delivery of messages |
US8671154B2 (en) * | 2007-12-10 | 2014-03-11 | Yahoo! Inc. | System and method for contextual addressing of communications on a network |
US8166168B2 (en) | 2007-12-17 | 2012-04-24 | Yahoo! Inc. | System and method for disambiguating non-unique identifiers using information obtained from disparate communication channels |
US7779051B2 (en) * | 2008-01-02 | 2010-08-17 | International Business Machines Corporation | System and method for optimizing federated and ETL'd databases with considerations of specialized data structures within an environment having multidimensional constraints |
US9706345B2 (en) * | 2008-01-04 | 2017-07-11 | Excalibur Ip, Llc | Interest mapping system |
US9626685B2 (en) | 2008-01-04 | 2017-04-18 | Excalibur Ip, Llc | Systems and methods of mapping attention |
US8762285B2 (en) * | 2008-01-06 | 2014-06-24 | Yahoo! Inc. | System and method for message clustering |
US20090182618A1 (en) | 2008-01-16 | 2009-07-16 | Yahoo! Inc. | System and Method for Word-of-Mouth Advertising |
US8151192B2 (en) * | 2008-02-01 | 2012-04-03 | Microsoft Corporation | Context sensitive help |
US8538811B2 (en) * | 2008-03-03 | 2013-09-17 | Yahoo! Inc. | Method and apparatus for social network marketing with advocate referral |
US8554623B2 (en) | 2008-03-03 | 2013-10-08 | Yahoo! Inc. | Method and apparatus for social network marketing with consumer referral |
US8560390B2 (en) | 2008-03-03 | 2013-10-15 | Yahoo! Inc. | Method and apparatus for social network marketing with brand referral |
US20090240539A1 (en) * | 2008-03-21 | 2009-09-24 | Microsoft Corporation | Machine learning system for a task brokerage system |
US20090240549A1 (en) * | 2008-03-21 | 2009-09-24 | Microsoft Corporation | Recommendation system for a task brokerage system |
US8589486B2 (en) | 2008-03-28 | 2013-11-19 | Yahoo! Inc. | System and method for addressing communications |
US8745133B2 (en) | 2008-03-28 | 2014-06-03 | Yahoo! Inc. | System and method for optimizing the storage of data |
US8271506B2 (en) | 2008-03-31 | 2012-09-18 | Yahoo! Inc. | System and method for modeling relationships between entities |
US8808178B2 (en) * | 2008-04-30 | 2014-08-19 | Welch Allyn, Inc. | On demand help/in-service for a medical device |
US20090299766A1 (en) * | 2008-05-30 | 2009-12-03 | International Business Machines Corporation | System and method for optimizing medical treatment planning and support in difficult situations subject to multiple constraints and uncertainties |
US20090300495A1 (en) * | 2008-06-02 | 2009-12-03 | Novell, Inc. | System and method for an adaptive wizard utility for graphical user interfaces |
US8812809B2 (en) | 2008-06-10 | 2014-08-19 | Oracle America, Inc. | Method and apparatus for allocating memory for immutable data on a computing device |
US8010512B2 (en) * | 2008-06-16 | 2011-08-30 | International Business Machines Corporation | System and method for model-driven object store |
US8103598B2 (en) * | 2008-06-20 | 2012-01-24 | Microsoft Corporation | Compiler for probabilistic programs |
US9396099B2 (en) * | 2008-06-24 | 2016-07-19 | International Business Machines Corporation | Application state detector and inducer |
US8813107B2 (en) | 2008-06-27 | 2014-08-19 | Yahoo! Inc. | System and method for location based media delivery |
US8255192B2 (en) * | 2008-06-27 | 2012-08-28 | Microsoft Corporation | Analytical map models |
US20090322739A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Visual Interactions with Analytics |
US8620635B2 (en) * | 2008-06-27 | 2013-12-31 | Microsoft Corporation | Composition of analytics models |
US8452855B2 (en) | 2008-06-27 | 2013-05-28 | Yahoo! Inc. | System and method for presentation of media related to a context |
US8706406B2 (en) * | 2008-06-27 | 2014-04-22 | Yahoo! Inc. | System and method for determination and display of personalized distance |
US8411085B2 (en) | 2008-06-27 | 2013-04-02 | Microsoft Corporation | Constructing view compositions for domain-specific environments |
US8117145B2 (en) * | 2008-06-27 | 2012-02-14 | Microsoft Corporation | Analytical model solver framework |
WO2010006087A1 (en) * | 2008-07-08 | 2010-01-14 | David Seaberg | Process for providing and editing instructions, data, data structures, and algorithms in a computer system |
US20110125702A1 (en) * | 2008-07-10 | 2011-05-26 | Prasanna Gorur Narayana Srinivasa | Decision support methods under uncertainty |
US8260846B2 (en) | 2008-07-25 | 2012-09-04 | Liveperson, Inc. | Method and system for providing targeted content to a surfer |
US8762313B2 (en) | 2008-07-25 | 2014-06-24 | Liveperson, Inc. | Method and system for creating a predictive model for targeting web-page to a surfer |
US8086700B2 (en) | 2008-07-29 | 2011-12-27 | Yahoo! Inc. | Region and duration uniform resource identifiers (URI) for media objects |
US8583668B2 (en) | 2008-07-30 | 2013-11-12 | Yahoo! Inc. | System and method for context enhanced mapping |
US10230803B2 (en) * | 2008-07-30 | 2019-03-12 | Excalibur Ip, Llc | System and method for improved mapping and routing |
US8805844B2 (en) | 2008-08-04 | 2014-08-12 | Liveperson, Inc. | Expert search |
US20100049800A1 (en) * | 2008-08-20 | 2010-02-25 | International Business Machines Corporation | Facilitated Help With Program Function From Experienced Users |
US8386506B2 (en) * | 2008-08-21 | 2013-02-26 | Yahoo! Inc. | System and method for context enhanced messaging |
US9940582B2 (en) * | 2008-08-27 | 2018-04-10 | International Business Machines Corporation | Intelligent problem tracking electronic system for optimizing technical support |
US8010545B2 (en) * | 2008-08-28 | 2011-08-30 | Palo Alto Research Center Incorporated | System and method for providing a topic-directed search |
US20100057577A1 (en) * | 2008-08-28 | 2010-03-04 | Palo Alto Research Center Incorporated | System And Method For Providing Topic-Guided Broadening Of Advertising Targets In Social Indexing |
US20100057536A1 (en) * | 2008-08-28 | 2010-03-04 | Palo Alto Research Center Incorporated | System And Method For Providing Community-Based Advertising Term Disambiguation |
US8209616B2 (en) * | 2008-08-28 | 2012-06-26 | Palo Alto Research Center Incorporated | System and method for interfacing a web browser widget with social indexing |
US20100063993A1 (en) * | 2008-09-08 | 2010-03-11 | Yahoo! Inc. | System and method for socially aware identity manager |
US8949161B2 (en) * | 2008-09-12 | 2015-02-03 | Alcatel Lucent | Cache management system and method and content distribution system incorporating the same |
US8281027B2 (en) * | 2008-09-19 | 2012-10-02 | Yahoo! Inc. | System and method for distributing media related to a location |
US8108778B2 (en) * | 2008-09-30 | 2012-01-31 | Yahoo! Inc. | System and method for context enhanced mapping within a user interface |
US9600484B2 (en) * | 2008-09-30 | 2017-03-21 | Excalibur Ip, Llc | System and method for reporting and analysis of media consumption data |
KR101025743B1 (ko) * | 2008-10-13 | 2011-04-04 | 한국전자통신연구원 | 중거리 무선 전력 전송 기술을 이용한 인공 망막 구동 장치 |
US9892417B2 (en) | 2008-10-29 | 2018-02-13 | Liveperson, Inc. | System and method for applying tracing tools for network locations |
US8549016B2 (en) * | 2008-11-14 | 2013-10-01 | Palo Alto Research Center Incorporated | System and method for providing robust topic identification in social indexes |
US8032508B2 (en) * | 2008-11-18 | 2011-10-04 | Yahoo! Inc. | System and method for URL based query for retrieving data related to a context |
US8024317B2 (en) | 2008-11-18 | 2011-09-20 | Yahoo! Inc. | System and method for deriving income from URL based context queries |
US9805123B2 (en) * | 2008-11-18 | 2017-10-31 | Excalibur Ip, Llc | System and method for data privacy in URL based context queries |
US8060492B2 (en) * | 2008-11-18 | 2011-11-15 | Yahoo! Inc. | System and method for generation of URL based context queries |
US8155931B2 (en) * | 2008-11-26 | 2012-04-10 | Microsoft Corporation | Use of taxonomized analytics reference model |
US8103608B2 (en) * | 2008-11-26 | 2012-01-24 | Microsoft Corporation | Reference model for data-driven analytics |
US8145615B2 (en) * | 2008-11-26 | 2012-03-27 | Microsoft Corporation | Search and exploration using analytics reference model |
US8190406B2 (en) * | 2008-11-26 | 2012-05-29 | Microsoft Corporation | Hybrid solver for data-driven analytics |
US9224172B2 (en) | 2008-12-02 | 2015-12-29 | Yahoo! Inc. | Customizable content for distribution in social networks |
US8055675B2 (en) | 2008-12-05 | 2011-11-08 | Yahoo! Inc. | System and method for context based query augmentation |
US8166016B2 (en) * | 2008-12-19 | 2012-04-24 | Yahoo! Inc. | System and method for automated service recommendations |
US8314793B2 (en) | 2008-12-24 | 2012-11-20 | Microsoft Corporation | Implied analytical reasoning and computation |
US8090750B2 (en) | 2008-12-30 | 2012-01-03 | International Business Machines Corporation | Prompting of an end user with commands |
US20100185518A1 (en) * | 2009-01-21 | 2010-07-22 | Yahoo! Inc. | Interest-based activity marketing |
US20100185517A1 (en) * | 2009-01-21 | 2010-07-22 | Yahoo! Inc. | User interface for interest-based targeted marketing |
US8452781B2 (en) * | 2009-01-27 | 2013-05-28 | Palo Alto Research Center Incorporated | System and method for using banded topic relevance and time for article prioritization |
US8356044B2 (en) * | 2009-01-27 | 2013-01-15 | Palo Alto Research Center Incorporated | System and method for providing default hierarchical training for social indexing |
US8239397B2 (en) * | 2009-01-27 | 2012-08-07 | Palo Alto Research Center Incorporated | System and method for managing user attention by detecting hot and cold topics in social indexes |
WO2010096193A2 (en) * | 2009-02-18 | 2010-08-26 | Exbiblio B.V. | Identifying a document by performing spectral analysis on the contents of the document |
IL197196A0 (en) * | 2009-02-23 | 2009-12-24 | Univ Ben Gurion | Intention prediction using hidden markov models and user profile |
US20100228582A1 (en) * | 2009-03-06 | 2010-09-09 | Yahoo! Inc. | System and method for contextual advertising based on status messages |
EP2406767A4 (en) * | 2009-03-12 | 2016-03-16 | Google Inc | AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME |
US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
US20100241689A1 (en) * | 2009-03-19 | 2010-09-23 | Yahoo! Inc. | Method and apparatus for associating advertising with computer enabled maps |
US8150967B2 (en) * | 2009-03-24 | 2012-04-03 | Yahoo! Inc. | System and method for verified presence tracking |
US20100251118A1 (en) * | 2009-03-26 | 2010-09-30 | Peterson Michael L | Help utility with expanded content display |
US20100280913A1 (en) * | 2009-05-01 | 2010-11-04 | Yahoo! Inc. | Gift credit matching engine |
US20100280879A1 (en) * | 2009-05-01 | 2010-11-04 | Yahoo! Inc. | Gift incentive engine |
KR101562792B1 (ko) * | 2009-06-10 | 2015-10-23 | 삼성전자주식회사 | 목표 예측 인터페이스 제공 장치 및 그 방법 |
US8259134B2 (en) * | 2009-06-19 | 2012-09-04 | Microsoft Corporation | Data-driven model implemented with spreadsheets |
US8692826B2 (en) | 2009-06-19 | 2014-04-08 | Brian C. Beckman | Solver-based visualization framework |
US8493406B2 (en) | 2009-06-19 | 2013-07-23 | Microsoft Corporation | Creating new charts and data visualizations |
US8531451B2 (en) | 2009-06-19 | 2013-09-10 | Microsoft Corporation | Data-driven visualization transformation |
US8788574B2 (en) | 2009-06-19 | 2014-07-22 | Microsoft Corporation | Data-driven visualization of pseudo-infinite scenes |
US8866818B2 (en) | 2009-06-19 | 2014-10-21 | Microsoft Corporation | Composing shapes and data series in geometries |
US9330503B2 (en) | 2009-06-19 | 2016-05-03 | Microsoft Technology Licensing, Llc | Presaging and surfacing interactivity within data visualizations |
US10223701B2 (en) * | 2009-08-06 | 2019-03-05 | Excalibur Ip, Llc | System and method for verified monetization of commercial campaigns |
US8914342B2 (en) | 2009-08-12 | 2014-12-16 | Yahoo! Inc. | Personal data platform |
US8364611B2 (en) | 2009-08-13 | 2013-01-29 | Yahoo! Inc. | System and method for precaching information on a mobile device |
US8352397B2 (en) | 2009-09-10 | 2013-01-08 | Microsoft Corporation | Dependency graph in data-driven model |
US20110087515A1 (en) * | 2009-10-08 | 2011-04-14 | Miller Bradford W | Cognitive interactive mission planning system and method |
US8635584B2 (en) * | 2009-10-13 | 2014-01-21 | Yahoo! Inc. | Tutorial systems for code creation and provenance tracking |
JP5316363B2 (ja) | 2009-10-20 | 2013-10-16 | ソニー株式会社 | 情報処理装置、機能管理方法、コンピュータプログラム及び情報処理システム |
US9081799B2 (en) * | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
US9323784B2 (en) * | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
US11416214B2 (en) | 2009-12-23 | 2022-08-16 | Google Llc | Multi-modal input on an electronic device |
EP3091535B1 (en) * | 2009-12-23 | 2023-10-11 | Google LLC | Multi-modal input on an electronic device |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8370156B1 (en) * | 2010-01-20 | 2013-02-05 | The Mathworks, Inc. | Editing suggestions in different formalisms |
US9805101B2 (en) | 2010-02-26 | 2017-10-31 | Ebay Inc. | Parallel data stream processing system |
US20110238603A1 (en) * | 2010-03-29 | 2011-09-29 | Raytheon Company | System and Method for Predicting Events Via Dynamic Ontologies |
WO2011127049A1 (en) | 2010-04-07 | 2011-10-13 | Liveperson, Inc. | System and method for dynamically enabling customized web content and applications |
US8396815B2 (en) * | 2010-04-29 | 2013-03-12 | International Business Machines Corporation | Adaptive business process automation |
US9031944B2 (en) | 2010-04-30 | 2015-05-12 | Palo Alto Research Center Incorporated | System and method for providing multi-core and multi-level topical organization in social indexes |
CN102238268B (zh) * | 2010-04-30 | 2013-10-30 | 腾讯科技(深圳)有限公司 | 一种信息提示方法及装置 |
US9183560B2 (en) | 2010-05-28 | 2015-11-10 | Daniel H. Abelow | Reality alternate |
JP2011253375A (ja) * | 2010-06-02 | 2011-12-15 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
JP2011253374A (ja) * | 2010-06-02 | 2011-12-15 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
US8560365B2 (en) | 2010-06-08 | 2013-10-15 | International Business Machines Corporation | Probabilistic optimization of resource discovery, reservation and assignment |
US9043296B2 (en) | 2010-07-30 | 2015-05-26 | Microsoft Technology Licensing, Llc | System of providing suggestions based on accessible and contextual information |
US9646271B2 (en) | 2010-08-06 | 2017-05-09 | International Business Machines Corporation | Generating candidate inclusion/exclusion cohorts for a multiply constrained group |
US8968197B2 (en) | 2010-09-03 | 2015-03-03 | International Business Machines Corporation | Directing a user to a medical resource |
US9292577B2 (en) | 2010-09-17 | 2016-03-22 | International Business Machines Corporation | User accessibility to data analytics |
US8429182B2 (en) | 2010-10-13 | 2013-04-23 | International Business Machines Corporation | Populating a task directed community in a complex heterogeneous environment based on non-linear attributes of a paradigmatic cohort member |
US9443211B2 (en) | 2010-10-13 | 2016-09-13 | International Business Machines Corporation | Describing a paradigmatic member of a task directed community in a complex heterogeneous environment based on non-linear attributes |
US10318877B2 (en) | 2010-10-19 | 2019-06-11 | International Business Machines Corporation | Cohort-based prediction of a future event |
US20120136883A1 (en) * | 2010-11-27 | 2012-05-31 | Kwabi Christopher K | Automatic Dynamic Multi-Variable Matching Engine |
US9589254B2 (en) | 2010-12-08 | 2017-03-07 | Microsoft Technology Licensing, Llc | Using e-mail message characteristics for prioritization |
US8918465B2 (en) | 2010-12-14 | 2014-12-23 | Liveperson, Inc. | Authentication of service requests initiated from a social networking site |
US9350598B2 (en) | 2010-12-14 | 2016-05-24 | Liveperson, Inc. | Authentication of service requests using a communications initiation feature |
US9141405B2 (en) * | 2010-12-15 | 2015-09-22 | International Business Machines Corporation | User interface construction |
US20120159341A1 (en) | 2010-12-21 | 2012-06-21 | Microsoft Corporation | Interactions with contextual and task-based computing environments |
US8352245B1 (en) | 2010-12-30 | 2013-01-08 | Google Inc. | Adjusting language models |
US8296142B2 (en) | 2011-01-21 | 2012-10-23 | Google Inc. | Speech recognition using dock context |
GB2489584A (en) * | 2011-03-29 | 2012-10-03 | Schlumberger Holdings | An immersive GUI for geological data |
US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US8806444B1 (en) * | 2011-04-07 | 2014-08-12 | Intuit Inc. | Modifying software based on tracked activities |
US20120281704A1 (en) * | 2011-05-02 | 2012-11-08 | Butterworth Ashley I | Methods and apparatus for isochronous data delivery within a network |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
JP5496947B2 (ja) * | 2011-05-27 | 2014-05-21 | 株式会社Nttドコモ | 機能提示システム、端末装置及びプログラム |
US9489375B2 (en) | 2011-06-19 | 2016-11-08 | Mmodal Ip Llc | Speech recognition using an operating system hooking component for context-aware recognition models |
US8843851B1 (en) * | 2011-07-28 | 2014-09-23 | Intuit Inc. | Proactive chat support |
CN102955763B (zh) * | 2011-08-22 | 2016-07-06 | 联想(北京)有限公司 | 显示方法和显示装置 |
US8954364B2 (en) | 2011-09-19 | 2015-02-10 | International Business Machines Corporation | Hierarchical contexts to drive live sensor applications |
US9495331B2 (en) * | 2011-09-19 | 2016-11-15 | Personetics Technologies Ltd. | Advanced system and method for automated-context-aware-dialog with human users |
US8214904B1 (en) | 2011-12-21 | 2012-07-03 | Kaspersky Lab Zao | System and method for detecting computer security threats based on verdicts of computer users |
WO2013048427A1 (en) * | 2011-09-30 | 2013-04-04 | Siemens Aktiengesellschaft | Management system with versatile display |
US9256396B2 (en) * | 2011-10-10 | 2016-02-09 | Microsoft Technology Licensing, Llc | Speech recognition for context switching |
US9454528B2 (en) * | 2011-10-17 | 2016-09-27 | Xerox Corporation | Method and system for creating ordered reading lists from unstructured document sets |
US8214905B1 (en) | 2011-12-21 | 2012-07-03 | Kaspersky Lab Zao | System and method for dynamically allocating computing resources for processing security information |
US8209758B1 (en) | 2011-12-21 | 2012-06-26 | Kaspersky Lab Zao | System and method for classifying users of antivirus software based on their level of expertise in the field of computer security |
US8943002B2 (en) | 2012-02-10 | 2015-01-27 | Liveperson, Inc. | Analytics driven engagement |
USD752086S1 (en) * | 2012-02-24 | 2016-03-22 | Samsung Electronics Co., Ltd. | Portable electronic device with an animated graphical user interface |
US8805941B2 (en) | 2012-03-06 | 2014-08-12 | Liveperson, Inc. | Occasionally-connected computing interface |
US9411619B2 (en) | 2012-03-08 | 2016-08-09 | Vmware, Inc. | Performance management of system objects based on consequence probabilities |
CN104503895A (zh) * | 2012-03-29 | 2015-04-08 | 北京奇虎科技有限公司 | 功能提示方法及装置 |
US20130262365A1 (en) * | 2012-03-31 | 2013-10-03 | Sharp Kabushiki Kaisha | Educational system, method and program to adapt learning content based on predicted user reaction |
US9275342B2 (en) | 2012-04-09 | 2016-03-01 | 24/7 Customer, Inc. | Method and apparatus for intent modeling and prediction |
US9563336B2 (en) | 2012-04-26 | 2017-02-07 | Liveperson, Inc. | Dynamic user interface customization |
US9672196B2 (en) | 2012-05-15 | 2017-06-06 | Liveperson, Inc. | Methods and systems for presenting specialized content using campaign metrics |
US9098111B2 (en) | 2012-06-22 | 2015-08-04 | Microsoft Technology Licensing, Llc | Focus guidance within a three-dimensional interface |
US9465833B2 (en) | 2012-07-31 | 2016-10-11 | Veveo, Inc. | Disambiguating user intent in conversational interaction system for large corpus information retrieval |
US9799328B2 (en) * | 2012-08-03 | 2017-10-24 | Veveo, Inc. | Method for using pauses detected in speech input to assist in interpreting the input during conversational interaction for information retrieval |
US9720527B2 (en) | 2012-08-06 | 2017-08-01 | Tracfone Wireless, Inc. | Evolutionary touch-based graphical user interface for electronic devices |
US20140047334A1 (en) * | 2012-08-09 | 2014-02-13 | Sap Ag | Computer application learning solution |
US10163058B2 (en) * | 2012-08-14 | 2018-12-25 | Sri International | Method, system and device for inferring a mobile user's current context and proactively providing assistance |
US9015099B2 (en) * | 2012-08-14 | 2015-04-21 | Sri International | Method, system and device for inferring a mobile user's current context and proactively providing assistance |
US20140149177A1 (en) * | 2012-11-23 | 2014-05-29 | Ari M. Frank | Responding to uncertainty of a user regarding an experience by presenting a prior experience |
JP5823996B2 (ja) | 2013-01-31 | 2015-11-25 | グリー株式会社 | 通信システム、通信システムの制御方法、及びプログラム |
US20140245141A1 (en) * | 2013-02-26 | 2014-08-28 | Microsoft Corporation | Contextual user assistance for cloud services |
KR20160005013A (ko) | 2013-03-01 | 2016-01-13 | 토비 에이비 | 지연 워프 시선 상호작용 |
US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
US9251467B2 (en) | 2013-03-03 | 2016-02-02 | Microsoft Technology Licensing, Llc | Probabilistic parsing |
US9256341B2 (en) | 2013-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking changes in collaborative authoring environment |
US20140310681A1 (en) * | 2013-04-12 | 2014-10-16 | Microsoft Corporation | Assisted creation of control event |
PT2994908T (pt) * | 2013-05-07 | 2019-10-18 | Veveo Inc | Interface de entrada incremental de discurso com retorno em tempo real |
US9804730B2 (en) | 2013-06-03 | 2017-10-31 | Microsoft Technology Licensing, Llc | Automatically changing a display of graphical user interface |
CN104298683B (zh) * | 2013-07-18 | 2017-11-28 | 佳能株式会社 | 主题挖掘方法和设备、以及查询扩展方法和设备 |
CN104469709B (zh) * | 2013-09-13 | 2018-08-10 | 联想(北京)有限公司 | 识别短信的方法及电子设备 |
US10317995B2 (en) | 2013-11-18 | 2019-06-11 | Tobii Ab | Component determination and gaze provoked interaction |
US10558262B2 (en) | 2013-11-18 | 2020-02-11 | Tobii Ab | Component determination and gaze provoked interaction |
US11514399B2 (en) * | 2013-12-21 | 2022-11-29 | Microsoft Technology Licensing, Llc | Authoring through suggestion |
US10824787B2 (en) * | 2013-12-21 | 2020-11-03 | Microsoft Technology Licensing, Llc | Authoring through crowdsourcing based suggestions |
WO2015097689A1 (en) * | 2013-12-29 | 2015-07-02 | Inuitive Ltd. | A device and a method for establishing a personal digital profile of a user |
US10133589B2 (en) * | 2013-12-31 | 2018-11-20 | Microsoft Technology Licensing, Llc | Identifying help information based on application context |
JP2015133047A (ja) | 2014-01-15 | 2015-07-23 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9716745B2 (en) * | 2014-01-18 | 2017-07-25 | International Business Machines Corporation | Expertise-matched help systems |
US9842592B2 (en) | 2014-02-12 | 2017-12-12 | Google Inc. | Language models using non-linguistic context |
US9432472B2 (en) | 2014-02-24 | 2016-08-30 | Microsoft Technology Licensing, Llc | Accelerated training of personal daemons |
US9218497B2 (en) | 2014-02-24 | 2015-12-22 | Microsoft Technology Licensing, Llc | Incentive-based app execution |
US9473944B2 (en) | 2014-02-24 | 2016-10-18 | Microsoft Technology Licensing, Llc | Local personal daemon |
US9412365B2 (en) | 2014-03-24 | 2016-08-09 | Google Inc. | Enhanced maximum entropy models |
US11386442B2 (en) | 2014-03-31 | 2022-07-12 | Liveperson, Inc. | Online behavioral predictor |
US9560055B2 (en) | 2014-04-30 | 2017-01-31 | Microsoft Technology Licensing, Llc | Client-side integration framework of services |
US11100434B2 (en) | 2014-05-06 | 2021-08-24 | Uber Technologies, Inc. | Real-time carpooling coordinating system and methods |
US10458801B2 (en) | 2014-05-06 | 2019-10-29 | Uber Technologies, Inc. | Systems and methods for travel planning that calls for at least one transportation vehicle unit |
US9552559B2 (en) | 2014-05-06 | 2017-01-24 | Elwha Llc | System and methods for verifying that one or more directives that direct transport of a second end user does not conflict with one or more obligations to transport a first end user |
US9483744B2 (en) | 2014-05-06 | 2016-11-01 | Elwha Llc | Real-time carpooling coordinating systems and methods |
US11017412B2 (en) * | 2014-05-23 | 2021-05-25 | Microsoft Technology Licensing, Llc | Contextual information monitoring |
US20150356061A1 (en) * | 2014-06-06 | 2015-12-10 | Microsoft Corporation | Summary view suggestion based on user interaction pattern |
DE102014211094B4 (de) * | 2014-06-11 | 2016-04-07 | BSH Hausgeräte GmbH | Haushaltsgerät mit einem statistisch steuerbaren Betrieb und Verfahren zum steuerbaren Betreiben eines Haushaltsgerätes |
CN104166498B (zh) * | 2014-07-08 | 2018-02-23 | 惠州Tcl移动通信有限公司 | 显示用户说明书的方法及移动终端 |
KR102327403B1 (ko) * | 2014-08-01 | 2021-11-17 | 대우조선해양 주식회사 | 이벤트 로그 기반 개인화 지원 시스템 및 그 방법 |
US9952883B2 (en) | 2014-08-05 | 2018-04-24 | Tobii Ab | Dynamic determination of hardware |
US9778628B2 (en) | 2014-08-07 | 2017-10-03 | Goodrich Corporation | Optimization of human supervisors and cyber-physical systems |
US9934507B2 (en) * | 2014-08-11 | 2018-04-03 | International Business Machines Corporation | Mapping user actions to historical paths to determine a predicted endpoint |
US10460342B1 (en) * | 2014-08-12 | 2019-10-29 | Benko, LLC | Methods and software for providing targeted advertising to a product program |
US9953646B2 (en) | 2014-09-02 | 2018-04-24 | Belleau Technologies | Method and system for dynamic speech recognition and tracking of prewritten script |
US11283924B2 (en) * | 2014-09-15 | 2022-03-22 | Avaya Inc. | System and method for guiding agents in an enterprise over aggregated interactions |
US9058563B1 (en) * | 2014-10-15 | 2015-06-16 | Blackwerks LLC | Suggesting activities |
CN104317402B (zh) * | 2014-10-24 | 2020-07-03 | 小米科技有限责任公司 | 描述信息的显示方法及装置、电子设备 |
CN105893385B (zh) * | 2015-01-04 | 2020-10-23 | 伊姆西Ip控股有限责任公司 | 用于分析用户行为的方法和设备 |
US9854049B2 (en) | 2015-01-30 | 2017-12-26 | Rovi Guides, Inc. | Systems and methods for resolving ambiguous terms in social chatter based on a user profile |
US10134394B2 (en) | 2015-03-20 | 2018-11-20 | Google Llc | Speech recognition using log-linear model |
US10326768B2 (en) | 2015-05-28 | 2019-06-18 | Google Llc | Access control for enterprise knowledge |
CN104866102B (zh) * | 2015-05-29 | 2018-10-23 | 中山大学 | 一种盲人计算机的操作智能控制系统及方法 |
AU2016270937B2 (en) | 2015-06-02 | 2021-07-29 | Liveperson, Inc. | Dynamic communication routing based on consistency weighting and routing rules |
US10409443B2 (en) | 2015-06-24 | 2019-09-10 | Microsoft Technology Licensing, Llc | Contextual cursor display based on hand tracking |
US10621499B1 (en) | 2015-08-03 | 2020-04-14 | Marca Research & Development International, Llc | Systems and methods for semantic understanding of digital information |
US10073890B1 (en) | 2015-08-03 | 2018-09-11 | Marca Research & Development International, Llc | Systems and methods for patent reference comparison in a combined semantical-probabilistic algorithm |
CN105047198B (zh) * | 2015-08-24 | 2020-09-22 | 百度在线网络技术(北京)有限公司 | 语音纠错处理方法及装置 |
US10331464B2 (en) * | 2015-09-17 | 2019-06-25 | Dropbox, Inc. | Method and system for an adaptive contextual instruction tool |
US20170115838A1 (en) * | 2015-10-27 | 2017-04-27 | Ayori Zena Selassie | Method and apparatus for personal introspection tool |
US10956666B2 (en) * | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10146397B2 (en) | 2015-11-27 | 2018-12-04 | International Business Machines Corporation | User experience steering |
US10275775B2 (en) | 2015-12-10 | 2019-04-30 | Microsoft Technology Licensing, Llc | Context generation for routing on-demand services |
US10223174B2 (en) | 2015-12-10 | 2019-03-05 | Microsoft Technology Licensing, Llc | Tenant engagement signal acquisition and exposure |
US9654639B1 (en) | 2015-12-10 | 2017-05-16 | Microsoft Technology Licensing, Llc | Resource partitioning for routing on-demand services |
US9686406B1 (en) | 2015-12-10 | 2017-06-20 | Microsoft Technology Licensing, Llc | Issue detection for routing assistance requests |
US10353564B2 (en) | 2015-12-21 | 2019-07-16 | Sap Se | Graphical user interface with virtual extension areas |
US10606618B2 (en) | 2016-01-19 | 2020-03-31 | Adp, Llc | Contextual assistance system |
US20170212886A1 (en) * | 2016-01-22 | 2017-07-27 | Microsoft Technology Licensing, Llc | Configurable Generic Language Understanding Models |
US20170212650A1 (en) * | 2016-01-22 | 2017-07-27 | Microsoft Technology Licensing, Llc | Dynamically optimizing user engagement |
US9922057B2 (en) * | 2016-02-09 | 2018-03-20 | International Business Machines Corporation | Dynamic construction of knowledge base by usage pattern recognition |
US9978367B2 (en) | 2016-03-16 | 2018-05-22 | Google Llc | Determining dialog states for language models |
US9928106B2 (en) | 2016-03-29 | 2018-03-27 | Wipro Limited | System and methods for dynamically assigning control to one or more BOTs |
US10212464B2 (en) | 2016-04-15 | 2019-02-19 | Hulu, LLC | Generation, ranking, and delivery of actions for entities in a video delivery system |
US10540439B2 (en) | 2016-04-15 | 2020-01-21 | Marca Research & Development International, Llc | Systems and methods for identifying evidentiary information |
US10353534B2 (en) | 2016-05-13 | 2019-07-16 | Sap Se | Overview page in multi application user interface |
US10318253B2 (en) | 2016-05-13 | 2019-06-11 | Sap Se | Smart templates for use in multiple platforms |
US20170329505A1 (en) | 2016-05-13 | 2017-11-16 | Sap Se | Transferring parameters in applications and interfaces across multiple platforms |
US10579238B2 (en) | 2016-05-13 | 2020-03-03 | Sap Se | Flexible screen layout across multiple platforms |
US11093834B2 (en) * | 2016-07-06 | 2021-08-17 | Palo Alto Research Center Incorporated | Computer-implemented system and method for predicting activity outcome based on user attention |
US11222270B2 (en) | 2016-07-28 | 2022-01-11 | International Business Machiness Corporation | Using learned application flow to predict outcomes and identify trouble spots in network business transactions |
US11030673B2 (en) * | 2016-07-28 | 2021-06-08 | International Business Machines Corporation | Using learned application flow to assist users in network business transaction based apps |
EP4130998A1 (en) | 2016-08-14 | 2023-02-08 | Liveperson Inc. | Systems and methods for real-time remote control of mobile applications |
US10832664B2 (en) | 2016-08-19 | 2020-11-10 | Google Llc | Automated speech recognition using language models that selectively use domain-specific model components |
CN106297478A (zh) * | 2016-08-23 | 2017-01-04 | 郑州师范学院 | 一种钢琴智能教学系统 |
US11200026B2 (en) * | 2016-08-26 | 2021-12-14 | Bragi GmbH | Wireless earpiece with a passive virtual assistant |
US20180075128A1 (en) * | 2016-09-13 | 2018-03-15 | Adobe Systems Incorporated | Identifying Key Terms Related to an Entity |
US10579400B2 (en) * | 2016-11-11 | 2020-03-03 | International Business Machines Corporation | Path-sensitive contextual help system |
CN108073600B (zh) * | 2016-11-11 | 2022-06-03 | 阿里巴巴集团控股有限公司 | 一种智能问答交互方法、装置以及电子设备 |
US10963642B2 (en) * | 2016-11-28 | 2021-03-30 | Microsoft Technology Licensing, Llc | Intelligent assistant help system |
US10810380B2 (en) * | 2016-12-21 | 2020-10-20 | Facebook, Inc. | Transliteration using machine translation pipeline |
US10878192B2 (en) * | 2017-01-06 | 2020-12-29 | Microsoft Technology Licensing, Llc | Contextual document recall |
US10915303B2 (en) | 2017-01-26 | 2021-02-09 | Sap Se | Run time integrated development and modification system |
JP2018128829A (ja) * | 2017-02-08 | 2018-08-16 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
US10311860B2 (en) | 2017-02-14 | 2019-06-04 | Google Llc | Language model biasing system |
EP3622413A4 (en) * | 2017-05-08 | 2020-12-23 | Microsoft Technology Licensing, LLC | PROVIDING LOCAL SERVICE INFORMATION IN AN AUTOMATIC ONLINE DIALOGUE |
CN108874812B (zh) * | 2017-05-10 | 2021-12-10 | 腾讯科技(北京)有限公司 | 一种数据处理方法及服务器、计算机存储介质 |
US10540339B2 (en) | 2017-05-19 | 2020-01-21 | Microsoft Technology Licensing, Llc | Matching a resource with a user for a predicted user need |
US10528228B2 (en) | 2017-06-21 | 2020-01-07 | Microsoft Technology Licensing, Llc | Interaction with notifications across devices with a digital assistant |
CN109308896B (zh) * | 2017-07-28 | 2022-04-15 | 江苏汇通金科数据股份有限公司 | 语音处理方法及装置、存储介质及处理器 |
US10885808B2 (en) | 2017-09-28 | 2021-01-05 | International Business Machines Corporation | Curating tutorials based on historic user data |
US20190286968A1 (en) * | 2018-03-16 | 2019-09-19 | International Business Machines Corporation | Cognitive adaption of recommendation system |
DK180091B1 (en) * | 2018-06-03 | 2020-04-22 | Apple Inc. | ACCELERATED TASK PERFORMANCE |
US11200811B2 (en) * | 2018-08-03 | 2021-12-14 | International Business Machines Corporation | Intelligent recommendation of guidance instructions |
CN109801625A (zh) * | 2018-12-29 | 2019-05-24 | 百度在线网络技术(北京)有限公司 | 虚拟语音助手的控制方法、装置、用户设备及存储介质 |
US11211055B2 (en) * | 2019-01-14 | 2021-12-28 | Microsoft Technology Licensing, Llc | Utilizing rule specificity in conversational AI |
CN109857787B (zh) * | 2019-01-18 | 2022-04-15 | 维沃移动通信有限公司 | 一种展示方法及终端 |
JP7331395B2 (ja) * | 2019-03-20 | 2023-08-23 | 富士フイルムビジネスイノベーション株式会社 | プロセス抽出装置およびプログラム |
US11204994B2 (en) | 2019-05-09 | 2021-12-21 | International Business Machines Corporation | Injection attack identification and mitigation |
US11311958B1 (en) * | 2019-05-13 | 2022-04-26 | Airgas, Inc. | Digital welding and cutting efficiency analysis, process evaluation and response feedback system for process optimization |
US11397858B2 (en) * | 2019-08-15 | 2022-07-26 | Kyndryl, Inc. | Utilizing widget content by virtual agent to initiate conversation |
US11150923B2 (en) * | 2019-09-16 | 2021-10-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing manual thereof |
US11023220B2 (en) | 2019-09-26 | 2021-06-01 | Dell Products L.P. | Firmware update with integrated smart sequence and action engine |
JP2021117729A (ja) * | 2020-01-27 | 2021-08-10 | 富士フイルムビジネスイノベーション株式会社 | 通知装置、及びプログラム |
CN111461901B (zh) * | 2020-03-31 | 2023-05-12 | 德联易控科技(北京)有限公司 | 车辆保险理赔信息的输出方法和装置 |
US11789759B2 (en) * | 2020-08-12 | 2023-10-17 | Baton Simulations | Method, system and apparatus assisting a user of a virtual environment |
US11308287B1 (en) * | 2020-10-01 | 2022-04-19 | International Business Machines Corporation | Background conversation analysis for providing a real-time feedback |
CN115203172B (zh) * | 2022-06-30 | 2023-11-07 | 北京亚控科技发展有限公司 | 模型构建及模型数据订阅方法、装置、电子设备和介质 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4964077A (en) * | 1987-10-06 | 1990-10-16 | International Business Machines Corporation | Method for automatically adjusting help information displayed in an online interactive system |
US4905163A (en) * | 1988-10-03 | 1990-02-27 | Minnesota Mining & Manufacturing Company | Intelligent optical navigator dynamic information presentation and navigation system |
US5115501A (en) * | 1988-11-04 | 1992-05-19 | International Business Machines Corporation | Procedure for automatically customizing the user interface of application programs |
US5058008A (en) * | 1989-10-03 | 1991-10-15 | Pitney Bowes Inc. | Mail system with personalized training for users |
US5103798A (en) * | 1989-10-16 | 1992-04-14 | Mcgraw Michael F | Archery arm guard |
US5239617A (en) * | 1990-01-05 | 1993-08-24 | International Business Machines Corporation | Method and apparatus providing an intelligent help explanation paradigm paralleling computer user activity |
JP3268529B2 (ja) * | 1990-03-14 | 2002-03-25 | 株式会社日立製作所 | 知識データベース処理システムおよびエキスパートシステム |
US5311422A (en) * | 1990-06-28 | 1994-05-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | General purpose architecture for intelligent computer-aided training |
US5103498A (en) * | 1990-08-02 | 1992-04-07 | Tandy Corporation | Intelligent help system |
US5535321A (en) * | 1991-02-14 | 1996-07-09 | International Business Machines Corporation | Method and apparatus for variable complexity user interface in a data processing system |
US5901246A (en) * | 1995-06-06 | 1999-05-04 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US5903454A (en) * | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
US5377103A (en) * | 1992-05-15 | 1994-12-27 | International Business Machines Corporation | Constrained natural language interface for a computer that employs a browse function |
US5369575A (en) * | 1992-05-15 | 1994-11-29 | International Business Machines Corporation | Constrained natural language interface for a computer system |
US5477447A (en) * | 1992-05-27 | 1995-12-19 | Apple Computer, Incorporated | Method and apparatus for providing computer-implemented assistance |
US5390281A (en) * | 1992-05-27 | 1995-02-14 | Apple Computer, Inc. | Method and apparatus for deducing user intent and providing computer implemented services |
US5432940A (en) * | 1992-11-02 | 1995-07-11 | Borland International, Inc. | System and methods for improved computer-based training |
US5850627A (en) * | 1992-11-13 | 1998-12-15 | Dragon Systems, Inc. | Apparatuses and methods for training and operating speech recognition systems |
US5546502A (en) * | 1993-03-19 | 1996-08-13 | Ricoh Company, Ltd. | Automatic invocation of computational resources without user intervention |
US5701399A (en) * | 1993-06-09 | 1997-12-23 | Inference Corporation | Integration of case-based search engine into help database |
US5799292A (en) * | 1994-04-29 | 1998-08-25 | International Business Machines Corporation | Adaptive hypermedia presentation method and system |
US5644686A (en) * | 1994-04-29 | 1997-07-01 | International Business Machines Corporation | Expert system and method employing hierarchical knowledge base, and interactive multimedia/hypermedia applications |
US5597312A (en) * | 1994-05-04 | 1997-01-28 | U S West Technologies, Inc. | Intelligent tutoring method and system |
US5715374A (en) * | 1994-06-29 | 1998-02-03 | Microsoft Corporation | Method and system for case-based reasoning utilizing a belief network |
US5682469A (en) * | 1994-07-08 | 1997-10-28 | Microsoft Corporation | Software platform having a real world interface with animated characters |
JP3488525B2 (ja) * | 1994-12-13 | 2004-01-19 | 富士通株式会社 | ヘルプ画面表示方法およびヘルプ画面表示装置 |
US5694559A (en) * | 1995-03-07 | 1997-12-02 | Microsoft Corporation | On-line help method and system utilizing free text query |
US5778402A (en) * | 1995-06-07 | 1998-07-07 | Microsoft Corporation | Method and system for auto-formatting a document using an event-based rule engine to format a document as the user types |
US5696964A (en) * | 1996-04-16 | 1997-12-09 | Nec Research Institute, Inc. | Multimedia database retrieval system which maintains a posterior probability distribution that each item in the database is a target of a search |
US5828999A (en) * | 1996-05-06 | 1998-10-27 | Apple Computer, Inc. | Method and system for deriving a large-span semantic language model for large-vocabulary recognition systems |
US5809145A (en) * | 1996-06-28 | 1998-09-15 | Paradata Systems Inc. | System for distributing digital information |
US5689619A (en) * | 1996-08-09 | 1997-11-18 | The United States Of America As Represented By The Secretary Of The Army | Eyetracker control of heads-up displays |
US5864848A (en) * | 1997-01-31 | 1999-01-26 | Microsoft Corporation | Goal-driven information interpretation and extraction system |
-
1996
- 1996-07-19 US US08/684,003 patent/US6021403A/en not_active Expired - Lifetime
-
1997
- 1997-07-02 CN CNA2004100749685A patent/CN1632749A/zh active Pending
- 1997-07-02 CN CNB97196520XA patent/CN1280715C/zh not_active Expired - Lifetime
- 1997-07-02 EP EP06076448A patent/EP1742174A2/en not_active Withdrawn
- 1997-07-02 EP EP97941319A patent/EP0912932B1/en not_active Expired - Lifetime
- 1997-07-02 JP JP50692898A patent/JP4676037B2/ja not_active Expired - Lifetime
- 1997-07-02 DE DE69736552T patent/DE69736552T2/de not_active Expired - Lifetime
- 1997-07-02 WO PCT/US1997/010856 patent/WO1998003907A2/en active IP Right Grant
- 1997-07-16 CA CA002210601A patent/CA2210601C/en not_active Expired - Lifetime
-
1998
- 1998-11-20 US US09/197,159 patent/US6260035B1/en not_active Expired - Lifetime
- 1998-11-20 US US09/197,158 patent/US6262730B1/en not_active Expired - Lifetime
- 1998-11-20 US US09/197,160 patent/US6233570B1/en not_active Expired - Lifetime
-
2007
- 2007-09-25 JP JP2007248286A patent/JP4750771B2/ja not_active Expired - Lifetime
-
2009
- 2009-04-13 JP JP2009097499A patent/JP2009157951A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN1231742A (zh) | 1999-10-13 |
WO1998003907A3 (en) | 1998-09-11 |
US6233570B1 (en) | 2001-05-15 |
JP4676037B2 (ja) | 2011-04-27 |
CN1632749A (zh) | 2005-06-29 |
CA2210601A1 (en) | 1998-01-19 |
EP0912932B1 (en) | 2006-08-23 |
EP1742174A2 (en) | 2007-01-10 |
EP0912932A2 (en) | 1999-05-06 |
US6260035B1 (en) | 2001-07-10 |
US6021403A (en) | 2000-02-01 |
JP2008084321A (ja) | 2008-04-10 |
US6262730B1 (en) | 2001-07-17 |
DE69736552T2 (de) | 2007-05-10 |
CA2210601C (en) | 2005-01-11 |
DE69736552D1 (de) | 2006-10-05 |
JP2001510599A (ja) | 2001-07-31 |
JP4750771B2 (ja) | 2011-08-17 |
JP2009157951A (ja) | 2009-07-16 |
WO1998003907A2 (en) | 1998-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1280715C (zh) | 构建智能用户辅助设备的方法和设备 | |
US11869489B2 (en) | Providing suggested voice-based action queries | |
KR102290408B1 (ko) | 이미지 및/또는 다른 센서 데이터 기반의 자동화 어시스턴트 요청 해결 | |
KR102503741B1 (ko) | 이전 자동 대화 세션의 선택된 컨텐츠에 기초한 자동 대화 세션에서의 프롬프트 제공 | |
US20090228439A1 (en) | Intent-aware search | |
US7424488B2 (en) | Context-aware, adaptive approach to information selection for interactive information analysis | |
CN1474979A (zh) | 用于专家系统的定制规则系统和方法 | |
US11475890B2 (en) | Generating automated assistant responses and/or actions directly from dialog history and resources | |
EP3491533A1 (en) | Providing command bundle suggestions for an automated assistant | |
US20230409566A1 (en) | Combining parameters of multiple search queries that share a line of inquiry | |
JP2022522104A (ja) | アシスタントの応答を動的に適応させること | |
CN1669033A (zh) | 用于执行可保性分析的计算机化系统以及方法 | |
WO2014052598A1 (en) | System for accessing software functionality | |
CN1934581A (zh) | 意念表达模型设备,心理效应程序,和意念表达模拟方法 | |
CN1740970A (zh) | 无缝地比较对象的系统和方法 | |
CN1429364A (zh) | 通知平台总体结构 | |
CN1647135A (zh) | 离线电子学习 | |
US11886828B1 (en) | Generative summaries for search results | |
CN1869989A (zh) | 用于从非结构化描述生成结构化表示的系统和方法 | |
WO2018090338A1 (en) | Autonomously providing search results post-facto, including in conversational assistant context | |
US20090199079A1 (en) | Embedded cues to facilitate application development | |
US20230105185A1 (en) | Computing system for over time analytics using graph intelligence | |
WO2020262183A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Shaikh et al. | Comprehensive understanding of intelligent user interfaces | |
US20240144924A1 (en) | Providing suggested voice-based action queries |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150512 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150512 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |
|
CX01 | Expiry of patent term | ||
CX01 | Expiry of patent term |
Granted publication date: 20061018 |