CN101911050B - 实时注释器 - Google Patents

Abstract

提供了实时注释经验数据的系统(以及对应的方法)。实时注释的经验数据可根据能够在真实世界数据上覆盖虚拟数据的增强现实系统来采用。该系统采用能够标识与真实世界场景和情形相关和/或相关联的数据的‘智能标签’。

Description

实时注释器

背景

‘增强现实(AR)’通常涉及描述真实世界和计算机生成的数据的组合的计算机研究领域。常规上，AR采用数字地处理并且通过添加计算机生成的图形来‘增强’的视频图像的用途。AR的传统用途主要聚焦于游戏行业周围。

通常，常规AR系统采用特别设计的半透明护目镜。这些护目镜使得用户能够看见真实世界以及投影在真实世界视觉上的计算机生成的图像。这些系统尝试将真实世界视觉与虚拟世界组合。同样，这些系统尝试经由三维渲染来实时交互。不幸的是，传统系统在其利用现在对用户可用的大量信息的能力方面有所欠缺。

AR的其他常见用途可通过当今的职业体育来看到。例如，投影在运动场或场地上的虚拟广告可通过组合真实和虚拟世界来实现。例如，十码线或争球标记线在橄榄球场上的投影只是将真实世界与计算机生成的图形组合的另一示例。在曲棍球赛中可以看到其中轨迹或‘尾巴’被投影在曲棍球圆盘上的又一示例。该轨迹可示出曲棍球圆盘的位置以及方向。虽然这些体育相关示例不是传统的交互式AR，但这些示例描述了组合真实和虚拟计算世界以增强用户体验的有限能力。

概述

以下提供了本发明的简化概述以提供对本发明的某些方面的基本理解。本概述不是本发明的广泛概观。它不不旨在标识本发明的关键/重要的元素或描绘本发明的范围。其唯一目的是以简化的形式呈现本发明的一些概念，作为后面呈现的更加详细的描述的序言。

此处所公开并要求保护的本发明在其一方面包括一种可实时注释经验数据的系统。在各方面，所注释的经验数据可根据能够在真实世界数据上覆盖虚拟数据的增强现实系统来采用。这些实时注释可以实时收集并经由物理世界视图(例如，显示器)来显示。该系统可采用能够标识与真实世界场景和情形相关和/或相关联的数据的‘智能标签’。因此，该智能标记的数据能够例如实时地注释在真实世界场景上。

在一示例场景中，该注释系统可用于提供记忆回想信息。作为具体示例，在与先前的熟人偶然相遇时，可检索并提供数据(例如，经由注释)以便向用户提示(例如，视觉上、听觉上……)与该熟人相关的信息。此处，可采用智能标签来定位与该熟人相关的信息，该信息可用于使用户想起他们是如何认识这个熟人的、喜欢/厌恶、社会关系、职业关系等。

本发明能够在用户开始与诸如人或事物等元素接触时建立并呈现实时注释。例如，可以分析图像(例如，脸部识别模式)，可以确定上下文因素，并且可标记数据以便随后用作注释。当检测到人匹配时，能够以诸如在眼镜中的透镜取景器的内部、在便携式设备(例如，智能电话、蜂窝电话)上或者在小型耳戴式电话中等私密方式向用户呈现实时注释。

在还有一些其他方面，本发明可用于为体育比赛提供“混搭”以及结合更广泛的观众考虑事项的自适应透视图。还可提供自动诀窍生成器以回想如何执行特定任务，同时‘智能标签’可用于增强数据、先前的记忆、过去的关联，并更新位置数据库。

在本发明的又一方面，提供机器学习和推理机制，该机制采用基于概率和/或基于统计的分析以预测或推断用户期望自动执行的动作。

为了实现前述及相关目的，在这里结合以下描述及附图来描述本发明的某些说明性方面。然而，这些方面仅指示了可采用本发明的原理的各种方法中的少数几种，且本发明旨在包括所有这样的方面及其等效方式。当结合附图考虑以下本发明的详细描述时，本发明的其它优点和新颖特征将变得显而易见。

附图简述

图1示出了根据本发明的各方面的建立智能标签的示例系统。

图2示出了根据本发明的一方面的方便建立智能标签的过程的示例流程图。

图3示出了根据本发明的一方面的示例接口组件。

图4示出了根据本发明的一方面的采用生理和环境传感器的示例接口组件。

图5示出了根据本发明的一方面的示例分析组件。

图6示出了根据本发明的各方面的示例上下文数据。

图7示出了根据本发明的一方面的方便实时注释的示例现实注释系统。

图8示出了根据本发明的一方面的包括可自动化功能的基于机器学习和推理的组件的体系结构。

图9示出了可用于执行所公开的体系结构的计算机的框图。

图10示出了根据本发明的示例计算环境的示意性框图。

详细描述

现在参照附图描述本发明，其中相同的附图标记用于指代全文中相同的元素。在以下描述中，为解释起见，阐明了众多具体细节以提供对本发明的全面理解。然而，显然，本发明可以在没有这些具体细节的情况下实现。在其它情况下，以框图形式示出了公知的结构和设备以便于描述本发明。

如在本申请中所使用的，术语“组件”和“系统”旨在表示计算机相关的实体，其可以是硬件、硬件和软件的组合、软件、或者执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行代码、执行的线程、程序和/或计算机。作为说明，运行在服务器上的应用程序和服务器都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程内，且组件可以位于一台计算机上和/或分布在两台或更多的计算机之间。

如此处所使用地，术语“推断”或“推论”一般指的是从经由事件和/或数据捕捉到的一组观察值推理或推断系统、环境和/或用户的状态的过程。例如，推断可用于标识特定的上下文或动作，或可生成状态的概率分布。推断可以是概率性的，即，基于对数据和事件的考虑计算所关注状态的概率分布。推断也可以指用于从一组事件和/或数据组成更高级事件的技术。这类推断导致从一组观察到的事件和/或存储的事件数据中构造新的事件或动作，而无论事件是否在相邻时间上相关，也无论事件和数据是来自一个还是若干个事件和数据源。

最初参考附图，图1示出了允许捕捉随后可以注释在基于现实的元素上的数据的系统100。在操作中，可采用‘智能标签’来将所存储和索引的数据关联到实时数据元素。如图1所示，系统100包括注释管理系统102，该系统102包括接口组件104和标签生成器组件106。本质上，图1示出系统100可用于动态地标记并存储与经验元素1到N相关的信息，其中N是整数。可以理解，1到N个元素可被单独或统称为元素108。

本说明书描述了实时注释系统的两个部分，即标记和注释。图1描述了本发明的与方便标记和索引随后可用于注释现实经验的信息的组件相关的方面。方便采用所标记的信息来实时注释经验的其他组件将参考之后的附图来描述。虽然此处描述了具体示例，但这些示例是为了洞察本发明的特征、功能和益处而提供的。因此，这些示例决不旨在限制本发明。相反，可以理解，存在本发明的特征、功能和益处的数不尽的示例，所有这些示例都应被认为是在本说明书和所附权利要求书的范围内。

接口组件104可采用传感机制来监视与经验相关的元素108。元素108可以几乎是与经验相关的任何因素、参数或准则。同样，元素可以涉及以情形方式与元素108相关的上下文因素。在操作中，接口组件104可以自动捕捉并标记与经验中的元素相关的数据。

标签生成器组件106可将标签加到搜集到的数据并且随后方便存储到本地和/或远程存储设施中。此外，标签生成器组件106可结合上下文因素-这些标签此处可被称为‘智能标签’，因为它们不仅描述数据而且描述与数据相关联的情形或上下文因素(例如，时间、位置、状态、情绪……)。

在一具体示例中，接口组件104可以自动检测用户动作或所参与的活动。可将该信息标记到生成的与该真实世界经验相关的文件。例如，假设用户正在为他们的年度所得税准备财务信息合并并且在这样做的过程中，生成特定电子表格。此处，接口组件104连同标签生成器组件106能够用标识符来标记该文档，这些标识符与该文档的内容(例如，收入报表、W2报表、慈善金额)以及诸如对所得税的准备、为会计员John Doe准备、联邦、州、本地等上下文因素相关。因此，如果检测到准备税务文档的稍后动作，则可以自动向用户呈现适当的文档，或可另选地，可以通过视觉或听觉队列或注释来向用户提供电子表格的名称(或超链接)。

类似地，在另一示例中，可由注释管理系统102来自动捕捉、标记并存储诸如访问过的地方、资助过的企业、参与过的活动以及其他模式等因素。因此，如将在下文中描述的，该系统可以向用户呈现该信息(例如，经由注释)以建立丰富的真实世界经验，这可帮助改善信息收集、决策制定、学习、记忆增强等。虽然所述示例涉及对实时数据的自动标记，但可以理解，接口组件104还允许根据本发明的各方面来手动标记项目。

在另一具体示例中，该系统可确定体育比赛的观众也在‘幻想’体育(例如，幻想橄榄球)中有所涉及并对其感兴趣。在该示例中，基于收集到的信息，该系统可确定特定幻想联赛中的幻想阵容。在观看体育比赛时，该系统可提供本质上向幻想拥有者揭示特定球员及其各自的与该玩家在真实世界场地上的表现相关的幻想比分的‘混搭’。该混搭信息可以在球员在真实世界场地上比赛时自动地实时投影在球员上。

图2示出了根据本发明的一方面的通过标记数据元素来实时增强现实的示例方法。该示例方法示出了与监视元素并实时生成标签相关联的过程的流程图。在操作中，该方法允许实时监视并标记元素，之后实现实时注释。

尽管出于简明解释的目的，此处例如以流程图形式示出的一个或多个方法被示出并描述为一系列动作，但是可以理解和明白，本发明不受动作的次序的限制，因为根据本发明，某些动作可以按不同次序和/或与此处所示并描述的其它动作同时发生。例如，本领域技术人员将会明白并理解，方法可被替换地表示为一系列相互关联的状态或事件，诸如以状态图的形式。而且，并非所有示出的动作都是实施根据本发明的方法所必需的。

在该自动化标记示例中，在202，监视实时数据元素。如上所述，这些数据元素可包括实际活动数据以及与该活动数据一致的其他上下文因素。在204，分析捕捉到或监视到的数据元素。例如，可采用模式识别、语音识别、内容分析等机制来分析元素，由此标识内容、对象等。

在206，可以建立描述捕捉到的元素的标签(例如，‘智能标签’)。另外，标签方便允许实时注释的数据元素的关联，如下所述。例如，在实时注释情况下，可以建立上下文并通过这些智能标签将上下文映射到数据元素。因此，可以例如通过混搭、弹出窗口、覆盖图等向用户提供实时注释。

一旦生成标签，就可以在208索引并存储标签。作为示例，可以在本地存储、远程存储、或本地和远程存储的组合中维护标签。另外，尽管未在图2中示出，但可以理解，可以例如经由因特网搜索其他补充和/或描述数据并将其关联到数据元素。

现在转向图3，示出了根据本发明的一方面的接口组件104的示例框图。一般而言，示例接口组件104可包括信息收集组件302和查询组件304。本质上，信息收集组件302允许自动检索或手动汇集或收集信息。查询组件304可用于补充通过外部源，例如经由因特网收集到的数据。

此外，如图3所示，信息收集组件302可自动检索、访问或以其他方式获取元素信息。例如，可以采用传感机制来建立与元素108相关的上下文和描述因素。另外，用户(或用户组)可以手动输入稍后可用于注释的数据。

图4示出了信息收集组件302的示例框图。本质上，图4示出信息收集组件302可包括传感器组件402和分析组件404。在操作中，这些子组件(402、404)方便汇集(或收集)信息并且随后分析以确定数据的类型和特性。传感器组件402可包括生理传感器406以及环境传感器408。这些传感机制可用于建立上下文因素以及收集数据元素108。

在一具体示例中，假设用户正在观看橄榄球赛，此处，信息收集组件302可以例如经由输入来确定该用户正在观看两支特定球队之间的橄榄球赛。另外，传感器组件402可用于确定场地上的特定球员、邻近度内的各人等。此外，查询组件304可用于访问球队阵容信息、幻想阵容信息、统计数据等。由此，可以如上所述地标记并存储该信息，或者另选地，可以例如以混搭的形式实时呈现该信息。

在另一示例中，该系统可确定用户正在执行技术任务，例如，校准示波器。由此，该系统可以记录动作次序、遇到的问题、故障查找流程等。可以标记并保存这些元素以便后续注释。另外，该系统可记录用户的技能水平、先前的校准任务等-该信息可用于确定对于后续用户的适当注释。

在操作中，在另一用户执行相同(或相似)的任务时，该系统可监视生理准则以确定何时需要注释。例如，该系统可检测用户的挫折水平。此后，可以提供注释以帮助用户校准。例如，可以提供箭头或其他视频队列以帮助用户知道要切换的开关、要调整的旋钮等。虽然该示例是为了洞察本发明而提供的，但可以理解，存在采用此处所描述的智能标记和注释技术的数不尽的示例。这些附加示例应被包括在本发明及所附权利要求书的范围之内。

现在转向图5，示出了示例分析组件404的框图。示例组件404包括模式分析器组件502、声音分析器组件504以及上下文分析器组件506，这些子组件中的每一个都可用于建立因素、参数以及关联到所收集的信息的其他准则。如图所示，分析结果可方便建立标签。一种这样类型的收集到的信息是上下文信息。如此处所描述的，该上下文信息允许智能且全面的注释。

图6示出了根据本发明的对可包括捕捉到的上下文数据的各种数据的采样。根据图6所示的方面，上下文数据可被表达为至少3类：活动上下文602、用户上下文604、以及环境上下文606。

作为示例而非限制，活动上下文数据602可包括用户正在执行的当前活动。可以理解，能够显式地确定和/或推断该活动信息(例如，通过机器学习和推理(MLR)机制)。另外，活动上下文数据602可包括活动中的当前状态(如果有的话)。此外，活动上下文数据602可包括用户正根据该活动来与其交互的当前资源(例如，文件、应用程序、小配件、电子邮件等)。

在一方面，用户上下文数据604可包括用户知道的关于活动和/或应用的知识的主题。同样，用户上下文604可包括对用户的情绪或情绪状态(例如，高兴、受挫、困惑、生气等)的估计。用户上下文604还可包括关于用户最近何时使用当前活动、步骤、资源等的信息。

可以理解和明白，用户的情绪状态可使用不同的输入模态来估计，例如，用户可表达意图和感觉，系统可分析鼠标上的压力和移动、口头陈述、生理信号等以确定情绪状态。

继续参考图6，环境上下文数据606可包括环境的物理状况(例如，风、光照、周围环境、声音、温度等)、社会环境(例如，用户在开业务会议，或者用户正在和他的家人吃饭)、就在用户附近的其他人、关于位置/系统/网络有多安全的数据、日期和时间、以及用户的位置。如上所述，尽管在图6中标识特定数据类型，但可以理解，可以在上下文数据中包括附加数据类型。同样，可以理解，该附加数据应被包括在本发明和所附权利要求书的范围内。

虽然图1-6涉及建立标记的元素(例如，结合上下文的智能标记的元素)的系统(和方法)，但图7示出了采用这些元素来允许实时注释的系统700的框图。一般而言，系统700示出了现实注释系统702，该系统702实时监视元素(108)并且随后提供元素的带注释版本(例如，增强的元素704)。本质上，系统700实时提供注释，这有效地向用户提供对现实的更丰富、更全面的呈现。

例如，有时遇到人或地方并且看起来要回想起关于相应的人或地方的任何相关信息是不可能的。有时，为了不表现得粗鲁，人们将就像他们记得这个人那样延续对话，但他们不知道他们正在和谁谈话或者当前对话的上下文是什么。通常，唯一的选择是中断当前对话或数据交换，询问以便想起，并且一旦想起所遇到的人的关联和/或身份就继续先前的对话。

在这种情况下，系统700可以在用户开始与人或事物接触时向用户提供实时注释。例如，如参考图1-6所描述的，可存储图像并且确定和标记脸部识别模式。其他分析可包括音频模式或其他传感器。

当检测到人匹配时，能够以诸如在眼镜中的透镜取景器的内部或者在小型耳戴式电话中等私密方式向用户呈现实时注释。几乎任何呈现机制都应被包括在本发明及所附权利要求书的范围之内。在一具体示例中，如果一个人正在外出购物并接近他不认识的某个人，则可以提供实时注释以便让这个人知道他正在和谁谈话以及诸如与这个人的先前交互是什么等其他信息。该信息可通过智能标签或其他合适的索引或标记机制来定位。类似地，如果一个人将要访问他先前访问过的地点，则可以提供使这个人想起过去的经验的注释。

如图所示，现实注释系统702可包括标签标识器组件706、检索组件708以及注释组件710。在操作中，标签标识器组件706可分析与当前经验相关联的元素108以及与该元素相关联的上下文。因此，可以标识鉴于上下文与元素(108)相关的标签。

检索组件708可访问存储(本地、远程或其组合)以检索、访问或以其他方式获取信息以便注释。注释组件710可用于实时呈现注释，例如作为增强元素704。实际上，本发明可实时注释对象和经验以由此通过全面且丰富的数据呈现来提供增强信息。

如此处所描述的，系统700可提供记忆增强(例如，用于体育比赛的混搭)以及可结合更广泛的观众考虑事项的自适应透视图。本发明的注释功能可提供帮助回想如何执行特定任务的自动诀窍生成器，同时‘智能标签’可用于增强所存储的数据、先前的记忆、过去的关联，并更新位置数据库。

又一些方面包括真实世界数据征用(co-opt)以及存储来自大脑/机器接口设备的数据。这可包括梦想记录和回放。本发明所提供的这些记忆增强可启用无位置专家经验和远程智能等方面。可以理解，注释功能的应用是无尽的。因此，这些数不尽的方面应被包括在本发明及所附权利要求书的范围之内。

图8示出了采用方便自动化根据本发明的一个或多个特征的机器学习和推理(MLR)组件802的系统800。本发明(例如，注释选择、标签生成......)可采用各种基于MLR的方案来实现其各方面。例如，用于确定何时/如何注释现实世界数据的进程可经由自动分类器系统和进程来促进。

分类器是将输入属性矢量x＝(x1，x2，x3，x4，xn)映射到该输入属于一个类的置信度的函数，即f(x)＝置信度(类)。这种分类可采用基于概率和/或基于统计的分析(例如，分解成分析效用和成本)来预测或推断用户期望自动执行的动作。

支持向量机(SVM)是可采用的分类器的一个示例。SVM通过找出可能输入空间中的超曲面来操作，其中超曲面试图将触发准则从非触发事件中分离出来。直观上，这使得分类对于接近但不等同于训练数据的测试数据正确。可采用其它定向和非定向模型分类方法，包括，例如，朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型以及提供不同独立性模式的概率分类模型。此处所使用的分类也包括用于开发优先级模型的统计回归。

如从本说明书中可以容易地理解的，本发明可以使用显式训练(例如，经由一般训练数据)以及隐式训练(例如，经由观察用户行为、接收外来信息)的分类器。例如，SVM经由分类器构造器和特征选择模块中的学习或训练阶段来配置。因此，分类器可用于自动学习和执行多个功能，包括但不限于根据预定准则来确定何时注释、如何注释、注释什么信息、如何呈现注释、收集什么信息、标记什么信息、如何标记信息等。

现在参见图9，示出了可用于执行所公开的体系结构的计算机的框图。为了向本发明的各个方面提供附加上下文，图9及以下讨论旨在提供其中可实现本发明各个方面的合适的计算环境900的简要、概括描述。尽管本发明以上是在可在一个或多个计算机上运行的计算机可执行指令的一般上下文中进行描述的，但是本领域的技术人员将认识到，本发明也可结合其它程序模块和/或作为硬件和软件的组合来实现。

一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等等。此外，本领域的技术人员可以理解，本发明的方法可用其他计算机系统配置来实施，包括单处理器或多处理器计算机系统、小型计算机、大型计算机、以及个人计算机、手持式计算设备、基于微处理器的或可编程消费电子产品等，其每一个都可操作上耦合到一个或多个相关联的设备。

所示的本发明的各方面也可在其中某些任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实施。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。

计算机通常包括各种计算机可读介质。计算机可读介质可以是可由计算机访问的任何可用介质，并包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法和技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来存储所需信息并可由计算机访问的任何其它介质。

通信介质通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，且包含任何信息传递介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外线和其他无线介质。上述中的任意组合也应包括在计算机可读介质的范围之内。

再次参考图9，用于实现本发明的各方面的示例性环境900包括计算机902，计算机902包括处理单元904、系统存储器906和系统总线908。系统总线908将包括但不限于系统存储器906的系统组件耦合到处理单元904。处理单元904可以是市场上可购买到的各种处理器中的任意一种。双微处理器和其他多处理器体系结构也可用作处理单元904。

系统总线908可以是若干种总线结构中的任一种，这些总线结构还可互连到存储器总线(带有或没有存储器控制器)、外围总线、以及使用各类市场上可购买到的总线体系结构中的任一种的局部总线。系统存储器906包括只读存储器(ROM)910和随机存取存储器(RAM)912。基本输入/输出系统(BIOS)储存在诸如ROM、EPROM、EEPROM等非易失性存储器910中，其中BIOS包含帮助诸如在启动期间在计算机902内的元件之间传输信息的基本例程。RAM 912还可包括诸如静态RAM等高速RAM来用于高速缓存数据。

计算机902还包括内部硬盘驱动器(HDD)914(例如，EIDE、SATA)，该内部硬盘驱动器914还可被配置成在合适的机壳(未示出)中外部使用；磁软盘驱动器(FDD)916(例如，从可移动磁盘918中读取或向其写入)；以及光盘驱动器920(例如，从CD-ROM盘922中读取，或从诸如DVD等高容量光学介质中读取或向其写入)。硬盘驱动器914、磁盘驱动器916和光盘驱动器920可分别通过硬盘驱动器接口924、磁盘驱动器接口926和光盘驱动器接口928来连接到系统总线908。用于外置驱动器实现的接口924包括通用串行总线(USB)和IEEE 1394接口技术中的至少一种或两者。其它外部驱动器连接技术在本发明所考虑的范围之内。

驱动器及其相关联的计算机可读介质提供了对数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机902，驱动器和介质容纳适当的数字格式的任何数据的存储。尽管以上对计算机可读介质的描述涉及HDD、可移动磁盘以及诸如CD或DVD等可移动光学介质，但是本领域的技术人员应当理解，示例性操作环境中也可使用可由计算机读取的任何其它类型的介质，诸如zip驱动器、磁带盒、闪存卡、盒式磁带等等，并且任何这样的介质可包含用于执行本发明的方法的计算机可执行指令。

多个程序模块可存储在驱动器和RAM 912中，包括操作系统930、一个或多个应用程序932、其它程序模块934和程序数据936。所有或部分操作系统、应用程序、模块和/或数据也可被高速缓存在RAM 912中。可以理解，本发明可用各种市场上可购得的操作系统或操作系统的组合来实现。

用户可以通过一个或多个有线/无线输入设备，例如键盘938和诸如鼠标940等定点设备将命令和信息输入到计算机902中。其他输入设备(未示出)可包括话筒、IR遥控器、操纵杆、游戏手柄、指示笔、触摸屏等等。这些和其它输入设备通常通过耦合到系统总线908的输入设备接口942连接到处理单元904，但也可通过其它接口连接，如并行端口、IEEE1394串行端口、游戏端口、USB端口、IR接口等等。

监视器944或其它类型的显示设备也经由诸如视频适配器946等接口来连接到系统总线908。除了监视器944之外，计算机通常包括诸如扬声器、打印机等其它外围输出设备(未示出)。

计算机902可使用经由有线和/或无线通信至一个或多个远程计算机，诸如远程计算机948的逻辑连接在网络化环境中操作。远程计算机948可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他常见的网络节点，并且通常包括相对于计算机902描述的许多或所有元件，尽管为简明起见仅示出了存储器/存储设备950。所描绘的逻辑连接包括到局域网(LAN)952和/或例如广域网(WAN)954等更大的网络的有线/无线连接。这一LAN和WAN联网环境常见于办公室和公司，并且便于诸如内联网等企业范围计算机网络，所有这些都可连接到例如因特网等全球通信网络。

当在LAN网络环境中使用时，计算机902通过有线和/或无线通信网络接口或适配器956连接到局域网952。适配器956可以便于到LAN 952的有线或无线通信，并且还可包括其上设置的用于与无线适配器956通信的无线接入点。

当在WAN连网环境中使用时，计算机902可包括调制解调器958，或连接到WAN 954上的通信服务器，或具有用于通过WAN 954，诸如通过因特网建立通信的其他装置。或为内置或为外置的调制解调器958以及有线或无线设备经由串行端口接口942连接到系统总线908。在联网环境中，相对于计算机902所描述的程序模块或其部分可以存储在远程存储器/存储设备950中。应该理解，所示网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其他手段。

计算机902可用于与操作上设置在无线通信中的任何无线设备或实体通信，这些设备或实体例如有打印机、扫描仪、台式和/或便携式计算机、便携式数据助理、通信卫星、与无线可检测标签相关联的任何一个设备或位置(例如，公用电话亭、报亭、休息室)以及电话。这至少包括Wi-Fi和蓝牙^TM无线技术。由此，通信可以如对于常规网络那样是预定义结构，或者仅仅是至少两个设备之间的自组织(ad hoc)通信。

Wi-Fi，即无线保真，允许从家里沙发、酒店房间的床上或工作的会议室连接到因特网而不需要线缆。Wi-Fi是一种类似蜂窝电话中使用的无线技术，它使得诸如计算机等设备能够在室内和室外，在基站范围内的任何地方发送和接收数据。Wi-Fi网络使用称为IEEE802.11(a、b、g等等)的无线电技术来提供安全、可靠、快速的无线连接。Wi-Fi网络可用于将计算机彼此连接、连接到因特网以及连接到有线网络(使用IEEE 802.3或以太网)。Wi-Fi网络在未许可的2.4和5GHz无线电波段内工作，例如以11Mbps(802.11a)或54Mbps(802.11b)数据速率工作，或者具有包含两个波段(双波段)的产品，因此该网络可提供类似于许多办公室中使用的基本10BaseT有线以太网的真实性能。

现在参见图10，示出了根据本发明的示例性的计算环境1000的示意性框图。系统1000包括一个或多个客户机1002。客户机1002可以是硬件和/或软件(例如，线程、进程、计算设备)。客户机1002可例如通过本发明而容纳cookie和/或相关联的上下文信息。

系统1000还包括一个或多个服务器1004。服务器1004也可以是硬件和/或软件(例如，线程、进程、计算设备)。服务器1004可以例如通过使用本发明来容纳线程以执行变换。在客户机1002和服务器1004之间的一种可能的通信能够以适合在两个或多个计算机进程之间传输的数据分组的形式进行。数据分组可包括例如cookie和/或相关联的上下文信息。系统1000包括可以用来使客户机1002和服务器1004之间通信更容易的通信框架1006(例如，诸如因特网等全球通信网络)。

通信可经由有线(包括光纤)和/或无线技术来促进。客户机1002操作上被连接到可以用来存储对客户机1002本地的信息(例如，cookie和/或相关联的上下文信息)的一个或多个客户机数据存储1008。同样地，服务器1004可在操作上连接到可以用来存储对服务器1004本地的信息的一个或多个服务器数据存储1010。

上面所描述的包括本发明的各个示例。当然，出于描述本发明的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，本发明的许多进一步的组合和排列都是可能的。因此，本发明旨在涵盖所有这些落入所附权利要求书的精神和范围内的更改、修改和变化。此外，就在说明书或权利要求书中使用术语“包括”而言，这一术语旨在以与术语“包含”在被用作权利要求书中的过渡此时所解释的相似的方式为包含性的。

Claims (18)

1.一种方便实时注释的系统，包括：

上下文分析器组件，所述上下文分析器组件至少基于与经验相关联的用户情绪状态来建立参数和上下文因素，以便于建立标签，所述用户情绪状态使用不同的输入模态来估计；

基于与所述用户情绪状态相关联的上下文因素来生成所述标签的标签生成器组件；

发现由所述标签生成器组件生成的鉴于上下文与经验相关的多个标签的标签标识器组件；

访问与所述多个标签的子集相关的所标记的数据的检索组件；以及

用所访问的数据来实时注释所述经验以提供记忆回想信息的注释组件。

2.如权利要求1所述的系统，其特征在于，所述标签标识器采用脸部识别、模式识别、语音识别、音频分析或文本分析中的至少一个来建立所述多个标签。

3.如权利要求1所述的系统，其特征在于，所述注释组件经由视觉或音频设备中的至少一个来呈现所注释的经验。

4.如权利要求1所述的系统，其特征在于，还包括标记鉴于上下文因素与多个用户经验相关的数据的注释系统。

5.如权利要求4所述的系统，其特征在于，还包括对与元素相关的数据进行监视或接收中的至少一个的接口组件。

6.如权利要求5所述的系统，其特征在于，还包括经由传感机制来收集与所述元素相关的数据的信息收集组件。

7.如权利要求6所述的系统，其特征在于，所述传感机制是生理或环境传感器中的至少一个。

8.如权利要求6所述的系统，其特征在于，还包括采用查询以便用来自基于网络的源的数据来补充所收集的数据的查询组件。

9.如权利要求6所述的系统，其特征在于，还包括：

确定与所收集的数据相关的准则的分析组件；以及

基于所述准则的子集来生成所述标签的标签生成器组件。

10.如权利要求9所述的系统，其特征在于，还包括：

标识个人身份或对象中的至少一个的模式分析器组件；以及

基于所述准则的子集来生成所述标签的标签生成器组件。

11.如权利要求9所述的系统，其特征在于，还包括：

标识个人身份或对象中的至少一个的声音分析器组件；以及

基于所述准则的子集来生成所述标签的标签生成器组件。

12.如权利要求1所述的系统，其特征在于，还包括采用推断用户期望自动执行的动作的基于概率和统计的分析中的至少一个的机器学习和推理组件。

13.一种实时注释现实的计算机实现的方法，包括：

监视经验的元素，所述元素包括活动数据；

分析所述元素，所述分析包括分析所述元素的上下文并且所述上下文包括用户情绪状态，所述用户情绪状态使用不同的输入模态来估计；

基于所述分析，生成实时描述所述经验的所述元素的多个标签；

标识所生成的基于所述分析的多个标签；

用由所述标签的子集标识的活动数据来实时注释所述元素以提供记忆回想信息，所述标签的子集包括关于熟人、与熟人的社会关系、对熟人的喜欢或厌恶的信息；以及

用混搭、弹出窗口或覆盖图来向用户呈现具有所述标签的子集标识的活动数据的对所述元素的实时注释，其中所述混搭是投影在真实世界上的信息。

14.如权利要求13所述的计算机实现的方法，其特征在于，所述分析动作包括分析模式、分析声音、或者分析所述元素的上下文中的至少一个。

15.如权利要求13所述的计算机实现的方法，其特征在于，还包括从基于网络的源中检索由所述标签的子集标识的数据。

16.如权利要求13所述的计算机实现方法，其特征在于，还包括：

监视不同的元素集；

标识与所述不同的元素集的子集相关的数据；以及

基于鉴于上下文的内容来标记所述数据。

17.一种方便实时注释现实的计算机可执行系统，包括：

用于监视用户经验的装置；

用于分析所述经验的子集的元素的装置；

用于至少基于与所述经验相关联的用户情绪状态来建立参数和上下文因素以便于建立标签的装置，所述用户情绪状态使用不同的输入模态来估计；

用于基于与所述用户情绪状态相关联的上下文因素来生成关联到所述元素的标签的装置；

用于应变于所述标签来索引与所述元素相关的数据的装置；

用于存储所索引的数据的装置；以及

用于基于所索引的数据来实时注释不同用户的经验以提供记忆回想信息的装置。

18.如权利要求17所述的计算机可执行系统，其特征在于，还包括：

用于监视所述不同用户的经验的装置；以及

用于分析所述经验的装置，其中所述分析用于定位或检索所索引的数据。