CN101006480B - 与待控制设备相关联的物体的定位方法和控制该设备的方法 - Google Patents

Abstract

本发明描述用于定位与待控制设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的方法，该方法包括将包含摄像机(2)的指向设备(1)瞄准目标区(A)，产生由指向设备(1)瞄准的目标区(A)的图像(3)，分析目标区图像(3)以确定物体(B₁，B₁′，B₂，B₃)的性质。基于图像(3)的分析产生关于物体(B₁，B₁′，B₂，B₃)的性质的反馈信号(4)并通过将反馈信号(4)变为在指向设备(1)的至少一部分中所产生的触觉指示而将其报告给用户。本发明还描述了指向设备(1)、设备控制接口(8，8′)以及包含用于实施该方法的、包含该指向设备(1)和设备控制接口(8，8′)的系统。另外，本发明描述使用该用于定位与设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的方法来控制该设备(D₁，D₂，D₃)的方法和系统(15)。

Description

与待控制设备相关联的物体的定位方法和控制该设备的方法

技术领域

本发明涉及用于确定与待控制设备相关联的物体的位置方法和系统，以及涉及用于这样的系统的指向设备及设备控制接口。另外，本发明涉及用于控制这样的设备的方法和系统。

背景技术

近年来指示器(例如激光指示器或“指示棒”)的使用变得越来越普遍。这样的指示器基本上是无源设备，因为它们可能仅仅用于指示物体，通常用于向观众们指出屏幕或投影上的条目。但是，它们的使用被限于这样的情况，且它们不能被用于例如直接控制设备或与设备交互。

如果受限制的话，为了方便和舒适地控制设备(如消费电子设备)，在近几十年来遥控器已逐渐形成。遥控器通常是手持的并且指向待控制的设备，如电视、DVD播放机、调谐器等，遥控器通常通过按压按键而被用于在许多选项中进行选择，而且通常被限制用于一个或至多几个这样的设备。对于一个设备可提供的选项一般是预定义的且被限制为某个数目，而且被显示在屏幕上使得用户在按压遥控器上的适当按键前可以研究可提供的选项。一般地，用户如果充分利用这些设备，就必须花费相当多的时间研究这些可提供的选项以及在相应的遥控器上相关联的按键或按键的组合。最常见的是，按键的功能不是显而易见的，而可能使用户弄不清楚。甚至这些设备所提供的手册或用户指南通常也不能清楚地说明一特定功能将如何被编制。结果，用户通常不能从他所买的设备中获得最大的好处，在新的环境中不熟悉设备的用户可能完全不能明白他如何与这些设备交互。

尤其当被用来与不具有显示器特征的设备交互时，遥控器的另一个缺点是：用户接收不到关于刚发出的指令是否已真的被所指向的设备接收的任何反馈。在与这样的设备交互时涉及到相当多的猜测。另外，通常的遥控器并不向用户确认他正在将其指向正确的方向。用户仅仅在他发出的指令没有产生效果时才意识到他正在使遥控器不正确地瞄准。遥控器的正确瞄准实际上也涉及猜测。

发明内容

因此，本发明的目的是提供一种与可控设备交互的更精确且直观的方法。

为了这个目的，本发明提供一种用于确定与待控制设备相关联的物体的位置的方法，该方法包括使包含摄像机的指向设备瞄准目标区，产生由指向设备瞄准的目标区的图像，以及分析目标区图像以确定物体的性质。基于图像的分析，产生关于物体的性质的反馈信号，通过将反馈信号转变成在指向设备的至少一部分中所产生的触觉指示而将其传送给用户。

与待控制设备相关联的待定位的物体，其可以是该设备本身的罩，如在消费电子设备、家用电器、或任何类型的电子设备或电控设备(如灯开关、扩音器等)的情况下那样。等同地，物体可以是表示待控制设备的任何其它物品，真实的或虚拟的。例如，用户可能使指向设备瞄准灯或灯的图像，而待控制的相关联的设备实际上是开灯和关灯的灯开关。物体与其代表的实际设备之间的关系可以在训练设备控制接口的前面步骤中预定义，该设备控制接口优选为能够控制许多设备或应用。物体也可以是在例如程序中用于选择的选项，如在显示器上所显示的或打印好的菜单选项。

在目标区图像的分析中所确定的物体的“性质”可以在尽可能最广的意义上理解，因为这样的性质可以是，只列举几个例子，目标区图像中的物体的可见性和缺乏可见性、物体和参考点之间的距离、与该物体相关联的设备的可控制性——基本上任何适当的描述符(descriptor)都可以是物体的“性质”。由图像分析所确认的性质将随着时间的推进而变化。例如，参考点与在邻近区域的物体之间的距离可以是待确认或计算的第一类型性质。然后，当用户移动指向设备使得其瞄准物体时，可以得出一个能确认物体本身的性质。当物体被成功地确认，下一类型的性质可以是提供给用户的一组指令，用于和与该物体相关联的设备交互。如后面将要更详细描述的，可以产生反馈信号以反映物体当前性质的本质。

根据本发明的方法为指向设备开辟了一个崭新的应用。尤其是，用这样的指向设备做辅助，简单地通过使指向设备在任何方向瞄准，用户可以确定与设备相关联的物体的位置。反馈信号被变成用户可以感觉到的易察觉信号，其可以将为了确定物体位置必须使指向设备所瞄准的方向传送给用户。指向设备的这种性能，连同其方便的指向形式，结合起来使本发明成为用于日常生活中无数情况的有力且实用的工具。

根据本发明，用于确定与待控制设备相关联的物体的位置的系统包括：指向设备，其包含用于在使指向设备瞄准的方向上产生目标区图像的摄像机；图像分析单元，用于分析图像以确定物体的性质；反馈信号生成单元，用于基于图像的分析，产生关于物体的性质的反馈信号；以及指向设备的触觉指示单元，用于将反馈信号转变成触觉指示。

因此，根据本发明的指向设备应包括：摄像机，用于在使指向设备瞄准的方向上产生目标区的图像；以及触觉指示单元，其将基于目标区图像的图像分析所产生的反馈信号转变成在指向设备的至少一部分中所生成的触觉指示。

在本发明的优选实施例中，该方法可以不仅用于确定与待控制的设备相关联的物体的位置，而且可以用于控制该设备。因此根据本发明的实施例的用于控制设备的方法涉及将包含摄像机的指向设备引导到包含与所述设备相关联的物体的至少一部分的目标区，产生目标区的图像，分析目标区图像，基于图像的分析产生用于控制设备的控制信号，以及将控制信号传送给待控制的设备。由此，控制信号可以根据用户所采取的任何相关的行动而产生。

这样相关的行动可以涉及用指向设备做出某种手势或者在指向设备上操纵控制输入，同时让指向设备瞄准与设备相关联的物体。这种控制输入可以是按键、旋钮、转盘等，用户可以按压、推或者激活它。同样，控制输入可以包括在指向设备上的触摸感应区，其能记录用户所执行的触摸。指向设备的设计甚至可以允许键区或数字键作为指令输入模式。

“设备控制接口”可以被用于基于关于设备的可控性以及与这些设备相关联的物体的位置的信息提供反馈信号。另外，这样的设备控制接口也可以用于控制这些设备。

为了应用所述用于确定与待控制设备相关联的物体的位置的方法，这样的设备控制接口包含：至少一个图像分析单元，用于分析图像；以及反馈信号生成单元，用于基于图像的分析，产生对应于与待控制设备相关联的物体的性质的反馈信号。为了用于控制所述设备，这样的设备控制接口还包含：控制信号生成器，用于生成适当的控制信号；以及通信接口，用于将控制信号传送到待控制的设备。如后面将要说明的，这样的设备控制接口可以结合在指向设备中或可以被实现为外部单元，通过适当的通信接口与指向设备耦合。

在本发明的一个特别优选的实施例中，图像分析单元被构造或实现成使得其能基于图像处理结果确定用户正在使指向设备瞄准的以及确认用户所瞄准的真实的物体的相关方向。因此，可以使用图像分析结果适当地用于反馈信号生成以及用于控制信号生成。可选地，可以使用分立的图像分析单元提供用于反馈信号生成以及控制信号生成的结果。

另外的权利要求以及后续的说明书公开了本发明的有特别效果的实施例以及特征。

用于产生图像的摄像机优选地地被结合到指向设备中，但同样可以安装到指向设备上，且优选地被以这样的一种方式取向使得其产生在用户所瞄准的指向设备前方的区域的图像。摄像机可以用基本的方式进行构建，或可以使其具有强有力的功能特征，如缩放性能或某种类型的滤波器。

因此，“目标区”是指向设备的前方的区域，其能被摄像机捕捉成为图像。目标区的图像，或目标区图像，可以仅覆盖周围环境的一个小的子集，或者其可以包含物体的一部分或整个物体，或者其可以包括周围环境的一部分以及物体。例如，当用户正在试图确定物体的位置时，目标区图像开始可以仅显示周围环境。那么，当反馈信号在确定想要的物体的位置方面给了用户以帮助，并且随后用户使指向设备瞄准该物体时，目标区图像将显示该物体的至少一部分，或许也显示一些周围环境。与目标区所包含的任何物体相关的目标区图像的尺寸可以取决于物体的尺寸、指向设备与物体之间的距离、以及摄像机本身的性能。用户可以被定位使得指向设备与物体相距某一距离，例如当用户站在房间的另一端时。同样地，用户可以手持指向设备紧靠近物体以得到更详细的图像。

为了确定在所述环境内目标区的相对位置，图像分析单元将目标区图像与多个模板进行比较。这些模板可以显示所述环境的不同区域，例如模板可以覆盖一个在其中使用指向设备的通常房间的四壁，这些模板还可以表明与在所述环境中任何可控设备相关联的物体的位置。使用标准的图像处理技术，图像分析单元可以确定模板中的目标区图像的位置，然后计算其相对于这些物体的位置。

如上所述，基于图像分析所产生的反馈信号反映了待控制设备的物体的当前性质。在用户正使用指向设备确定还没有被包围在当前目标区图像中的邻近区域的物体的位置的同时，反馈信号被用来向用户传送一个他应该移动指向设备的方向的易察觉的或触觉指示。当图像分析计算指向设备正在靠近的物体的位置时，反馈信号可以通过适当地变成能产生相应的增加或减弱强度的易察觉的指示的增加的或减弱的强度，从而来反映该移动。增加的强度或陡的反馈信号可以向用户表明他正在向目标即物体移动。另一方面，逐渐缩小的反馈信号可以向用户传送这样的概念：他正在错误的方向上移动。

另外，反馈信号的某些“模式”可以与某些物体相关联。例如，包含长的和/或短的脉冲串的预定义模式的反馈信号可以与特定物体相关联，使得当指向设备的目标区穿过这个物体时，通过相应易察觉的一系列长的和/或短的振动将这个事件通知用户。

一旦物体在目标区中是可见的(从图像分析的角度来看)反馈信号可以改变为肯定型信号，如，短脉冲串序列，通过这样的肯定型触觉指示让用户知道他正指向正确的方向且指向与一个设备相关联的物体，通过使用指向设备，用户就可以与该设备进行交互。

然后，用户可以通过使用指向设备的控制输入或者通过以预定义的方式移动指向设备与所述设备进行交互。如果用户用指向设备执行了一个不能由设备控制接口成功解释的动作，那么这也可以通过适当的反馈信号和相应的触觉指示被传送给用户，让他知道他例如已经以一种模糊不确定的方式移动了指向设备，或者试图进行对于正在被控制的设备不合适的动作。另外，如果作为用户没注意的结果，原来正在指向的物体将要移出目标区使得物体在目标区不再可见，那么这也可以通过短的反馈信号报告给用户。通过用这种方式应用被控制的振动，指向设备可以帮助用户精确地瞄准物体。

在本发明的特别优选的实施例中，可以通过在指向设备的一个或多个部分中将反馈信号转变成短的鸣叫或振动(通常被称为“力反馈”)来提供触觉指示。反馈信号甚至可以通过将其转变成用户在手中能感觉到的低电平电流(优选为低得使其不会让用户感觉不舒服)而变为触觉指示。

为了指示用户应该移动指向设备的方向，优选地，指向设备配备有被定位在指向设备周围的多个触觉指示单元。在指向设备的基本上相对“侧”的两个不同的触觉指示单元可能足以指示“左”和“右”。被定位在指向设备各个部分中的适当的更大数量的触觉指示单元可以用来指示更大数据的可能方向。触觉指示单元可以与指向设备的表面平齐，或者从表面上突出。触觉指示单元可以简单地振动而不会偏离其固定位置，或者可以使其移动使得其抵压着用户的手然后回复到其初始位置。

为了容易地确定用户正在使指向设备瞄准的物体，优选地，设备控制接口的图像分析单元通过应用通常的图像处理技术或计算机视觉算法，将目标区的图像与许多预定义的模板进行比较。对于所述比较，可能单个的预定义的模板就足够，或者可能需要将图像数据与一个以上的模板进行比较。一旦物体在模板中已被识别，结果就能得出或确定相关联的设备以及该设备的可控性的级别。例如，如果用户正在使指向设备瞄准扩音器的音箱，则将音箱的图像与数个模板进行比较直到找到匹配，使得相关联设备——“扩音器”或，更可能地，驱动扩音器的放大器——可以被识别，而且可以得出相关联的性质——“音量”。

预定义模板可以存储在设备控制接口的内部存储器中，或者同样地可以从外源中存取。优选地，设备控制接口包括具有适当接口的存取单元，以用于从例如内部或外部存储器、记忆棒、企业内部互联网或因特网获得对于物体的预定义模板。用这种方式，可以由根据本发明的指向设备控制的器具的制造商将对于这些器具的模板提供给设备的用户。模板可以是任何一种物体的图表表示，例如电视屏幕的图像、调光器开关、空调机等。如果这些物体是例如在电视屏幕上所显示的菜单的选项，那么模板可以显示对于电视的许多菜单选项的位置，从而，通过分析在用户使指向设备瞄准电视时目标区的图像数据，图像分析单元可以确定用户正在瞄准哪一选项。

优选地，设备控制接口可以直接结合到指向设备中。在这种情况下，设备控制接口不需要接收机，因为它可直接从摄像机得到图像。图像分析、反馈信号生成以及控制信号生成可以发生在指向设备中，基于图像分析生成的反馈信号被直接传送到触觉指示单元，并且任何控制信号被以适当的形式从指向设备直接传送到待控制设备。

另一方面，由于这些单元的可控性可能受指向设备的物理尺寸限制，其中指向设备优选被实现得能够用手舒服地握持，所以，这样的图像分析单元可以仅足以用于最基础图像分析，而需要更大的单元的更高级的图像处理，可以与控制信号产生及反馈信号产生一起，在外部设备控制接口中进行。

在本发明的特别优选的实施例中，指向设备结合设备控制接口、以及用于将图像发送到外部设备控制接口的发送单元或发送器、和用于从外部设备控制接口接收反馈信号的接收单元。可选地，指向设备可以完全没有图像分析、反馈信号生成及控制信号生成功能，允许这些任务由外部设备控制接口来实现，由此允许指向设备以更小、更紧密的形式实现。

如上所述的外部设备控制接口可以是单独的设备，或可以结合到已现存的家庭娱乐设备、个人计算机中，或可能被实现为专用的设备控制接口。为了从指向设备接收信息，外部设备控制接口的特征是具有用于接收图像的接收单元。在一个环境(如旅馆、办公室或家)中的设备控制接口可以被实现使得图像处理、反馈信号生成及控制信号生成可以集中进行，而分布在大楼各处的多个接收单元可以从任意数量的指向设备中接收图像数据。同样地，也分布在大楼各处的多个应用接口可以将控制信号传送到位于任何房间中的设备或器具。因此，用户可以使指向设备瞄准一个房间中的物体以控制位于不同房间的设备。

另外，设备控制接口不必被实现成为一个单个的实体。包含设备控制接口的单元或模块可以根据需要分布在多个不同的实体上。

显然，设备控制接口不限于使用单个指向设备。任何数量的指向设备可以用来将图像数据传送到设备控制接口。例如，可以给家庭的每个成员提供这样的指向设备供家里使用，或者可以向旅馆的每个旅客提供指向设备以用于控制可向那个旅馆中的旅客提供的设备。高级实现方式可以预见指向设备传送授权代码连同图像数据，使得，例如，仅仅在旅馆登记的旅客可以利用旅馆中的设备。授权代码可以是指向设备中硬连线的(hardwired)，或者可以是由用户以某种方式(例如通过控制输入)登录的。

为了使指向设备和设备控制接口的有用性最大化，用户可以训练设备控制接口以辨别物体及使它们与待控制的特定设备相关联。为了这个目的，设备控制接口可以具有用户接口(如键盘或键区)的特征，使得用户可以输入关于模板图像或设备控制参数的信息。例如，旅馆的管理者可以用摄像机甚或指向设备的摄像头拍摄在旅馆房间之一中的散热器的照片，并将图像传送到设备控制接口的内部存储器中。借助对设备控制接口的适当的输入指令，例如通过经键盘或键区输入指令，他可以将散热器物体的图像分配给适当的设备，在这个例子中是加热系统。用这种方式，他可以将任何物体分配给任何设备，或可以将许多不同物体分配给一个设备。例如，他可以将灯的图像以及控制该灯的开关的图像分配给灯开关，其实质上是待控制的设备。当旅馆客人使指向设备瞄准这些物体中任何一个并且同时操纵控制输入或以预定义的方式移动指定设备，这可以具有控制灯开关的效果。另外，可以通过指向物体的某一部分而指定动作类型，其中物体的不同部分与不同性质相关联。例如，指向散热器的温度调节装置可以指示仅仅这个散热器的温度会被调节，而指向散热器的本体将暗示在这个房间中的所有散热器的温度会被调节。

目标区的图像可以包含仅仅关于整个图像的重要部位的图像数据，如增强的轮廓、角、边等，或可以是具有画面质量的详细的图像。为了处理图像数据以确定用户正在使指向设备瞄准的区域或物体，权宜之计是用计算机视觉技术找到用户已瞄准的区域中的点，即目标点。

用计算机视觉算法处理目标区图像的方法可以包括检测目标图像中的独特的点，在模板中确定相应的点，以及制定出一个变换，用于将目标图像中的点映射到模板中的相应点。目标区中的独特的点可以是任何适当独特的点。然后这个变换可以用来确定参考点(例如目标区图像的中心)相对于物体的距离。用这种方式，比较目标区图像与预定义的模板可以被限制为识别和比较仅仅显著的点，如独特的拐角点。如本发明中可应用的术语“比较”可以在一个广义上理解，即通过仅仅比较足够的特征以快速识别用户正瞄准的区或区域，或确认目标区中的物体是“可见的”。

确定由用户所选定的物体的另一种可能的方式是直接将所接收到的以目标点为中心的目标区图像与预定义的模板进行比较以用诸如图案匹配之类的方法确定物体中被瞄准的点。

为了直观地使用指向设备，聚集的光束源可以被结合在指向设备中或指向设备上，使得光点大体上出现在由摄像机所捕捉的目标区的中心。这种聚集的光束源可以是激光光源，如在当前可提供的许多类型的激光指示器中的光源。因此下面假设聚集光束源是激光光源，这并不限制本发明的保护范围。被固定在目标区中的某个位置且被传送到图像分析单元作为目标区图像的一部分的光点的位置可以用作目标点以确认用户所瞄准的真实物体。

因此本发明总的来说提供一种简单且直观的用于确定与待控制物体相关联的物体的位置。为了便于使用，指向设备可以是细长型的棒或笔形，其可以让用户舒服地抓住。因此用户可以将指向设备指向物体，虽然其位于距离物体一定距离处。同样地，指向设备可以是枪形。另外，附加的灯源可以安装在指向设备中或上，用于照亮指向设备所瞄准的区域，使得用户可以仍然使用指向设备以确定物体的位置，即使周围环境是黑暗的。

把指向设备与设备控制接口结合起来以便提供一个用于实际上任何一种环境的强有力的物体定位和设备控制系统。例如，可以想象到的是，该系统可以用于任何公共环境中，例如旅馆、机场、医院等，其中用户可以使用指向设备以便在不知道设备位于哪里的情况下，以方便且直观的方式定位和控制不熟悉的设备或器具。

例如，旅馆中的客人一旦登记就可以发给他一个指向设备。他被告知在他的旅馆房间中他可以用该指向设备控制控制功能和器具。首先，他仅用指向设备经在其房间中的大型多用途屏幕上显示的图形系统巡航。娱乐系统、信息传送系统、以及其它设备或器具通过用指向设备来瞄准和通过按压指向设备上的控制输入来表明选择而被简单且直观地控制。无论任何时候他指点到一个菜单选项，那一项不仅在屏幕上成为加亮区，而且他会感觉到在指向设备中的轻微振动或力反馈。当他将指向设备移开时，振动停止。当他将指向设备从应用的控制框移出时，一个小但却易察觉的冲力表示他“穿越了边界”。过了一会儿，他认识到他也可以将指向设备用在房间中“真实”的物体上。当他靠近灯开关时，来自指示设备的触觉指示告知他他在“热的物体”附近。当他使该指向设备精确地瞄准开关时，振动再次开始，且他认识到可以以某种方式用指向设备来使用灯开关。他按压按键-然后灯就灭了。该轻微的且易察觉的来自其手中的指向设备的力反馈帮助他在黑暗中使指向设备精确地瞄准灯开关。他再按压按键一次，则使灯重新亮了。用这种方式，旅馆客人可以探查整个房间，以找出控制房间中不同设备的所有可能性。

本发明的其它目的和特征将从下面结合附图的详细描述变得更明显。但是，应该明白的是，附图仅仅是为了图示说明的目的设计的，并不作为对本发明的限定。

附图说明

图1是根据本发明的实施例的包括指向设备和用于控制许多设备的设备控制接口的系统的示意图；

图2是指向设备和与待控制设备相关联的物体的示意图，其中该物体由指向设备所瞄准的目标区包围；

图3是指向设备和与待控制设备相关联的物体的示意图，其中该物体不由指向设备所瞄准的目标区包围；

图4是根据本发明的实施例的显示物体、其相关联的模板、以及由指向设备所产生的目标区图像的示意图。

具体实施方式

在附图中，从始至终，相同的数字指的是类似的物体。所描述的指向设备1由用户所握持及操作，在附图中未示出。

图1显示用于控制许多设备D₁，D₂，D₃的系统15，其包含指向设备1及外部设备控制接口8。

指向设备1包含摄像机2，其产生在指向D的方向上在指向设备1前方的区域的图像3。指向设备1在这个实施例中具有细长形状的特征，使得指向D的方向位于沿指向设备1的纵轴方向。摄像机2被定位成朝向指向设备1的前方，使得产生在用户(在图中未示出)正在瞄准的指向设备1前方的区域或目标区A的图像3。

用户可以在基本上任何方向上用指向设备1瞄准。因为指向设备1的用途是使得与设备D₁，D₂，D₃交互，而用户可能不知道用指向设备1能控制哪个设备D₁，D₂，D₃或者与设备D₁，D₂，D₃相关联的物体B₁，B₁′，B₂，B₃在其当前环境中位于什么位置，指向设备1向用户提供触觉反馈，帮助他很容易确定在附近的与可控设备D₁，D₂，D₃相关联的任何物体B₁，B₁′，B₂，B₃的位置。

附图中显示的物体B₁，B₁′，B₂，B₃是灯B₁、灯B₁的调光器灯开关B₁′、散热器B₂、以及电视B₃，这些都可以在家中或旅馆房间里见到。每个物体B₁，B₁′，B₂，B₃与多个设备D₁，D₂，D₃中的一个相关联。一个以上的物体可以代表待控制的设备。在图1中，调光器开关D₁由其罩(作为物体B₁′)以及灯B₁来表示，调光器开关D₁是控制灯的亮度的真实设备。对于用户，直接指向灯B₁是相当直观的，因为毕竟灯B₁的亮度是他想要改变的。

为了帮助用户定位物体B₁，B₁′，B₂，B₃，可以让触觉指示单元10、20“鸣叫”或振动，指示物体B₁，B₁′，B₂，B₃在附近，或指示用户必须使指向设备1瞄准哪个方向才使物体B₁，B₁′，B₂，B₃出现在目标区A中。例如，如果用户手中握持指向设备1以使得触觉指示器10定位在指向设备1的左手侧，而触觉指示器20定位在指向设备1的右手侧，那么在左侧触觉指示器10中的“鸣叫”或振动将指示用户应将指向设备1向左侧移动。如果用户应使指向设备1更多地瞄向右侧，那么触觉指示单元20将鸣叫或振动以对此进行指示。指向设备1可以被提供以任何数量的触觉指示单元，但是为了清楚起见附图中只显示了两个。

当用户移动指向设备1时，在指向设备1的前方的目标区A的图像3由摄像机2产生且被传送到设备控制接口8。图像3被接收单元14接收并被转送到图像分析单元6。这里，将图像3与模板或周围的图像进行比较，以确定目标区A相对于邻近区域中任何物体B₁，B₁′，B₂，B₃的位置，图像分析的结果被转送到反馈信号生成单元5，在其中产生适当的反馈信号。例如，如果图像分析单元6得出结论：没有任何物体在目标区A中可见，而是物体位于目标区A的左侧，则产生反馈信号以将该信息传递给用户。

反馈信号4由发送单元9发送到指向设备1，在其中其由接收器13接收并传递到触觉指示单元10、20，在触觉指示单元10、20中使其呈示为易察觉的信号，如鸣叫或振动。反馈信号4可以被编码使得仅仅旨在用于特定触觉指示单元10的那部分也被接收或被所述单元10、20转变。

不同类型的触觉反馈可能被用于指示不同的状况。例如，在适当的触觉指示单元中的一系列振动可以指示指向设备正在以相对于物体的错误方向移动。如果目标区A的边缘刚刚穿过物体B₁，B₁′，B₂，B₃，则可能产生一个不同类型的反馈信号4。另一方面，如果目标区A正在趋向于偏离被指向设备1瞄准的物体，则这种情况将由特定类型的反馈信号4(例如短的鸣叫)报告给用户。

一旦已确定物体的位置，即一旦物体在目标区A是可见的，用户就可以使用指向设备1来控制物体所相关联的设备。为了这个目的，指向设备1可以具有控制输入装置(如一个或多个按键)的特征，该图中未示出。控制输入装置的功能可以取决于与物体相关联的设备，例如控制输入对于扩音器可以具有+/-功能，增加或减少音量，或其可以用作上升/下降控制器，用于升高或降低自动窗罩(window shade)。为了确认指向设备1所瞄准的物体B₁，B₁′，B₂，B₃，将图像3与多个物体的模板进行比较。这些模板可根据需要从数据库中或经接入单元23从外源21、22中检索。

理想地，接入单元23具有允许接入外部数据的许多接口，例如用户可以提供存储在存储介质22(如软盘、CD或DVD)上的预定义模板，或接入单元23可以从外部网络(如因特网21)或从所述设备的制造商检索适当的模板信息。例如在一个训练对话(training session)中(在该训练对话中用户指定待控制设备D₁，D₂，D₃与物体B₁，B₁′，B₂，B₃之间的相关性)，所述模板也可以由用户构建。所述模板可以显示叠加在背景上的物体B₁，B₁′，B₂，B₃，或可以仅由关于物体B₁，B₁′，B₂，B₃相对于背景的位置信息所增补的背景图像构成。对于散热器的情况，散热器的模板可以是显示真实的散热器及其环境(如壁纸、窗口、家具等)的图像。对于物体的一个更简单的模板可以只显示物体本身而不具有周围环境。这样的模板可能更适于物体B₁，B₁′，B₂，B₃被目标区A环绕时对其进行确认，而包含背景的、用关于物体B₁，B₁′，B₂，B₃的相对位置的位置信息所增补的模板将更适用于给用户指导物体B₁，B₁′，B₂，B₃的方向。

图像分析单元6利用已知的图像处理技术以找到与图像3最接近匹配的模板，从而确认正被指向的物体B₁，B₁′，B₂，B₃以及待控制的相关联的设备D₁，D₂，D₃。该信息被转发给控制信号生成单元7，后者于是产生适当的控制信号17。该控制信号17被依次转送到通信接口11。该通信接口11可以对控制信号17进行任何必要的转换以给出适合于实际设备D₁，D₂，D₃的信号30、31、32，该通信接口11驱动多个应用或设备D₁，D₂，D₃，而其每一个可能要求不同类型的信号30、31、32。在这种情况下，控制信号17被转换成适于驱动调光器D₁的形式。

图中所示的设备D₁，D₂，D₃的位置可以彼此靠近或可以分布在多个不同的房间。设备控制接口8的应用接口11能够通过适当的接口与设备通信，使得设备(例如加热系统D₂)可以从例如起居室进行控制，即使加热系统D₂本身可能位于房间的地下室。该接口可以是有线的(如总线或局域通信网)，或可以是无线连接(如无线LAN网、蓝牙等)。

指向设备1可以连续地传送图像3给设备控制接口8，或如果它在一段时间内没有被移动则可以自动停止传输。为了这个目的，指向设备1可以包含运动传感器，图中未示出。由于指向设备1最可能由电池供电，(图中也未示出)，所以为了延长电池的使用寿命，有利的是在用户真正移动指向设备时仅将数据传送给设备控制接口。用户一拿起指向设备就启动图像数据3的传输，而一旦用户将指向设备返回到静止的位置就可以自动停止。

图2显示指向设备1的可选实施方式，其特征是在其自己的局域设备控制接口8′中具有其自己的图像分析单元6′、反馈信号产生器5′以及控制信号产生器单元7′。指向设备1可以局域地分析由其摄像机2所产生的图像数据3，以产生用于其触觉指示单元10、20的反馈信号4以及用于适当的设备D₁，D₂，D₃的控制信号17。在进行任何必要的转换之后，局域通信接口11′传送控制信号17。

在该图中，使指向设备1正指向物体B₁，在这种情况下它是调光器灯开关B₁。在指向设备1的这个实施例中，激光的光源16被结合到指向设备1中。因为光点P_L出现在激光光束L在平面上投射的位置，这可以帮助用户看到他正使指向设备1瞄准的区域，或者去跟踪由触觉指示单元10、20发出的触觉反馈强烈要求他移动指向设备1的方向。激光光源16可以被设置成使得光点P_L差不多出现在目标区A的中间，且可以被结合到指向设备1本身中。

目标区A的图像被连续地处理，且产生适当的反馈信号4，直到用户使指向设备1成功地瞄准物体。当物体B₁的一部分足以用于确认时，不一定需要整个物体B₁都出现在目标区A内，如图中所示。现在在图像分析单元6′中分析图像3，以解释用户所采取的任何行动。例如，为了以某种方式控制设备D₁，用户可以操纵控制输入装置18。来自该控制输入装置18的任何信号19连同图像分析的结果在控制信号产生器7′中进行处理，随后产生对于设备D₁的适当控制信号17。

控制信号7在由应用接口11′传送到调光器D₁之前，经受必要的转换而成为调光器D₁可理解的形式。为了易于使用，应用接口11′以无线的方式与调光器D₁通信。

如图2中所示，能够局域地进行图像处理和反馈/控制信号生成意味着指向设备1不一定需要与图1中所示的分立的设备控制接口8进行通信。因为图像分析的质量可能受指向设备1的物理尺寸限制(其最可能会以小型且实用的形式来实现)，这个“独有”(stand-alone)的实施例可以满足图像分析的精确性不是特别重要的情况，或者在指向设备1不能与外部设备控制接口8进行通信的情况下够用。反馈信号4在反馈信号生成器5′中本地产生，然后直接转送到触觉指示单元10、20。

该实施例当然可以简单地是图1的扩展，从而指向设备1除了利用局域设备控制接口8′之外，也利用图1中所描述的传送单元12，从而允许其除了运行其独有的功能之外还与外部设备控制接口8一起运行。

图3更清楚地显示了反馈的效果。这里，用户在房间内使指向设备1瞄准，且可能想要确定可控设备D₁(在这种情况下是灯开关)的位置。为了简便起见选择了这个例子，但是要明白的是，指向设备1可以用于确定其所在位置不是那么明显可见的物体或设备的位置。

目标区A的图像被传送到外部设备控制接口(在图中未示出)，其图像分析单元通过使用表示该房间的区域的模板而得出结论：用户当前正在使指向设备1瞄准与设备D₁相关联的物体B₁′的右侧区域。

外部设备控制接口的反馈信号生成单元产生适当的反馈信号，该反馈信号被传送到指向设备1且其使触觉指示器10鸣叫或轻微振动，让用户知道他应该更多地向左移动指向设备1以找到物体B₁′。当用户在M_P方向移动指向设备1时，目标区A有效地跟踪箭头M_A所示的方向。明显地，用户不必以横向的方式真实地移动。他也可以只停留在相同的位置而仅仅调节握持指向设备1的手的角度。然而，目标区A将仍跟踪想要的方向M_A。

目标区A的图像在图像分析单元中被连续地分析，直到在图像中检测到物体B₁或物体B₁的一部分。此时，反馈信号可能改变，使得触觉指示单元10、20都短暂地鸣叫，以让用户知道他现在使指向设备1瞄准在正确的方向上。既然用户已经确定了物体B₁的位置，那么他可以继续控制与物体B₁相关联的设备D₁，如上面结合图1和图2所详细描述的。

用户将不总是使指向设备1从正前方瞄准物体---更可能的是将使指向设备1以对物体或多或少的倾角进行瞄准，因为通常摇动或旋转指向设备比改变其位置更方便。这在图4中示出，其示出了由指向设备1所产生的目标区图像3的示意表示，指向设备1从一定距离以一倾角瞄准物体B₁′，使得在目标区A中物体B₁′(在这个例子中是灯开关B₁)的比例及透视图在目标区图像3中出现畸变。

无论指向设备1相对于物体B₁′是什么角度，目标区图像3总是以目标点P_T为中心。设备控制接口的图像处理单元将目标区图像3与预定义模板T相比较，以确定用户正指向的物体B₁′。

为了简便起见，可以将目标点P_T取为指向设备1的纵轴与目标区图像A的交叉点且基本上被确定在目标区图像3的中心。那么与目标点P_T对应的模板T中的点就很容易定位。

使用边角检测方法的计算机视觉算法被应用来确定与物体B₁′在模板T中的点[(x_a，y_a)，(x_b，y_b)]对应的目标区图像3中的点[(x_a′，y_a′)，(x_b′，y_b′)]的位置。在这个例子中，仅显示了两个点对，但是在目标区图像3及模板T中根据要求可以标识任何数目的点对。

每个点都可以表示为矢量，例如点(x_a，y_a)可以表示为

作为下一步骤，变换函数T_λ被展开以将目标区图像3映射到模板T：

$f\left(\mathrm{\λ}\right)=\underset{i}{\mathrm{\Σ}}{|T_{\mathrm{\λ}}\left({\stackrel{\→}{v}}_i\right)-{\stackrel{\→}{v}}_i^{\′}|}^2$

其中，矢量

表示模板T中的坐标对(x_i，y_i)，矢量

表示目标区图像3中的相应坐标对(x_i′，y_i′)。参数组λ包括用于产生函数的最大成本效率解的图像的转动和平移的参数，参数组λ可以被用来确定指向设备1相对于物体B₁′的位置和方向。计算机视觉算法利用这个事实：在指向设备1中的摄像机2被固定且在指向示意动作方向上“查看”。下一步是计算在指向D的方向上指向设备1的纵轴与目标区图像A的交叉点，从而是目标点P_T。一旦已计算出交叉点的坐标，确定模板T中该点的位置是简单的事。

虽然本发明以优选实施例及对其的变化的形式公开了本发明，但应该明白的是，在不脱离本发明的保护范围的情况下，可以对本发明进行多种附加的修改和变化。作为对笔形的可选方案，指向设备可以是例如带有内置摄像头的移动电话，因为许多移动电话已经能够以振动的形式向用户提供触觉反馈。另一可选方案可以是具有内置摄像头个人数字助理(PDA)。另外，对触觉指示附加的反馈信号可以变成声音信号的形式以更好地吸引用户的注意和/或以更易于理解的形式提供反馈。为了这个目的，在指向设备本身中可以结合一个小型的扩音器。这样的反馈模式(其中反馈也可以以可听见的方式提供)，如果想要的话，可以不被激活，而仅仅在用户需要详细的反馈的时候激活，例如在用户学习使用指向设备时。为了清楚起见，还可以明白的是在整个本申请中“一个”的使用并不排除多个，且“包含”或“包括”并不排除其它的步骤或元件。“单元”可以包含多个模块或设备，除非明确描述为单个实体。

Claims (10)

1.一种用于确定与待控制设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的位置的方法，其包括：

-使包含摄像机(2)的指向设备(1)瞄准目标区(A)；

-产生由指向设备(1)瞄准的目标区(A)的图像(3)；

-分析目标区图像(3)以确定物体(B₁，B₁′，B₂，B₃)的性质；

-基于对该图像(3)的分析，产生关于该物体(B₁，B₁′，B₂，B₃)的性质的反馈信号(4)；

-以及通过将反馈信号(4)转变成在指向设备(1)的至少一部分中所产生的触觉指示而将反馈信号(4)报告给用户，

其特征在于，所述物体包括屏幕上的图形菜单选项以及“真实”物体中的至少一个，并且所述方法还包括：

-作为选项正在被指向的结果而加亮所述屏幕上的该图形菜单选项，其中触觉指示向指向设备(1)的用户指示以下内容的至少之一：

-正在被指向的物体(B₁，B₁′，B₂，B₃)是否允许与指向设备(1)交互，以及

-所述指向设备(1)的目标区(A)什么时候经过与设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的边缘，

其中触觉指示向指向设备(1)的用户指示与指向设备(1)的当前目标区(A)相关的方向，在该当前目标区(A)中确定了物体(B₁，B₁′，B₂，B₃)位置，和/或指示指向设备(1)的当前目标区(A)与物体(B₁，B₁′，B₂，B₃)的接近程度。

2.根据权利要求1所述的方法，其中触觉指示通过使指向设备(1)的一部分振动而产生。

3.用于控制设备的方法，由此使用根据前述任一权利要求的方法首先确定与设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的位置，以及由此

-让包含摄像机(2)的指向设备(1)瞄准包含至少部分物体(B₁，B₁′，B₂，B₃)的目标区(A)；

-产生目标区(A)的图像(3)；

-分析目标区图像(3)并且基于对该图像(3)的分析产生用于控制设备(D₁，D₂，D₃)的控制信号(17)；

-将控制信号(17)传送到待控制的设备(D₁，D₂，D₃)。

4.一种用于确定与待控制设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的位置的系统(15)，包括

-指向设备(1)，其包含用于在使指向设备(1)瞄准的方向上产生目标区(A)的图像(3)的摄像机(2)；

-图像分析单元(6，6′)，用于分析图像(3)以确定物体(B₁，B₁′，B₂，B₃)的性质；

-反馈信号生成单元(5)，用于基于对该图像(3)的分析，产生关于物体(B₁，B₁′，B₂，B₃)的性质的反馈信号(4)；

-指向设备(1)的触觉指示单元(10，20)，用于将反馈信号(4)变为对于指向设备(1)的用户的触觉指示；

其特征在于，所述物体是屏幕上的图形菜单选项以及“真实”物体，并且所述系统被允许因选项正在被指向而加亮所述屏幕上的该图形菜单选项，

其中该触觉指示单元向指向设备(1)的用户指示以下内容的至少之一：

-正在被指向的物体(B₁，B₁′，B₂，B₃)是否允许与指向设备(1)交互，以及

-所述指向设备(1)的目标区(A)什么时候经过与设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的边缘，

其中触觉指示单元向指向设备(1)的用户指示与指向设备(1)的当前目标区(A)相关的方向，在该当前目标区(A)中确定了物体(B₁，B₁′，B₂，B₃)位置，和/或指示指向设备(1)的当前目标区(A)与物体(B₁，B₁′，B₂，B₃)的接近程度。

5.用于控制设备(D₁，D₂，D₃)的系统(15)，其包括根据权利要求4的用于确定与该设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的位置的系统，以及

-控制信号生成单元(7，7′)，用于基于对包含至少部分该物体(B₁，B₁′，B₂，B₃)的目标区(A)的图像(3)的分析，产生对于待控制设备(D₁，D₂，D₃)的控制信号(17)，

-以及通信接口(11，11′)，用于将控制信号(17)传递到待控制设备(D₁，D₂，D₃)。

6.一种指向设备(1)，包括：

-摄像机(2)，用于在指向设备(1)瞄准的方向上产生目标区(A)的图像(3)；

-以及触觉指示单元(10，20)，用于将基于目标区图像(3)的分析所产生的反馈信号(4)变为在至少部分指向设备(1)中所产生的触觉指示，

其特征在于，所述指向设备被允许与屏幕上的图形菜单选项以及“真实”物体一起使用，并且，作为所述指向设备检测到屏幕上的图形菜单选项正在被指向的结果，所述指向设备能够发送使屏幕上的该图形菜单选项被加亮的指令，

其中该触觉指示单元向指向设备(1)的用户指示以下内容的至少之一：

-正在被指向的物体(B₁，B₁′，B₂，B₃)是否允许与指向设备(1)交互，以及

-所述指向设备(1)的目标区(A)什么时候经过与设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的边缘，

其中触觉指示单元向指向设备(1)的用户指示与指向设备(1)的当前目标区(A)相关的方向，在该当前目标区(A)中确定了物体(B₁，B₁′，B₂，B₃)位置，和/或指示指向设备(1)的当前目标区(A)与物体(B₁，B₁′，B₂，B₃)的接近程度。

7.根据权利要求6所述的指向设备(1)，包括

-传送单元(12)，用于将图像(3)传送到设备控制接口(8)；

-接收单元(13)，用于从设备控制接口(8)接收反馈信号(4)。

8.根据权利要求6所述的指向设备(1)，包括设备控制接口(8′)，该设备控制接口(8′)包括

-图像分析单元(6′)，用于分析由指向设备(1)的摄像机(2)所产生的目标区图像(3)，以确定与待控制的设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的性质(B₁，B₁′，B₂，B₃)；

-以及反馈信号生成单元(5′)，用于基于对该图像(3)的分析，产生关于物体(B₁，B₁′，B₂，B₃)的性质的反馈信号(4)。

9.一种设备控制接口(8)，包括

-接收单元(14)，用于从指向设备(1)接收图像(3)；

-图像分析单元(6)，用于分析图像(3)；

-反馈信号生成单元(5)，用于基于对该图像(3)的分析，产生与物体(B₁，B₁′，B₂，B₃)的性质相对应的反馈信号(4)，其中物体(B₁，B₁′，B₂，B₃)与待控制的设备(D₁，D₂，D₃)相关联；

-传送单元(9)，用于把反馈信号(4)传送到指向设备(1)，

其特征在于，所述设备控制接口被允许与图形菜单选项以及“真实”物体一起使用，并且，作为所述设备控制接口检测到屏幕上的图形菜单选项正在被指向的结果，所述设备控制接口能够发送使屏幕上的该图形菜单选项被加亮的指令，

其中指向设备(1)的触觉指示单元向指向设备(1)的用户指示以下内容的至少之一：

-正在被指向的物体(B₁，B₁′，B₂，B₃)是否允许与指向设备(1)交互，以及

-所述指向设备(1)的目标区(A)什么时候经过与设备(D₁，D₂，D₃)相关联的物体(B₁，B₁′，B₂，B₃)的边缘，

其中触觉指示单元向指向设备(1)的用户指示与指向设备(1)的当前目标区(A)相关的方向，在该当前目标区(A)中确定了物体(B₁，B₁′，B₂，B₃)位置，和/或指示指向设备(1)的当前目标区(A)与物体(B₁，B₁′，B₂，B₃)的接近程度。

10.根据权利要求9的设备控制接口(8)，包括

-控制信号生成单元(7)，用于基于包含至少部分物体(B₁，B₁′，B₂，B₃)的目标区(A)的图像(3)的分析，产生对于所述待控制的设备(D₁，D₂，D₃)的控制信号(17)；

-以及通信接口(11)，用于将控制信号(17)传送到待控制的设备(D₁，D₂，D₃)。

Images