CN102779001A - 用于触摸检测或手势检测的光图案 - Google Patents

用于触摸检测或手势检测的光图案 Download PDF

Info

Publication number
CN102779001A
CN102779001A CN201210180682XA CN201210180682A CN102779001A CN 102779001 A CN102779001 A CN 102779001A CN 201210180682X A CN201210180682X A CN 201210180682XA CN 201210180682 A CN201210180682 A CN 201210180682A CN 102779001 A CN102779001 A CN 102779001A
Authority
CN
China
Prior art keywords
image
light pattern
projector
camera
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210180682XA
Other languages
English (en)
Other versions
CN102779001B (zh
Inventor
张玮
王曌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN102779001A publication Critical patent/CN102779001A/zh
Application granted granted Critical
Publication of CN102779001B publication Critical patent/CN102779001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Abstract

本发明披露了一种触摸检测的方法和装置,包括:获取一个物体接近一个表面的第一图像;投射一光图案在所述表面上,至少部分地根据所述第一图像和所述表面的表面映射关系来生成所述光图案;获取所述光图案叠加在所述物体上的第二图像;至少部分地根据所述第二图像,确定所述物体是否触摸到所述表面。如果所述第二图像里的所述光图案没有不连贯,那么判定所述物体触摸到所述表面。如果所述第二图像里的所述光图案包括一个或多个不连贯,那么判定所述物体没有触摸到所述表面。

Description

用于触摸检测或手势检测的光图案
【技术领域】
本发明涉及光学投影和图像检测以检测触摸或手势动作。
【背景技术】
使用虚拟输入设备将命令、数据、或其他信息输入到电子系统中,如手机、智能电话、个人数据助理(PDA)、膝上型电脑等等,这是令人期待的。这些相当小尺寸的电子设备可能有相当小的触摸屏或迷你键盘。输入命令或数据不仅耗时且容易出错。例如,手机、PDA、或智能电话都允许电子邮件通信,但是使用一个小小的电话触摸屏去输入信息是蛮困难的。比如,PDA或智能电话可以拥有计算机的许多功能,但是却受困于一个极小的或不存在的键盘。
【发明内容】
一方面,本发明披露了一种触摸检测的方法,包括:捕获一个物体接近一个表面的第一图像;投射一光图案在所述表面上,至少部分地根据所述第一图像和所述表面的表面映射关系来确定所述光图案;捕获所述光图案叠加在所述物体上的第二图像;至少部分地根据所述第二图像,确定所述物体是否触摸到所述表面。
如果所述第二图像里的所述光图案没有不连贯,那么判定所述物体触摸到所述表面。如果所述第二图像里的所述光图案包括一个或多个不连贯,那么判定所述物体没有触摸到所述表面。
另一方面,本发明披露了一种触摸感应装置,包括:映射模块,用于确定一表面上的投影图像和所述表面的捕获图像之间的映射关系;投影仪,用于产生所述投影图像和一光图案在所述表面上;相机,用于捕获所述表面的所述图像、所述光图案的图像、和一物体的图像;处理器,用于至少部分地根据所述光图案的图像,确定所述物体是否触摸到所述表面。
【附图说明】
通过参照结合附图,将详细描述非限制性和非穷尽性实施例,其中在各个物体中,相同的编号代表相同部分,除非另有说明。
图1是一个实施例的电子设备的方框示意图。
图2是另一个实施例的投影-检测系统、触摸物体、表面的示意图。
图3是一个实施例的投影-检测系统和表面的示意图。
图4是另一个实施例的投影-检测系统和表面的示意图。
图5是另一个实施例的投影-检测系统、触摸物体和表面的示意图。
图6是又一个实施例的投影-检测系统、触摸物体和表面的示意图。
图7是一个实施例的检测物体是否触摸到表面的过程的流程图。
图8是一个实施例的检测物体是否触摸到表面的过程的图像流程图。
图9是另一个实施例的检测物体是否触摸到表面的过程的流程图。
【具体实施方式】
在以下的详细描述中,阐述了众多具体细节,以便能够全面理解本发明主题。但是,本领域技术人员须明白,在没有这些具体细节的情况下也可以实施本发明主题。另外,本领域技术人员所熟知的方法、装置或系统将不作详细描述,以免混淆所主张的发明主题。
在整个说明书里,“一个实施例”可以是指关于一个特别实施例而描述的一个特别特征、结构或特性,该特别实施例可以包含在本发明的至少一个实施例内。因此,在说明书里各个地方出现的“在一个实施例里”不一定意在指同一实施例或描述的任何一个特别实施例。此外,可以理解,在一个或多个实施例里,特定特征、结构或特性可以以各种方式进行组合。当然,这样那样的问题可随特定上下文的使用不同而不同。因此,描述的特定上下文或这些术语的使用能够提供关于将对所述情形得出的推论的有益的指导。
在此描述的实施例包括一个电子设备,其可以支持一个或多个写字板功能,如在将命令、数据、或其他信息输入到该电子设备时,可以检测触摸动作。例如,用户通过显示在一个表面上的虚拟键盘输入命令或数据到电子设备中。用户可以通过触摸例如一个表面上的键的图像而输入命令或数据。相反,如果用户仅仅将手指或触笔保持在这个键的图像上而不是触摸该表面,那么命令或数据是不会输入到该电子设备中的。因此,检测触摸操作可以使得电子设备确定用户是否想输入一个命令或数据。而且,检测触摸操作可以使得电子设备识别与特定的命令一致的特定手势或手指手势。当然,所主张的发明主题并不限于用户与虚拟键盘交互的任何细节。
电子设备可以包括便携式电子设备,如智能电话、手机、PDA、膝上型电脑等等。例如,电子设备可以确定用户手指或触笔是否接触(如触摸)到了显示在一个表面上的虚拟键盘。在这样的情况下,电子设备还可以确定用户的哪个手指接触到了虚拟键盘,或可以确定或识别用户的手或手指进行的手势。在这里,术语“手指”和“触笔”可以互换使用。而且,可以使用“触摸物体”或“物体”替代这些术语。
例如,相比使用很小的触摸屏或迷你键盘,虚拟键盘可以提供给用户另一种选择去输入命令或数据到便携式电子设备中(如智能电话等)。大尺寸的虚拟键盘对于用户输入电子邮件或文字到智能电话或手机中是很方便的。
在一个实施中,虚拟键盘可以包括一个表面(如一张纸、一个台面等),其有一个键盘或其他输入设备或界面的投影图像。虚拟键盘或其他输入设备或界面可以包括一个工作表面,该工作表面不需要包括例如传感器或机械部件或电子部件。显示有虚拟键盘的表面不需要实际去执行一个输入命令或数据到电子设备中的过程。而是,触摸物体(如用户手指或触笔)和部分工作表面(其上有键的图像)之间的交互,会被电子设备检测到,从而输入信息到电子设备中。
在一些实施例中,一种确定物体是否触摸到一个表面的方法包括:捕获第一图像,第一图像包括物体接近该表面的一个图像。术语“接近”是指一个物体接触到一个表面或者该物体没有接触到该表面但是悬停在该表面上一段距离处。投射光线而产生一个光图案在该表面上。这个投影的光图案可以至少部分地基于第一图像和该表面的表面映射关系而确定。产生一个表面的表面映射关系的实施例将在以下讨论。在一个实施中,投影的光图案可以包括一直线在一平坦平面上。
一种确定物体是否触摸到一个表面的方法还包括:捕获第二图像,第二图像包括光图案叠加在物体上的一个图像。在一个实施中,如果第二图像中的光图案包括一个或多个不连贯时,就可以确定物体是没有接触到表面的,这将在以下解释。另一方面,如果第二图像中的光图案没有不连贯时,就可以确定物体是接触到表面的。
在一个实施例中,一个触摸表面和投影仪相机系统之间的映射关系是可以确定的。这个映射关系可以用于转化由相机所看到的表面上的位置和由投影仪位置上所看到的表面上的位置,这将在以下解释。
在一个实施中,一种确定物体是否触摸到一个表面的方法可以包括:至少部分地基于第一图像,检测该物体顶端的一个位置,并至少部分地基于该物体顶端的该位置和此投影仪相机系统作用于该表面的映射关系,投射光线以产生一个光图案。
在其他实施例中,执行一种确定物体是否触摸到一个表面的方法的设备、装置或系统可以包括一个映射模块,其确定投影到表面上的图像和该表面的捕获图像之间的映射关系。使用投影仪来产生所述投影图像。投影仪还产生一个光图案投射到该表面上。在一个实施中,投影仪是一个红-绿-蓝(RGB)投影仪。在另一个实施中,投影仪是一个可以投射红外(IR)光的投影仪,如RGB-IR投影仪。因此,在一个特别实施中,由投影仪产生的光图案可以包括红外光,而由投影仪产生的投影图像可以包括可见光。
确定物体是否触摸到一个表面的设备、装置或系统还包括一个相机以捕获表面图像、光图案图像、和物体图像。相机的光轴被安排与所述表面成一非正交角度。在一个实施中,相机可以是可见光及红外光相机,例如能够捕获由RGB-IR投影仪产生的图像。
所述设备、装置或系统还包括一个处理器,以便至少部分地基于光图案图像而确定物体是否触摸到该表面。例如,如果光图案图像包括一个或多个不连贯,那么处理器就可以确定物体没有接触到表面。另一方面,如果光图案图像没有不连贯,那么处理器就可以确定物体接触到表面了。
在一个实施中,确定物体是否触摸到一个表面的设备、装置或系统可以集成到一个移动设备中。例如,智能电话、PDA、便携式电脑(如膝上型电脑或笔记本电脑)等等可以包括映射模块、投影仪、相机、或处理器的仪器,以确定物体是否接触到一个表面。当然,这些移动设备仅仅是例子,被发明主题并不限于此方面。
在一些实施例中,确定物体是否触摸到一个表面的技术可以有很多好处。例如,实施这些技术的设备、装置或系统可以包括相机和投影仪,并不需要有额外的光传感器或额外的光源。因此,包括投影模块和相机模块的便携式电子设备可以执行多个过程,如在此描述的那些示例性实施例。实施这些技术的设备、装置或系统还能够产生一个表面的映射关系,如在此表面上可以投射有一个虚拟键盘。而且,这个平面无须是平坦的,以下将解释。当然,这些好处仅仅是例子,本发明主题不受限于此。另外,这些好处仅仅是一部分而已。
图1是一个实施例的电子设备100的方框示意图。例如,电子设备100可以是一个便携式设备如智能电话、膝上型电脑、或PDA,以上仅仅是一些例子。电子设备100可以包括一个感应设备110,以感应、检测、或确定电子设备100的用户执行的多种动作。例如,在一个实施中,感应设备110可以确定用户手指或触笔是否接触到一个包含虚拟键盘的表面。在这种情况下,设备110还可以确定用户的哪个手指接触到哪个键。在另一个实施中,感应设备110可以确定或识别用户的手或手指在表面上执行的手势,该表面包含一个虚拟键盘。
感应设备110可以包括一个投影仪120,用于产生投影图像和光图案在一表面上。在一个实施中,投影仪120是一个RGB投影仪。在另一个实施中,投影仪120是一个RGB-IR投影仪。因此,在一个特别实施中,由投影仪120产生的光图案可以包括红外光,而由投影仪产生的投影图像可以包括可见光。
感应设备110还可以包括一个相机130,以捕获表面图像、光图案图像、和触摸物体(可以接触表面的物体,如手指或触笔,)的图像。在一个实施中,相机130可以是可见光及红外光相机,能够捕获由投影仪120产生的图像。
映射模块145可以确定表面上投影图像和捕获的表面图像之间的映射关系,这将在以下详细描述。处理器140可以包括映射模块145,可以部分地基于光图案图像而确定物体是否接触到表面。
例如,如果光图案图像包含一个或多个不连贯,那么处理器140就确定物体没有接触到表面。另一方面,如果光图案图像没有包含不连贯,那么处理器140就确定物体接触到表面
图2是根据实施例200的投影-检测系统210、触摸物体260、和表面250的示意图。例如,系统210是一个便携式设备如智能电话、膝上型电脑或PDA,以上仅仅是一些例子。系统210可以包括一个投影仪220用于产生一个投影图像252在表面250上。图像252可以包括一个虚拟键盘显示在表面250上,表面250可以是一张纸、一个桌面、或一个笔记本,这些仅仅是一些例子。图像252可以覆盖一个区域255,如图2所示。
相机230可以捕获表面250上的图像252和触摸物体260的图像,例如触摸物体260可以是用户的手指或触笔。相机230和投影仪220可以置于系统210内并隔开一段距离225。而且,相机230或投影仪220的光轴关于表面250成一非正交角度。因此,这个隔开的距离防止投影仪和相机共享同一光路径。例如,图像252由投影仪220投射到表面250上,与表面250成一特别角度。另一方面,图像252可以由相机230以一相对于表面250的不同的角度而捕获。所以,从投影仪220和从相机230的位置上分别看到的图像252是不同的。这个不同就可以应用于以下将解释方法中,以确定触摸物体260是否接触到表面250。
图3是根据一个实施例的投影-检测系统310和表面350的示意图。例如,系统310可以是一个便携式设备如智能电话、膝上型电脑或PDA,以上仅仅是一些例子。系统310可以包括投影仪320,用于产生投影图像355在表面350上。图像355可以是一个虚拟键盘或其他图像,显示在表面350上。特别地,图像355可以包括一个图像部分352。相机330用于捕获包括部分352的图像355。如以上所述,相机330和投影仪320隔开一段距离,防止投影仪和相机共享同一光路径。因此,从投影仪320和从相机330的位置上分别看到的图像355是不同的。在一个实施例中,例如,可以使用一个转换函数去映射投影仪320的图像355的部分如352,和相机330的图像355。例如,转换函数可以由以下关系确定:
X → i ′ = H X → i 等式1
这里
Figure BDA00001724852100072
表示在投影仪320中对应位于图像355坐标点i位置的坐标,
Figure BDA00001724852100073
表示在相机330中对应位于图像355的同一点位置的坐标。而且,H表示转换变量,其是至少部分地取决于投影仪320和相机330之间的距离.此转换变量也可至少部分地取决于投影仪320和相机330相对于表面350所形成的光路的角度,发明并不受此上限制。系统310包括一个处理器340(其可以包括一映射模块,如图1中的145),以执行一个或多个应用,其可以使用等式1去确定图像355作用于投影仪320的和相机330之间的映射关系。
图4是根据一个实施例400的投影-检测系统410和非平坦表面450的示意图。例如,系统410可以是一个便携式设备如智能电话、膝上型电脑或PDA,仅仅是一些例子。系统410可以包括投影仪420,用于产生投影图像在表面450上。这个图像可以是一个虚拟键盘或其他图像,显示在表面450上。投影仪420还可以产生光图案455在表面450上。将在以下解释,所述光图案可以用于确定表面几何轮廓。而且,光图案455可以用于扫描投影表面。在相机430获得扫描结果后,就可以确定表面几何轮廓;根据非平坦表面上每个点,从相机空间到投影空间的相应转换就可以通过由处理器440执行的一个或多个应用来确定,比如等式1。
在一个实施例中,表面450不需要是平坦的。这里,表面450包括部分452和454,它们延伸于表面450的其他部分之上。处理器440执行的一个或多个应用可以使用光图案455来确定表面450的形状和轮廓。例如,光图案455投射在表面后由相机430捕获而产生一个图像。此图像中的光图案455不同于投影仪420所投影出的光图案。如以上提到的,这是因为相机430和投影仪420分隔开了一段距离(如几毫米到超过几厘米)。例如,投影仪420所投射光场470包括多个平行直线的光图案。但是,由相机430捕获的光图案的图像,是不同于由投影仪420投射的光图案。这个不同是至少部分地基于表面450的表面轮廓。
因此,如果表面450是平坦的,由投影仪420投射的直线光图案,在被相机430捕获的光图案图像中也是直的。但是,这些投影的直线,在被相机430捕获的图像中,可能有不连贯性,对应表面450的表面轮廓上的台阶。例如,表面轮廓上的这些台阶出现在表面部分452和454之间的一些位置上。在另一个例子里,这些投影的直线,在被相机430捕获的图像中,可能有曲线,对应表面450的弯曲表面轮廓(图中未显示弯曲表面轮廓)。
图5和图6是根据一些实施例的投影-检测系统510、触摸物体560、和表面550的示意图。系统510包括投影仪520和相机530。在图5中,触摸物体560触摸到表面550。在图6,触摸物体560没有触摸到表面550。如以上所述,分隔开一段距离525的投影仪520和相机530会导致从投影仪520和相机530角度所看到的投影在表面550上的图像或图案有所不同。现在就关于图5和图6的实施例来解释这个不同。
在图5中,相机530捕获到表面550和物体560包括顶端565的图像。箭头535表示相机530感知到顶端565的角度或方向。处理器540运行的一个应用可以假定顶端565位于表面550的点A处。因此,在假定顶端565的位置后(如在点A处),投影仪520沿着箭头525投射一个小斑点(或一条线,如以下图7~9描述的实施例)的图像到点A的位置。在此情况下,投射的斑点和物体560的顶端565都位于同一点A处。但是,如果物体560没有接触到表面550,那就不是这个情况,如下描述。
在图6中,相机530捕获表面550和物体560包括顶端565的图像。箭头635表示相机530感知到顶端565的角度或方向。处理器540运行的一个应用可以假定顶端565位于表面550的点A’处。在这种情况下,点A’和顶端565并不在同一位置,因为物体560(和顶端565)在表面550的上方举着。因此,在假定顶端565的位置后(如在点A’处),投影仪520沿着箭头625投射一个斑点的图像到点A’的位置。在此情况下,投射的斑点和物体560相交在位置628处,所以投射的斑点显示在物体560上。接着,相机530捕获到物体560包括投射斑点的图像。在此图像中,投射斑点和物体560的顶端565相互隔开。因此,根据检测到投射斑点在物体560上(相对于检测到投射斑点在顶端565处),系统可以确定物体560没有触摸到表面550。
图7是一个实施例的检测物体是否触摸到表面的过程700的流程图。图8是一个实施例的过程700的图像流程图。在块710,系统开始过程700,过程700可以由一个处理器执行,如图1中的140。在块720,产生表面映射关系以确定表面850的轮廓,在表面850上可以投影一个虚拟键盘。表面850的边缘855显示在图像802中。至少部分地基于该轮廓,对投影图像的虚拟键盘可以做相应的调整。如上所述,表面850的轮廓会影响投射光显示在表面上的方式。例如,如果表面是平坦的,投影仪投影在表面850上的虚拟键盘的部分特定轮廓不会有改变。但是,如果表面上有台阶,虚拟键盘的部分特定轮廓就会有不连贯。在另一个例子里,该部分特定轮廓可能包括相应的曲线,如果表面850有曲面的轮廓。因此,至少部分地根据要显示投影图像的表面850的轮廓,处理器可以调整或改变虚拟键盘的投影图像或其他图像。
在块730,可以使用相机来检测物体860的出现。该检测可以通过比较由相机捕获的表面850的图像802(其可以包括一个投影的虚拟键盘)来完成。如果从相机的视图来看,至少有部分表面850(或虚拟键盘)模糊了或者挡住了,就可以判定有物体出现。在菱形块740,如果没有检测到物体,过程700返回到块730,过程继续检测是否有物体出现。如果检测到有物体,那么过程700行进到块750,由投影仪产生和投射结构光或光图案。而且,在检测到物体后,物体860的顶端865在相机捕获的图像804中的位置也被确定。光图案可以是直线880,其被投射到检测到的物体860的顶端865的位置上。结构光可以根据预先产生的表面映射关系H而产生,其将由相机捕获的物体顶点位置转换成相应的投影位置。结构光或光图案(如线880)可以是红外光,对用户来说是不可见的,而显示在表面850上的虚拟键盘可以是可见的RGB光。因此,用户不需要看见线880,线880只是给感应设备使用的,如110,而不是给用户使用的。因此,在该感应设备中的相机可以是RGB-IR相机。
图像806可以包括一个由投影仪的角度而确定的投影线880的图像。但是,对于顶端865触摸到表面850的情况和顶端865没有触摸到表面850的情况,相机捕获到的顶端865和线880的图像是不同的。如上所述,因为投影仪和相机分隔开一段距离,这会导致从投影仪角度看到的和从相机角度看到的投影在表面上的图像或图案是不同的。因此,对于顶端865触碰到表面850的情况,图像808包括由相机捕获到的此情况的一个图像。这里,线880是连续的,在顶端865处相切于物体860。另一方面,对于顶端865没有触碰到表面850的情况,图像809包括由相机捕获到的此情况的一个图像。这里,线880有中断或不连续882。而且,线880有至少部分884是和物体860相交的。例如,884和顶端865之间的距离可以用于确定顶点和触摸表面850之间的距离。
因此,回到过程700,在菱形块760,确定线880是否断了,如包括一个或多个不连续。在一个实施中,处理器评估一个图像,如图像808或809,以确定线880是否断了,尽管本发明并不受此限制。如果线880断了,那么过程700行进到块770,确定顶端865没有触碰到表面850。另一方面,如果线880没有断,那么过程700行进到块780,确定顶端865触碰到表面850。两种情况,过程700都能行进到块790,确定是否重建表面映射关系。时不时地重建表面映射关系是有用的,或者在一个特殊事件后如表面850改变了,重建表面映射关系也是有用的。重建表面映射关系的决定可以由用户决定,或者由处理器运行的应用来决定。过程700回到块720以重建表面图,或回到块730,又检测是否有物体出现。当然,过程700的这些细节仅仅是例子,本发明不受此限制。
图9是另一个实施例的检测物体是否触碰到表面的过程900的流程图。在块910,相机如相机130或其他光感应设备捕获到第一图像。第一图像包括物体在表面之上的一个图像。在块920,投射光线,在表面上产生光图案。该投射光的图案是至少部分地基于第一图像和表面的表面映射关系的,尽管本发明不受此限制。在一个实施中,投射的光图案包括在平坦表面上的一直线。
在块930,相机捕获到第二图像。第二图像包括物体的图像和投射光图案的图像。在菱形块940,确定物体是否触碰到表面。在一个实施中,如果第二图像中的光图案包括一个或多个不连贯,就判定物体没有触碰到表面,如上所述。另一方面,如果第二图像中的光图案没有不连贯,就判定物体触碰到表面。如果物体没有触碰到表面,那么过程900行进到块950,如处理器执行一个特别操作。例如,处理器可能没有任何操作,仅仅是等待物体触碰该表面(例如该表面有一个虚拟键盘的显示)。如果物体触碰到表面,那么过程900行进到块960,执行另一个特别操作。例如,处理器根据触碰到表面(如包括一个虚拟键盘)的某个部分(如一个位置),而执行一个特别操作。当然,过程900的这些细节仅仅是例子,本发明不受此限制。
本领域技术人员将会认识到,对以上描述作出无限的改变是可能的,那些例子和附图仅仅是描述一个或多个特定实施。
尽管已经描述和叙述了示范实施例的本发明,但本领域技术人员将会理解,在不脱离本发明主题的前提下可以对其作出各种修改和替换。另外,在不脱离在此所述的中心概念的情况下,可以作出许多修改以将一个特别情景适用到本发明的教义。因此,本发明主题不会受限于在此披露的特定实施例,相反,本发明主题还可能包括属于所附权利要求及其等同物的范围内的所有实施例。

Claims (18)

1.一种触摸检测的方法,包括:
捕获一个物体接近一个表面的第一图像;
投射一光图案在所述表面上,至少部分地根据所述第一图像和所述表面的表面映射关系来确定所述光图案;
捕获所述光图案叠加在所述物体上的第二图像;
至少部分地根据所述第二图像,确定所述物体是否触摸到所述表面。
2.如权利要求1所述的方法,其中所述确定所述物体是否触摸到所述表面还包括:
如果所述第二图像里的所述光图案没有不连贯,那么判定所述物体触摸到所述表面。
3.如权利要求2所述的方法,其中所述确定所述物体是否触摸到所述表面还包括:
如果所述第二图像里的所述光图案包括一个或多个不连贯,那么判定所述物体没有触摸到所述表面。
4.如权利要求1所述的方法,其中所述确定所述物体是否触摸到所述表面还包括:
如果所述第二图像里的所述光图案与所述物体相交,那么判定所述物体没有触摸到所述表面。
5.如权利要求1所述的方法,还包括:确定所述表面和所述相机-投影仪系统之间的表面映射关系。
6.如权利要求1所述的方法,还包括:
至少部分地根据所述第一图像,确定所述物体的顶端的位置;
至少部分地根据所述物体顶端的位置和所述表面的表面映射关系,投射所述光图案。
7.如权利要求1所述的方法,其中所述光图案包括红外光。
8.如权利要求1所述的方法,其中所述投射的光图案产生一直线在一个平坦表面上。
9.如权利要求1所述的方法,还包括:
至少部分地根据所述物体的位置和所述物体是否触摸到了所述表面,回应一个用户操作。
10.一种触摸感应装置,包括:
映射模块,用于确定一表面上的投影图像和所述表面的捕获图像之间的映射关系;
投影仪,用于投射所述投影图像和一光图案在所述表面上;
相机,用于捕获所述表面的所述图像、所述光图案的图像、和一物体的图像;
处理器,用于至少部分地根据所述光图案的图像,确定所述物体是否触摸到所述表面。
11.如权利要求10所述的装置,其中如果所述光图案的图像包括一个或多个不连贯,那么所述处理器就判定所述物体没有触摸到所述表面;
如果所述光图案的图像没有不连贯,那么所述处理器就判定所述物体触摸到所述表面。
12.如权利要求10所述的装置,其中所述相机的光轴关于所述表面成一非正交角度安置。
13.如权利要求10所述的装置,其中所述光图案包括红外IR光或可见光。
14.如权利要求10所述的装置,其中所述投影仪包括红绿蓝RGB投影仪。
15.如权利要求10所述的装置,其中所述投影仪包括RGB-IR投影仪。
16.如权利要求10所述的装置,其中所述相机包括可见光及红外IR光相机。
17.如权利要求10所述的装置,其中所述装置被集成入一移动设备中。
18.如权利要求10所述的装置,其中所述映射关系是至少部分地基于所述相机和所述投影仪之间的分隔距离,以及到触摸表面的相对位置。
CN201210180682.XA 2012-05-17 2012-06-04 用于触摸检测或手势检测的光图案 Active CN102779001B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/474,567 US9092090B2 (en) 2012-05-17 2012-05-17 Structured light for touch or gesture detection
US13/474,567 2012-05-17

Publications (2)

Publication Number Publication Date
CN102779001A true CN102779001A (zh) 2012-11-14
CN102779001B CN102779001B (zh) 2015-04-01

Family

ID=47123926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210180682.XA Active CN102779001B (zh) 2012-05-17 2012-06-04 用于触摸检测或手势检测的光图案

Country Status (3)

Country Link
US (1) US9092090B2 (zh)
CN (1) CN102779001B (zh)
HK (1) HK1176130A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824282A (zh) * 2013-12-11 2014-05-28 香港应用科技研究院有限公司 使用表面映射图、物体阴影和一个相机的触摸及运动检测
CN103869932A (zh) * 2012-12-10 2014-06-18 建兴电子科技股份有限公司 光学输入装置及其操作方法
US9092090B2 (en) 2012-05-17 2015-07-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Structured light for touch or gesture detection

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9429417B2 (en) * 2012-05-17 2016-08-30 Hong Kong Applied Science and Technology Research Institute Company Limited Touch and motion detection using surface map, object shadow and a single camera
CA2882590A1 (en) * 2012-08-20 2014-02-27 Ctx Virtual Technologies Inc. Keyboard projection system with image subtraction
US9921687B2 (en) * 2012-10-02 2018-03-20 Autodesk, Inc. Always-available input through finger instrumentation
JP6028589B2 (ja) * 2013-01-23 2016-11-16 富士通株式会社 入力プログラム、入力装置および入力方法
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) * 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
JP6482196B2 (ja) * 2014-07-09 2019-03-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び記憶媒体
WO2016018393A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, Lp Touch region projection onto a touch-sensitive surface
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
EP3201722A4 (en) 2014-09-30 2018-05-16 Hewlett-Packard Development Company, L.P. Displaying an object indicator
US10241244B2 (en) * 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US11226704B2 (en) * 2016-09-29 2022-01-18 Sony Group Corporation Projection-based user interface
US10599225B2 (en) 2016-09-29 2020-03-24 Intel Corporation Projection-based user interface
EP4115271A1 (en) * 2020-03-04 2023-01-11 Abusizz AG Interactive display apparatus and method for operating the same

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090139778A1 (en) * 2007-11-30 2009-06-04 Microsoft Corporation User Input Using Proximity Sensing
CN101571776A (zh) * 2008-04-21 2009-11-04 株式会社理光 具有投影仪模块的电子装置
CN101729628A (zh) * 2008-10-15 2010-06-09 Lg电子株式会社 具有图像投影的移动终端
US20100331043A1 (en) * 2009-06-23 2010-12-30 K-Nfb Reading Technology, Inc. Document and image processing
CN201859424U (zh) * 2010-11-02 2011-06-08 冠捷投资有限公司 显示器触控系统
US20110199335A1 (en) * 2010-02-12 2011-08-18 Bo Li Determining a Position of an Object Using a Single Camera
US20110292347A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation 3D Interaction for Mobile Device
CN102339171A (zh) * 2011-05-31 2012-02-01 广州视睿电子科技有限公司 一种红外触摸系统及多点信号扫描计算方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6177682B1 (en) 1998-10-21 2001-01-23 Novacam Tyechnologies Inc. Inspection of ball grid arrays (BGA) by using shadow images of the solder balls
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
CN1280690C (zh) 2002-08-20 2006-10-18 昆盈企业股份有限公司 指动式指针输入方法及其装置
US7406266B2 (en) * 2002-11-06 2008-07-29 Finisar Corporation Flat-topped chirp induced by optical filter edge
JP2005197841A (ja) * 2003-12-26 2005-07-21 Toshiba Corp 携帯型情報端末装置
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8251791B2 (en) * 2004-08-19 2012-08-28 Igt Gaming system having multiple gaming machines which provide bonus awards
US7660458B1 (en) * 2004-12-14 2010-02-09 Google Inc. Three-dimensional model construction using unstructured pattern
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US7946744B2 (en) * 2007-02-02 2011-05-24 Denso Corporation Projector and image pickup apparatus
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8584029B1 (en) * 2008-05-23 2013-11-12 Intuit Inc. Surface computer system and method for integrating display of user interface with physical objects
US8676007B2 (en) * 2008-06-19 2014-03-18 Neonode Inc. Light-based touch surface with curved borders and sloping bezel
TWM364241U (en) * 2008-11-28 2009-09-01 Tron Intelligence Inc Optical sensing type input device
US9203883B2 (en) * 2009-12-08 2015-12-01 Citrix Systems, Inc. Systems and methods for a client-side remote presentation of a multimedia stream
US8491135B2 (en) * 2010-01-04 2013-07-23 Microvision, Inc. Interactive projection with gesture recognition
US20110164191A1 (en) * 2010-01-04 2011-07-07 Microvision, Inc. Interactive Projection Method, Apparatus and System
AU2011202415B1 (en) * 2011-05-24 2012-04-12 Microsoft Technology Licensing, Llc Picture gesture authentication
US20120320216A1 (en) * 2011-06-14 2012-12-20 Disney Enterprises, Inc. Method and System for Object Recognition, Authentication, and Tracking with Infrared Distortion Caused by Objects for Augmented Reality
US9092090B2 (en) 2012-05-17 2015-07-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Structured light for touch or gesture detection
KR20140028221A (ko) * 2012-08-28 2014-03-10 삼성전자주식회사 전자 칠판 시스템의 설정 방법 및 장치
US8818420B2 (en) * 2012-09-28 2014-08-26 Intel Corporation Rotation-tolerant devices and schemes for pedestrian-dead-reckoning (PDR) location determination

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090139778A1 (en) * 2007-11-30 2009-06-04 Microsoft Corporation User Input Using Proximity Sensing
CN101571776A (zh) * 2008-04-21 2009-11-04 株式会社理光 具有投影仪模块的电子装置
CN101729628A (zh) * 2008-10-15 2010-06-09 Lg电子株式会社 具有图像投影的移动终端
US20100331043A1 (en) * 2009-06-23 2010-12-30 K-Nfb Reading Technology, Inc. Document and image processing
US20110199335A1 (en) * 2010-02-12 2011-08-18 Bo Li Determining a Position of an Object Using a Single Camera
US20110292347A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation 3D Interaction for Mobile Device
CN201859424U (zh) * 2010-11-02 2011-06-08 冠捷投资有限公司 显示器触控系统
CN102339171A (zh) * 2011-05-31 2012-02-01 广州视睿电子科技有限公司 一种红外触摸系统及多点信号扫描计算方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092090B2 (en) 2012-05-17 2015-07-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Structured light for touch or gesture detection
CN103869932A (zh) * 2012-12-10 2014-06-18 建兴电子科技股份有限公司 光学输入装置及其操作方法
CN103824282A (zh) * 2013-12-11 2014-05-28 香港应用科技研究院有限公司 使用表面映射图、物体阴影和一个相机的触摸及运动检测
CN103824282B (zh) * 2013-12-11 2017-08-08 香港应用科技研究院有限公司 使用表面映射图、物体阴影和一个相机的触摸及运动检测

Also Published As

Publication number Publication date
CN102779001B (zh) 2015-04-01
US20130307949A1 (en) 2013-11-21
HK1176130A1 (zh) 2013-07-19
US9092090B2 (en) 2015-07-28

Similar Documents

Publication Publication Date Title
CN102779001B (zh) 用于触摸检测或手势检测的光图案
US9069386B2 (en) Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US20110298708A1 (en) Virtual Touch Interface
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
US20150089634A1 (en) Password entry for double sided multi-touch display
US11714540B2 (en) Remote touch detection enabled by peripheral device
CN102799318A (zh) 一种基于双目立体视觉的人机交互方法及系统
CN101727245A (zh) 多点触摸定位方法及多点触摸屏
US9639167B2 (en) Control method of electronic apparatus having non-contact gesture sensitive region
CN102184056B (zh) 多触摸点识别方法及装置
CN104679352B (zh) 光学触控装置及触控点检测方法
US9389780B2 (en) Touch-control system
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
US8760437B2 (en) Sensing system
CN104571726A (zh) 光学触控系统、触控检测方法及电脑程序产品
CN202443449U (zh) 一种摄像式多点触摸系统
Zhang et al. Near-field touch interface using time-of-flight camera
EP3088991B1 (en) Wearable device and method for enabling user interaction
Klompmaker et al. Authenticated tangible interaction using RFID and depth-sensing cameras
CN104516594A (zh) 光学触控装置及其手势检测方法
CN102479002B (zh) 光学触控系统及其感测方法
KR20170116554A (ko) 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치
Alex et al. LampTop: Touch detection for a projector-camera system based on shape classification
Liang et al. ShadowTouch: Enabling Free-Form Touch-Based Hand-to-Surface Interaction with Wrist-Mounted Illuminant by Shadow Projection
Nakamura et al. Distinction system of left and right hands placed on a keyboard of laptop computers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1176130

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1176130

Country of ref document: HK