CN1774690B - 用于从平面书写面光学推断信息的工具 - Google Patents

用于从平面书写面光学推断信息的工具 Download PDF

Info

Publication number
CN1774690B
CN1774690B CN2004800101859A CN200480010185A CN1774690B CN 1774690 B CN1774690 B CN 1774690B CN 2004800101859 A CN2004800101859 A CN 2004800101859A CN 200480010185 A CN200480010185 A CN 200480010185A CN 1774690 B CN1774690 B CN 1774690B
Authority
CN
China
Prior art keywords
writing
writing surface
writing implement
nib
implement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2004800101859A
Other languages
English (en)
Other versions
CN1774690A (zh
Inventor
斯图尔特·R·卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronic Scripting Products Inc
Original Assignee
Electronic Scripting Products Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Scripting Products Inc filed Critical Electronic Scripting Products Inc
Publication of CN1774690A publication Critical patent/CN1774690A/zh
Application granted granted Critical
Publication of CN1774690B publication Critical patent/CN1774690B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G06F3/03546—Pens or stylus using a rotatable ball at the tip as position detecting member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Abstract

本发明涉及一种能从书写面推断出手写信息的书写工具。手写信息是以任何形式在书写面上标记的信息，如通过书写、手写、绘图、素描或者任何在书写面上作记号的形式。手写信息也是被描绘在书写面上但不在其上留下痕迹的信息，或者是由书写工具在与书写面接触时、相对于书写面的运动轨迹所产生的信息。书写工具具有一个用于书写的笔尖和一个用于确定笔尖何时在书写面上书写的装置。而且，该书写工具有一个用于观看书写面的光学单元。该书写工具还具有一个处理单元，用于从光学单元接收所述书写面的光学数据，并从所述光学数据中确定笔尖相对于书写面的至少一个角落和书写面的至少一条边沿、和/或书写面上的其它位置标记或可光学识别的特征的实际坐标。

Description

用于从平面书写面光学推断信息的工具
[相关申请]
本申请要求申请日为2003年2月24日、申请号为60/450,244的美国临时申请作为本申请的优先权。
技术领域
本发明一般涉及获取使用者在手握工具、比如一种书写工具的帮助下在手写板或书写表面上书写、绘图、略图等的任何信息。
背景技术
书写和绘图艺术远古且丰富。几百年来有许多工具用来书写文字、绘图、速写、做记号以及画画。大多数的这种工具都是大致呈狭长的形状、基本上是圆柱形，并且一端具有用以书写的笔尖，它们往往被设计成手握式，且可被使用者的习惯用手来操作(如右撇子的右手)。更具体地说，使用者大都是在书写表面或手写板上移动这种书写工具，之后，书写笔尖留下一个可见的用以标记它在表面上的运动的痕迹，而且该痕迹的是通过存积于笔尖的材料来产生的，比如，通过磨擦标记材料(如铅笔的炭)，或者直接用墨水湿润手写表面(如钢笔)。该标记也包括其他任何在表面上留下的实际轨迹。
大多数被广泛应用的书写和绘图工具包括有钢笔和铅笔，而大多数方便手写的表面则包括各种尺寸的纸和其他能作上记号的平面物体。事实上，尽管如今科学和工程技术高度发展，但在用以书写、绘画、做标记和绘草图的工具中，笔和纸仍旧是最简单、最直观的工具，甚至在电子时代也是如此。
采用电子装置通信的挑战就在于与电子装置相连接的输入界面(或接口)。例如，计算机利用了各种输入装置，如键盘、按钮、指示装置、鼠标和其他各种能对运动进行编码并将它转换成计算机能处理的数据的设备。不幸的是，这些装置中没有一个能像笔和纸这样是用户友好的并被接受的。
这个输入界面问题已经在现有技术中被认识到，并且提出了各种解决方案。大多解决方案意图从笔在纸或其他书写表面(例如书写板)的运动上获取电子数据，即数字化的数据。现有技术可以参照如下的记录：
美国专利：
  4,471,162   4,896,543   5,103,486   5,215,397   5,226,091
  5,294,792   5,333,209   5,434,371   5,484,966   5,517,579
  5,548,092   5,661,506   5,577,135   5,581,276   5,587,558
  5,587,560   5,652,412   5,661,506   5,717,168   5,737,740
  4,471,162   4,896,543   5,103,486   5,215,397   5,226,091
  5,750,939   5,774,602   5,781,661   5,902,968   5,939,702
  5,959,617   5,960,124   5,977,958   6,031,936   6,044,165
  6,050,490   6,081,261   6,100,877   6,104,387   6,104,388
  6,108,444   6,111,565   6,124,847   6,130,666   6,147,681
  6,153,836   6,177,927   6,181,329   6,184,873   6,188,392
  6,213,398   6,243,503   6,262,719   6,292,177   6,330,359
  6,334,003   6,335,723   6,335,724   6,335,727   6,348,914
  6,396,481   6,414,673   6,421,042   6,422,775   6,424,340
  6,429,856   6,437,314   6,456,749   6,492,981   6,498,604
美国公开的申请：
  2002-0001029   2002-0028017   2002-0118181   2002-0148655   2002-0158848
  2002-0163511
欧洲专利说明书：
0,649,549B1
国际专利申请：
  WO 02/017222 A2   WO 02/058029 A2   WO 02/064380 A1   WO 02/069247 A1
  WO 02/084634 A1
虽然以上列出的专利提供了大量的方法，但都不适于使用。其中，许多方法提供给使用者的笔难以握取，施加特殊的书写和/或监视条件，有些还需要繁杂的辅助系统和设备来跟踪书写表面上书写的信息并对其进行数字化处理。因此，如何给使用者提供一个基于书写工具的用户友好的输入界面，这个问题仍然没有得到解决。
发明内容
本发明提供了一种从书写面推断出手写信息的书写工具。为了实现本发明，所述手写信息包括任何标记在书写面上的信息，它们是如下书写动作的一个结果：书写、手写、绘图、素描或者以任何其它的在书写面上做标记或沉积标记的方式。另外，本发明所述的手写信息也指在书写面上描绘但没有在书写面上留下痕迹的信息。所述书写工具具有用以书写的笔尖和用于确定笔尖何时在书写面上书写的装置。再有，该书写工具具有用于观察书写面的光学单元。所述光学单元最好被装配在所述手写工具上相对于笔尖的末端位置并指向笔尖。为了实现本发明的目的，指向于笔尖，意味着光学单元的光轴需参照于笔尖，例如，光学单元中光轴穿过了笔尖。所述书写工具还具有一个处理单元，该处理单元用于从所述光学单元接收所述书写面的光学数据，并且从所述光学数据中确定笔尖相对于所述书写面的至少一个角落和所述书写面的至少一个边缘的实际坐标。
需要注意的是和在先技术不同的是，本发明的书写工具间接地推断出笔尖的实际坐标，也就是说，从光学单元获取的书写面的光学数据中推断出笔尖的实际坐标。因此，任何关于书写面且能充分断定笔尖实际坐标的光学数据都可被采用。例如，可采用所有角落或多个角落、边沿或其局部的光学数据。或者，位置标记(landmarks)或任何在书写面上的可光学识别的特征都可被采用。
用以确定笔尖何时在书写面上书写的装置，最好包括安装在所述书写工具中的压力传感单元。为此，该压力传感单元可以采用应变片、机械式压力传感器、压电元件和其他各种识别笔尖和书写面之间的接触的装置。
在较佳实施例中，光学单元是一个能对书写面或其上的一个部分成像的成像单元。最好就是，所述成像单元上装有一个光电检测器阵列用以将书写面的图像投影到其上。处理单元具有一个边缘检测单元或者一个用以检测所述图像中的书写面的边缘和角落的电路，例如在处理单元的微处理器中的固件。
书写工具还设有一个图像转换单元，它可对图像进行一种或多种转换操作。具体说来，该图像转换单元可包括用于校正图像的适当的物理光学元件(比如透镜)，以及用于校正图像并对图像执行各种操作的计算机软件例程。例如，图像转换单元具有一个用于校正图像以进行平面投影的图像形变转换器。或者，图像转换单元具有一个校正图像以进行球面投影的图像变形转换器。在同一个或一个不同的具体实施方案中，图像转换单元具有一个用于确定书写工具相对于书写面的欧拉角的图像转换器。
在较佳实施例中，校正操作以及转换操作仅应用于由边缘检测单元所识别的图像的边缘和/或角落。换言之，仅有与书写面对应的图像的一部分，特别是它的边缘、角落、位置标记、或其他的可光学识别的特征和/或它们的一部分被校正和转换。
属于处理单元的比率计算模块从图像中确定笔尖的实际坐标。再一次，在较佳实施方案中，这一确定是由与书写面应的图像的相关部分，特别是它的边缘、角落、位置标记、或其他的可光学识别的特征和/或它们的一部分而作出。
光电检测器阵列可以是光电检测器的任何适当形式的阵列，包括光电二极管或光电三极管阵列，最好是CMOS光电检测器阵列。图像单元采用的光学元件可以包括折射式和/或反射式的光学元件，并且最好包括一个兼有折射和反射的系统。在任一情况下，光学元件的视场应当大体上大于书写面的面积，这样，当笔尖接触书写面时，无论书写工具处于任何可能的位置，成像单元总是能够检测书写面的至少一个边缘和书写面的一个角落。
为了以足够快的速率确定笔尖的实际坐标，以便确定使用者所书写、素描或绘制的内容，书写工具具有一个帧控制单元。帧控制单元设定了一个书写面的成像帧速率。该帧速率以至少15Hz为宜，最好是高于30Hz。
最后，该书写工具还装备了一个用于将笔尖的实际坐标传输给外部单元的设备。传输这些坐标的设备包括任何形式的数据传送端口，包括但不限于红外(IR)端口、超声波端口、光学端口等等。所述外部单元可以是计算机、手持设备、网络终端、下载单元、进入广域网(WAN)(比如：因特网)或局域网(LAN)的电子网关、存储设备、打印机或任何其他可以存储、打印、中继和/或能够进一步处理笔尖的实际坐标的外部单元。应当注意的是：取决于应用和需要，笔尖的实际坐标可以被实时或非实时地予以处理。
在较佳实施例中，书写工具进一步装备有对书写面进行初始化和识别的装置。当然，书写面的尺寸和类型也可由用户选定或输入。用于初始化和识别的装置包括上述的光学单元及处理单元，还包括一个具有书写面的标准尺寸的存储器。例如：当希望书写面是具有标准尺寸的纸张时，这样的纸张的图像将被存储在存储器内。最好，这些被存储的图像取自于书写工具相对于书写面的众所周知的位置和方位。换句话说，它们取自于笔尖在书写面上的已知实际坐标以及书写工具的已知空间方位(例如取自已知的欧拉角)。
本发明的详情将在后文中结合后续附图进行详细说明。
附图说明
图1是根据本发明而得的书写工具的侧视图，其中书写工具展示在倾角为θ(欧拉角θ)的平面上。
图2是一幅三维视图，展示出了图1中的书写工具处于使用状态下的实际参数。
图3是图1中书写工具的平面侧视图，其示出了成像原理。
图4是图1中书写工具的处理单元的方框图。
图5是被投射到属于成像单元的光电检测器阵列上的书写表面图像的图解。
图6描述了应用于书写面的图像的边缘和/或角落检测的处理过程。
图7A-D图解描述了处理单元对图像所执行的功能，用欧拉角来表示书写工具相对于书写面的方位。
图8是一个描述设有一个定向握笔套的书写工具的可选实施例的侧视图。
图9是描述图像校正和参数化的处理过程的图。
图10是描述已被参数化和已被校正了的图像的图。
图11是描述已被参数化、已被校正，而且已被转换的图像的图，笔尖的实际坐标依该图像而确定。
图12是描述书写面的图像与实际书写面之间相互对应关系(它可被用于初始化和交叉互检目的)的图。
图13描述使用兼有折射和反射的系统的光学单元的另一实施例。
图14是描述采用了图13中所示兼有折射和反射的系统的书写工具的顶部的示意图。
图15是一幅三维视图，其描述了应用可选择的位置标志和特征来确定笔尖的实际坐标。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
为便于理解本发明，请首先参考图1中所展示的依照本发明的书写工具10以及参考图2至图4。展示在图1中的书写工具10是一支笔，更具体地说，是墨水笔，更为准确地说是一支圆珠笔。然而，本领域技术人员明白，书写工具10还可以是标记器、铅笔、刷子或任何其他能够将信息书写到书写面12上的书写、素描、绘画或涂写工具。书写工具10还可是铁笔或任何可以通过描绘信息而同时又不在书写面12上留下任何永久记号或变形来将信息书写到书写面12上的设备。这样的书写面包括压敏数字化书写板或任何其它用于输入到电子数据处理装置的特定面。本实施例中，书写工具具有通常类似于已知的书写、素描、绘画或涂写工具的形状。具体地说，书写工具10具有截面基本为圆形的长形体14，其为便于使用者的手16持握而设计。
通常，书写面12是一书写工具10可在其上执行如上所定义的书写功能的平面材料。出于几何学的原因，书写面12最好为矩形。本实施例中，书写面12是一张平放在支撑板18上的具有任何标准或非标准尺寸的纸。如果书写面12是诸如掌上电脑(PDA)装置的书写板、电脑屏幕或任何其他具有坚固表面之类的数字化书写板，则不需要支撑板18。重要的是，书写面12具有如边缘、角、位置标志等可光学识别的特征。在书写过程中这些特征不会相对于书写面12的其它部分改变其位置也是非常重要的。
书写工具10具有笔尖20，笔尖20的末端具有珠状物22。靠近笔尖20的位置安装有压力传感器24用于确定笔尖20何时正在书写。书写在珠状物22接触书写面12时开始。通常，压力传感器24采用应变片较为方便。或者，压力传感器24也可选用机械压力传感器或压电元件。本领域的技术人员应当可以认识到，也可以使用其它的压力传感器。书写工具10还具有一个初始化开关26。开关26是为用户传达是在同一书写面12上书写还是在一个新的书写面(图中未示出)上书写方面的信息而设置的。
光学单元30安装在书写工具10的末端。光学单元30被设计成用于观看书写面12，其具有由延伸至书写面外的界线界定的视场34，这些将在下面予以详细描述。本实施例中，光学单元30安装在三个支撑件36上。支撑件36可以是任何结构，只要它具有足够的机械稳定性同时其对视场34的遮断部分可以忽略不计。光学单元30具有指向(indexto)笔尖20的光轴39。更明确地说，光轴39穿过笔尖20。这样，光学单元30的视场34就被定中心于笔尖20。或者，光轴39可以以一个预设的偏移量指向笔尖20。然而，出于视场34对称考虑，最好是通过让光轴39穿过笔尖20并且还穿过珠形物22的中心来让光学单元30被指向笔尖。
书写工具10具有用于与外部单元40(参见图2)通信的装置38。本实施例中，装置38是一个用于发送和接收在红外辐射42中被编码的数据的红外端口。当然，任何形式的数据传输端口包括但不限于超声波端口或光学端口都可以被用作为装置38。
同时，外部单元40可以是计算机、手持装置、网络终端、下载单元、进入广域网(WAN)(如英特网)或局域网(LAN)的电子网关、存储装置、打印机或任何其他能够存储、打印、中继和/或进一步处理笔尖20的实际坐标的外部单元。
如图2所示，工具10的物理参数可以方便地用一个笛卡尔坐标系和一个极坐标系来描述。这些坐标系的原点与笔尖20的位置一致，更明确地说是与珠状物22接触书写面12的位置相一致。在书写面12的平面内，笛卡尔坐标系具有与书写面12的宽和长相对齐的X轴和Y轴。笛卡尔坐标系的Z轴是垂直正交于书写面12的平面。
几个位置特征44A、44B、44C由从笛卡尔坐标系的原点画出的相应的矢量v1、v2、v3来确定。在这种情况下，位置特征44A、44B、44C是书写面12的三个角。或者，位置特征44可以包括书写面12的边缘43或书写面12的任何其他可光学识别的陆标或特征。应该注意的是，由用户在书写面12上所产生的特征，包括由工具10所书写下的任何标志是这一应用的合理的标志。
极坐标系用于确定工具10相对于书写面12的方位。极坐标系的Z轴与笛卡尔坐标系的Z轴一致。由于光轴39被指向笔尖20，它通过两个坐标系的原点，这样，在极坐标系中，光轴39确定极坐标r和r的长度，即|r|是工具10的长度。工具10相对于Z轴的倾角由极角θ表示，以后均称为倾角θ。工具10绕Z轴旋转的角度由极角φ表示。
如图3的平面视图所表示的，光学单元30最好是成像单元。特别的，光学单元30最好是一个能够成像出现在其视场34内的物体、尤其是成像具有相对较低失真的书写面12的成像装置。在本实施例中，成像单元30具有由透镜48A、48B表示的折射成像光学元件46。本领域的技术人员可以知道，合适的折射成像光学元件46包括提供具有良好的离轴光学性能的宽视场的透镜，例如鱼眼透镜或宽视场透镜。关于这种透镜的更详细的说明，参见美国专利4,203,653；4,235,520；4,257,678以及James″Jay″Kumlertff等人的论文“Fisheye lens designs and their relative performance(鱼眼透镜设计及其相关性能)”，SPIE，其所有的内容通过引用被结合于此。
折射成像光学元件46确定一个由虚线表示的成像平面50。成像单元30进一步设有位于成像平面50的光电检测器阵列52。书写面12的像12′通过折射成像光学元件46投射在阵列52上。阵列52最好是一个CMOS光电检测器阵列。当然，包括采用各种光电二极管或光转换器的阵列在内的其它各类光电检测器阵列能够用作光电检测器阵列52。然而，一个CMOS光电检测器阵列具有更高的效率和更好的响应，并消耗较少的功率。此外，CMOS阵列具有一个小的斜度使其具有高的分辨率。
由折射成像光学元件46提供的视场34实际上要大于书写面12的区域。事实上，视场34大得足以使整个书写面12的图像12′始终投射在阵列52上。对于用户执行书写操作期间由书写工具确定的任何的书写位置，这种情况都成立，例如靠近书写面12的边缘和角落以最大可能的倾角(即θ≈40°)书写时。这样，只要没有用户的手或其它障碍物的阻碍，书写面12的向前和向后的部分y1、y2在阵列52上始终成像为y′1、y′2部分。
为了清晰起见，带“′”号的标号在此被使用来表示图像空间中的那些部分，这些部分与带有同样的标号的但是未被标以“′”号的在实际空间里的标号部分相对应。当附加的转换操作被施加到在图像空间中的一些部分时，更多的“′”号被加进到标号里。
书写工具10具有一个处理单元54，这在图4中作更详细的描述。处理单元54被设计成用于接收书写面12的光学数据。在本实施例中，光学数据用书写面12的图像12′来表示。从这一光学数据，处理单元54确定笔尖20相对于书写面12的至少一条边和至少一个角的实际坐标。在本实施例中，处理单元54被设计成用于确定图2中定义的笛卡尔坐标系中的矢量v1、v2、v3。
为了获得其函数，处理单元54设有图像处理器56、帧控制器58、存储器60以及上行链路端口62和下行链路端口64。端口62、64属于装置38。图像处理器56最好包括边缘检测单元66、原点定位单元68、图像转换单元70和比率计算单元72，如图5所示。除了这些元件之外，图像处理器56具有一个信号多路分解器74，用于接收和多路分解包含图像12′的原始图像数据76。数据76分别从阵列52的多路复用块的行78A和列78B输出。
在操作时，用户移动工具10。一旦工具10的笔尖20与书写面12接触，压力传感器24就激活光学单元30的获取状态。在获取状态中，处理单元54接收光学数据，即成像在阵列52的像素上的书写面12的图像12′。
现在，图像处理器56以一定的帧速率捕捉到图像12’的原始图像数据76。帧速率由帧控制器58控制。帧速率快到足以精确跟踪用户的书写活动。为了实现这一目的，帧速率被用帧控制器58来设置为15Hz或甚至30Hz乃至更高。
与现有技术相比，由用户书写的信息无法通过对信息本身进行检查或成像来确定。当然，所书写的信息通过确定笔尖20的实际坐标来推定，更明确地说是通过确定珠状物22相对于书写面12的光学可识别特征的实际坐标来推定。这些可识别特征包括角落、边缘或其它由用户在书写面12上所产生的陆标或特征。为了确定用户书写的所有信息，每当通过压力传感器24激活获取模式时，以所设置的帧速率获取笔尖20相对于可识别特征的实际坐标。
在本实施例中，笔尖20的实际坐标相对于书写面12的三个角44A、44B、44C来确定，书写面12借助于矢量v1、v2、v3被参数化(见图2)。为了完成这个目的，处理单元54从图像12’的成像矢量v1’、v2’、v3’重新获得矢量v1、v2、v3(见图5)。这一处理过程需要若干步骤。
第一步，处理单元54的图像处理器56借助于多路分解器74将原始图像数据76从阵列52的行和列块78A、78B中分离出来。
第二步，图像处理器56将图像数据76发送到边缘检测单元66。边缘检测单元66识别书写面12的图像12’的边和角。这一处理如图6所述的那样，成像的边缘43’的无阻碍部分80’被用作边缘检测。关于图像的边缘检测和边缘检测算法的更多信息，读者可参考美国专利6,023,291和6,408,109以及Simon Baker和Shree K.Nayar的“GlobalMeasures of Coherence for Edge Detector Evaluation(相干性的珠面测量对边缘检测器的评价)”《关于计算机显示和图形识别的研讨》，1999年6月第2卷第373-379页，以及J.Canny的“A Computational Approach to Edge Detection(边缘检测的计算方法)”IEEE《关于图像分析和机器智能的学报》，1986年11月第8卷第6期，所有的基础边缘检测的参考文献都通过引用被结合于此。
实际上，用户的手16是遮蔽一部分书写面12的障碍物。因此在图像12’中出现相应的阴影16’。另一阴影17’(或若干阴影)常常由遮住书写面12或位于书写面12和光学单元30之间的其它物体产生。这种物体一般包括用户的另一只手和/或身体部分，如头发(未显示)。为实现本发明的目的，只需要图像12’具有几个成像边缘43’的无阻碍部分80’，最好包括二个或二个以上的角，如44A’、44B’、44C’使其能够复原矢量v1、v2、v3，并因此而确定笔尖20的实际坐标。
这样，尽管有阴影16’和17’，成像边缘43’的几个无阻碍部分80’仍可用于边缘检测单元66。表示出几个像素组82，它们的光学数据76可以由边缘检测单元66用于边缘检测。应该注意的是，在某些情况下，被阴影(如阴影16’)所阻碍的像素83可以变成可见的，并因此可以被用于检测角44D’。
边缘检测单元66识别边缘43’，并参照视场34的中心84，用矢量方程或其它合适的数学表达式来描述它们。为了用作参考，中心84通过原点定位单元68来设置。这可以在操作书写工具10之前进行，如在书写工具10的第一次初始化和测试时，以及每当原点位置的再校准由于机械原因变成必须时进行。初始化可以借助于任何适当的用于确定成像系统中心的算法来进行。要了解进一步的信息，读者可以参考Carlo Tomasi和JohnZhang的“How to Rotate a Camera(如何旋转一个照相机)”《斯坦福大学计算机科学系出版物》以及Berthold K.P.Horn的“Tsai’s Camera Calibration Method Revisited(Tsai的照相机定标方法修订本)”，它们通过引用被结合于此并作为附件。
根据本发明，由于光学单元30被指向笔尖20，中心84与光轴一致。因此，对于书写工具10在物理空间中的任何方位，即任何的倾角θ和极角φ值，视场34的中心84始终与笔尖20及其图像20’的位置一致。在现有技术中，具有这种特性的系统通常被称作中心系统，并且它们包括各种类型的中心全景系统等。应该注意，由于书写工具10的长形体14总是遮住中心84，笔尖20的图像20’实际上在视场34中是不可见的。
由于包括与折射成像光学元件46相关的像差在内的光学效应，图像12’的被检测部分会呈现一定数量的边缘43’的倒角，如虚线所表示的。这一倒角可以用透镜48A、48B和/或任何外部透镜(未显示)来光学补偿以及用处理单元54来电学补偿。倒角最好通过图像转换装置70对图像12’的被测部分应用转换来估计。例如，图像转换装置70具有一个基于平面投影的图像变形转换器，用于产生一个透视图。或者，图像转换装置70具有一个基于球面投影的图像变形转换器，用于产生一个球面投影。其好处是，这样的球面投影可以借助于已知的方法方便地转换为一个平面投影，例如Christopher Geyer和Kostas Daniilidis在“A Unifying Theory for Central Panoramic Systems and PracticalImplications(一种对中心全景系统和实际含义的统一理论)”www.cis.upenn.edu，加利福尼亚的伯克利大学的Omid Shakernia等人的“Infinitesimal Motion Estimation fromMultiple Central Panoramic Views(通过成倍增加中心全景视场来估计微小运动)”，加利福尼亚技术学院的喷汽推进实验室和宾夕法尼亚大学的GRASP实验室的Adnan Ansar和Kostas Daniilidis的“Linear Pose Estimation from Points or Lines(通过点和线来估计直线状态)”，它们通过引用被结合于此并作为附件。
现在，一旦图像12’被识别和转换，书写工具10的方向就被确定。这可以用各种方法来实现。例如，当用球面投影时，即用无阻碍部分图像12’的球面投影，可以应用一个直接的三维旋转估算来复原倾角θ和极角φ。为此，书写面12的一个正规视图被贮存在存储器60中，以便供转换单元70参考。然后应用广义位移定理，该转换可以得出书写工具10相对于书写面12的欧拉角。这一定理涉及欧拉定理，欧拉定理指出，在三维空间具有一个固定点的任何运动可以用绕某一轴的旋转来描述(在这种情况下，笔尖20与书写面12的接触点在每帧画面持续期间被认为是固定的)。关于移动定理的更多信息，读者请参考宾夕法尼亚大学的计算机与信息科学系的Ameesh Makadia和KostasDaniilidis的“Direct 3D-Rotation Estimation from Spherical Images via a Generalized ShiftTheorem(用广义移动定理对球面图像的直接三维旋转估算)”，它通过引用被结合于此。
或者，当用一个平面投影来产生图像12’的无阻碍部分的透视图时，人们可以选择用标准几何定理来确定倾角θ和极角φ。在这种情况下，可以采用几种利用透视图定理的几何方法。
一种几何方法如图7A所示，其中清楚地表示了整个图像12’(忽略被阻碍的部分或将其填入上一步被导出的边缘43’的方程中)，两个边缘43’延伸到没影点86。画出从中心84到没影点86的连接线Ψ。再画出在倾角θ的平面中的线∑。此时，线Ψ和线∑之间的夹角等于极角φ。同时，从中心84到没影点86的线Ψ的长度与倾角θ成反比。带有与倾角θ的值相对应的Ψ的值的查找表最好被贮存在存储器60中，以便于快速地识别每帧期间的角θ。应该注意的是，为了保持倾角θ的平面轨迹，必须知道书写工具10绕光轴39的旋转。通过提供一个关键性的东西可以建立这一旋转，例如，以图8所示的书写工具10上的握持器90的形式。握持器90使用户的手16握住书写工具使其不会绕光轴39旋转。
另一个几何方法如图7B所示意，整个图象12′再次清晰地显示。在这里，两个边缘43’也延伸到没影点86。画出了从中心84到没影点86的连接线ψ。也画出了与倾斜角θ的平面相垂直的的平面内的直线Γ。现在，从没影点86画出一条直线∏，它垂直于直线Γ。直线∏和Ψ之间的角度等于极角θ。同时，直线∏从与直线Γ的交点到没影点86之间的长度与倾角θ成反比。最好，一个带有与倾斜角θ数值相对应的∏数值的查找表被存储在存储器60中，以便于快速识别每帧期间的角度θ。在这个实例中，使用在阵列52上或者在书写工具10的其它部分上的关键标记92来保持与倾角θ的平面垂直的平面的轨迹，它标明在笔上的一个合适的握笔套，如图8所示意。
另一几何方法如基于整个图象12′的图7C所示意。这里，从中心84到没影点86之间构建了直线Ψ，没影点86由两个边缘43’所限定。延伸其它的两个边缘43’，确定了第二个没影点94的位置。通过连接线Ω和第二没影点94来与没影点86连接。从中心84到直线Ω之间现在画出了直线∑，使其与直线Ω以直角相交。直线Ψ和∑之间的角度等于极角θ。直线Ψ的长度或直线∑的长度(甚至直线Ω的长度)可以被用来导出倾角θ。再次，推荐使用对应的查找表来进行快速处理。应该注意的是，这个实施例不需要使用关键标志(key-mark)或者握笔套，因为书写工具10绕光轴39(它也是书写工具10的中心轴线)的转动不会影响这种几何的结构。
还有另一几何方法如图7D所示意，在这个例子中，角落的角度(corner angles)α，β，γ和δ(当没有阻碍的时候)和图象12’(images)的积分面积(area integral)被用来决定θ和φ。特别是，角落的角度α，β，γ和δ的值唯一地定义了角度φ。同样，积分面积的数值唯一地定义了θ。在本实施例中，存储在存储器60中的查找表可用于快速处理以及用来决定角度θ和φ。
在此情况下，折射成像光学元件46将图象12’相对于书写面12的实际方向进行反转，图象12’就需要被反转，如图9所示。这种反转能够由转换单元70在任何时间点执行。例如，图象12’可以在应用上述步骤来决定角度θ和φ之前或者以后被反转。如果图象12’不被反转，则无须执行任何反转。
被变换或反转(当需要时候)的图象12″在图10中被描述。在这一点矢量V″1，V″2和V″3被重新计算。一从中心84到边缘43″上的特征或位置标记的另一矢量V″n也在图中显示。在书写面12边缘43上的这种位置标记能够被替代一个角落而使用，用以确定笔尖20的实际坐标。当两个角落被位于书写面12和光学单元30之间的用户或者任何物体阻挡时，这一点显得特别重要。
在这一点上图像12″通过旋转θ和φ的角度被校正，以获得了最终被转换和被校正的图象12″′，见图11。这是通过对被转换(被反转，根据具体情况)的图象12″进行适当的反转而完成。(这些反转旋转对应于书写工具10的物理空间内相对于书写面12的物欧拉旋转。标准的欧拉转换在任何传统机械教科书上有介绍，如金斯丁著的“经典机械学”Goldstein，Classical Mechanics)。
现在笔尖20的实际坐标能够直接从矢量V″′1，V″′2，V″′3和/或V″′n被确定。这种功能是由比率计算单元72来执行的，其优点在于图象12″′相对书写面12的比例被保留。特别是，比率计算单元72采用了以下的比例：
x1/x2＝x″′1/x″′2
和
y1/y2＝y″′1/y″′2
这些数值能够从矢量中获得，由于折射成像光学元件46的放大倍数M而得到的缩放比例因子(如图12所示)可以被用作为附加的交叉检查和约束以保证所获得的数值是正确的。
本发明的书写工具具有数个其它实施例，例如，一个可选择的光学单元100采用有抛物线或双曲线镜子102和透镜104的兼反射光及折射光的系统，见图13。光学单元100的结构必须被改变以适应在书写工具108上的光学单元100，见图14(仅仅显示顶部)。在该实施例中光电检测器阵列106被放置在书写工具108的末端109上。在本实施例中用延伸部件111来延伸支撑件110。
书写工具10可以利用除了书写平面120的角落和边缘以外的特征和位置标记。例如，见图15，书写工具利用用户所产生的特征122。特征122事实上是一个用户书写的字母“A”。在本案中，使用了一个在字母上特别容易定位的点(如一个产生高对比度容易检测和追踪的点)用于跟踪，还从卡笛尔坐标系统的原点到这个点构筑一个矢量Vr。书写工具10也利用了位于一边缘(edge)126的位置标记124。从原点到位置标记124构建了矢量Vs。最终，工具10使用了由相应的矢量Vq确定的书写面120的角落128。
在这个实施例子中，在操作过程中，上述边缘检测算法和任何其它的用于检测高对比度点的算法被用来定位在图象上的直线和角落并定位特征122、位置标记124和角落128。于是，确定了角度θ和Φ，并且如上所述，相应的转换被施加到书写面120图像的已成像的矢量V′q、V′x和V′s上。笔尖20的实际坐标通过经转换的矢量被确定。
当然，本领域的熟练人员会认识到，被跟踪的特征和位置标记的数目通常能改善确定笔尖20在书写面120上的实际坐标的精确度。这样，被跟踪的特征和位置标记越多，就需要越多的处理能力。如果需要书写工具10的实时操作，例如，在书写动作从书写工具10被实时地发送至一个接收器的情况下，特征和陆标的数目应当被限制。或者，如果被书写的信息能够被用户在以后的时间里下载和/或不需要实时处理，则使用更多的特征和位置标记来提高决定笔尖20的实际坐标的精确度。这通常导致书写面120的改进了的解晰度。必须记住的是，特征和位置标记应提供绝对的参考物，也就是它们在书写面120上的位置不能随时间变动。然而，必须记住的是，被用来确定笔尖20实际坐标的位置标记或特征无须在各帧间保持相同。
对于本技术领域人员而言显而易见本发明还包括有不同的其它实施例。

Claims (29)

1.一种用于从书写面上推断出手写信息的书写工具，所述书写工具包括：
a〕用于书写的笔尖；
b〕用于确定所述笔尖何时在所述书写面上书写的装置；
c〕光学单元，用于观看所述书写面，所述光学单元被指向所述笔尖；
d〕处理单元，用于从所述光学单元接收所述书写面的光学数据，并用于从所述光学数据中确定所述笔尖相对于所述书写面的至少一个角落和所述书写面的至少一条边缘的实际坐标。
2.如权利要求1所述的书写工具，其特征在于，所述光学单元是一个用于产生所述书写面的图像的成像单元。
3.如权利要求2所述的书写工具，其特征在于，所述成像单元进一步包含一个光电检测器阵列，在其上投射有所述书写面的所述图像。
4.如权利要求3所述的书写工具，其特征在于，所述处理单元进一步包含一个边缘检测单元，用于检测所述图像中的所述书写面的边缘和角落。
5.如权利要求3所述的书写工具，它进一步包含一个图像转换单元，用于对所述图像施以至少一个转换。
6.如权利要求5所述的书写工具，其特征在于，所述图像转换单元包含一个基于平面投影的图像变形转换器。
7.如权利要求5所述的书写工具，其特征在于，所述图像转换单元包含一个基于球面投影的图像变形转换器。
8.如权利要求5所述的书写工具，其特征在于，所述图像转换单元包含一个图像转换器，用于确定所述书写工具相对于所述书写面的欧拉角。
9.如权利要求3所述的书写工具，其特征在于，所述光电检测器阵列是一个CMOS光电检测器阵列。
10.如权利要求2所述的书写工具，其特征在于，所述成像单元产生所述书写面的透视投影。
11.如权利要求10所述的书写工具，其特征在于，与所述书写工具相对于所述书写面的方向有关的至少一个角度由所述透视投影确定。
12.如权利要求11所述的书写工具，其特征在于，所述至少一个角度包含倾角θ和极角φ。
13.如权利要求2所述的书写工具，其特征在于，所述处理单元进一步包含一个比率计算模块，用于从所述图像确定所述实际坐标。
14.如权利要求2所述的书写工具，其特征在于，所述成像单元包含折射成像光学元件。
15.如权利要求14所述的书写工具，其特征在于，所述折射成像光学元件具有一个大于所述书写面面积的视场。
16.如权利要求2所述的书写工具，其特征在于，所述成像单元包含反射成像光学元件。
17.如权利要求16所述的书写工具，其特征在于，所述反射成像光学元件具有一个大于所述书写面面积的视场。
18.如权利要求2所述的书写工具，它进一步包含有一个帧控制器，用于以预定的帧速率成像所述书写面。
19.如权利要求1所述的书写工具，其特征在于，所述确定所述笔尖何时书写的装置被选自应变片、机械压力传感器、压电元件组成的组。
20.如权利要求1所述的书写工具，其特征在于，它进一步包含用于向一外部装置传达所述实际坐标的装置。
21.如权利要求1所述的书写工具，它进一步包含用于初始化和识别所述书写面的装置。
22.如权利要求1所述的书写工具，其特征在于，所述光学单元被安装在所述书写工具的末端。
23.一种用于从书写面推断出信息的书写工具，所述书写工具包含：
a〕具有用于书写的笔尖的书写端；
b〕用于确定所述笔尖何时在所述书写面上书写的装置；
c〕具有用于观看所述书写面的光学单元的末端，所述光学单元被指向所述笔尖；以及
d〕处理单元，用于从所述光学单元接收所书写面的光学数据，并用于从所述光学数据中确定所述笔尖相对于所述书写面上至少两个角落的实际坐标。
24.一种用于从书写面光学地捕捉手写信息的书写工具，所述书写工具包含有：
a〕具有用于书写的笔尖的书写端；
b〕用于确定所述笔尖何时在所述书写面上书写的装置；
c〕具有用于观看所述书写面的光学单元的末端，所述光学单元被指向所述笔尖；以及
d〕处理单元，用于从所述光学单元接收所述书写面的光学数据，并用于从所述光学数据中确定所述笔尖相对于所述书写面上至少两个位置标记的实际坐标。
25.如权利要求24所述的书写工具，其特征在于，所述至少两个位置标记是由用户在所述书写面上创建的标记。
26.如权利要求25所述的书写工具，其特征在于，所述标记包含所述用户的手写标记。
27.如权利要求24所述的书写工具，其特征在于，所述位置标记进一步包含关于所述书写面的数据。
28.如权利要求27所述的书写工具，其特征在于，所述书写面包含一张纸并且所述的数据表明了这张纸的尺寸。
29.一种用于从书写面推断出手写信息的书写工具，所述书写工具包含：
a〕用于书写的笔尖；
b〕用于确定所述笔尖何时在所述书写面上书写的装置；
c〕光学单元，用于观看所述书写面，所述光学单元被指向所述笔尖；以及
d〕处理单元，用于从所述光学单元接收所述书写面的光学数据并且用于从所述光学数据中确定所述笔尖相对于所述书写面的至少两个角落的实际坐标。
CN2004800101859A 2003-02-24 2004-02-24 用于从平面书写面光学推断信息的工具 Expired - Fee Related CN1774690B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US45024403P 2003-02-24 2003-02-24
US60/450,244 2003-02-24
US10/640,942 US7203384B2 (en) 2003-02-24 2003-08-13 Implement for optically inferring information from a planar jotting surface
US10/640,942 2003-08-13
PCT/US2004/005380 WO2004077107A2 (en) 2003-02-24 2004-02-24 Implement for optically inferring information from a planar jotting surface

Publications (2)

Publication Number Publication Date
CN1774690A CN1774690A (zh) 2006-05-17
CN1774690B true CN1774690B (zh) 2010-04-21

Family

ID=32872238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800101859A Expired - Fee Related CN1774690B (zh) 2003-02-24 2004-02-24 用于从平面书写面光学推断信息的工具

Country Status (7)

Country Link
US (2) US7203384B2 (zh)
EP (1) EP1611502B1 (zh)
JP (1) JP4567664B2 (zh)
KR (1) KR100947405B1 (zh)
CN (1) CN1774690B (zh)
CA (1) CA2517168C (zh)
WO (1) WO2004077107A2 (zh)

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20050001823A1 (en) * 2003-06-04 2005-01-06 Dort David Bogart Real motion detection sampling and recording for writing instruments and small tracking instruments using electrically active material with viscosity
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7729515B2 (en) * 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060041484A1 (en) 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US9460346B2 (en) 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US20050281437A1 (en) * 2004-05-17 2005-12-22 Renate Fruchter Talking paper
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8290313B2 (en) * 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8102383B2 (en) * 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
US8229252B2 (en) * 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8787706B2 (en) * 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US7873243B2 (en) 2005-03-18 2011-01-18 The Invention Science Fund I, Llc Decoding digital information included in a hand-formed expression
US8823636B2 (en) 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US8232979B2 (en) * 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US7791593B2 (en) * 2005-03-18 2010-09-07 The Invention Science Fund I, Llc Machine-differentiatable identifiers having a commonly accepted meaning
US8340476B2 (en) * 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US10452207B2 (en) 2005-05-18 2019-10-22 Power2B, Inc. Displays and information input devices
US8610675B2 (en) 2007-03-14 2013-12-17 Power2B, Inc. Interactive devices
US7738733B2 (en) * 2005-09-29 2010-06-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for 3-D imaging
US7488173B2 (en) * 2006-02-22 2009-02-10 Antoine Bochi Instrument with pressure sensing capabilities
US7884811B2 (en) * 2006-05-22 2011-02-08 Adapx Inc. Durable digital writing and sketching instrument
US9405372B2 (en) * 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US9050528B2 (en) * 2006-07-14 2015-06-09 Ailive Inc. Systems and methods for utilizing personalized motion control in virtual environment
CN101192269B (zh) * 2006-11-29 2012-05-02 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
WO2008070724A2 (en) * 2006-12-05 2008-06-12 Adapx, Inc. Carrier for a digital pen
JP2010521732A (ja) * 2007-03-14 2010-06-24 パワー２ビー，インコーポレイティド 表示装置および情報入力装置
KR101484465B1 (ko) 2007-03-28 2015-01-28 아노토 아베 카메라펜용 광학 부재
NO327279B1 (no) 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
KR101433277B1 (ko) * 2007-08-30 2014-08-22 레이저 (아시아-퍼시픽) 피티이 엘티디 키 비활성화 시스템 및 방법
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US9128539B2 (en) * 2007-11-30 2015-09-08 Razer (Asia-Pacific) Pte Ltd Ergonomic mouse device with multi-programmable buttons
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
ES2482997T3 (es) 2008-11-10 2014-08-05 Metaio Gmbh Método y sistema para analizar una imagen generada mediante al menos una cámara
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
CN102349087B (zh) 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
US9111347B2 (en) 2009-07-29 2015-08-18 Metaio Gmbh Method for determining the pose of a camera with respect to at least one real object
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
EP2542957B1 (en) 2010-03-01 2020-07-08 Apple Inc. Method of displaying virtual information in a view of a real environment
CN103649998B (zh) 2010-12-21 2016-08-31 Metaio有限公司 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
WO2012100829A1 (en) 2011-01-27 2012-08-02 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
EP2689393A1 (en) 2011-03-23 2014-01-29 Metaio GmbH Method for registering at least one part of a first and second image using a collineation warping function
US10229538B2 (en) 2011-07-29 2019-03-12 Hewlett-Packard Development Company, L.P. System and method of visual layering
BR112014002186B1 (pt) 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US9521276B2 (en) 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
US9525862B2 (en) 2011-08-31 2016-12-20 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
US9565394B2 (en) 2012-04-24 2017-02-07 Hewlett-Packard Development Company, L.P. System for displaying an image
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US9354725B2 (en) 2012-06-01 2016-05-31 New York University Tracking movement of a writing instrument on a general surface
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US8831285B2 (en) 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
US20140028635A1 (en) * 2012-07-27 2014-01-30 Christoph Horst Krah Modular stylus device
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9297942B2 (en) 2012-10-13 2016-03-29 Hewlett-Packard Development Company, L.P. Imaging with polarization removal
US9143696B2 (en) 2012-10-13 2015-09-22 Hewlett-Packard Development Company, L.P. Imaging using offsetting accumulations
US8982261B2 (en) 2012-10-13 2015-03-17 Hewlett-Packard Development Company, L.P. Imaging with interleaved detection accumulations
US9274651B2 (en) 2012-11-05 2016-03-01 Hewlett-Packard Development Company, L.P. Apparatus to track a pointing device
CN103034345B (zh) * 2012-12-19 2016-03-02 桂林理工大学 一种真实空间中的地理虚拟仿真三维鼠标笔
US9146668B2 (en) 2013-01-31 2015-09-29 Hewlett-Packard Development Company, L.P. Graphical element placement on a display surface
JP6026346B2 (ja) 2013-03-06 2016-11-16 日東電工株式会社 位置センサ
JP5513655B1 (ja) * 2013-03-08 2014-06-04 日東電工株式会社 情報管理システム
JP5513656B1 (ja) 2013-03-08 2014-06-04 日東電工株式会社 電子下敷き
JP5513654B1 (ja) 2013-03-08 2014-06-04 日東電工株式会社 無線送信機能付き電子下敷き
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US9148573B2 (en) 2013-03-15 2015-09-29 Hewlett-Packard Development Company, L.P. Non-uniform correction illumination pattern
NZ751602A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
WO2014201631A1 (en) * 2013-06-19 2014-12-24 Nokia Corporation Electronic-scribed input
US9776364B2 (en) 2013-08-09 2017-10-03 Apple Inc. Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
JP2016528647A (ja) 2013-08-22 2016-09-15 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． プロジェクティブコンピューティングシステム
EP3039515B1 (en) 2013-08-30 2020-02-19 Hewlett-Packard Development Company, L.P. Touch input association
EP3049895A4 (en) 2013-09-24 2017-06-07 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
CN105745606B (zh) 2013-09-24 2019-07-26 惠普发展公司，有限责任合伙企业 基于图像识别触摸敏感表面的目标触摸区域
US10114512B2 (en) 2013-09-30 2018-10-30 Hewlett-Packard Development Company, L.P. Projection system manager
US10003777B2 (en) 2013-11-21 2018-06-19 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting light
US9330309B2 (en) 2013-12-20 2016-05-03 Google Technology Holdings LLC Correcting writing data generated by an electronic writing device
CN105940359B (zh) 2014-01-31 2020-10-20 惠普发展公司，有限责任合伙企业 具有投影器单元的系统的触摸式感应垫
EP3111299A4 (en) 2014-02-28 2017-11-22 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
DE102014106838B4 (de) * 2014-05-15 2022-10-13 Stabilo International Gmbh Driftkompensation / optische Absolutreferenzierung
DE102014106837B4 (de) * 2014-05-15 2018-12-27 Stabilo International Gmbh Driftkompensation / Parallelminimierung
WO2016076874A1 (en) 2014-11-13 2016-05-19 Hewlett-Packard Development Company, L.P. Image projection
US9922244B2 (en) 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10346949B1 (en) 2016-05-27 2019-07-09 Augmented Pixels, Inc. Image registration
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
CN107066919B (zh) * 2016-12-21 2020-09-29 网易（杭州）网络有限公司 笔尖位置求解方法、设备和计算机可读存储介质
DE102017006740A1 (de) * 2017-06-22 2018-12-27 Staedtler Mars Gmbh & Co. Kg Elektronisches Gerät zur Erzeugung analoger Abstriche und zur digitalen Speicherung der analogen Abstriche, sowie Eingabesystem und Verfahren zur Digitalisierung analoger Aufzeichnungen
CN107618290A (zh) * 2017-08-25 2018-01-23 触景无限科技（北京）有限公司 智能笔
US10564734B1 (en) * 2018-08-23 2020-02-18 Pixart Imaging Inc. Pen mouse with a tracing compensation function
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
JP7225638B2 (ja) * 2018-09-26 2023-02-21 富士フイルムビジネスイノベーション株式会社 情報処理システムおよびプログラム
US10786729B1 (en) 2019-03-08 2020-09-29 Sony Interactive Entertainment Inc. Thermopile array fusion tracking
CN111079760B (zh) * 2019-08-02 2023-11-28 广东小天才科技有限公司 一种文字识别方法及电子设备
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113641256A (zh) * 2021-08-06 2021-11-12 深圳腾千里科技有限公司 可识别书写角度的书写装置与识别书写角度的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1233795A (zh) * 1998-04-27 1999-11-03 惠普公司 笔式计算机指示设备
CN1249242A (zh) * 1999-10-15 2000-04-05 李刚 计算机笔式光学输入与书写同体笔
CN2522929Y (zh) * 2001-12-22 2002-11-27 宋柏君 光学手写笔笔头

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259438B1 (en) 1998-06-04 2001-07-10 Wacom Co., Ltd. Coordinate input stylus
US4070649A (en) 1976-12-01 1978-01-24 Said Sanford J. Wright, By Said Peter Anderson And Said Ralph Grimes Multi-modal data input/output apparatus and method compatible with bio-engineering requirements
JPS543528A (en) 1977-06-10 1979-01-11 Olympus Optical Co Ltd Retrofocus type wide angle lens
JPS5412728A (en) 1977-06-29 1979-01-30 Nippon Chemical Ind Retrofocusstype lens
JPS5444519A (en) 1977-09-14 1979-04-09 Canon Inc Wide angle leins
JPS5921077B2 (ja) 1981-12-28 1984-05-17 富士通株式会社 座標読取装置
US5226091A (en) 1985-11-05 1993-07-06 Howell David N L Method and apparatus for capturing information in drawing or writing
GB8821675D0 (en) * 1988-09-02 1988-10-19 Craig T R Rotation & displacement sensing apparatus
US4896543A (en) 1988-11-15 1990-01-30 Sri International, Inc. Three-axis force measurement stylus
US5061828A (en) * 1989-11-13 1991-10-29 Summagraphics Corporation Digitizer stylus with Z-axis side pressure control
US5103486A (en) 1990-04-19 1992-04-07 Grippi Victor J Fingerprint/signature synthesis
JP2726594B2 (ja) 1991-04-01 1998-03-11 八洲電機株式会社 記憶ペン
DE4111710C2 (de) 1991-04-10 1995-01-12 Data Stream Corp Drahtlose Eingabevorrichtung für Computer
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
JPH0644005A (ja) 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
US5333209A (en) 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5477012A (en) 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5852434A (en) 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
ATE148952T1 (de) 1992-07-08 1997-02-15 Smart Pen Inc Vorrichtung und verfahren zur abbildung geschriebener informationen.
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5717168A (en) 1992-11-17 1998-02-10 Lectra Systemes Method and device for capturing and processing graphical information
JPH06266490A (ja) 1993-03-12 1994-09-22 Toshiba Corp 情報入力装置および情報入力における位置認識システム
US5484966A (en) 1993-12-07 1996-01-16 At&T Corp. Sensing stylus position using single 1-D image sensor
US5434371A (en) 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
US5577135A (en) 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
US6330359B1 (en) 1994-04-07 2001-12-11 Japan Nesamac Corporation Pen-grip type of input apparatus using finger pressure and gravity switches for character recognition
US5737740A (en) 1994-06-27 1998-04-07 Numonics Apparatus and method for processing electronic documents
US5781661A (en) 1994-06-29 1998-07-14 Nippon Telegraph And Telephone Corporation Handwritting information detecting method and apparatus detachably holding writing tool
US5652412A (en) 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
US5774602A (en) 1994-07-13 1998-06-30 Yashima Electric Co., Ltd. Writing device for storing handwriting
EP0693739A3 (en) 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
US6262719B1 (en) 1994-09-02 2001-07-17 Packard Bell Nec, Inc. Mouse emulation with a passive pen
JPH08101739A (ja) * 1994-09-30 1996-04-16 Yashima Denki Co Ltd 記憶ペンユニット
US5661506A (en) 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
EP0744058B1 (en) 1994-12-07 2001-11-14 Koninklijke Philips Electronics N.V. Data processing system comprising a graphic tablet and a stylus, and stylus for use in such a system
US5587560A (en) 1995-04-10 1996-12-24 At&T Global Information Solutions Company Portable handwritten data capture device and method of using
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
GB9516441D0 (en) 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
EP0774730B1 (en) 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US6081261A (en) 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
JPH09146691A (ja) 1995-11-17 1997-06-06 Hitachi Ltd 情報処理装置
US5902968A (en) 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US6686910B2 (en) 1996-04-22 2004-02-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor apparatus and method of use
US6573887B1 (en) 1996-04-22 2003-06-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor
DE19625767A1 (de) 1996-06-27 1998-01-08 Mm Lesestift Manager Memory Lesegerät für die optische Erfassung und Speicherung von visuell markierten und projizierten alphanumerischen Zeichen, Graphiken und fotografischen Bildern
US6130666A (en) 1996-10-07 2000-10-10 Persidsky; Andre Self-contained pen computer with built-in display
US6023291A (en) 1996-10-16 2000-02-08 Space Systems/Loral, Inc. Satellite camera attitude determination and image navigation by means of earth edge and landmark measurement
US6031936A (en) 1997-01-29 2000-02-29 Yashima Electric Co., Ltd. Handwriting detecting and storing apparatus
JPH10214149A (ja) 1997-01-30 1998-08-11 Wacom Co Ltd 座標入力装置及び位置指示器
ATE202856T1 (de) 1997-02-12 2001-07-15 Kanitech As Eingabevorrichtung für einen computer
US6292177B1 (en) 1997-03-05 2001-09-18 Tidenet, Inc. Marking device for electronic presentation board
JP3624070B2 (ja) 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US6153836A (en) 1997-04-02 2000-11-28 Goszyk; Kurt A. Adjustable area coordinate position data-capture system
US6104387A (en) 1997-05-14 2000-08-15 Virtual Ink Corporation Transcription system
US5977958A (en) 1997-06-30 1999-11-02 Inmotion Technologies Ltd. Method and system for digitizing handwriting
US6188392B1 (en) 1997-06-30 2001-02-13 Intel Corporation Electronic pen device
JP3475048B2 (ja) 1997-07-18 2003-12-08 シャープ株式会社 手書き入力装置
US6108444A (en) 1997-09-29 2000-08-22 Xerox Corporation Method of grouping handwritten word segments in handwritten document images
US5939702A (en) 1997-10-10 1999-08-17 Motorola, Inc. Writing implement having an integrated optical reader
US6050490A (en) 1997-10-31 2000-04-18 Hewlett-Packard Company Handheld writing device and related data entry system
US5955719A (en) 1997-12-19 1999-09-21 A. T. Cross Company Data/pen well
US6212296B1 (en) 1997-12-23 2001-04-03 Ricoh Company, Ltd. Method and apparatus for transforming sensor signals into graphical images
US6181329B1 (en) 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
US6184873B1 (en) 1998-01-20 2001-02-06 Electronics For Imaging, Inc. Pen positioning system
AU2351299A (en) 1998-01-28 1999-08-16 California Institute Of Technology Camera-based handwriting tracking
US6456749B1 (en) 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
DE69939866D1 (de) * 1998-04-23 2008-12-18 Univ Texas Heizdecke und methode zur kontrolle der patiententemperatur
JP2000105671A (ja) 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
US6147681A (en) 1998-05-14 2000-11-14 Virtual Ink, Corp. Detector for use in a transcription system
US6111565A (en) 1998-05-14 2000-08-29 Virtual Ink Corp. Stylus for use with transcription system
US6177927B1 (en) 1998-05-14 2001-01-23 Virtual Ink Corp. Transcription system kit
US6100877A (en) 1998-05-14 2000-08-08 Virtual Ink, Corp. Method for calibrating a transcription system
US6124847A (en) 1998-05-14 2000-09-26 Virtual Ink, Corp. Collapsible detector assembly
JP4119004B2 (ja) 1998-05-19 2008-07-16 株式会社東芝 データ入力システム
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
CA2340723A1 (en) 1998-08-18 2000-03-02 Digital Ink, Inc. Handwriting device with detection sensors for absolute and relative positioning
US6972753B1 (en) * 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US6335723B1 (en) 1998-10-02 2002-01-01 Tidenet, Inc. Transmitter pen location system
US6414673B1 (en) 1998-11-10 2002-07-02 Tidenet, Inc. Transmitter pen location system
US6335724B1 (en) 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
JP2000284895A (ja) 1999-03-31 2000-10-13 Hitachi Software Eng Co Ltd 座標入力ペン並びにそれを用いた電子ボード、座標入力システム及び電子ボードシステム
US6396481B1 (en) 1999-04-19 2002-05-28 Ecrio Inc. Apparatus and method for portable handwriting capture
AUPQ363299A0 (en) 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7178718B2 (en) * 1999-05-25 2007-02-20 Silverbrook Research Pty Ltd Methods and systems for object identification and interaction
GB2353870B (en) 1999-09-02 2004-01-21 Hewlett Packard Co Document capture stand
US6727885B1 (en) 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
US6348914B1 (en) 1999-10-05 2002-02-19 Raja S. Tuli Writing device for storing handwriting
EP1235692A4 (en) 1999-10-25 2004-07-14 Silverbrook Res Pty Ltd ELECTRONICALLY CONTROLLED PENCIL WITH CODES SENSOR
US6535206B1 (en) 2000-02-18 2003-03-18 Intel Corporation Ultrasonic wireless pen position determination system and method
US20020048404A1 (en) 2000-03-21 2002-04-25 Christer Fahraeus Apparatus and method for determining spatial orientation
SE0000949L (sv) 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
US7254409B2 (en) * 2000-04-14 2007-08-07 Ntt Docomo, Inc. Multicast service providing system, multicast service providing method, information distributor, radio terminal, and radio base station
US6686579B2 (en) 2000-04-22 2004-02-03 International Business Machines Corporation Digital pen using speckle tracking
JP3867512B2 (ja) 2000-06-29 2007-01-10 富士ゼロックス株式会社 画像処理装置および画像処理方法、並びにプログラム
US6650320B1 (en) 2000-08-16 2003-11-18 International Business Machines Corporation Digital pen using visible image and autocorrelation of substrate pattern
US6592039B1 (en) 2000-08-23 2003-07-15 International Business Machines Corporation Digital pen using interferometry for relative and absolute pen position
US20020118181A1 (en) 2000-11-29 2002-08-29 Oral Sekendur Absolute optical position determination
US20020163511A1 (en) * 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
AU2001298118A1 (en) * 2000-11-29 2009-07-29 Oral F. Sekendur Optical position determination on any surface
US20020158848A1 (en) 2001-03-09 2002-10-31 Oral Sekendur Optical position determination on plain paper
JP2004517398A (ja) * 2000-12-27 2004-06-10 ガーサビアン、フィルーツ スタイラス・コンピュータ
JP2002244805A (ja) * 2001-02-14 2002-08-30 Ricoh Co Ltd 座標入力装置
US6422775B1 (en) 2001-03-23 2002-07-23 Intel Corporation Digital messaging pen
KR100408518B1 (ko) 2001-04-12 2003-12-06 삼성전자주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
US6966495B2 (en) * 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
GB2378073B (en) * 2001-07-27 2005-08-31 Hewlett Packard Co Paper-to-computer interfaces
US20030034961A1 (en) * 2001-08-17 2003-02-20 Chi-Lei Kao Input system and method for coordinate and pattern
US7385595B2 (en) * 2001-11-30 2008-06-10 Anoto Ab Electronic pen and method for recording of handwritten information
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7729515B2 (en) * 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1233795A (zh) * 1998-04-27 1999-11-03 惠普公司 笔式计算机指示设备
CN1249242A (zh) * 1999-10-15 2000-04-05 李刚 计算机笔式光学输入与书写同体笔
CN2522929Y (zh) * 2001-12-22 2002-11-27 宋柏君 光学手写笔笔头

Also Published As

Publication number Publication date
KR20060018814A (ko) 2006-03-02
US7203384B2 (en) 2007-04-10
WO2004077107A3 (en) 2005-11-10
JP2007524885A (ja) 2007-08-30
CN1774690A (zh) 2006-05-17
US20040164972A1 (en) 2004-08-26
CA2517168A1 (en) 2004-09-10
WO2004077107A2 (en) 2004-09-10
US20080080791A1 (en) 2008-04-03
CA2517168C (en) 2009-10-27
EP1611502B1 (en) 2018-05-09
EP1611502A2 (en) 2006-01-04
KR100947405B1 (ko) 2010-03-12
US7474809B2 (en) 2009-01-06
JP4567664B2 (ja) 2010-10-20

Similar Documents

Publication Publication Date Title
CN1774690B (zh) 用于从平面书写面光学推断信息的工具
CA2553960C (en) Processing pose data derived from the pose of an elongate object
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US20020163511A1 (en) Optical position determination on any surface
CN100585329C (zh) 基于指端标记的视频手指定位系统及其定位方法
CN103353793B (zh) 一种新型电子笔和智能终端
US20090183929A1 (en) Writing system with camera
US20020118181A1 (en) Absolute optical position determination
US20020181744A1 (en) Electronic module for sensing pen motion
US20090309854A1 (en) Input devices with multiple operating modes
WO2002058029A2 (en) Optical position determination on any surface
EP2591441B1 (en) Dot code pattern for absolute position and other information using an optical pen, process of printing the dot code, process of reading the dot code
EP2430510A2 (en) Electronic display systems having mobile components
US20020158848A1 (en) Optical position determination on plain paper
Lüthi et al. DeltaPen: A device with integrated high-precision translation and rotation sensing on passive surfaces
JP4325332B2 (ja) ペン型データ入力装置及び該プログラム
CN113176834B (zh) 屏幕书写系统
JP4292927B2 (ja) ペン型データ入力装置及び該プログラム
CN108268157A (zh) 一种应用于大型显示屏幕或投影屏幕的设备定位方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421

Termination date: 20200224

CF01 Termination of patent right due to non-payment of annual fee