CN1774690A - 一种能光学表现平面手写面上书写信息的工具 - Google Patents

一种能光学表现平面手写面上书写信息的工具 Download PDF

Info

Publication number
CN1774690A
CN1774690A CNA2004800101859A CN200480010185A CN1774690A CN 1774690 A CN1774690 A CN 1774690A CN A2004800101859 A CNA2004800101859 A CN A2004800101859A CN 200480010185 A CN200480010185 A CN 200480010185A CN 1774690 A CN1774690 A CN 1774690A
Authority
CN
China
Prior art keywords
writing
writing surface
writing implement
nib
implement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800101859A
Other languages
English (en)
Other versions
CN1774690B (zh
Inventor
斯图尔特·R·卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronic Scripting Products Inc
Original Assignee
Electronic Scripting Products Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Scripting Products Inc filed Critical Electronic Scripting Products Inc
Publication of CN1774690A publication Critical patent/CN1774690A/zh
Application granted granted Critical
Publication of CN1774690B publication Critical patent/CN1774690B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G06F3/03546—Pens or stylus using a rotatable ball at the tip as position detecting member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Abstract

本发明涉及一种手写工具，尤其涉及一种能对来自手写面上手写信息进行推断并表现的手写工具。其中，手写信息是以任何形式在手写表面的留下的信息标记，如书写、手写、绘图、草图或者任何在手写板上所作的记号。该手写信息也是被描绘在手写板表面上但不在手写板上留下痕迹的信息，或者是在其上保持接触的状态下由手写工具执行有关动作的轨迹所产生的信息。该手写工具包括有一个用以手写的笔尖和一个能测定出笔尖是在什么时候在手写板上进行手写的装置，另外，该手写工具有一个能检视手写板的光学单元。该手写工具还具有一个处理单元，该处理单元能处理从光学单元读取的手写板上的光学数据，还能从光学数据判定笔尖相对于至少一个手写板上的一个角落和一条边沿和/或相对于在手写板上的别的位置标记或在书写面上的可光学识别特征的实际的坐标。

Description

一种能光学表现平面手写面上书写信息的工具
[相关申请]
本申请要求申请日为2003年2月24日、申请号为60/450,244的美国临时申请作为本申请的优先权。
技术领域
本发明大致有关于获取书写、绘图、略图或用手握工具比如一种书写工具在手写板或书写表面上留下的任何信息。
背景技术
书写和绘图艺术远古且丰富。几百年来有许多工具用来书写文字、绘图、速写、做记号以及画画。大多数的这种工具都是大致呈狭长的圆柱形，并且端部具有用以书写的笔尖，它们往往被设计成手握式，且可被使用者的习惯用手来操作(如右撇子的右手)。更具体地说，使用者大都是在书写表面或手写板上移动这种书写工具，之后，书写笔尖留下一个可视的用以标记其运动的轨迹痕迹，而且该痕迹的是通过存积于笔尖的材料来产生的，比如，通过磨擦留痕材料(如铅笔的炭)，或者直接用墨水弄湿手写表面(如钢笔)。该标记也包括其他任何在表面上留下的实际轨迹。
在现有的书写工具中，大多数被广泛应用的书写和绘图工具包括有钢笔和铅笔，而大多数的便于手写的表面，则包括各种尺寸的纸和其他能作上记号的平面物体。事实上，尽管如今科学技术高度发展，但用以书写、绘画、做标记和绘草图的笔和纸仍旧保持着原有最简单、最直观的形式，甚至在电子时代也是如此。
采用电子装置通信的挑战就在于与电子装置相连接的输入界面(或接口)。例如，计算机利用了各种输入装置，如键盘、按钮、指示装置、鼠标和其他各种能对运动进行编码并转换成计算机能处理的数据的设备。不幸的是，这些装置中没有一个能被作为对于使用者方便和顺适的笔和纸来使用。
这个输入界面问题已经在在先的技术中被认识到，并且提出了各种解决方案。大多解决方案是用电子化来实现的，也就是说，从笔在纸或其他书写表面的运动上获取数字化的数据，其他书写表面也可以是一个写字板。在先的技术可以参照如下的记录：美国专利：
  4,471,162   4,895,543   5,103,486   5,215,397   5,226,091
  5,294,792   5,333,209   5,434,371   5,484,966   5,517,579
  5,548,092   5,551,506   5,577,135   5,581,276   5,587,558
  5,587,560   5,652,412   5,661,506   5,717,168   5,737,740
  5,750,939   5,774,602   5,781,661   5,902,968   5,939,702
  5,959,617   5,960,124   5,977,958   6,031,936   6,044,163
  6,050,490   6,081,261   6,100,877   6,104,387   6,104,388
  6,108,444   6,111,565   6,124,847   6,130,666   6,147,681
  6,153,836   6,177,927   6,181,329   6,184,873   6,188,392
  6,213,398   6,243,503   6,262,719   6,292,177   6,330,359
  6,334,003   6,335,723   6,335,724   6,335,727   6,348,914
  6,396,481   6,414,673   6,421,042   6,422,775   6,424,340
  6,429,856   6,437,314   6,456,749   6,492,981   6,498,604
美国公开的申请：
  2002-0001029   2002-0028017   202-0118181   2002-0148655   2002-0158848
  2002-0163511
欧洲专利说明书：
0,649,549B1
国际专利申请：
  WO 02/017222 A2   WO 02/058029 A2   WO 02/0640380 A1   WO 02/069247 A1
  WO 02/084634 A1
虽然以上列出的专利提供了大量的方法，但都不适于使用。其中，许多方法提供给使用者的笔难以握取，施加特殊的书写和/或运动监视条件，有些还需要繁杂的辅助系统和设备来跟踪书写表面上的书写信息并对其进行数字化处理。因此，如何给使用者提供一个良好的适于使用的基于书写工具的输入界面，这个问题仍然没有得到解决。
发明内容
本发明所要解决的技术问题是针对上述现有技术现状而提供一种能从手写板上表现手动手写信息的手写工具。为了实现本发明，其中，所述的手动手写信息包括任何记录在手写板上的信息，它们是如下书写动作的一个结果：书写、手写、绘图、草图或者以任何其它的在手写板上做标记或沉积标记的方式。另外，本发明所述的手动手写信息也包括没有在手写板上留下痕迹的被描绘的信息。
本发明解决上述技术问题所采用的技术方案为：该手写工具，包括有用以手写的笔尖和一个能判定什么时候笔尖在手写板上进行手写的装置。再有，该手写工具包括有一个能检视手写板的光学单元，所述的光学单元更适宜于装配在所述手写工具上相对于笔尖的末端位置并指向笔尖。为了实现本发明的目的，指向于笔尖，意味着光学单元中的光轴需参照于笔尖，例如，光学单元中光轴穿过了笔尖。所述的手写工具还包括有一个处理单元，该处理单元能处理从所述的光学单元读取的所述的手写板上的光学数据，又能从所述的光学数据判定笔尖的具体坐标，所述的具体坐标依赖于至少一个手写板的角落和至少一个手写板的边沿。
需要注意的是和在先技术不同的是本发明的手写工具是间接地表现其笔尖的实际坐标，也就是说，这种表现依据从光学单元上获取的手写板上的光学数据。因此，任何关于手写板且能充分断定笔尖实际坐标的光学数据都可被采用。例如，写字板所有角落或多个角落、边沿或其局部的这些光学数据都可被采用。作为选择，位置标记或任何在手写板上的可光学识别的特征都可被采用。
用以确定笔尖何时正在手写板上进行手写时的装置，最好是包括有一个安装在所述手写工具上的压力传感单元。为此，该压力传感单元可以采用现有的各种技术，如应变片、机械式压力传感器、压电元件和其他各种识别笔尖和手写板之间相接触的识别装置。
在最佳实施例中，所述的光学单元是一个能对手写板或其上的一个部分成像的成像单元。最好就是，所述的成像单元上装有一个光电阵列用以让手写板的图像投影到其上。所述的处理单元具有一个边缘检测单元或者一个用以对所成图像上的手写板的边沿和角落进行的电路，例如在处理单元的微处理器中的固件。
该书写工具还设有一个图像转换单元，它可对图像进行一种或多种转换操作(one ormore transformations)。具体说来，该图像转换单元还可能包括用于校正图像的适当的物理光学元件(比如透镜)，以及用于矫正图像和执行各种对图形所进行的操作计算机软件路由器(routines)。例如：图像转换单元具有一个用于对图像的平面投影进行校正的图像形变转换器。作为选择，或者图像转换单元具有一个图像变形转换器用于对图像的球面投影进行校正。在同一个具体实施方案或一个不同的具体实施方案中，该图像转换单元还可设有一个用于确定书写工具相对于书写面有关的欧拉角(Euler angles)的图像转换器。
在最佳实施例中，校正操作以及转换操作仅应用于由边缘检测单元识别出来的图像的边缘和/或角落部位。换言之，仅有与书写面对应的图像的一部分，特别是它的边缘、角落、位置标记(landmarks)、或其他的可光学识别的特征和/或它们的一部分被进行了角落，位置标记或其他光学可识别特征和/或它们的部分被校正和转换。
属于处理单元的比率计算模块(ratio computation module)从图像中确定图像上笔尖的实际坐标。再一次，在最佳实施方案中决定被做出，这一决定由是与书写面应的图像的相关部分，特别是它的边缘、角落、位置标记(landmarks)、或其他的可光学识别的特征和/或它们的一部分。
所述的光电检测器阵列可以是光电检测器的任何适当形式的阵列，包括光电二极管或光电三极管阵列，最好是CMOS光电检测器阵列。图像单元采用的光学元件可以包括折射式和/或反射式的光学元件，并且最好包括一个兼有折射和反射(catadioptric)的系统。无论如何，光学元件的视场应当充分大于书写面的面积，这样，当笔尖接触书写面时，无论书写工具处于任何可能的位置，成像单元都能够书对写面的至少一个边缘和一个角落一直进行检测。
为了以足够快的速率确定书写笔尖的实际坐标，以便确定使用者的书写内容、作草图的(sketched)内容或绘制的内容，所述的书写工具具有一个帧控件单元。该帧控件单元设定了一个书写面的成像帧速。帧速以至少15Hz为宜，最好是高于30Hz。
最后，该书写工具还装备了一个用于将笔尖的实际坐标传输给外部单元的设备。传输这些坐标的设备包括任何形式的数据传送端口，传送端口包括但不限于红外端口、超声波端口、光学端口等等。所述的外部单元可以是一台计算机、一个手持设备、一个网络终端、一个下载单元、进入宽域通信网(WAN)(比如：因特网)或本地局域网(LAN)的一个电子网关(electronic gateway)、一个存储设备、一个打印设备或任何其他可以存储、打印、中继和/或能够进一步处理笔尖的实际坐标的外部单元。应当注意的是：取决于它的应用和需要，笔尖的实际坐标可以被实时或非实时地予以处理。
在最佳实施例中，所述的书写工具进一步装备有对书写面进行初始化和识别的装置(arrangement)。当然，书写面的尺寸和类型也可由用户选定或输入。用于初始化和识别的装置包括上述的光学单元及处理单元，还包括一个具有标准尺寸的存储器，该尺寸有可能就是书写面的尺寸。例如：当希望书写面的尺寸如一张具有标准尺寸的纸张的尺寸一样时，这样的纸张的图像将被存储在存储器内。最好，这些被存储的图像取自于书写工具相对于书写面的众所周知的位置和方位。换句话说就是，它们取自于笔尖在书写面上的已知实际坐标以及书写工具的已知空间方位(例如取自已知的欧拉角)。
本发明的详情将在后文中结合后续附图进行详细说明。
附图说明
图1是根据本发明而得的书写工具的侧视图，其中书写工具展示在倾角为θ(欧拉角θ)的平面上。
图2是一幅三维视图，展示出了图1中的书写工具处于使用状态下的实际参数。
图3是图1中书写工具的平面侧视图，其示出了成像原理。
图4是图1中书写工具的处理单元的方框图。
图5是书写面上的图像被投射到归属于成像单元的光电检测器阵列上的图解。
图6图解描述了边缘和/或角落检测应用于书写面上的图像的处理过程。
图7A-D图解描述了在图像上被处理单元所执行的功能，用欧拉角的述语来表示用于确定书写工具相对于书写面的方位。
图8是一个描述设有一个定向握笔套的书写工具的可选实施例的侧视图。
图9是反映图像校正和参数化的处理过程的图。
图10是反映描述已被参数化和已被校正了的图像的图。
图11是反映已被参数化、已被校正，而且已被转换的图像的图，笔尖的实际坐标依该图像而确定。
图12是反映书写面上的图像与实际书写面之间(它可被用于初始化和交叉互检目的)相互对应关系的图。
图13描述另外一个光学单元的实施例，该光学单元使用兼有折射和反射的系统。
图14是描述采用了图13中所示兼有折射和反射的系统的书写工具的顶部的示意图。
图15是一幅三维视图，其描述了应用可选择的位置标志(landmarks)和特征来确定笔尖的实际坐标。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
为便于理解本发明，请首先参考图1中所展示的依照本发明而得的书写工具10以及参考图2至图4。展示在图1中的书写工具10是一支笔，更具体地说，是墨水笔，更为准确地说是一支圆珠笔。然而，本领域技术人员明白，书写工具10还可以是标记器、铅笔、刷子或任何其他能够将信息书写到书写面12上的书写、草写、绘画或涂写工具。书写工具10还可选择地是铁笔或任何可以将信息书写到书写面12上而同时又不留下任何永久记号或永久变形于书写面12上的设备。这样的书写面包括压敏数字化书写板或任何其它用于将电子数据输入处理装置的特定面。本实施例中，书写工具具有通常类似于已知的书写、素描、绘画或涂写工具的形状。具体地说，书写工具10具有截面为圆形的长形体14，其为便于使用者的手16持握而设计。
通常，书写面12是一书写工具10可在其上执行如上所定义的书写功能的平面材料。出于几何学的原因，书写面12最好为矩形。本实施例中，书写面12是一张平放在支撑板18上的具有任何标准或非标准尺寸的纸。如果书写面12是诸如掌上电脑(PDA)装置的书写板、电脑屏幕或任何其他具有坚固表面之类的数字化书写板，则不需要支撑板18。重要的是，书写面12具有如边缘、角、位置标志或类似的可光学识别的特征。在书写过程中这些特征不会相对于书写面12的其它部分改变其位置也是非常重要的。
书写工具10具有笔尖20，笔尖20的末端具有珠状物22。靠近笔尖20的位置安装有压力传感器24以便确定笔尖20何时正在书写。书写开始于珠状物22接触书写面12。通常，压力传感器24采用应变片较为方便。作为选择，压力传感器24也可选用机械压力传感器或压电元件。熟悉传感器技术的人员应当可以认识到也可以使用其它的压力传感器。书写工具10还具有一个初始化开关26。开关26是为用户传达是在同一书写面12上书写还是在一个新的书写面(图中未示出)上书写方面的信息而设置的。
光学单元30安装在书写工具10的末端。光学单元30的作用在于观视书写面12，其具有由延伸至书写面外的界线界定的视场34，这些将在下面予以详细描述。本实施例中，光学单元30安装在三个支撑件36上。支撑件36可以是任何结构，只要它具有足够的机械稳定性同时其对视场34的遮断作用可以忽略不计。光学单元30具有指向笔尖20的光轴39。更明确地说，光轴39穿过笔尖20。这样，光学装置30的视场34就被定中心于笔尖20。可供选择的情形是，光轴39可以以一个预设的偏移量指向笔尖20。然而，出于视场34对称考虑，最好是通过让光轴39穿过笔尖20并且还穿过珠形物22的中心来让光学单元30被实现对笔尖的指向。
书写工具10具有用于与外部单元40(参见图2)通信的装置38。本实施例中，装置38是一个用于发送和接收在红外辐射线42中被编码的数据的红外端口。当然，任何形式的数据传输端口包括但不限于超声波端口或光学端口都可以被用作为通信装置38。
同时，外部设备40可以是计算机、手持装置、网络终端、下载装置、进入宽带网(如英特网)或局域网(LAN)的电子网关、存储装置、打印机或任何其他能够存储、打印、分程传送和/或进一步处理笔尖20的具体坐标的外部设备。
如图2所示，工具10的物理参数可以方便地用一个笛卡尔坐标系和一个极坐标系来描述。这些坐标系的原点与笔尖20的位置一致，更明确地说是与珠点22接触书写面12的位置相一致。在书写面12的平面内，笛卡尔坐标系具有与书写面12的长度和宽度相一致的X轴和Y轴。笛卡尔坐标系的Z轴是垂直正交于书写面12的平面。
几个位置特征44A、44B、44C由从笛卡尔坐标系的原点画出的相应的矢量v1、v2、v3来确定。在这种情况下，位置特征44A、44B、44C是书写面12的三个角。换言之，位置特征44可以包括书写面12的边缘43及任何其他书写面12的可识别的光学标志或特征。需要注意的是，由用户在书写面12上所产生的特征，包括由工具10所书写下的任何标志是这一应用的合理的标志。
极坐标系用于确定工具10关于书写面12的方位。极坐标系的Z轴与笛卡尔坐标系的Z轴一致。由于与笔尖20有关的光轴39通过两个坐标系的原点，这样，在极坐标系中的光轴39确定极坐标r和r的长度，即|r|是工具10的长度。与Z轴相关的工具10的倾角由极角θ，以后均称为倾角θ。工具10绕Z轴旋转的角度由极角φ表示。
如图3的平面视图所表示的，光学装置30首选成像装置。特别的，光学装置30最好是一个能够成像出现在视场34内的物体，尤其是成像具有相当低的失真的书写面12的成像装置。在本实施例中，成像装置30具有由透镜48A、48B表示的折射成像光学元件46。本领域的技术人员可以知道，合适的折射成像光学元件46包括提供具有良好的离轴光学性能的宽视场的透镜，例如鱼眼透镜或宽视场透镜。关于这种透镜的更详细的说明，参见美国专利4,203,653；4,235,520；4,257,678以及James″Jay″Kumlertff等人的论文“鱼眼透镜设计及其相关性能”，SPIE，其中涉及了所有的内容。
成像光学元件46确定一个由虚线表示的成像平面50。成像装置30进一步设置有位于成像平面50的光电检测器阵列52。书写面12的像12′通过成像光学元件46投射在阵列52上。阵列52最好是一个CMOS光电检测器阵列。当然，其它包括各种各样采用光电二极管或光转换器的光电检测器阵列能够用作光电检测器阵列52。因此，一个CMOS光电检测器阵列具有更高的效率和更好的响应，并可以消除损耗功率。此外，CMOS阵列具有一个小的斜度使其具有高的分辨率。
由光学元件46提供的视场34实际上要大于书写面12的区域。事实上，视场34大的足以使整个书写面12的图像12′始终投射在阵列52上。对于用户执行书写操作期间由书写工具确定的任何的书写位置都可以保持这种情况，例如靠近书写面12的边缘和角落以最大可能的倾角(即θ≈40°)书写时。这样，只要没有用户的手或其它障碍物的阻碍，书写面12的向前和向后的部分y1、y2在阵列52始终成像为y′1、y′2部分。
为了清晰起见，“′”号的标号在此被使用来表示图像空间中的那些部分，这些部分与带有同样的标号的但是未被标以“′”号的在实际空间里的标号部分相对应，。当附加的转换操作被施加到在图像空间中的一些部分时，更多的“′”号被加进到标号里。书写工具10具有一个处理装置54，这在图4中作更详细的描述。处理装置54被设置用于接收书写面12的光学数据。在本实施例中，光学数据用书写面12的图像12′来表示。从这一光学数据，处理装置54确定笔尖20与书写面12的至少一条边和至少一个角相应的具体坐标。在本实施例中，处理装置54被设置用于确定图2中定义的笛卡尔坐标系中的矢量v1、v2、v3。
为了获得其函数，处理装置54被设置有图像处理器56，帧控制器58，存储器60以及上行传输接口62和下行传输接口64。接口62、64属于通讯装置38。图形处理器56最好包括一个边缘检测装置66，一个初始定位装置(origin localization unit)68，一个图像转换装置70和一个速率计算装置72，如图5所示。除了这些装置之外，图像处理器56具有一个信号分离器74用于接收和分离包含图像12′的原始图像数据(rawimage data)76。数据76分别从阵列52的行78A和列78B的多路复用程序块被输出。
在操作时，用户移动工具10。一旦工具10的笔尖20与书写面12接触，压力传感器24会激活光学装置30的获取状态(acquisition mode)。在激活状态中，处理装置54接收光学数据，即作为成像在阵列52的像素上的书写面12的图像12′。
与现在技术形成对照，图像处理器56以一定的帧速率捕捉到原始图像数据76。帧速率由帧控制器58控制。帧速率快到足以精确跟踪用户的书写活动。为了实现这一目的，帧速率被用帧控制器58来设置获得15Hz或30Hz乃至更高的帧速率。
与现有技术相比，由用户书写的信息通过对信息进行检查或将信息本身成像是无法被确定的。当然，书写信息通过确定笔尖20的具体坐标来推定，更明确地说是通过确定珠点22相对于书写面12的光学可识别特征的具体坐标来推定。这些可识别特征包括角度、边和其它由用户在书写面12所产生的标记或特征。每当通过压力传感器24获取状态被激活时，为了确定用户书写的所有信息，笔尖20相对于可识别特征的具体坐标以设置的帧速率被获得。
在本实施例中，笔尖20的具体坐标是相对于书写面12的三个角44A、44B、44C来确定，书写面12借助于矢量v1、v2、v3被参数化(见图2)。为了完成这个目的，处理装置54从图像12’的成像矢量v1’、v2’、v3’重新找到矢量v1、v2、v3(见图5)。这一处理过程需要若干步骤。
第一步，处理装置54的图像处理器56借助于信号分离器74将原始图像数据(rawimage data)76从阵列52的行和列单元块78A、78B中分离出来。
第二步，图像处理器56将初始图像数据76发送到边缘检测装置66。边缘检测装置66识别书写面12的图像12’的边和角。这一处理如图6所述的那样，成像的边缘43’的无阻碍部分80’被用作边缘检测。关于图像的边缘检测和边缘检测的算法的更多的信息读者可参考美国专利6,023,291和6,408,109以及Simon Baker和Shree K.Nayar的“相干性的珠面测量对边缘检测器的评价”《关于计算机显示和图形识别的研讨》，1999年6月第2卷第373-379页，以及J.Canny的“边缘检测的计算方法”IEEE《关于图像分析和机器智能的学报》，1986年11月第8卷第6期，在此编入了所有的基础边缘检测的参考文献。
实际上，用户的手16是弄暗部分书写面12的障碍物。因此在图像12’中出现相应的阴影16’。另外的阴影17’(或若干阴影)常常由遮住书写面12即位于书写面12和光学装置30之间的其它物体产生。这种典型的物体包括用户的另一只手和/或身体部分，如头发(未显示)。为实现本发明的目的，只需要图像12’具有几个边缘43’的无阻碍部分80’，最好包括二个或二个以上的角，如44A’、44B’、44C’使其能够复原矢量v1、v2、v3，并因此而确定笔尖20的具体坐标。
这样，不管是阴影16’还是17’，各个图像边缘43’的无阻碍部分80’是可用于边缘检测装置66的。若干像素组82被表明，它们的光学数据76可以由边缘检测装置66为了边缘检测目的而使用。应该注意的是，在某些情况下，被阴影(如阴影16’)所阻碍的像素83可以变成可见的，并因此可以被用于检测角44D’。
边缘检测装置66识别边缘43’，并用矢量方程或其它与视场34的关于中心84的合适的数学表达式来描述它们。为了用作参考，中心84通过原点定位装置68来设置。这可以在操作书写工具10之前进行，如在第一次初始化和书写工具10的测试时，以及每当原点定位的再定标由于机械原因变成必须时进行。初始化可以借助于通过为确定成像系统中心的其它合适的算法被进行。进一步的信息读者可以参考Carlo Tomasi和JohnZhang的“如何旋转一个照相机”《斯坦福大学计算机科学系出版物》以及BertholdK.P.Horn的“Tsai的照相机定标方法修订本”，这里收编了参考文献和附加物。
根据本发明，由于光学装置30对准笔尖20，本发明的中心84与光轴一致。因此，对于书写工具10在物理空间中的任何方位，即任何的倾角θ和极角φ值，视场34的中心84始终与笔尖20及其图像20’的位置一致。在现有技术中，具有这种特性的系统通常被用作中心系统，并且它们包括各种类型的中心全景系统和等同物。应该注意，由于书写工具10的主体14总是遮住中心84，笔尖20的图像20’实际上在视场34中是不可见的。
由于光学效应包括与成像光学元件46有关联的像差，图像12’的被检测部分会呈现一定数量的边缘43’的舍入，如虚线所表示的。这些舍入部分可以用透镜48A、48B和/或任何外部透镜(未显示)来光学补偿以及用处理装置54来电学补偿。舍入部分最好通过采用由图像转换装置70对图像12’的被测部分的转换来估计。例如，图像转换装置70具有一个基于平面投影的图像变形转换器来产生一个投影视场。作为选择，图像转换装置70也可以是具有一个基于球面投影的图像变形转换器来产生一个球面投影。其好处是，这样的球面投影可以借助于已知的方法方便地转换为一个平面投影，例如Christopher Geyer和Kostas Daniilidis在“一种对中心全景系统和实际含义的统一理论”www.cis.upenn.edu，加利福尼亚的伯克利大学的Omid Shakernia等人的“通过成倍增加中心全景视场来估计微小运动”，加利福尼亚技术学院的喷汽推进实验室和宾夕法尼亚大学的GRASP实验室的Adnan Ansar和Kostas Daniilidis的“通过点和线来估计直线状态”，在此收编参考文献和附录。
现在，一旦图像12’被识别和转换，书写工具10的方向就被确定。这可以用各种方法来实现。例如，当用球面投影来工作时，即用无阻碍部分图像12’球面投影时，一个直接的三维旋转估算可以被用于复原倾角θ和极角φ。为此，一个书写面12的正常视场被贮存的存储器60中，以便用于转换装置70作参考。然后应用广义移动定理，该转换可以产生书写工具10关于书写面12的欧拉角。这一定理涉及欧拉定理，欧拉定理指出，在三维空间具有一个固定点的任何运动可以用绕一些轴的旋转来描述，(在这种情况下，笔尖20在书写面12上的接触点在每帧画面持续期间被认为是固定的)关于移动定理的更多信息，读者请参考宾夕法尼亚大学的计算机与信息科学系的Ameesh Makadia和Kostas Daniilidis的“用广义移动定理对球面图像的直接三维旋转估算”，在此编入作为参考。
当用一个平面投影来产生图像12’的无阻碍部分的透视图时，人们可以选择用标准几何定理来确定倾角θ和极角φ。在这种情况下，可以采用几种利用透视图定理的几何方法。
一种几何方法如图7A所示，这里清楚地表示了整个图像12’(忽略阻碍部分或将其填入上一步被导出的边缘43’的导数方程中)，两个边缘43’延伸到没影点86。画出中心84和没影点86的连接线Ψ。再画出在倾角θ的平面中的线∑。此时，线Ψ和线∑之间的夹角等于极角φ。此时，中心84到没影点86的线Ψ的长度与倾角θ成反比。带有与倾角θ的值相对应的Ψ的值的查对照表被贮存在存贮器60中，以帮助快速地识别在每帧画面存续期间的倾角θ。应该注意的是，为了保持倾角θ的平面轨迹，必须知道书写工具10绕光轴39的旋转。通过提供一个关键性的东西可以建立这一旋转，例如，以图8所示的书写工具10上的握持器90的形式。握持器促使用户的手16握住书写工具使其不会绕光轴39旋转。
另一个几何方法如图7B所示意，整个图象12′再次清晰地显示。在这里，两个边缘一直延伸到没影点86。从中心84到没影点86就构建设了连接线Ψ。一与倾斜角θ的平面相垂直的的平面上构建了直线Γ。现在，从没影点86构筑一条直线Γ它垂直于直线Γ。直线∏和Ψ之间的角度等于极性角θ，同时，从与直线Γ的截断点(intercept)到没影点86之间的直线∏长度与倾斜角θ成反比。最好，一个带有与倾斜角θ数值相对应的∏数值的对照表储存在存储器中，在每帧画面存续期间便于角度θ的快速识别。在这个实例中，使用在阵列(array)52上或者在书写工具10的其它部分的关键标志(key-mark)92来保持与倾斜角θ的平面垂直的另一平面的轨迹(track)，它标明在笔上的一个合适的握笔套，如图8所示意。
另一几何方法如基于整个图象12′的图7C所示意，这里，从中心84到没影点86之间构建了直线Ψ，没影点86是被两边缘43’所限定的。延伸其它的两边缘43’，确定了第二个没影点94的位置。通过连接线Ω第二没影点94与没影点86连接。从中心84到直线Ω之间现在构建了直线∑，这样它与直线Ω以直角相互交叉，直线Ψ和∑之间的角度等于极性角θ。不是直线Ψ的长度就是直线∑的长度(甚至直线Ω的长度)可以被用来导出倾斜角θ。再次，这种对应的对照表(look-up tables)被推荐在快速处理过程中使用。这里需要注意的是，这个实施例子不需要使用关键标志(key-mark)或者握笔套，因为书写工具10绕着光学轴(它也是书写工具10的中心轴线)的转动不会影响这种几何的结构。
还有另一几何方法如图7D所示意，在这个例子中，角落的角度(corner angles)α，β，γ和δ(当没有阻碍的时候)和图象12’(images)的积分面积(area integral)被用来决定θ和φ。特别是，角落的角度α，β，γ和δ的值是唯一地定义角度φ的值。同样，积分面积的数值唯一地定义了θ。在本实施例中，存储在存储器中的对照表(look-uptables)在快速处理过程中能够用来决定角度θ和φ。
在此情况下，成像光学元件(imaging optics)46将图象12’作关于书写面12上的定向的转换，图象12’就需要被转换了，如图9。这种转换倒置能够在任何点及时地被转换单元70所执行。举例，图象12’在实施上述决定角度θ和φ的步骤之前或者以后也可以被倒置转换。如果图象12’不被转换，这样没有转换需要被执行。
被变换或倒置(当需要时候)的图象12″在图10中被描述，在这一点矢量V″1，V″2和V″3被重新计算。一从中心84到边缘43″(edges)的位置标记(landmark)的另一矢量Vn″也在图中显示。在书写面12边缘43″上的这种位置标记能够被使用来替代一个角落，用以确定笔尖20具体坐标。当两个角落被位于书写面(jotting surface)12和光学单元30之间的用户或者任何物体阻挡时，这一点显得特别重要。
在这一点上图像12″通过旋转约θ和φ的角度被校正，以获得了最终被转换和被校正的图象12，见图11。这是通过对被转换(被倒转，根据具体情况)的图象12″进行适当的倒转而完成。(这些倒转旋转是与在书写工具10关于书写面12的物理空间中的欧拉旋转相对应的。标准的欧拉转换在任何传统机械教科书上有介绍，如金斯丁著的“经典机械学”Goldstein，Classical Mechanics)。
现在笔尖20具体坐标能够直接从矢量V1，V2，V3和/或Vn被确定。这种功能是由比率计算单元(ratio computation unit)72来执行的，其优点在于图象12相对书写面12的比例被保留了。特别是，比率计算单元(ratio computation unit)72采用了以下的比例：
                           x1/x2＝x1/x2
                                  和
                          y1/y2＝y1/y2
这些数值能够从矢量和缩放比例因子(scaling factor)中获得，由于如图12那样，成像光学元件46的放大倍数M可以被用作为附加的交叉检查(additional cross-check)和约束以保证被获得的数值是正确的。
本发明的书写工具具有数个其它实施例，例如，一个可选择的光学装置100采用有抛物线或双曲线镜子102和镜片104的兼反射光及折射光的系统，见图13。光学装置100的结构必须被改变以适应在书写工具108上的光学装置100，见图14(仅仅显示顶部)。在该实施例中光电检测器阵列106被布置在书写工具108的末端109上。在本实施例中用延伸部位111将支撑件110延伸。
书写工具10可以利用特征和位置标记而不是书写平面120的角落和边缘。例如，见图15，书写工具利用的是用户产生的特征记号(feature)122。特征记号122事实上是一个用户书写的字母“A”。在本案中，使用了一个在字母上特别容易定位的点(如一个产生高对比度容易检测和追踪的点)用于跟踪，还从卡笛尔坐标系统的原点到这个点构筑一个矢量Vr。书写工具10也利用了位于一边缘(edge)126的位置标记(landmark)124。从原点到位置标记(landmark)122构建了矢量Vs。最终，工具10使用了由相应的矢量Vq确定的书写面120上的角落128。
在这个实施例子中，在操作过程中，上面描述的边缘检测算法规则(edge detectionalgorithms)和任何其它的为检测高对比度点的算法规则被应用来定位在图象上的直线和角落，和定位特征记号(feature)122、位置标记(landmark)124和角落128的位置。于是，夹角θ和Φ被定出来，并且相应的转换被施加到书写面120图像的已成像了的图象矢量V′q、V′x和V′s上，如上面所述。笔尖120的具体坐标通过被变换的矢量被确定下来。
当然，该技术领域的熟练人员会认识到记号和跟踪的位置标记(landmarks)的数目通常能改善在书写面上确定书写面120上的笔尖的具体坐标的精确度。于是，更多的特征记号(features)和位置标记(landmarks)被跟踪，就需要更多的处理能力。如果需要书写工具10的实时操作，例如，在某些情况下，书写动作被从书写工具10发送至一个处于实时状态下的接收器，记号和位置标记的数目应当被限制。作为选择，如果被写下的信息能够被用户在以后的时间里下载记录下来和/或不需要实时处理过程的时候，更多的记号和位置标记可以被用来提高决定笔尖20的具体坐标的精确度。这通常导致改善了书写面120的解晰度。必须记住的是，记号和位置标记得提供绝对的参考物，也就是它们在书写面120上的位置不能及时变动。然而，必须记住的是被用来确定笔尖(nib)20具体坐标的的特征和位置标记从一帧到另一帧不需要是相同的。
对于本技术领域人员而言显而易见本发明还包括有不同的其它实施例。
                             * * * * *

Claims (29)

1.一种能表现来自书写面上的手写信息的工具，所述的书写工具包括：
a〕一个用于书写的笔尖；
b〕用于确定什么时候所述笔尖正在所述的书写面上进行书写的手段；
c〕一个光学装置，它用于观视所述的书写面，所述的光学装置被引示指向所述的笔尖；
d〕一个处理单元，用于从所述的光学装置接受所述的书写面上的光学数据，并用于从所述的光学数据来确定所述笔尖相关于书写面的至少一个角落和所述书写面的至少一条边缘的物理坐标。
2.如权利要求1所述的书写工具，其中，所述的光学装置是一个用于让所述的书写面成像的成像装置。
3.如权利要求2所述的书写工具，其中，所述的成像装置进一步包含有一个光电检测元件阵列，在其上投射有一个所述成像面的图像。
4.如权利要求3所述的书写工具，其中，所述的处理单元进一步包含有一个用于对所述的在图像中的书写面的边缘和角落进行检测的边缘检测装置。
5.如权利要求3所述的书写工具，它进一步包含有一个图像转换装置，用于对所述的图像施以至少一个转换。
6.如权利要求5所述的书写工具，其中，所述的图像转换装置包含有一个以一个平面投影为基础的图像变形转换器。
7.如权利要求5所述的书写工具，其中，所述的图像转换装置包含有一个以一个球面投影为基础的图像变形转换器。
8.如权利要求5所述的书写工具，其中，所述的图像转换装置包含有一个用于确定所述书写工具相关与所述书写面的欧拉角的图像转换器。
9.如权利要求3所述的书写工具，其中，所述的光电检测元件阵列是一个CMOS光电检测元件阵列。
10.如权利要求2所述的书写工具，其中，所述的成形装置产生一个所述书写面的透视投影。
11.如权利要求10所述的书写工具，其中，至少一个与所述书写工具相对于所述书写面的定位方向有关的角度由所述的透视投影被确定。
12.如权利要求11所述的书写工具，其中，所述的至少一个角度包含一个倾斜角θ和一个极角φ。
13.如权利要求2所述的书写工具，其中，所述处理单元进一步包含有一个比率计算模块用于由所述的图像确定所述的实际坐标。
14.如权利要求2所述的书写工具，其中，所述的成像单元包含有折射成像光学元件。
15.如权利要求14所述的书写工具，其中，所述的折射成像光学元件具有一个大体上大于所述书写面面积的视场。
16.如权利要求2所述的书写工具，其中，所述的成像装置包含有反射成像光学装置。
17.如权利要求16所述的书写工具，其中，所述的反射成像光学装置具有一个大体上大于所述书写面的面积的视场。
18.如权利要求2所述的书写工具，它进一步包含有一个帧控制器用于将所述的书写面以一个预先确定的帧速率成像。
19.如权利要求1所述的书写工具，其中，所述的确定何时所述的笔尖正在进行书写的手段被选自由应变仪，机械压力传感器，压电元件组成的组。
20.如权利要求1所述的书写工具，其中，它进一步包含有用于让所述物理坐标与一个外部的装置进行通信的装置。
21.如权利要求1所述的书写工具，它进一步包含有一个使所述的书写面初始化并对所述的书写面进行识别的装置。
22.如权利要求1所述的书写工具，其中，所述的光学装置被安装在所述书写工具的远端。
23.一种书写工具，用于对来自一个书写面的信息进行推定，所述的书写工具包含有：
a〕一个具有用于书写的笔尖；
b〕一个用于确定何时所述的笔尖正在所述的书写面上进行书写的装置；
c〕一个具有用于观视所述书写面的光学装置的远端，所述的光学装置对准所述的笔尖；并且
d〕一个处理单元，它用于接收所书写面上的来自光学单元的光学信息，并用于从所述的光学数据来确定所述笔尖关于所述书写面上至少两个所述书写面的角落的物理坐标。
24.一种书写工具，用于以光学的方法捕捉来自书写面的手写的信息，所述的书写工具包含有：
a〕一个具有用于书写的笔尖的书写端；
b〕一个用于确定何时所述的笔尖正在所述的书写面上进行书写的装置；
c〕一个具有用于观视所述书写面的光学装置的远端，所述的光学装置对准所述的笔尖；并且
d〕一个处理单元，它用于从所述的光学单元接收所述书写面上的的光学信息，并用于从所述的光学数据来确定所述笔尖关于所述书写面上至少两个在所述书写面上的位置标记的物理坐标。
25.如权利要求24所述的书写工具，其中，所述的至少两个位置标记是被一个在所述的书写面上使用的工具所产生的标记。
26.权利要求25所述的书写工具，其中，所述的位置标记包含有使用者的手写标记。
27.如权利要求24所述的书写工具，其中，所述的位置标记进一步包含关于所述书写面的数据。
28.如权利要求27所述的书写工具，其中，所述的书写面包含有一张纸并且所述的数据表明了所述那张纸的尺寸。
29.一种书写工具，用于对来自一书写面的手写信息进行推定表现，所述的书写工具包含：
a〕一个用于书写的笔尖；
b〕一个确定何时所述的笔尖正在所述的书写面上进行书写的手段；
c〕一个光学装置，用于观视所述的书写面，所述的光学装置被对准所述的笔尖；
d〕一个处理装置，用于从所述的光学装置接收所述的书写面的光学数据并且用于由所述的光学数据来确定所述的笔尖相对于至少两个书写面角落的物理坐标。
CN2004800101859A 2003-02-24 2004-02-24 用于从平面书写面光学推断信息的工具 Expired - Fee Related CN1774690B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US45024403P 2003-02-24 2003-02-24
US60/450,244 2003-02-24
US10/640,942 US7203384B2 (en) 2003-02-24 2003-08-13 Implement for optically inferring information from a planar jotting surface
US10/640,942 2003-08-13
PCT/US2004/005380 WO2004077107A2 (en) 2003-02-24 2004-02-24 Implement for optically inferring information from a planar jotting surface

Publications (2)

Publication Number Publication Date
CN1774690A true CN1774690A (zh) 2006-05-17
CN1774690B CN1774690B (zh) 2010-04-21

Family

ID=32872238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800101859A Expired - Fee Related CN1774690B (zh) 2003-02-24 2004-02-24 用于从平面书写面光学推断信息的工具

Country Status (7)

Country Link
US (2) US7203384B2 (zh)
EP (1) EP1611502B1 (zh)
JP (1) JP4567664B2 (zh)
KR (1) KR100947405B1 (zh)
CN (1) CN1774690B (zh)
CA (1) CA2517168C (zh)
WO (1) WO2004077107A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104303138A (zh) * 2013-03-08 2015-01-21 日东电工株式会社 信息管理系统
US9213442B2 (en) 2013-03-08 2015-12-15 Nitto Denko Corporation Electronic underlay with wireless transmission function
US9239641B2 (en) 2013-03-08 2016-01-19 Nitto Denko Corporation Electronic underlay
US9811211B2 (en) 2013-03-06 2017-11-07 Nitto Denko Corporation Position sensor
CN107618290A (zh) * 2017-08-25 2018-01-23 触景无限科技（北京）有限公司 智能笔
CN110955350A (zh) * 2018-09-26 2020-04-03 富士施乐株式会社 信息处理系统及记录介质
CN111079760A (zh) * 2019-08-02 2020-04-28 广东小天才科技有限公司 一种文字识别方法及电子设备
CN113641256A (zh) * 2021-08-06 2021-11-12 深圳腾千里科技有限公司 可识别书写角度的书写装置与识别书写角度的方法

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20050001823A1 (en) * 2003-06-04 2005-01-06 Dort David Bogart Real motion detection sampling and recording for writing instruments and small tracking instruments using electrically active material with viscosity
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7729515B2 (en) * 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060041484A1 (en) 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US9460346B2 (en) 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US20050281437A1 (en) * 2004-05-17 2005-12-22 Renate Fruchter Talking paper
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8290313B2 (en) * 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8102383B2 (en) * 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
US8229252B2 (en) * 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8787706B2 (en) * 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US7873243B2 (en) 2005-03-18 2011-01-18 The Invention Science Fund I, Llc Decoding digital information included in a hand-formed expression
US8823636B2 (en) 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US8232979B2 (en) * 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US7791593B2 (en) * 2005-03-18 2010-09-07 The Invention Science Fund I, Llc Machine-differentiatable identifiers having a commonly accepted meaning
US8340476B2 (en) * 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US10452207B2 (en) 2005-05-18 2019-10-22 Power2B, Inc. Displays and information input devices
US8610675B2 (en) 2007-03-14 2013-12-17 Power2B, Inc. Interactive devices
US7738733B2 (en) * 2005-09-29 2010-06-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for 3-D imaging
US7488173B2 (en) * 2006-02-22 2009-02-10 Antoine Bochi Instrument with pressure sensing capabilities
US7884811B2 (en) * 2006-05-22 2011-02-08 Adapx Inc. Durable digital writing and sketching instrument
US9405372B2 (en) * 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US9050528B2 (en) * 2006-07-14 2015-06-09 Ailive Inc. Systems and methods for utilizing personalized motion control in virtual environment
CN101192269B (zh) * 2006-11-29 2012-05-02 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
WO2008070724A2 (en) * 2006-12-05 2008-06-12 Adapx, Inc. Carrier for a digital pen
JP2010521732A (ja) * 2007-03-14 2010-06-24 パワー２ビー，インコーポレイティド 表示装置および情報入力装置
KR101484465B1 (ko) 2007-03-28 2015-01-28 아노토 아베 카메라펜용 광학 부재
NO327279B1 (no) 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
KR101433277B1 (ko) * 2007-08-30 2014-08-22 레이저 (아시아-퍼시픽) 피티이 엘티디 키 비활성화 시스템 및 방법
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US9128539B2 (en) * 2007-11-30 2015-09-08 Razer (Asia-Pacific) Pte Ltd Ergonomic mouse device with multi-programmable buttons
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
ES2482997T3 (es) 2008-11-10 2014-08-05 Metaio Gmbh Método y sistema para analizar una imagen generada mediante al menos una cámara
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
CN102349087B (zh) 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
US9111347B2 (en) 2009-07-29 2015-08-18 Metaio Gmbh Method for determining the pose of a camera with respect to at least one real object
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
EP2542957B1 (en) 2010-03-01 2020-07-08 Apple Inc. Method of displaying virtual information in a view of a real environment
CN103649998B (zh) 2010-12-21 2016-08-31 Metaio有限公司 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
WO2012100829A1 (en) 2011-01-27 2012-08-02 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
EP2689393A1 (en) 2011-03-23 2014-01-29 Metaio GmbH Method for registering at least one part of a first and second image using a collineation warping function
US10229538B2 (en) 2011-07-29 2019-03-12 Hewlett-Packard Development Company, L.P. System and method of visual layering
BR112014002186B1 (pt) 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US9521276B2 (en) 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
US9525862B2 (en) 2011-08-31 2016-12-20 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
US9565394B2 (en) 2012-04-24 2017-02-07 Hewlett-Packard Development Company, L.P. System for displaying an image
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US9354725B2 (en) 2012-06-01 2016-05-31 New York University Tracking movement of a writing instrument on a general surface
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US8831285B2 (en) 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
US20140028635A1 (en) * 2012-07-27 2014-01-30 Christoph Horst Krah Modular stylus device
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9297942B2 (en) 2012-10-13 2016-03-29 Hewlett-Packard Development Company, L.P. Imaging with polarization removal
US9143696B2 (en) 2012-10-13 2015-09-22 Hewlett-Packard Development Company, L.P. Imaging using offsetting accumulations
US8982261B2 (en) 2012-10-13 2015-03-17 Hewlett-Packard Development Company, L.P. Imaging with interleaved detection accumulations
US9274651B2 (en) 2012-11-05 2016-03-01 Hewlett-Packard Development Company, L.P. Apparatus to track a pointing device
CN103034345B (zh) * 2012-12-19 2016-03-02 桂林理工大学 一种真实空间中的地理虚拟仿真三维鼠标笔
US9146668B2 (en) 2013-01-31 2015-09-29 Hewlett-Packard Development Company, L.P. Graphical element placement on a display surface
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US9148573B2 (en) 2013-03-15 2015-09-29 Hewlett-Packard Development Company, L.P. Non-uniform correction illumination pattern
NZ751602A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
WO2014201631A1 (en) * 2013-06-19 2014-12-24 Nokia Corporation Electronic-scribed input
US9776364B2 (en) 2013-08-09 2017-10-03 Apple Inc. Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
JP2016528647A (ja) 2013-08-22 2016-09-15 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． プロジェクティブコンピューティングシステム
EP3039515B1 (en) 2013-08-30 2020-02-19 Hewlett-Packard Development Company, L.P. Touch input association
EP3049895A4 (en) 2013-09-24 2017-06-07 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
CN105745606B (zh) 2013-09-24 2019-07-26 惠普发展公司，有限责任合伙企业 基于图像识别触摸敏感表面的目标触摸区域
US10114512B2 (en) 2013-09-30 2018-10-30 Hewlett-Packard Development Company, L.P. Projection system manager
US10003777B2 (en) 2013-11-21 2018-06-19 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting light
US9330309B2 (en) 2013-12-20 2016-05-03 Google Technology Holdings LLC Correcting writing data generated by an electronic writing device
CN105940359B (zh) 2014-01-31 2020-10-20 惠普发展公司，有限责任合伙企业 具有投影器单元的系统的触摸式感应垫
EP3111299A4 (en) 2014-02-28 2017-11-22 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
DE102014106838B4 (de) * 2014-05-15 2022-10-13 Stabilo International Gmbh Driftkompensation / optische Absolutreferenzierung
DE102014106837B4 (de) * 2014-05-15 2018-12-27 Stabilo International Gmbh Driftkompensation / Parallelminimierung
WO2016076874A1 (en) 2014-11-13 2016-05-19 Hewlett-Packard Development Company, L.P. Image projection
US9922244B2 (en) 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10346949B1 (en) 2016-05-27 2019-07-09 Augmented Pixels, Inc. Image registration
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
CN107066919B (zh) * 2016-12-21 2020-09-29 网易（杭州）网络有限公司 笔尖位置求解方法、设备和计算机可读存储介质
DE102017006740A1 (de) * 2017-06-22 2018-12-27 Staedtler Mars Gmbh & Co. Kg Elektronisches Gerät zur Erzeugung analoger Abstriche und zur digitalen Speicherung der analogen Abstriche, sowie Eingabesystem und Verfahren zur Digitalisierung analoger Aufzeichnungen
US10564734B1 (en) * 2018-08-23 2020-02-18 Pixart Imaging Inc. Pen mouse with a tracing compensation function
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US10786729B1 (en) 2019-03-08 2020-09-29 Sony Interactive Entertainment Inc. Thermopile array fusion tracking
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259438B1 (en) 1998-06-04 2001-07-10 Wacom Co., Ltd. Coordinate input stylus
US4070649A (en) 1976-12-01 1978-01-24 Said Sanford J. Wright, By Said Peter Anderson And Said Ralph Grimes Multi-modal data input/output apparatus and method compatible with bio-engineering requirements
JPS543528A (en) 1977-06-10 1979-01-11 Olympus Optical Co Ltd Retrofocus type wide angle lens
JPS5412728A (en) 1977-06-29 1979-01-30 Nippon Chemical Ind Retrofocusstype lens
JPS5444519A (en) 1977-09-14 1979-04-09 Canon Inc Wide angle leins
JPS5921077B2 (ja) 1981-12-28 1984-05-17 富士通株式会社 座標読取装置
US5226091A (en) 1985-11-05 1993-07-06 Howell David N L Method and apparatus for capturing information in drawing or writing
GB8821675D0 (en) * 1988-09-02 1988-10-19 Craig T R Rotation & displacement sensing apparatus
US4896543A (en) 1988-11-15 1990-01-30 Sri International, Inc. Three-axis force measurement stylus
US5061828A (en) * 1989-11-13 1991-10-29 Summagraphics Corporation Digitizer stylus with Z-axis side pressure control
US5103486A (en) 1990-04-19 1992-04-07 Grippi Victor J Fingerprint/signature synthesis
JP2726594B2 (ja) 1991-04-01 1998-03-11 八洲電機株式会社 記憶ペン
DE4111710C2 (de) 1991-04-10 1995-01-12 Data Stream Corp Drahtlose Eingabevorrichtung für Computer
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
JPH0644005A (ja) 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
US5333209A (en) 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5477012A (en) 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5852434A (en) 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
ATE148952T1 (de) 1992-07-08 1997-02-15 Smart Pen Inc Vorrichtung und verfahren zur abbildung geschriebener informationen.
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5717168A (en) 1992-11-17 1998-02-10 Lectra Systemes Method and device for capturing and processing graphical information
JPH06266490A (ja) 1993-03-12 1994-09-22 Toshiba Corp 情報入力装置および情報入力における位置認識システム
US5484966A (en) 1993-12-07 1996-01-16 At&T Corp. Sensing stylus position using single 1-D image sensor
US5434371A (en) 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
US5577135A (en) 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
US6330359B1 (en) 1994-04-07 2001-12-11 Japan Nesamac Corporation Pen-grip type of input apparatus using finger pressure and gravity switches for character recognition
US5737740A (en) 1994-06-27 1998-04-07 Numonics Apparatus and method for processing electronic documents
US5781661A (en) 1994-06-29 1998-07-14 Nippon Telegraph And Telephone Corporation Handwritting information detecting method and apparatus detachably holding writing tool
US5652412A (en) 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
US5774602A (en) 1994-07-13 1998-06-30 Yashima Electric Co., Ltd. Writing device for storing handwriting
EP0693739A3 (en) 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
US6262719B1 (en) 1994-09-02 2001-07-17 Packard Bell Nec, Inc. Mouse emulation with a passive pen
JPH08101739A (ja) * 1994-09-30 1996-04-16 Yashima Denki Co Ltd 記憶ペンユニット
US5661506A (en) 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
EP0744058B1 (en) 1994-12-07 2001-11-14 Koninklijke Philips Electronics N.V. Data processing system comprising a graphic tablet and a stylus, and stylus for use in such a system
US5587560A (en) 1995-04-10 1996-12-24 At&T Global Information Solutions Company Portable handwritten data capture device and method of using
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
GB9516441D0 (en) 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
EP0774730B1 (en) 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US6081261A (en) 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
JPH09146691A (ja) 1995-11-17 1997-06-06 Hitachi Ltd 情報処理装置
US5902968A (en) 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US6686910B2 (en) 1996-04-22 2004-02-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor apparatus and method of use
US6573887B1 (en) 1996-04-22 2003-06-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor
DE19625767A1 (de) 1996-06-27 1998-01-08 Mm Lesestift Manager Memory Lesegerät für die optische Erfassung und Speicherung von visuell markierten und projizierten alphanumerischen Zeichen, Graphiken und fotografischen Bildern
US6130666A (en) 1996-10-07 2000-10-10 Persidsky; Andre Self-contained pen computer with built-in display
US6023291A (en) 1996-10-16 2000-02-08 Space Systems/Loral, Inc. Satellite camera attitude determination and image navigation by means of earth edge and landmark measurement
US6031936A (en) 1997-01-29 2000-02-29 Yashima Electric Co., Ltd. Handwriting detecting and storing apparatus
JPH10214149A (ja) 1997-01-30 1998-08-11 Wacom Co Ltd 座標入力装置及び位置指示器
ATE202856T1 (de) 1997-02-12 2001-07-15 Kanitech As Eingabevorrichtung für einen computer
US6292177B1 (en) 1997-03-05 2001-09-18 Tidenet, Inc. Marking device for electronic presentation board
JP3624070B2 (ja) 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US6153836A (en) 1997-04-02 2000-11-28 Goszyk; Kurt A. Adjustable area coordinate position data-capture system
US6104387A (en) 1997-05-14 2000-08-15 Virtual Ink Corporation Transcription system
US5977958A (en) 1997-06-30 1999-11-02 Inmotion Technologies Ltd. Method and system for digitizing handwriting
US6188392B1 (en) 1997-06-30 2001-02-13 Intel Corporation Electronic pen device
JP3475048B2 (ja) 1997-07-18 2003-12-08 シャープ株式会社 手書き入力装置
US6108444A (en) 1997-09-29 2000-08-22 Xerox Corporation Method of grouping handwritten word segments in handwritten document images
US5939702A (en) 1997-10-10 1999-08-17 Motorola, Inc. Writing implement having an integrated optical reader
US6050490A (en) 1997-10-31 2000-04-18 Hewlett-Packard Company Handheld writing device and related data entry system
US5955719A (en) 1997-12-19 1999-09-21 A. T. Cross Company Data/pen well
US6212296B1 (en) 1997-12-23 2001-04-03 Ricoh Company, Ltd. Method and apparatus for transforming sensor signals into graphical images
US6181329B1 (en) 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
US6184873B1 (en) 1998-01-20 2001-02-06 Electronics For Imaging, Inc. Pen positioning system
AU2351299A (en) 1998-01-28 1999-08-16 California Institute Of Technology Camera-based handwriting tracking
US6456749B1 (en) 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
DE69939866D1 (de) * 1998-04-23 2008-12-18 Univ Texas Heizdecke und methode zur kontrolle der patiententemperatur
US6151015A (en) * 1998-04-27 2000-11-21 Agilent Technologies Pen like computer pointing device
JP2000105671A (ja) 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
US6147681A (en) 1998-05-14 2000-11-14 Virtual Ink, Corp. Detector for use in a transcription system
US6111565A (en) 1998-05-14 2000-08-29 Virtual Ink Corp. Stylus for use with transcription system
US6177927B1 (en) 1998-05-14 2001-01-23 Virtual Ink Corp. Transcription system kit
US6100877A (en) 1998-05-14 2000-08-08 Virtual Ink, Corp. Method for calibrating a transcription system
US6124847A (en) 1998-05-14 2000-09-26 Virtual Ink, Corp. Collapsible detector assembly
JP4119004B2 (ja) 1998-05-19 2008-07-16 株式会社東芝 データ入力システム
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
CA2340723A1 (en) 1998-08-18 2000-03-02 Digital Ink, Inc. Handwriting device with detection sensors for absolute and relative positioning
US6972753B1 (en) * 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US6335723B1 (en) 1998-10-02 2002-01-01 Tidenet, Inc. Transmitter pen location system
US6414673B1 (en) 1998-11-10 2002-07-02 Tidenet, Inc. Transmitter pen location system
US6335724B1 (en) 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
JP2000284895A (ja) 1999-03-31 2000-10-13 Hitachi Software Eng Co Ltd 座標入力ペン並びにそれを用いた電子ボード、座標入力システム及び電子ボードシステム
US6396481B1 (en) 1999-04-19 2002-05-28 Ecrio Inc. Apparatus and method for portable handwriting capture
AUPQ363299A0 (en) 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7178718B2 (en) * 1999-05-25 2007-02-20 Silverbrook Research Pty Ltd Methods and systems for object identification and interaction
GB2353870B (en) 1999-09-02 2004-01-21 Hewlett Packard Co Document capture stand
US6727885B1 (en) 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
US6348914B1 (en) 1999-10-05 2002-02-19 Raja S. Tuli Writing device for storing handwriting
CN1249242A (zh) * 1999-10-15 2000-04-05 李刚 计算机笔式光学输入与书写同体笔
EP1235692A4 (en) 1999-10-25 2004-07-14 Silverbrook Res Pty Ltd ELECTRONICALLY CONTROLLED PENCIL WITH CODES SENSOR
US6535206B1 (en) 2000-02-18 2003-03-18 Intel Corporation Ultrasonic wireless pen position determination system and method
US20020048404A1 (en) 2000-03-21 2002-04-25 Christer Fahraeus Apparatus and method for determining spatial orientation
SE0000949L (sv) 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
US7254409B2 (en) * 2000-04-14 2007-08-07 Ntt Docomo, Inc. Multicast service providing system, multicast service providing method, information distributor, radio terminal, and radio base station
US6686579B2 (en) 2000-04-22 2004-02-03 International Business Machines Corporation Digital pen using speckle tracking
JP3867512B2 (ja) 2000-06-29 2007-01-10 富士ゼロックス株式会社 画像処理装置および画像処理方法、並びにプログラム
US6650320B1 (en) 2000-08-16 2003-11-18 International Business Machines Corporation Digital pen using visible image and autocorrelation of substrate pattern
US6592039B1 (en) 2000-08-23 2003-07-15 International Business Machines Corporation Digital pen using interferometry for relative and absolute pen position
US20020118181A1 (en) 2000-11-29 2002-08-29 Oral Sekendur Absolute optical position determination
US20020163511A1 (en) * 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
AU2001298118A1 (en) * 2000-11-29 2009-07-29 Oral F. Sekendur Optical position determination on any surface
US20020158848A1 (en) 2001-03-09 2002-10-31 Oral Sekendur Optical position determination on plain paper
JP2004517398A (ja) * 2000-12-27 2004-06-10 ガーサビアン、フィルーツ スタイラス・コンピュータ
JP2002244805A (ja) * 2001-02-14 2002-08-30 Ricoh Co Ltd 座標入力装置
US6422775B1 (en) 2001-03-23 2002-07-23 Intel Corporation Digital messaging pen
KR100408518B1 (ko) 2001-04-12 2003-12-06 삼성전자주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
US6966495B2 (en) * 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
GB2378073B (en) * 2001-07-27 2005-08-31 Hewlett Packard Co Paper-to-computer interfaces
US20030034961A1 (en) * 2001-08-17 2003-02-20 Chi-Lei Kao Input system and method for coordinate and pattern
US7385595B2 (en) * 2001-11-30 2008-06-10 Anoto Ab Electronic pen and method for recording of handwritten information
CN2522929Y (zh) * 2001-12-22 2002-11-27 宋柏君 光学手写笔笔头
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7729515B2 (en) * 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811211B2 (en) 2013-03-06 2017-11-07 Nitto Denko Corporation Position sensor
CN104303138A (zh) * 2013-03-08 2015-01-21 日东电工株式会社 信息管理系统
US9213442B2 (en) 2013-03-08 2015-12-15 Nitto Denko Corporation Electronic underlay with wireless transmission function
US9239641B2 (en) 2013-03-08 2016-01-19 Nitto Denko Corporation Electronic underlay
CN104303138B (zh) * 2013-03-08 2016-01-27 日东电工株式会社 信息管理系统
US9250724B2 (en) 2013-03-08 2016-02-02 Nitto Denko Corporation Information management system
CN107618290A (zh) * 2017-08-25 2018-01-23 触景无限科技（北京）有限公司 智能笔
CN110955350A (zh) * 2018-09-26 2020-04-03 富士施乐株式会社 信息处理系统及记录介质
CN111079760A (zh) * 2019-08-02 2020-04-28 广东小天才科技有限公司 一种文字识别方法及电子设备
CN111079760B (zh) * 2019-08-02 2023-11-28 广东小天才科技有限公司 一种文字识别方法及电子设备
CN113641256A (zh) * 2021-08-06 2021-11-12 深圳腾千里科技有限公司 可识别书写角度的书写装置与识别书写角度的方法

Also Published As

Publication number Publication date
KR20060018814A (ko) 2006-03-02
US7203384B2 (en) 2007-04-10
WO2004077107A3 (en) 2005-11-10
JP2007524885A (ja) 2007-08-30
US20040164972A1 (en) 2004-08-26
CA2517168A1 (en) 2004-09-10
WO2004077107A2 (en) 2004-09-10
CN1774690B (zh) 2010-04-21
US20080080791A1 (en) 2008-04-03
CA2517168C (en) 2009-10-27
EP1611502B1 (en) 2018-05-09
EP1611502A2 (en) 2006-01-04
KR100947405B1 (ko) 2010-03-12
US7474809B2 (en) 2009-01-06
JP4567664B2 (ja) 2010-10-20

Similar Documents

Publication Publication Date Title
CN1774690A (zh) 一种能光学表现平面手写面上书写信息的工具
US8542219B2 (en) Processing pose data derived from the pose of an elongate object
JP4558253B2 (ja) ペン用コードセンサ付属部品
CN100585329C (zh) 基于指端标记的视频手指定位系统及其定位方法
CA2491843C (en) Global localization by fast image matching
US20060061647A1 (en) Hand held printing of text and images for preventing scew and cutting of printed images
US20020163511A1 (en) Optical position determination on any surface
US20060204101A1 (en) Spatial transforms from displayed codes
US20090309854A1 (en) Input devices with multiple operating modes
EP2591441B1 (en) Dot code pattern for absolute position and other information using an optical pen, process of printing the dot code, process of reading the dot code
EP1668566B1 (en) Spatial chirographic sign reader
WO2002058029A2 (en) Optical position determination on any surface
US20020158848A1 (en) Optical position determination on plain paper
CN113176834B (zh) 屏幕书写系统
CN215932586U (zh) 屏幕书写系统
CN215932585U (zh) 一种屏幕书写装置
CN108268157A (zh) 一种应用于大型显示屏幕或投影屏幕的设备定位方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421

Termination date: 20200224

CF01 Termination of patent right due to non-payment of annual fee