CN102027434B - 具有集成摄像头的控制器以及和交互式应用相接口的方法 - Google Patents

具有集成摄像头的控制器以及和交互式应用相接口的方法 Download PDF

Info

Publication number
CN102027434B
CN102027434B CN200980108615.3A CN200980108615A CN102027434B CN 102027434 B CN102027434 B CN 102027434B CN 200980108615 A CN200980108615 A CN 200980108615A CN 102027434 B CN102027434 B CN 102027434B
Authority
CN
China
Prior art keywords
depth
controller
fixity
degree
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980108615.3A
Other languages
English (en)
Other versions
CN102027434A (zh
Inventor
G·M·扎列维斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN102027434A publication Critical patent/CN102027434A/zh
Application granted granted Critical
Publication of CN102027434B publication Critical patent/CN102027434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

确定控制器在三维空间内的位置包括使用和控制器集成的深度摄像头校准计算机程序以标识三维空间内多个固定点中的一组识别的固定点的操作。另一个操作在和应用接口连接时启动控制器和深度摄像头的使用。使用控制器时，使用控制器的深度摄像头捕获三维空间内的图像和深度数据。另一个操作中，分析图像和深度数据以找到所述一组识别的固定点中的一个或多个。可重复前两个操作，并基于找到的所述一组识别的固定点中的识别的固定点的位置变化确定控制器的位置变化。

Description

具有集成摄像头的控制器以及和交互式应用相接口的方法
背景技术
视频游戏业在这些年经历了许多变化。随着计算能力增强，视频游戏开发商也开发了利用这些计算能力上的增强的游戏软件。为此，视频游戏开发商编写的游戏结合了复杂操作和数学，以产生非常真实的游戏体验。 
示例游戏平台可以是索尼Playstation(游戏站)、索尼Playstation2(PS2)和索尼Playstation3(PS3)，每种Playstation都以游戏控制台的形式销售。如所公知的，游戏控制台设计为连接到监视器(通常是电视)，使得可通过手持式控制器进行用户交互。游戏控制台设计为具有专门的处理硬件，包括CPU、用于处理密集图形操作的图形合成器、用于进行几何变换的矢量单元以及其他固着硬件(glue hardware)、固件和软件。游戏控制台还设计为具有光盘托，用于容纳游戏光盘，以通过游戏控制台本地播放。也可在线玩游戏，这种情况下，用户可以通过因特网和其他用户交互式对战或者一起玩游戏。 
虽然游戏体验的真实性已经稳步增长，但用户继续通过专用的游戏控制器和游戏平台进行交互。虽然在用户交互方面有一些进步，但是，还有可以使用游戏控制台改善整体体验的其他用户交互方法。 
本发明实施例是基于这一情况产生的。 
发明内容
泛泛而言，本发明使得用户可使用具有相关的或集成的深度摄像头的控制器和计算机系统交互。为了校准控制器，深度摄像头可用于捕获空间内的图像和深度数据。随后，可用图像和深度数据确定深度摄像头在空间内的相对位置，然后确定控制器在空间内的相对位置。 
一个实施例中，公开了一种用于确定控制器在三维空间中的位置的计算机实现的方法。该方法包括如下操作：利用和控制器集成的深度摄像头校准计算机程序，以从三维空间内的多个固定点中标识一组识别的固定点。另一个操作在与应用接口连接的过程中启动控制器和深度摄像头的使 用。使用控制器时，用控制器的深度摄像头捕获三维空间内的图像和深度数据。另一个操作中，分析图像和深度数据，以找到所述一组识别的固定点中的一个或多个识别的固定点。一个实施例中，重复前两个操作，根据找到所述一组识别的固定点中的识别的固定点的位置变化确定控制器的位置变化。该方法还包括根据确定的控制器位置变化触发输入命令的操作，其中输入命令引起应用的动作。 
另一个实施例中，公开了用于和计算机系统交互的计算机实现的方法。该方法包括如下操作，该操作开始计算机系统上执行的交互会话，并且自动应用在存储器中保存的控制器校准。另一个操作中，该方法接受到具有可移动深度摄像头的控制器的输入。一个操作中，用可移动深度摄像头捕获空间中的图像和深度数据。另一个操作中，分析图像和深度数据以获得一个或多个识别的固定点。一个实施例中，重复前两个操作，基于识别的固定点之间的差别确定可移动深度摄像头在空间中的运动。该方法还包括如下操作，其中基于可移动深度摄像头的运动触发输入命令，输入命令引起交互会话中的动作。 
另一个实施例中，公开了用于计算机系统的手持式控制器。手持式控制器包括控制器外壳，其由包围内部体积的外部限定。控制器还包括部分暴露在外壳外部的接口控制。控制器还包括深度摄像头组件。深度摄像头组件包括深度模块、图像模块和处理逻辑。深度模块和图像模块配置用于通过摄像头镜头接收图像和深度数据，通信模块配置用于发送和接收从深度摄像头组件的处理逻辑到计算机系统的数据。其中深度摄像头组件接收的图像和深度数据的变化触发计算机系统的输入命令。 
另一个实施例中，公开了配置用于在显示器上显示交互会话的交互式计算系统。该计算系统包括具有中央处理单元的计算控制台、图形处理单元和通信接口。通信接口配置用于提供到计算控制台的通信和来自计算控制台的通信。计算机系统还可包括具有深度摄像头的控制器。深度摄像头配置有深度模块、图像模块和处理逻辑。控制器还可包括通信模块，其配置用于发送和接收从深度摄像头的处理逻辑到计算控制台的通信接口的数据。其中，将深度摄像头捕获的图像和深度数据变化转换成计算系统的输入命令。 
通过下面结合附图，举例示出本发明原理的详细描述，本发明的其他方面和益处是显而易见的。 
附图说明
可通过参考下面结合附图的描述最好地理解本发明及其其他益处。 
图1示出根据本发明一个实施例的用户可使用控制台的示例空间。 
图2A-1和图2A-2的简化视图示出根据本发明实施例的可移动深度摄像头的选择部件。 
图2B是根据本发明的一个实施例的、具有集成的深度摄像头的示例控制器的外部视图。 
图3A和3B示出根据本发明的各个实施例用户相对于摄像头和屏幕校准控制器。 
图4A示出根据本发明的一个实施例的、来自可移动深度摄像头的被分析的图像和深度数据。 
图4B示出根据本发明的一个实施例在空间内识别的固定点。 
图5A和5B示出根据本发明一个实施例的从可移动深度摄像头的角度看的在场景中识别的固定点。 
图6A和6B示出根据本发明一个实施例的从可移动深度摄像头的角度看的在场景中识别的固定点。 
图6C示出根据本发明一个实施例的场景的顶视图，其中，可移动深度摄像头的深度数据用于确定控制器在空间内的位置。 
图7的示例流程图示出根据本发明的一个实施例用可移动深度摄像头确定控制器在空间中的位置的操作。 
图8的示例流程图示出根据本发明的一个实施例校准可移动深度摄像头以确定控制器在空间中的位置的操作。 
图9示意性示出索尼 
Figure BPA00001221571600031
Figure BPA00001221571600032
装置的整体系统结构，这是根据本发明一个实施例可使用动态三维物体映射形成用户定义的控制器的计算机系统。 
具体实施方式
公开的发明用于使用可移动深度摄像头捕获的图像和深度数据来在控制台上控制交互会话。泛泛而言，控制台可以是接收用户输入的任何类型的系统，可以是通用计算机(例如台式机、笔记本电脑、手持设备、智能电话等)或者是专用计算机，例如游戏控制台。可移动深度摄像头可安装到控制台的控制器之上或之中，用于捕获几何深度数据和图像数据。深度摄像头可向控制台提供图像和深度数据进行分析和处理。一个实施例中，深度摄像头是单镜头摄像头，另一个实施例中，可用多个摄像镜头来捕获图像和深度数据。可对可移动深度摄像头捕获的图像和深度数据进行分析以确定控制器和深度摄像头在空间内的运动。可对控制器的运动进行处理和映射，以在控制台上控制交互会话的各方面。
下面的描述中，为了透彻地理解本发明，阐述了许多具体细节。然而，本领域技术人员可显而易见的是，本发明可以在不采用一些或所有的这些具体细节的情况下实现。其他实例中，未对公知的方法步骤进行详细描述，以免不必要地让本发明变得含混不清。 
图1示出根据本发明一个实施例的示例空间100，其中，用户102正在使用控制台106。空间100可包括桌子114以及架子单元112a/b和监视器108。一些实施例中，监视器108是可以显示各种视频输入的阴极射线管(CRT)监视器。其他实施例中，监视器108是配置用于接收各种(模拟或数字)视频输入的平板监视器，例如液晶显示器(LCD)，或等离子监视器。 
监视器108和控制台106连接，控制台106包括可以运行存储在本地或远程存储的软件程序的各种硬件和固件。一个实施例中，软件程序可以是向监视器108输出图形用户界面(GUI)的视频的操作系统。用户102可以使用控制器104通过GUI和控制台106交互，控制器104包括可移动深度摄像头105。可移动深度摄像头105捕获视野105a内的图像和深度数据。可对用可移动深度摄像头105捕获的图像和深度数据进行分析，以确定控制器104在空间100中的相对位置。 
控制器104可接收各种用户输入，例如但不限于数字和/或模拟按钮、触发器、游戏杆和触摸屏的组合。此外，控制器104内的加速计可使得控制台106对用户102对控制器104做的动作做出响应。例如，使用集成的加速计，可以检测对控制器所做的动作或动作组合，例如翻滚、俯仰和偏转，并用于和控制台106执行的软件交互。一些实施例中，导线物理耦合在控制台106和控制器104之间，并有助于控制台106和控制器104之间的通信。其他实施例中，控制器104可使用无线协议和控制台106无线通信，无线协议例如但不限于蓝牙和Wi-Fi。 
固定的深度摄像头110也可耦合到控制台106，固定的深度摄像头110 的放置位置使得固定的深度摄像头110的视野110a包括桌子114、用户102和控制器104。和可移动深度摄像头105类似，固定的深度摄像头可捕获视野110a内的物体的图像和深度数据。一个实施例中，来自固定的深度摄像头110和可移动深度摄像头105的图像和深度数据都用于确定控制器104在空间100内的相对位置。 
图2A-1和2A-2的简化视图示出根据本发明实施例的可移动深度摄像头105的选择部件。简单起见，未示出控制器104中的其他部件。图2A-1所示的实施例中，可移动深度摄像头105集成在控制器104中。图2A-2中，可移动深度摄像头105示意成外部模块，可用连接器220a(例如USB或者其他电连接器)将其接附到控制器104上的外部端口220b。这两个实施例中，可移动深度摄像头105可包括镜头200、深度模块202以及图像模块204和逻辑处理206。深度模块202可包括各种传感器、发射器和逻辑电路。一个实施例中，可将多个红外(IR)发射器在镜头200周围排成阵列。IR发射器可用于发出红外光脉冲，红外光脉冲从控制器104前面的物体上反射。和IR发射器相关联的传感器可测量反射的IR脉冲返回的时间，以帮助确定物体和控制器104之间的距离或深度。 
一些实施例中，和深度模块202相关的逻辑电路可用于将深度模块聚焦在深度摄像头105的视野中的特定区域内。可使用各种技术实现聚焦深度模块202。一个实施例中，可在IR发射器阵列内使用具有不同波长的IR发射器。此外，不同发射器可以在不同时间和/或以不同强度发出脉冲，以将深度检测聚焦于深度摄像头105的视野中的特定区域。 
图像模块204可配置成使用电荷耦合装置(CCD)或其他类型的传感器通过透镜200来捕获图像数据。一个实施例中，逻辑模块206可从图像模块204和深度模块202输入数据。逻辑模块206还可以从控制台106接收命令并解释，以改变图像模块204或深度模块202的焦点。在控制器104的无线实施例中，通信模块208可允许控制器104和控制台106之间的双向通信。因而，信号从逻辑模块206传输到控制台106，或者反向传输。一个实施例中，通信模块208可以用IEEE 802.11无线协议的形式传输数据。另一个实施例中，用蓝牙通信标准的形式把数据从控制器104传输到控制台106。 
图2B是根据本发明的一个实施例的具有集成的深度摄像头105的示例控制器104的外部视图。从控制器104的外部可见镜头200。从控制器 104的外部还可见通用串行总线(USB)端口210、按钮214a/b和216a/b以及游戏杆212a/b。按钮214a/b和216a/b以及游戏杆212a/b可以是模拟的或数字的，以允许用户和控制台连接。通过USB端口210连接到控制台时，可对控制器104充电。 
图3A和3B示出根据本发明的各个实施例用户102相对于摄像头110和屏幕108校准控制器104。为了校准控制器在空间中的位置，可通过屏显指示、可听指示或其组合提示用户102将控制器104保持在第一位置。这使可移动深度摄像头105捕获视野105a中的物体的图像和深度数据。本实施例中，监视器108和固定的深度摄像头110都在可移动深度摄像头105的视野105a内。被提示移动到第二位置后，控制器104’和可移动深度摄像头105’可以捕获第二视野105a’内的其他图像和深度数据。 
图3B示出根据本发明一个实施例校准可移动深度摄像头105的其他可能步骤。本实施例中，用户102站在监视器108、固定的深度摄像头110和架子单元112a/b前面。为了从多个角度捕获图像和深度数据，可提示用户102站在用户102’和/或用户102”的位置。在各个位置，可移动深度摄像头105可捕获架子单元112a/b、监视器108和固定的深度摄像头110在其各自视野内的图像和深度数据。其他实施例中，校准可能需要在各个用户位置102、102’和102”升高、降低、倾斜或者偏转控制器104。 
图4A示出根据本发明的一个实施例来自可移动的深度摄像头105的被分析的图像和深度数据。可基于校准深度摄像头105的过程中捕获的图像和深度数据确定固定点400。一些实施例中，控制台可执行分析图像和深度数据的软件，以产生控制器和集成的可移动深度摄像头的视野中的静止物体的框架模型。用可移动深度摄像头确定控制器的运动时，可以比较来自可移动深度摄像头的实时图像和用框架模型产生的数据。这种实施例中，从图像和深度数据捕获的框架元素的差异比可用于确定控制器的位置。其他实施例中，控制台可分析图像和深度数据，以链接固定点并产生较小的一组识别的固定点。 
图4B示出根据本发明的一个实施例位于空间100内的识别的固定点。校准控制器时，可分析图像和深度数据以确定可移动深度摄像头的视野内的识别的固定点。一个实施例中，识别的固定点从和图4A标识的固定点类似的较大的一组固定点中选出。控制台可执行软件，分析从空间内的多个位置和角度捕获点可以基于预定的标准过滤该一大组固定点得到较小的一组识别的固定点。 
一个实施例中，可以基于固定点和周围点之间的相对深度对比从一大组固定点中选择识别的固定点。例如，在场景100中，由于架子112a和112b的角是突出的，所以可选择识别的固定点402、404、410和412。基于场景100中架子角和其他物体相比所具有的突出性，可以更容易地分析和识别出该识别的固定点402-404和410-412的深度数据。类似的，可以基于监视器108的相对位置分析出该识别的固定点406和408的深度数据。 
图像数据还可和深度数据结合来确定识别的固定点。色对比度和相对像素位置可用于在确定哪些固定点可用作识别的固定点过程中对深度数据做出补充。一些实施例中，由于空间100内光线条件的变化，当确定识别的固定点时，可以更广泛地使用深度数据。 
图5A和5B示出根据本发明的一个实施例从可移动深度摄像头的角度看的场景内的识别的固定点。图5A的左半部示出场景100的侧视图，其中用户102拿着具有可移动深度摄像头105的控制器104。图5A的右半部示出根据本发明的一个实施例用可移动深度感测摄像头105捕获的场景100的图像。 
图5A中，用户102拿着控制器104，因而，可移动深度摄像头的视野基本是直接向前方的。这为可移动深度摄像头105提供的视野可产生图5A的右半部所示的图像。如所示，未表示深度数据，但是标识了识别的固定点402、408、418和420。 
在图5B的左侧，用户102将控制器向前倾斜，这样，可移动深度摄像头的视野稍微向下。这样得到图5B右侧所示的图像，其中，只有识别的固定点418和420还在可移动深度摄像头的视野内。通过比较图5A和5B的图像和深度数据，控制台上执行的软件可确定用户将控制器104向前倾斜。一个实施例中，图5B中识别的固定点402和408的丢失能够指示控制器104的位置改变。其他实施例中，可用图像数据确定距离的相对改变。例如，基于图5A的距离X到图5B的距离X’的变化可以确定相对变化。类似的，图5A的距离Y到图5B的距离Y’的相对变化可用于确定控制器104的相对运动。 
图6A和6B示出根据本发明的一个实施例从可移动深度摄像头的角度看到的场景内的识别的固定点。图6A和图6B的左侧示出用户102位于空间100内拿着带有可移动深度摄像头105的控制器104的顶视图。图6A和6B的右侧示出可移动深度摄像头105捕获的空间100的视图。图6A中，示出用户102朝前面向监视器108。捕获的图像看起来是相对直的且水平，指示可移动深度摄像头正被拿在相对水平的位置，因此控制器也被拿在相对水平的位置，即相对而言没有偏转、俯仰和翻滚。如图6B所示，用户102向左转，使得控制器相对于图6A中的图像向左偏转。这样使得可移动深度摄像头105捕获到图6B右侧所示的图像。 
随着可移动深度摄像头105相对于图6A的位置向左偏转，视野内的物体发生变化。虽然架子112b的识别点在图6A中可见，但是在图6B中这些相同的识别点不再可见。基于可移动深度摄像头视野内的识别点，可以基于控制器校准过程中捕获的图像和深度数据确定控制器的位置和朝向。 
图6C示出根据本发明的一个实施例用来自可移动深度摄像头的深度数据来确定控制器在空间内的位置的场景的顶视图。一个实施例中，可移动深度摄像头捕获的深度数据可以和图像数据结合用于确定控制器在空间中的位置。如图6C所示，可移动深度摄像头可确定用户102在距监视器108的距离Z1处拿着控制器104。如果用户102移动到的用户102’的位置，可移动深度摄像头捕获的深度数据可以测量从控制器104’到监视器108的距离Z2。 
虽然显示整个用户102移动到距离Z2，但是，在可移动深度摄像头内可以基于用户102用胳膊把控制器向前或向后移动来确定距离变化。例如，在用户102将控制器拿得靠近其身体时，可移动深度摄像头可以确定到监视器108的距离Z1。类似的，用户朝向监视器108伸开其胳膊时，可移动深度摄像头可以确定到监视器108的距离变化。 
一些实施例中，从Z1到Z2的距离变化可以用于和显示在监视器108上的会话交互。例如，可以对深度数据和图像数据进行处理以确定三维虚拟世界内的相应运动。一个实施例中，在控制器向监视器移动时捕获的深度数据可使得在监视器108上显示向前的运动。类似的，在控制器远离监视器移动时捕获的深度数据可使得在监视器上显示向后的运动。 
图7的示例流程图示出根据本发明一个实施例使用可移动深度摄像头确定控制器在空间内的位置的操作。环境设置模块700可执行操作704和操作706，操作704校准控制器，操作706将控制器校准保存到存储器。 控制器被校准之后，操作708开始交互会话。一个实施例中，交互会话是由计算控制台执行的，交互会话可以是交互游戏和诸如操作系统、因特网页浏览器和数字照片查看界面的软件的图形用户界面，但是交互会话不限于上述例子。由于控制器校准可以保存到存储器中，一些实施例不需要执行环境设置模块700中的操作。这样的实施例中，可以在交互会话开始之前、之后或者同时从存储器调用保存的控制器校准。 
其他实施例中，可以在开始交互会话之后使用环境设置模块700。这些实施例使得可为特定交互会话的特定细微差别定制控制器。例如，在照片查看交互会话中，将控制器朝着监视器移动让用户可以放大显示器上显示的图像。类似的，许多交互式游戏会话使得用户可基于游戏类型校准控制器。可移动深度摄像头捕获的深度数据可用于控制驾驶模拟的一方面，同时，深度数据的变化可用于第一人称射击游戏(FPS)中的其他方面，深度数据的相同变化可用于控制大规模多用户在线角色扮演游戏(MMORPG)中完全不同的方面。 
交互会话具有定制的控制器校准时，环境设置模块可提示用户校准控制器并将控制器校准保存到存储器。随后，开始交互会话后，可自动载入保存的控制器校准。多个用户可保存多个校准的实施例中，可以载入缺省校准，用户可选择从显示多个用户的菜单中载入他们保存的校准。 
交互会话运行时，图像处理模块702中的操作可以使用户和交互会话交互。交互会话开始时，在操作716中可以设定可移动深度摄像头的采样率。采样率可以基于交互会话要求的准确度和精度而变化。在诸如导航因特网网页浏览器或者使用操作系统的图形用户界面的实施例中，采样率可以低于FPS的采样率。其他实施例中，可以在交互会话过程中不断修改采样率。 
例如，需要较高准确度和精度时，可以增加可移动深度摄像头的采样率，随后，不再要求准确度和精度时，可以降低其采样率。可以使用这种方式的许多例子之一是FPS中用户使用狙击步枪的情况。为了更真实地模拟使用狙击步枪的难度，可以增加可移动深度感测摄像头的采样率，以捕获用户手的瞬间运动，以模拟虚拟狙击步枪的运动。用户不再使用狙击步枪时，可以无缝减小采样率，以降低可移动深度感测摄像头的图像处理需求。一些实施例中，控制器104内的处理器执行图像和深度数据处理。其他实施例中，以指定的采样率采样来自可移动深度摄像头的图像和深度数 据，并发送到计算控制台106进行处理。这两种实施例中，都可使用压缩技术来降低把处理过的数据或未处理数据发送到控制台106以进行其他处理所需的带宽。 
操作710用可移动深度摄像头捕获第一帧图像和深度数据。操作712中，分析捕获的图像和深度数据以确定图像中识别的固定点。操作714基于识别的固定点确定在空间中的相对位置。操作716使用设定的采样率确定何时使用操作710捕获第二帧图像和深度数据。操作718通过确定第一帧和第二帧图像和深度数据之间的差别产生交互会话内的动作。 
一个实施例中，图像处理模块702确定的运动可补充到控制器104的其他用户输入。例如，除了图像和深度数据之外，可用加速计数据确定控制器104的偏转、俯仰和翻滚。此外，控制器104上的游戏杆、按钮和触发器可用于提供其他用户输入。可使用到控制器的各种形式的用户输入的组合，因此，操作720在显示器108上显示基于到控制器104的输入的用户交互作用。 
图8的示例流程图示出根据本发明的一个实施例校准可移动深度摄像头以确定控制器在空间中的位置的操作。操作800开始控制器校准。如前所述，可在开始交互会话之前或之后执行控制器校准。操作802从第一位置捕获图像和深度数据。为了简化校准，可用屏显图提示用户站在空间中的大致位置。屏显图可指示用户站在第二位置，在该位置，操作804从第二位置捕获图像和深度数据。其他实施例中，可提示用户以各种朝向拿着控制器，例如，改变控制器的偏转、俯仰和翻滚。另一个实施例中，可以提示用户将控制器拿在空间的地板上的各个高度。 
操作806比较在第一和第二位置捕获的图像和深度数据，以标识识别的固定点。在操作808中，识别的固定点可用于产生空间的框架模型，以确定识别的固定点之间的相对比例。然后，识别的固定点之间的相对比例可用于确定控制器在空间中的相对位置。操作706用于将控制器校准保存在存储器。 
图9简要示出索尼  乐装置的整体系统结构，这是根据本发明一个实施例可使用动态三维物体映射形成用户定义的控制器的计算机系统。系统单元1000配有可连接到系统单元1000的各种外围设备。系统单元1000包括：单元(Cell)处理器1028； 
Figure BPA00001221571600103
动态随机存取存储器(XDRAM)单元1026；具有专用的视频随机存取存储器(VRAM) 单元1032的真实合成处理器图形单元1030和I/O桥1034。系统单元1000还包括可通过I/O桥1034访问的用于读光盘1040a的蓝 
Figure BPA00001221571600111
盘 
Figure BPA00001221571600112
光盘读装置1040，以及可拆卸插槽式硬盘驱动器(HDD)1036。可选地，系统单元1000还包括存储器读卡器1038，用于读密致闪速存储器卡、存 
Figure BPA00001221571600113
存储卡等类似设备，这些设备也可类似地通过I/O桥1034访问。 
I/O桥1034还连接六个通用串行总线(USB)2.0端口1024、千兆以太网端口1022、IEEE 802.11b/g无线网络(Wi-Fi)端口1020和最多可以支持七个蓝牙连接的蓝 
Figure BPA00001221571600114
无线链接端口1018。 
操作时，I/O桥1034处理所有无线、USB和以太网数据，这包括来自一个或多个游戏控制器1002的数据。例如，用户玩游戏时，I/O桥1034通过蓝牙链接从游戏控制器1002接收数据，并将数据发送到单元处理器1028，单元处理器1028相应地更新游戏的当前状态。 
无线、USB和以太网端口还提供到除了游戏控制器1002以外的其他外围设备的连接，例如，遥控器1004、键盘1006、鼠标1008、便携式娱乐设备1010(如索尼Playstation 
Figure BPA00001221571600115
娱乐设备)、视频摄像头1012(如 
Figure BPA00001221571600116
视频摄像头)以及头戴式耳麦1014。因而，原则上这些外围设备可以无线连接到系统单元1000，例如，便携式娱乐设备1010可以通过Wi-Fi自组织网(ad-hoc)连接通信，同时，头戴式耳麦1014可以通过蓝牙链接通信。 
提供这些接口意味着Playstation3装置潜在地还可以和其他外围设备兼容，如数字视频录像机(DVR)、机顶盒、数码相机、便携式媒体播放器、IP电话、移动电话、打印机和扫描仪。 
此外，现有的存储器读卡器1016可以通过USB端口1024连接到系统单元，使得可读取 
Figure BPA00001221571600117
或 装置所使用的那类存储卡1048。 
本实施例中，游戏控制器1002用于通过蓝牙链接和系统单元1000进行无线通信。然而，游戏控制器1002可以替代地连接到USB端口，USB端口也为游戏控制器1002供电，由此为游戏控制器1002的电池充电。除了一个或多个模拟游戏杆和传统控制按钮外，游戏控制器对六自由度运动是敏感的，六自由度运动对应于每个轴的平移和旋转。因而，游戏控制器用户的姿态和运动可以转换成游戏的输入，这可以是除了传统按钮或游戏杆命令之外的输入，或者作为传统按钮或游戏杆命令的替代。可选地，其 他支持无线模式的外围设备，例如Playstation Portable装置，可用作控制器。在PlaystationPortable装置的情况下，可以在装置的屏幕上提供额外的游戏或控制信息(例如，控制指令或生命数)。也可以使用其他替代或补充控制设备，例如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或者定做的控制器，例如快速反应答问游戏的一个或多个大按钮(也未示出)。 
遥控器1004还用于通过蓝牙链接和系统单元1000进行无线通信。遥控器1004包括适用于蓝光光盘BD-ROM读装置1040的操作的控制和用于导航光盘内容的控制。 
除了传统的预先刻录的以及可刻录的CD以及所谓的超级音频CD以外，蓝光光盘BD-ROM读装置1040还用于读和Playstation以及Playstation2装置兼容的CD-ROM。除了传统的预先刻录的以及可刻录的DVD外，读装置1040还用于读和Playstation2以及Playstation3装置兼容的DVD-ROM。读装置1040还用于读和Playstation3兼容的BD-ROM以及传统的预先刻录和可刻录蓝光光盘。 
系统单元1000用于通过音频和视频连接器将视频和音频提供给显示和声音输出装置1042，音频和视频是Playstation3装置通过真实合成图形单元1030产生或解码的，显示和声音输出装置1042如具有显示屏1044以及一个或多个扬声器1046的电视机或者监视器。音频连接器1050可以包括传统模拟和数字输出，视频连接器1052可以不同地包括分量视频、S-视频、复合视频和一个或多个高清多媒体接口(HDMI)输出。因而，视频输出的格式可以如PAL或NTSC、或者为720p、1080i或1080p的高清晰度。 
单元处理器1028执行音频处理(产生、解码等)。Playstation3装置的操作系统支持杜比 
Figure BPA00001221571600121
环绕声音、 
Figure BPA00001221571600122
影院环绕立体声(DTS)以及从 
Figure BPA00001221571600123
光盘解码7.1环绕声音。 
本实施例中，视频摄像头1012包括一个电荷耦合装置(CCD)、LED指示器、基于硬件的实时数据压缩和解码装置，这样，可以例如用基于帧内图像的MPEG(运动图像专家组)标准的适当的格式发送压缩的视频数据，以由系统单元1000进行解码。摄像头LED指示器设置为响应于来自系统单元1000的适当控制数据而点亮，例如，以指示不利的照明条件。视频摄像头1012的不同实施例可以通过USB、蓝牙或者Wi-Fi通信端口 连接到系统单元1000。视频摄像头的实施例可包括一个或多个也可发送音频数据的相关麦克风。视频摄像头的实施例中，CCD可具有适用于高清视频捕获的分辨率。使用时，例如，由视频摄像头捕获的图像可以包括在游戏内，或者解释成游戏控制输入。 
总体而言，为了通过系统单元1000的一个通信端口和如视频摄像头或者遥控器的外围设备进行成功的数据通信，应该提供适当的软件，如设备驱动。设备驱动技术是公知的，在此不做详细描述，但是本领域技术人员将会明白所描述的本实施例可能需要设备驱动或类似的软件接口。 
实施例可包括，捕获深度数据以更好地标识现实世界的用户，并指引玩偶或场景的活动。物体可以是人拿着的东西，或者是人的手。本说明书中，术语“深度摄像头”和“三维摄像头”指可以获得距离或深度信息以及二维像素信息的任何摄像头。例如，深度摄像头可以使用受控的红外照明来获得距离信息。另一个示例深度摄像头可以是立体摄像机对，其使用两个标准摄像头对距离信息做三角测量。类似地，术语“深度感测装置”指可以获得距离信息以及二维像素信息的任何类型的装置。 
三维成像技术的最新进展打开了增加实时交互式计算机直观显示的可能性之门。具体而言，除了普通的二维视频成像以外，新的“深度摄像头”提供了捕获和映射三维图像的能力。利用新的深度数据，本发明的实施例使得可将计算机产生的物体实时放置在视频场景的各个位置，包括放在其他物体后面。 
此外，本发明的实施例为用户提供实时交互式游戏体验。例如，用户可以和各种计算机产生的物体进行实时交互。此外，可以实时改变视频场景，以增强用户的游戏体验。例如，可将计算机产生的服装插在用户的衣服上，可以用计算机产生的光源在视频场景内投射虚拟影子。因而，使用本发明的实施例和深度摄像头，用户可以在自己的客厅内体验交互式游戏环境。和普通摄像头类似，深度摄像头捕获包括视频图像的多个像素的二维数据。这些值是像素的颜色值，通常是每个像素的红色、绿色和蓝色(RGB)值。这样，摄像头捕获的物体在显示器上显示成二维物体。 
本发明的实施例还考虑到了分布式图像处理结构。例如，本发明不限于在一个或甚至两个位置进行捕获的图像和显示图像处理，例如，在CPU中或者在CPU和另一个元件中。例如，输入图像处理可以随时在相关CPU、处理器或者可执行处理的装置中进行，实质上，所有的图像处理可以分布 在互联的系统中。因而，本发明不限于任何具体的图像处理硬件电路和/或软件。这里描述的实施例也不限于通用硬件电路和/或软件的任何具体组合，也不限于用于处理部件执行的指令的任何特定源。 
理解了上述实施例，应该理解，本发明可采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作包括需要对物理量进行物理处理的操作。通常，虽然这不是必须的，但这些量的形式是可以存储、传输、组合、比较和进行其他操作的电信号或磁信号。此外，执行的操作通常称为产生、标识、确定或比较。 
上述发明可用其他计算机系统结构实现，这包括手持式设备、微处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等。本发明还可在分布式计算环境中实现，其中，由通过通信网络链接的远程处理装置执行任务。 
本发明还可实现成计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，包括电磁波，该数据之后由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附加存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质也可以分布在耦合到网络的计算机系统上，这样，计算机可读代码以分布方式存储和执行。 
虽然描述了前述本发明的一些细节以供清楚理解之需，显而易见的是，可以不脱离所附权利要求的范围而进行一些变化和修改。因而，这些实施例只是示例性的而非限制性的，本发明不限于这里描述的细节，而是可在所附权利要求及其等价内容的范围内进行修改。 

Claims (20)

1.一种用于确定控制器在三维空间中的位置以和应用接口连接的计算机实现的方法，包括：
（a）使用和控制器集成的深度摄像头，校准计算机程序以标识三维空间内多个固定点中的一组识别的固定点；
（b）在和应用接口连接时启动控制器和深度摄像头的使用，使用时，
（i）使用控制器的深度摄像头捕获三维空间内的图像和深度数据；
（ii）分析图像和深度数据以找到所述一组识别的固定点中的一个或多个识别的固定点；
（iii）重复（i）和（ii）；
（iv）基于找到所述一组识别的固定点中的识别的固定点的位置变化确定控制器的位置变化；以及
（v）基于确定的控制器的位置变化触发输入命令，其中输入命令引起应用的动作。
2.根据权利要求1所述的计算机实现的方法，还包括：
周期性地重复步骤（i）到（v），这样，控制器的运动和应用的控制动作相关。
3.根据权利要求2所述的方法，其中应用包括在监视器上呈现虚拟世界的指令，而且应用的动作和虚拟世界内的运动相关。
4.根据权利要求1所述的方法，其中校准计算机程序包括：
（a）从第一已知位置捕获第一图像的图像和深度数据；
（b）从第二已知位置捕获第二图像的图像和深度数据；以及
（c）基于第一图像和第二图像确定多个固定点。
5.根据权利要求4所述的方法，其中对多个固定点进行分析以确定一组识别的固定点，确定的一组识别的固定点是基于它们降低对计算资源的需求的能力而选择的。
6.根据权利要求1所述的方法，其中一组识别的固定点用于建立三维空间的虚拟世界模型，虚拟世界模型用于确定在控制器位于空间内的各个位置时所述一组识别的固定点之间的距离比。
7.一种用于和计算机系统交互的计算机实现的方法，包括：
（a）开始交互会话，交互会话在计算机系统上执行并自动应用存储器中保存的控制器校准；
（b）用可移动深度摄像头接收到控制器的输入，输入如下确定：
（i）用可移动深度摄像头捕获空间内的图像和深度数据；
（ii）分析图像和深度数据获得一个或多个识别的固定点；
（iii）重复（i）和（ii）；
（iv）基于识别的固定点之间的差别确定可移动深度摄像头在空间内的运动；
（v）基于可移动深度摄像头的运动触发输入命令，其中输入命令引起交互会话内的动作。
8.根据权利要求7所述的计算机实现的方法，还包括：
周期性地重复步骤（i）到（v），这样，到控制器的输入和交互会话内的运动相关。
9.根据权利要求7所述的计算机实现的方法，其中保存的控制器校准如下产生：
（a-i）在空间内第一已知位置处捕获第一图像的图像和深度数据；
（a-ii）在空间内第二已知位置处捕获第二图像的图像和深度数据；
（a-iii）基于第一和第二图像确定空间内的多个固定点；
（a-iv）过滤多个固定点以确定一组识别的固定点。
10.根据权利要求9所述的方法，其中所述一组识别的固定点是基于其能够区分空间内的识别的固定点而从多个固定点中选择的。
11.根据权利要求10所述的方法，其中区分识别的固定点部分基于可移动深度摄像头捕获的深度数据。
12.根据权利要求9所述的方法，其中一组识别的固定点用于建立所述空间的虚拟世界模型，虚拟世界模型用于确定在可移动深度摄像头位于空间内的各个位置时所述一组识别的固定点之间的距离比。
13.根据权利要求8所述的计算机实现的方法，其中保存的控制器校准确定采样率，采样率限定捕获第一帧和第二帧之间的时间间隔。
14.根据权利要求13所述的计算机实现的方法，其中在交互会话中采样率基于交互会话中发生的事件而改变。
15.一种用于计算机系统的手持式控制器，包括：
控制器外壳，所述控制器外壳限定包围内部体积的外部；
接口控制，所述接口控制部分暴露在外壳的外部；
深度摄像头组件，所述深度摄像头组件包括深度模块、图像模块和处理逻辑，深度模块和图像模块定义成用于通过摄像头镜头接收图像和深度数据，其中，所述深度摄像头组件被配置用于：
（i）捕获空间内的图像和深度数据；
（ii）分析图像和深度数据获得一个或多个识别的固定点；
（iii）重复（i）和（ii）；
（iv）基于识别的固定点之间的差别确定所述深度摄像头组件在空间内的运动；
（v）基于所述深度摄像头组件的运动触发到计算机系统的输入命令；以及
通信模块，所述通信模块用于发送和接收从深度摄像头组件的处理逻辑到计算机系统的数据。
16.根据权利要求15所述的手持式控制器，其中深度摄像头组件包括在控制器外壳中，摄像头镜头暴露在控制器外壳外部。
17.一种配置成在显示器上显示交互会话的交互式计算系统，包括：
计算控制台，所述计算控制台包括：
中央处理单元；
图形处理单元；以及
通信接口，所述通信接口配置用于提供到计算控制台和来自计算控制台的通信；以及
用于计算系统的控制器，所述控制器包括：
深度摄像头，所述深度摄像头具有深度模块、图像模块和处理逻辑，其中，所述深度摄像头被配置用于：
（i）捕获空间内的图像和深度数据；
（ii）分析图像和深度数据获得一个或多个识别的固定点；
（iii）重复（i）和（ii）；
（iv）基于识别的固定点之间的差别确定所述深度摄像头在空间内的运动；
（v）基于所述深度摄像头的运动触发到计算系统的输入命令；以及
通信模块，所述通信模块配置用于接收和发送从深度摄像头的处理逻辑到计算控制台的通信接口的数据。
18.根据权利要求17所述的计算系统，其中所述深度模块定义成用于捕获深度数据，所述图像模块定义成用于捕获深度摄像头视野内的物体的图像数据。
19.根据权利要求17所述的计算系统，其中处理逻辑定义成用于处理捕获的深度数据和图像数据。
20.根据权利要求17所述的计算系统，其中通信模块定义成用于发送和接收从深度摄像头到计算控制台的数据。
CN200980108615.3A 2008-03-17 2009-03-12 具有集成摄像头的控制器以及和交互式应用相接口的方法 Active CN102027434B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/050,128 US8368753B2 (en) 2008-03-17 2008-03-17 Controller with an integrated depth camera
US12/050128 2008-03-17
US12/050,128 2008-03-17
PCT/US2009/037030 WO2009117311A2 (en) 2008-03-17 2009-03-12 Controller with an integrated camera and methods for interfacing with an interactive application

Publications (2)

Publication Number Publication Date
CN102027434A CN102027434A (zh) 2011-04-20
CN102027434B true CN102027434B (zh) 2014-03-19

Family

ID=41062590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980108615.3A Active CN102027434B (zh) 2008-03-17 2009-03-12 具有集成摄像头的控制器以及和交互式应用相接口的方法

Country Status (6)

Country Link
US (4) US8368753B2 (zh)
EP (1) EP2255269B1 (zh)
JP (1) JP5362812B2 (zh)
KR (1) KR101137646B1 (zh)
CN (1) CN102027434B (zh)
WO (1) WO2009117311A2 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US9007299B2 (en) * 2006-07-14 2015-04-14 Ailive Inc. Motion control used as controlling device
US8690670B2 (en) 2007-06-14 2014-04-08 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8187097B1 (en) * 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
AU2008365306B2 (en) * 2008-12-19 2014-02-13 Saab Ab System and method for mixing a scene with a virtual scenario
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8721444B2 (en) * 2009-07-21 2014-05-13 Sony Corporation Game device for performing operation object control and non-operation object control
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8497902B2 (en) * 2009-12-18 2013-07-30 Sony Computer Entertainment Inc. System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
US8687044B2 (en) 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US9186577B2 (en) * 2010-02-03 2015-11-17 Visual Sports Systems Collapsible enclosure for playing games on computers and gaming consoles
WO2011096976A1 (en) * 2010-02-05 2011-08-11 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US8636572B2 (en) 2010-03-16 2014-01-28 Harmonix Music Systems, Inc. Simulating musical instruments
US8428394B2 (en) * 2010-05-25 2013-04-23 Marcus KRIETER System and method for resolving spatial orientation using intelligent optical selectivity
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
WO2011155958A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
CA2750975C (en) 2011-02-11 2016-02-16 Research In Motion Limited System and method for calibrating a magnetometer with visual affordance
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9440144B2 (en) 2011-04-21 2016-09-13 Sony Interactive Entertainment Inc. User identified to a controller
US9259643B2 (en) * 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
CN102707804B (zh) * 2011-05-23 2015-03-25 中国科学院软件研究所 一种基于加速度传感器的角色动作控制方法
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US9270974B2 (en) 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
US8611642B2 (en) * 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
CN102591458A (zh) * 2011-12-27 2012-07-18 上海聚力传媒技术有限公司 一种基于人体运动执行视频控制操作的方法、装置和设备
US9471864B2 (en) * 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
US20140002357A1 (en) * 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
EP2879022A4 (en) 2012-07-27 2016-03-23 Nec Solution Innovators Ltd THREE-DIMENSIONAL USER INTERFACE DEVICE AND THREE-DIMENSIONAL OPERATING PROCESS
WO2014016992A1 (ja) 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元ユーザインタフェース装置及び３次元操作方法
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US10038895B2 (en) * 2013-01-15 2018-07-31 Disney Enterprises, Inc. Image capture device calibration
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
US9384013B2 (en) 2013-06-03 2016-07-05 Microsoft Technology Licensing, Llc Launch surface control
CN103606182B (zh) * 2013-11-19 2017-04-26 华为技术有限公司 图像渲染方法及装置
US10380797B2 (en) 2013-11-22 2019-08-13 International Business Machines Corporation Configuration of navigational controls in geometric environment
CN103995620A (zh) * 2013-12-02 2014-08-20 深圳市云立方信息科技有限公司 一种空中触控系统
US9536351B1 (en) * 2014-02-03 2017-01-03 Bentley Systems, Incorporated Third person view augmented reality
US9531998B1 (en) 2015-07-02 2016-12-27 Krush Technologies, Llc Facial gesture recognition and video analysis tool
US20160023116A1 (en) * 2014-07-03 2016-01-28 Spitfire Technologies, Llc Electronically mediated reaction game
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US9767566B1 (en) * 2014-09-03 2017-09-19 Sprint Communications Company L.P. Mobile three-dimensional model creation platform and methods
US9804696B2 (en) * 2015-01-02 2017-10-31 Microsoft Technology Licensing, Llc User-input control device toggled motion tracking
WO2016163248A1 (ja) * 2015-04-09 2016-10-13 ソニー株式会社 撮像装置および方法、電子機器、並びに車載用電子機器
US10832332B1 (en) 2015-12-11 2020-11-10 State Farm Mutual Automobile Insurance Company Structural characteristic extraction using drone-generated 3D image data
KR101734520B1 (ko) * 2016-01-15 2017-05-11 동서대학교 산학협력단 자이로센서의 움직임 패턴 인식 기반의 유저 인터페이싱 시스템
US9805240B1 (en) * 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
CN106123916B (zh) * 2016-06-13 2019-11-15 上海临奇智能科技有限公司 一种用于校准vr设备中惯性测量单元的方法与设备
US10430671B2 (en) 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
CN107968934B (zh) * 2017-11-17 2018-07-31 广东教云实业有限公司 智能化电视机监控平台
CN108961344A (zh) * 2018-09-20 2018-12-07 鎏玥（上海）科技有限公司 一种深度摄像头与自定义平面校准设备
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
JP2022517422A (ja) * 2019-01-17 2022-03-08 ユニバーシティー ヘルス ネットワーク 創傷および組織標本の３次元画像化、測定、および表示のためのシステム、方法、および装置
US11442685B2 (en) * 2019-09-09 2022-09-13 Autodesk, Inc. Remote interaction via bi-directional mixed-reality telepresence
US11745098B2 (en) 2021-12-15 2023-09-05 Sony Interactive Entertainment LLC Remote play using a local projector
GB2616644A (en) * 2022-03-16 2023-09-20 Sony Interactive Entertainment Inc Input system
WO2024058434A1 (ko) * 2022-09-14 2024-03-21 삼성전자주식회사 사용자의 외부 환경을 촬영하는 컨트롤 장치 및 그 동작 방법 및 컨트롤 장치와 연결된 머리 착용형 전자 장치

Family Cites Families (342)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
JPH05501020A (ja) 1988-12-20 1993-02-25 ミート　リサーチ　コーポレーション 光学的に読取り可能なコード化された物標
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
WO1991017522A1 (en) 1990-05-01 1991-11-14 Wang Laboratories, Inc. Hands-free hardware keyboard
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5440356A (en) 1993-06-11 1995-08-08 Pentax Vision Co., Ltd. Spectacle frame including self-aligning temple end piece
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
GB2301514B (en) 1994-12-01 1999-06-09 Namco Ltd Apparatus and method for image synthesization
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
KR19990008158A (ko) 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
AU6135996A (en) 1995-06-22 1997-01-22 3Dv Systems Ltd. Improved optical ranging camera
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
CA2227904C (en) 1995-07-26 2000-11-14 Tegic Communications, Inc. Reduced keyboard disambiguating system
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
TW387816B (en) 1996-03-05 2000-04-21 Sega Enterprises Kk Controller and expansion unit for controller
JP3920348B2 (ja) 1996-04-02 2007-05-30 コグネックス コーポレイション 平坦な鏡面基板の指標を観察する画像形成装置
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
EP0970502A1 (en) 1997-03-07 2000-01-12 3DV Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体
KR20000068660A (ko) 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
EP1055146B1 (en) 1998-02-08 2003-01-22 3DV Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
US6504535B1 (en) 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> ３次元コンピュータグラフィックス表示方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
ATE285079T1 (de) 1999-09-08 2005-01-15 3Dv Systems Ltd 3d- bilderzeugungssystem
CA2385173A1 (en) 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Image capturing system, image processing system, and camera
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
WO2001042930A1 (en) 1999-12-09 2001-06-14 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
WO2001061519A1 (en) 2000-02-15 2001-08-23 Sorceron, Inc. Method and system for distributing captured motion data over a network
EP1263626A2 (en) 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6676522B2 (en) 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
WO2001091016A1 (en) 2000-05-25 2001-11-29 Realitybuy, Inc. A real time, three-dimensional, configurable, interactive product display system and method
US20020056114A1 (en) 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
WO2002061707A2 (en) 2000-09-08 2002-08-08 Honeywell International Inc. Pilot internet practice system and methods
US6884171B2 (en) 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
WO2002043404A2 (en) 2000-11-22 2002-05-30 Leap Wireless International, Inc. Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6852032B2 (en) * 2000-12-06 2005-02-08 Nikon Corporation Game machine, method of performing game and computer-readable medium
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6709108B2 (en) 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US7006009B2 (en) 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US20060256081A1 (en) 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
EP1556148B1 (en) 2002-10-30 2010-01-06 Nike International Ltd Clothes with motion capture markers for computer games
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
US20060146009A1 (en) * 2003-01-22 2006-07-06 Hanno Syrbe Image control
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
ATE339757T1 (de) 2003-06-17 2006-10-15 Sony Ericsson Mobile Comm Ab Verfahren und vorrichtung zur sprachaktivitätsdetektion
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7364297B2 (en) 2003-10-28 2008-04-29 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
FI20045300A (fi) * 2004-08-17 2006-02-18 Nokia Corp Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) * 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
TWI281623B (en) * 2005-05-10 2007-05-21 Pixart Imaging Inc Orientation point orientating method of orientation device and device thereof
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4773170B2 (ja) * 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
JP4794957B2 (ja) * 2005-09-14 2011-10-19 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP5116679B2 (ja) * 2005-09-15 2013-01-09 株式会社ソニー・コンピュータエンタテインメント 強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置
EP1936477A4 (en) * 2005-09-27 2010-11-17 Tamura Seisakusho Kk POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP4118920B2 (ja) * 2006-02-22 2008-07-16 株式会社スクウェア・エニックス ゲーム装置、フィールド間境界表示方法、並びにプログラム及び記録媒体
JP4530419B2 (ja) * 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
TWI395603B (zh) * 2006-04-26 2013-05-11 Pixart Imaging Inc 互動式遊戲裝置及其遊戲控制器
WO2007130693A2 (en) 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US9327191B2 (en) * 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
JP5330640B2 (ja) * 2006-05-09 2013-10-30 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US7978174B2 (en) * 2006-06-07 2011-07-12 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for interactive three-dimensional position tracking
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
JP5294442B2 (ja) * 2006-09-13 2013-09-18 任天堂株式会社 ゲーム装置およびゲームプログラム
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US9327192B2 (en) * 2006-11-17 2016-05-03 Nintendo Co., Ltd. Game system and storage medium storing game program
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
JP4929061B2 (ja) * 2007-06-04 2012-05-09 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
US20080318679A1 (en) * 2007-06-21 2008-12-25 Alexander Bach Tran Foot game controller with motion detection and/or position detection
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
JP5296337B2 (ja) * 2007-07-09 2013-09-25 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システムおよび画像処理方法
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US20090066693A1 (en) * 2007-09-06 2009-03-12 Roc Carson Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Also Published As

Publication number Publication date
EP2255269A2 (en) 2010-12-01
KR20100125421A (ko) 2010-11-30
US20190082162A1 (en) 2019-03-14
WO2009117311A2 (en) 2009-09-24
CN102027434A (zh) 2011-04-20
JP5362812B2 (ja) 2013-12-11
US11317076B2 (en) 2022-04-26
EP2255269A4 (en) 2015-01-07
EP2255269B1 (en) 2022-06-15
US10129526B2 (en) 2018-11-13
WO2009117311A3 (en) 2010-03-04
US20130113878A1 (en) 2013-05-09
US9197878B2 (en) 2015-11-24
US20160080724A1 (en) 2016-03-17
US8368753B2 (en) 2013-02-05
KR101137646B1 (ko) 2012-04-24
JP2011514232A (ja) 2011-05-06
US20090231425A1 (en) 2009-09-17

Similar Documents

Publication Publication Date Title
CN102027434B (zh) 具有集成摄像头的控制器以及和交互式应用相接口的方法
EP2427811B1 (en) Base station movement detection and compensation
JP5756198B2 (ja) インタラクティブにユーザ制御されたアバターアニメーション
US8393964B2 (en) Base station for position location
US8269822B2 (en) Display viewing system and methods for optimizing display view based on active tracking
CN104010706B (zh) 视频游戏的方向输入
CN102918476A (zh) 用于利用位置、方向或动作与计算程序相接口的控制器
CN103930180A (zh) 对游戏控制器校准和偏置的系统和方法
US10086283B2 (en) Motion scoring method and apparatus
WO2008106197A1 (en) Interactive user controlled avatar animations
EP2557482A2 (en) Input device, system and method
JP2015156131A (ja) 情報処理装置および情報処理方法
US11126342B2 (en) Electronic device for controlling image display based on scroll input and method thereof
JP6788129B2 (ja) ズーム装置及び関連する方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant