CN102323855A - 具有可变刚度的可再成形的连接器 - Google Patents

具有可变刚度的可再成形的连接器 Download PDF

Info

Publication number
CN102323855A
CN102323855A CN2011101173447A CN201110117344A CN102323855A CN 102323855 A CN102323855 A CN 102323855A CN 2011101173447 A CN2011101173447 A CN 2011101173447A CN 201110117344 A CN201110117344 A CN 201110117344A CN 102323855 A CN102323855 A CN 102323855A
Authority
CN
China
Prior art keywords
accessory
capture device
computing environment
human
computer interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101173447A
Other languages
English (en)
Other versions
CN102323855B (zh
Inventor
E·蒂德曼
C·常
M·卡里姆
K·亨茨曼
E·C·欧文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102323855A publication Critical patent/CN102323855A/zh
Application granted granted Critical
Publication of CN102323855B publication Critical patent/CN102323855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball

Abstract

本发明涉及具有可变刚度的可再成形的连接器。公开了一种用于人机界面游戏或其它应用程序的配件。该配件可以由用户握住，或由用户以其他方式与其进行交互，其中，该配件在显示器上作为虚拟对象被感应和显示。配件的虚拟表示可以是配件的准确的重新创建，或者，也可以作为适合于游戏或其它应用程序的虚拟对象来显示。现实世界配件是柔性的，并可被变形为各种形式，以更好地适合各种用途。此配件还可充当一种平台，在其上可以安装其他配件，以增强用户体验。

Description

具有可变刚度的可再成形的连接器
技术领域
本发明涉及一种用于人机界面游戏或其它应用程序的配件，尤其涉及具有可变刚度的可再成形的连接器。
背景技术
过去，诸如计算机游戏和多媒体应用程序之类的计算应用程序，使用控件供用户操纵游戏人物或应用程序的其他方面。通常使用，例如，控制器、遥控器、键盘、鼠标等等，来输入这样的控件。最近，计算机游戏和多媒体应用程序开始使用照像机和软件姿势识别引擎来提供人机界面(“HCI”)。利用HCI，用户姿势被检测、解释，并将被用于控制应用程序的游戏人物或其他方面。
在常规游戏和多媒体应用程序中，用户常常握住或以其他方式与游戏内的诸如，例如，球拍、剑、棒等等之类的道具进行交互。然而，这些虚拟道具可能没有对应的现实世界对象，会常常引起用户感觉脱离游戏体验。另外，当游戏内的道具本身被用来与其他游戏内的道具进行交互时，如在屏幕上的球棒击中在屏幕上的球，没有现实世界的对应物会使用户更难以协调该动作。
发明内容
一般而言，本技术涉及改进游戏或其他应用程序的人机界面中的用户体验。通过提供可以被握在用户的手中或以其他方式被用户交互的配件来改进用户体验。配件在显示器上作为虚拟对象被感应和显示，要么作为配件的准确的重新创建，或者，也可以作为适合于游戏或其他应用程序的虚拟对象来显示。可以将配件形成为各种形状，以便可以对于给定游戏或其他应用程序进行自定义。在各实施例中，该配件还可以进一步充当一种平台，在其上可以安装其他附加配件，以增强用户体验。
本系统的各实施例涉及一种人机界面系统，包括：a)用于在捕捉设备的视场内捕捉深度图像的捕捉设备；b)耦合到捕捉设备的计算环境，用于运行应用程序并用于处理从深度照像机接收到的信息；以及，c)照像机的视场内的配件该配件可变形为不同的形状，用于与在计算环境上运行的应用程序进行交互，并且该配件不发射活动信号。
本系统的进一步的实施例涉及一种人机界面系统，包括：a)用于在捕捉设备的视场内捕捉深度图像的捕捉设备；b)照像机的视场内的配件，该配件可变形为不同的形状；以及，c)耦合到捕捉设备的计算环境，用于运行应用程序并用于处理从深度照像机接收到的信息，该计算环境部分地基于配件的形状和在计算环境上运行的应用程序，来标识配件，该计算环境生成配件的虚拟的屏幕上图像。
更进一步的实施例涉及一种与游戏应用程序进行交互的方法，包括，a)从深度照像机接收第一组数据；b)处理第一组数据以标识机身；c)从深度照像机接收第二组数据；以及d)处理第二组数据以标识配件(40)，机身与配件在三维空间中进行交互，配件变形为专门用于游戏应用程序的形状。
提供本发明内容是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题也不仅限于背景技术中指出的任何或所有缺点的实现。
附图说明
图1示出了目标识别、分析，及跟踪系统的示例实施例，用户正在玩游戏。
图2示出了可以用于目标识别、分析，及跟踪系统中的捕捉设备的示例实施例。
图3A示出了可以被用来解释目标识别、分析，及跟踪系统中的一个或多个姿势的计算环境的示例实施例。
图3B示出了可以被用来解释目标识别、分析，及跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。
图4示出了从图2的目标识别、分析，及跟踪系统生成的用户的骨架映射。
图5是与本技术的实施例一起使用的配件的侧视图。
图6是图5的配件的外壳部分的端视图。
图7是图5的配件的外壳部分的侧视图。
图8是根据本技术的配件的进一步的实施例的透视图。
图9是图8的配件的组件的透视图。
图10是示出了图8的配件的组件的内部的透视图。
图11是示出了用于识别姿势的姿势识别引擎的框图。
图12是示出了姿势识别引擎的操作的流程图。
具体实施方式
现在将参考图1-12描述本技术的各实施例，它们一般涉及可以由用户握住或以其他方式与其进行交互的配件，其中，该配件在显示器上作为虚拟对象被感应和显示。配件的虚拟表示可以是配件的准确的重新创建，或者，也可以作为适合于游戏或其它应用程序的虚拟对象来显示。现实世界配件是柔性的，并可以使其变形为各种形式，以更好地适合各种用途。此配件还可充当一种平台，在其上可以安装其他配件，以增强用户体验。
首先参考图1-2，用于实现本技术的硬件包括目标识别、分析，及跟踪系统10，该系统10可以被用来识别、分析，和/或跟踪诸如用户18之类的人目标。目标识别、分析，及跟踪系统10的各实施例包括用于执行游戏或其他应用程序的计算环境12，以及用于提供来自游戏或其他应用程序的音频和可视表示的具有显示器14的视听设备16。系统10还包括用于捕捉位置和由用户所作的移动的捕捉设备20，计算环境接收、解释和使用位置和移动来控制游戏或其他应用程序。捕捉设备还捕捉视场内的诸如，例如，示例配件40之类的其他对象。下面将更详细地描述这些组件中的每一个。
如图1所示，在一示例实施例中，在计算环境12上执行的应用程序可以是用户18可能正在玩的网球游戏。计算环境12还可使用视听设备16来生成模仿用户18的移动的玩家化身21的可视表示。在所示出的说明性实施例中，用户通过下面说明的方法将配件40大致成形成为球拍的形状。由捕捉设备20感应配件40。在各实施例中，可以将配件在显示器14上呈现为配件的准确再现。然而，因为在计算环境12上运行的应用程序是网球游戏，因此，应用程序能够检测到配件40被一般地成形为球拍，因此，应用程序显示握着网球拍42的化身21。配件40的移动导致虚拟球拍42的相应的移动。用户可以如此操纵配件40，以便导致在屏幕上的虚拟表示与在屏幕上的其他虚拟对象进行交互。如此，用户可以以这样的方式摆动配件40，以使虚拟球拍42击中虚拟球44。
应该理解，图1所示出的实施例只是出于例示的目的。可以使配件40成形为可以用于各种游戏或其他应用程序的表示各种其他对象的各种形状。下面将更详细地阐述这些中的某些。
图2示出了可以用于目标识别、分析，及跟踪系统10中的捕捉设备20的示例实施例。在标题为“用于随着时间标识并跟踪多人的设备(DeviceFor Identifying And Tracking Multiple Humans Over Time)”的待审批的专利申请No.12/475,308中阐述了涉及与本技术一起使用的捕捉设备的进一步的细节，该申请以引用的方式全部并入本文中。然而，在一示例实施例中，捕捉设备20可以被配置成通过任何合适的技术，包括，例如，飞行时间法、结构光、立体图像等等，捕捉可包括深度值的具有深度图像的视频。根据一个实施例，捕捉设备20可以将计算出的深度信息组织为“Z层”，或可垂直于Z轴沿着其视线从深度照像机延伸的层。
如图2所示，捕捉设备20可包括图像照像机组件22。根据一个示例实施例，图像照像机组件22可以是可以捕捉一个场景的深度图像的深度照像机。深度图像可包括被捕捉的场景的二维(2-D)像素区域，其中，2-D像素区域中的每一个像素都可以(例如以厘米、毫米等等为单位)表示来自照像机的被捕捉的场景中的对象的长度。
如图2所示，根据一个示例实施例，图像照像机组件22可包括可以被用来捕捉场景的深度图像的IR光组件24、三维(3-D)照像机26，以及RGB照像机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D照像机26和/或RGB照像机28，来检测从场景中的一个或多个目标和对象的表面反向散射的光。
根据另一实施例，捕捉设备20可包括可以从不同的角度观察场景的两个或更多在物理上分离的照像机，以获取可以被解析以生成深度信息的视觉的立体数据。
捕捉设备20还可以包括麦克风30。麦克风30可包括可以接收并将声音转换为电信号的转换器或传感器。根据一个实施例，麦克风30可以被用来减少目标识别、分析，及跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，麦克风30可以被用来接收还可由用户所提供的音频信号，以控制可以由计算环境12执行的诸如游戏应用程序、非游戏应用程序等等之类的应用程序。
在一示例实施例中，捕捉设备20还可以包括可以与图像照像机组件22进行可操作的通信的处理器32。处理器32可包括标准化处理器、专业化处理器、微处理器等等，它们可以执行用于接收深度图像、判断合适的目标是否可以被包括在深度图像中、将合适的目标转换为目标的骨架表示或模型的指令，或任何其他合适的指令。
捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，由3-D照像机或RGB照像机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像照像机组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可以集成到处理器32和/或图像照像机组件22中。
如图2所示，捕捉设备20可以通过通信链路36与计算环境12进行通信。通信链路36可以是包括，例如，USB连接、火线连接、以太网电缆连接等等的有线连接和/或诸如无线802.11b、g、a或n连接之类的无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路36确定何时捕捉，例如，场景。
另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由，例如3-D照像机26和/或RGB照像机28捕捉到的图像，并可以由捕捉设备20所生成的骨架模型。存在用于判断由捕捉设备20检测到的目标或对象是否与人目标相对应的各种已知技术。然后，可以使用骨架映射技术来确定该用户的骨架图上的各种点、手的关节、手腕、肘、膝盖、鼻子、踝、肩，以及骨盆与脊柱汇合点。其他技术包括将图像转换为人的身体模型表示以及将图像转换为人的网格模型表示。配件40还可具有使得它特别可由捕捉设备20检测的属性。例如，配件40可以对红外光或捕捉设备对其敏感的其他波长的光高度反射。
然后，可以向计算环境12提供骨架模型和配件40的图像数据，以使得计算环境可以跟踪骨架模型和配件40，并呈现与骨架模型相关联的化身和配件40的虚拟表示(例如，图1，对象42)。计算环境还可以进一步基于，例如，从骨架模型和/或配件40的移动识别的用户的姿势，来确定哪些控件在运行于计算机环境上的应用程序中执行。例如，如图所示，在图2中，计算环境12可包括姿势识别引擎190。
下面说明了姿势识别引擎190，但是一般可以包括姿势过滤器的集合，每一个过滤器都包括关于可以由骨架模型和/或配件40执行的姿势的信息(随着用户移动)。可以将由照像机26、28和设备20以骨架模型的形式捕捉的数据以及与它相关联的移动与姿势识别引擎190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个姿势。这些姿势可以与应用程序的各种控件相关联。如此，计算环境12可以使用姿势识别引擎190来解释骨架模型和/或配件40的移动，并基于移动来控制应用程序。
图3A示出了可以被用来解释目标识别、分析，及跟踪系统中的一个或多个姿势的计算环境的示例实施例。诸如上文参考图1A-2所描述的计算环境12之类的计算环境可以是诸如游戏控制台之类的多媒体控制台100。如图3A所示，多媒体控制台100具有中央处理单元(CPU)101，其具有1级缓存102、2级缓存104，以及闪存ROM 106。1级缓存102和2级缓存104临时存储数据，因此，减少存储器访问周期的数量，从而会提高处理速度和吞吐量。可以提供具有一个以上的核，如此，具有额外的1级和2级缓存102和104的CPU 101。闪存ROM 106可以存储可执行代码，当多媒体控制台100打开电源时在引导过程的初始阶段过程中加载这些可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(译码器/解码器)114构成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从GPU 108传输到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108，以促进处理器访问各种类型的存储器112，如，但不仅限于，RAM。
多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128以及前面板I/O子组件130。USB控制器126和228充当外围控制器142(1)-142(2)、无线适配器148、以及外部存储器设备146(例如，闪存、外部CD/DVD ROM驱动器、可移动介质等等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等等)的访问，并可以是各种有线或无线适配器组件中的任何一种，包括以太网网卡、调制解调器、蓝牙模块、电缆调制解调器等等。
提供系统存储器143以存储在引导过程中加载的应用程序数据。提供了介质驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等等。介质驱动器144可以是多媒体控制台100内部或外部的。可以经由介质驱动器144来访问应用程序数据，以便由多媒体控制台100执行，播放等等。介质驱动器144经由诸如串行ATA总线之类的总线或其他高速连接(例如，IEEE 1394)连接到I/O控制器120。
系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132构成带有高保真度和立体处理的对应的音频处理流水线。经由通信链路在音频处理单元123和音频编解码器132之间传输音频数据。音频处理流水线将数据输出到A/V端口140，以便由外部音频播放器或具有音频能力的设备来再现。
前面板I/O子部件130支持电源按钮150以及弹出按钮152，以及任何LED(发光二极管)或暴露在多媒体控制台100的外表面上的其他指示灯的功能。系统电源模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、以及该多媒体控制台100内的各种其他组件经由一种或多种总线互连在一起，包括使用各种总线体系结构中的任何一种的串行和并行总线、存储器总线、外围总线、以及处理器或局部总线。作为示例，这样的体系结构可包括外围组件互连(PCI)总线、PCI-Express总线等等。
当多媒体控制台100被接通电源时，可以从系统存储器143将应用程序数据加载到存储器112和/或高速缓存102、104中，并在CPU 101上执行。应用程序可以呈现图形用户界面，该图形用户界面在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验。在操作中，应用程序和/或介质驱动器144内包含的其他介质可以从介质驱动器144启动或播放，以向多媒体控制台100提供额外的功能。
多媒体控制台100可以通过简单地将系统连接到电视机或其他显示器，作为独立系统来操作。在此独立模式下，多媒体控制台100允许一个或多个用户与系统进行交互、观看电影、听音乐。然而，在通过网络接口124或无线适配器148接入了宽带的情况下，多媒体控制台100还可以进一步作为较大的网络社区的参与者来操作。
当多媒体控制台100被打开电源时，预留了一定量的硬件资源供多媒体控制台操作系统使用。这些资源可包括预留存储器(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等等。由于这些资源是在系统引导时预留的，因此，从应用程序的观点来看，预留的资源不存在。
具体而言，存储器预留优选地足够大，以包含启动内核、并行系统应用程序和驱动程序。CPU预留优选地是恒定的，以便如果预留的CPU用量没有被系统应用程序用完，则空闲的线程将消耗任何未使用的周期。
至于GPU预留，通过使用GPU中断来显示由系统应用程序所生成的轻型的消息(例如，弹出式窗口)，来调度代码以将弹出式窗口呈现到覆盖中。覆盖所需的存储器量取决于覆盖区域大小，覆盖优选地随着屏幕分辨率而伸缩。在完整的用户界面被并行系统应用程序使用的情况下，优选地使用独立于应用程序分辨率的分辨率。可以使用缩放器来设置此分辨率，以便消除改变频率并使TV重新同步的必要性。
在多媒体控制台100引导并且预留了系统资源之后，执行并行系统应用程序以提供系统功能。系统功能被封装在一组在上文所描述的预留的系统资源内执行的系统应用程序中。操作系统内核标识系统应用程序线程，而不是游戏应用程序线程。系统应用程序被优选地调度为在预定时间和时间间隔在CPU 101上运行，以便向应用程序提供一致的系统资源视图。调度是要最小化对于在控制台上运行的游戏应用程序的高速缓存中断。
当并行系统应用程序要求音频时，由于时间敏感性，与游戏应用程序异步地调度音频处理。当系统应用程序处于活动状态时，(下面所描述的)多媒体控制台应用程序管理器控制游戏应用程序声频电平(例如，静音、减弱)。
输入设备(例如，控制器142(1)和142(2))由游戏应用程序和系统应用程序共享。输入设备不是预留的资源，但是，在系统应用程序和游戏应用程序之间切换，以便两者都具有设备的焦点。应用程序管理器优选地控制输入流的切换，无需知道游戏应用程序的知识，驱动程序维护关于焦点切换的状态信息。照像机26、28和捕捉设备20可以为控制台100定义额外的输入设备。
图3B示出了计算环境220的另一示例实施例，可以是用来解释目标识别、分析，及跟踪系统中的一个或多个姿势的图1A-2所示出的计算环境12。计算系统环境220仅为合适的计算环境的一个示例，并非旨在对目前所公开的主题的使用范围或功能提出任何限制。也不应将该计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，各种所描绘的计算元件可包括被配置成实例化本发明的特定方面的电路。例如，用于本发明中的术语“电路”可包括被配置成通过固件或开关执行功能的专门硬件组件。在其他示例实施例中，术语“电路”可包括通过体现可操作以执行功能的逻辑的软件指令配置的通用处理单元、存储器等等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。由于所属领域技术人员可以理解，现有技术已经发展到在硬件、软件或硬件/软件的组合之间没有差别的程度，为实现特定功能而选择硬件还是软件是交由实施者处理的设计选择。更具体而言，本领域技术人员可以理解，可以将软件进程转换成等效的硬件结构，也可以将硬件结构本身转换成等效的软件进程。如此，选择硬件实现还是软件实现是一种设计选择，并交由实施者处理。
在图3B中，计算环境220包括通常包括各种计算机可读介质的计算机241。计算机可读介质可以是可以被计算机241访问的任何可用的介质，并包括易失性和非易失性介质，可移动的和不可移动的介质。系统存储器222包括以诸如ROM 223和RAM 260之类的易失性和/或非易失性存储器的形式存在的计算机存储介质。基本输入/输出系统224(BIOS)通常存储在ROM223中，包含了诸如在启动过程中帮助在计算机241内的元件之间传输信息的基本例程。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图3B示出了操作系统225、应用程序226、其他程序模块227，以及程序数据228。
计算机241也可以包括其他可移动的/不可移动的，易失性/非易失性的计算机存储介质。只作为示例，图3B示出了读写不可移动、非易失性磁性介质的硬盘驱动器238，读写可移动、非易失性磁盘254的磁盘驱动器239，以及读写诸如CD ROM或其他光学介质之类的可移动的，非易失性光盘253的光盘驱动器240。可以用于示例性操作环境中的其他可移动/不可移动，易失性/非易失性的计算机存储介质包括，但不仅限于，盒式磁带、闪存卡、数字多功能盘、数字视频磁带、固态RAM、固态ROM等等。硬盘驱动器238通常通过诸如接口234之类的不可移动存储器接口连接到系统总线221，而磁盘驱动器239和光盘驱动器240通常通过诸如接口235之类的可移动存储器接口连接到系统总线221。
上文所讨论的并且在图3B中所示出的驱动器以及它们的相关联的计算机存储介质，为计算机241提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，在图3B中，硬盘驱动器238被示为存储了操作系统258、应用程序257，其他程序模块256，以及程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227，以及程序数据228相同，也可以不同。向操作系统258、应用程序257、其他程序模块256，以及程序数据255提供了不同的编号，以说明，至少，它们是不同的副本。用户可以通过诸如键盘251和指示设备252(通常被称为鼠标、轨迹球或触摸板)之类的输入设备向计算机241中输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些及其他输入设备常常通过耦合到系统总线的用户输入接口236连接到处理单元259，但是，也可以通过其他接口和总线结构，如并行端口、游戏端口、通用串行总线(USB)端口、来进行连接。照像机26、28和捕捉设备20可以为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也可以通过诸如视频接口232之类的接口，连接到系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接，以在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文参考计算机241所描述的许多或全部元件，虽然图3B中只示出了存储器设备247。图3B中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但是，也可以包括其他网络。这样的联网环境在办公室、企业范围的计算机网络、内部网和因特网中是普遍现象。
当用于LAN网络环境中时，计算机241通过网络接口或适配器245连接到LAN 237。当用于WAN网络环境中时，计算机241通常包括调制解调器250，或用于通过WAN 249(如通过因特网)建立通信的其他装置。调制解调器250，可以是内置的或外置的，可以经由用户输入接口236或其他适当的机制，连接到系统总线221。在联网环境中，参考计算机241所描述的程序模块，或其某些部分，可以存储在远程存储器存储设备中。作为示例而非限制，图3B示出了驻留在存储器设备247上的远程应用程序248。可以理解，所示出的网络连接只是示例性的，也可以使用用于在计算机之间建立通信链路的其他装置。
如下面将更详细地说明的，计算环境12内的姿势识别引擎190用于接收位置和/或移动信息，并从此信息标识姿势。图4描绘了可以从捕捉设备20生成的用户的示例骨架映射。在此实施例中，标识了各种关节和骨头：每只手302、每条下臂304、每个肘306、每块肱二头肌308、每个肩膀310、每个臀部312、每条大腿314、每个膝盖316、每条小腿318、每只脚320、头322、中间脊柱324、脊柱的顶部326和底部328，以及腰330。在跟踪更多点的情况下，可以标识附加特征，如手指或脚趾的骨头和关节，或脸的单个特征，如鼻子和眼睛。另外，捕捉设备20还映射配件40，这在图4以一般化形状示出，并被握在用户18的左手中。
一般而言，系统10可以被视为与三个参考系一起工作。第一参考系是用户在其中移动的现实世界3D空间。第二参考系是3D游戏空间，或者机器空间，在其中，计算环境使用姿态信息和运动学方程来定义用户的3D位置、速度和加速度，以及由游戏或其他应用程序所创建的虚拟对象。第三参考系是2D屏幕空间，在其中，用户的化身及其他对象呈现在显示器中。计算环境CPU或图形卡处理器将对象的3D机器空间位置、速度和加速度转换为被用来在视听设备16上显示对象的2D屏幕空间位置、速度和加速度。
如在背景技术部分所讨论的，没有对应的现实世界对象的虚拟在屏幕上的道具可以从用户体验中除去，使得与其他虚拟在屏幕上的对象进行交互难以进行。根据本技术，可以提供配件40以改进用户体验并促进用户与各种在屏幕上的虚拟对象的交互。
现在参考图5，配件40可以是柔性的，以便用户可以将它形成为各种形状。然而，一旦形成为该形状，就可以使该配件维持该形状，甚至在用户操纵它时它能承受加速度。在图5的实施例中，配件40由各种单独的外壳部分50构成。尽管示出了这六个部分50，但是，应该理解，配件40可以具有较多或较少部分50，以便有效地分别缩短或延长配件40。
如图6的前视图和图7的侧视图所示，外壳部分50一般为截头圆锥形形状，高度大于其宽度(在图6中最佳地看出)。每一外壳部分都可以带有张开的第一端52和第二端54，以便允许拧紧绳索56穿过末端52，54。如图5所示，外壳部分50的成形为使得一个外壳部分50的末尾52被置于相邻的外壳部分50的末尾54内。给定它们的形状，外壳部分以单一的自由度彼此适合。即，从图6的角度来看，一个外壳部分可以在相邻的外壳部分内向上旋转或向下旋转。外壳部分50的一般平的侧表面基本上防止一个部分在其相邻的部分内侧向地旋转(也从图6的角度来看)。单自由度允许配件40弯成各种形状中的任何一种。在更进一步的实施例中，外壳部分可以是其他形状，例如，带有圆截面的截头圆锥形，带有多自由度地弯曲。
外壳部分50可以由橡胶或塑料制成，或者具有橡胶或塑料涂层。如此，当如下面所说明的拧紧各部分时，各部分通过摩擦啮合在一起，并维持配件被弯曲成的形状。在更进一步的实施例中，部分50可以由其他通过摩擦啮合的材料制成。
绳索56可以由诸如金属线、塑料或布绳索之类的各种软材料中的任何一种制成。出于例示的目的，在图5中，绳索56被示为松弛的，一般而言，不是那么松弛。然而，当如下面所说明的绳索56松开(没有图5所示出的那样的程度)时，外壳部分松散地在彼此内啮合，以便可以调整形状。一旦使配件40具有所希望的形状，可以拧紧绳索56，以将配件40固定在该位置。
配件40包括尾段58和62。尾段58包括用于接收其中一个外壳部分50的末端52的凹形部分60。尾段62包括用于接收其中一个外壳部分50的末端54的凸形部分64。尾段58可包括安装在轴承上的位于内部的已知线轴组件(未示出)，以便能够相对于凹形部分60旋转。如此，尾段58在一个方向的旋转可以将绳索从线轴组件放出，以松开绳索56，并可以调整相应的外壳部分50。在相反方向上旋转尾段58会使绳索围绕线轴组件的线轴缠绕，以收回绳索，并将相应的部分拧紧到相对于彼此的固定位置。可以另外，或者可另选地，在尾段62提供线轴组件，该线轴组件将相对于凸形部分64旋转以松开和拧紧绳索56。
线轴组件可包括通过摩擦或以其他方式相对于凹形部分60拧紧尾段58的已知机制，以便一旦绳索56被拉紧并且外壳部分位置固定，防止尾段58相对于凹形部分60旋转，或使该旋转变得困难。克服被用来防止旋转的力的分离机构或尾段的旋转可以再次允许松开绳索56，并将外壳部分50再调整为新的形状。
图8-10示出了根据本技术的配件40的进一步的实施例。在图8-10的实施例中，配件40包括如上文所描述的尾段58和62和绳索56(未示出)。然而，在此实施例中，不是单一形状的外壳部分50，配件由接收部分70的多个实例和凸出部分72的多个实例构成。在组装的配件40中接收部分70与凸出部分72交替。如在图9和10中最佳地看出的，接收部分70具有带有半圆形凹陷76的第一端74，以及带有矩形或截头圆锥形凹陷80的第二端78。凸出部分72包括基本上截头圆锥形部分82和半圆形部分84。部分70和72可以由与图5-7的外壳部分50相同的材料构成。
当部分70和72形成在一起时，每一凸出部分72的半圆形部分84被啮合在相邻的接收部分70的半圆形凹陷76内。啮合必须保证半圆形部分84在半圆形凹陷76内以一个自由度旋转。类似地，每一凸出部分72的截头圆锥形部分82啮合在相邻的接收部分70的矩形或截头圆锥形凹陷78内。啮合必须保证截头圆锥形部分82在矩形或截头圆锥形凹陷78内以一个自由度旋转。
尾段58和60可以具有附加的接收部分70。此实施例的配件40中的部分70，72的数量可以变化。如上文参考图5-7所描述的，尾段58可包括安装在轴承上的位于内部的已知线轴组件(未示出)，以便能够相对于部分70，72旋转。如此，尾段58在一个方向的旋转可以将绳索56(未示出)从线轴组件放出，以松开绳索56，并可以调整相应的部分70，72。在相反方向上旋转尾段58会使绳索围绕线轴组件的线轴缠绕，以收回绳索，并将相应的部分70，72拧紧到相对于彼此的固定位置。如图10所示，部分70和72两者都可以带有用于接收绳索56的轴承。给定了上面的描述，那些本领域的技术人员将理解构成配件40的部分的进一步的形状和配置。
在各实施例中，配件40不发射活动信号。由如上文所描述的，由深度照像机20感应配件40。如此处所使用的，反射光波不被视为发射活动信号。
上面的描述提供了如何将配件40形成为所希望的形状的一个实施例，该形状通过使用配件来维护。那些本领域的技术人员将理解，可以用于向配件40提供相同功能的各种其他配置和机制。在一个简单实施例中，可以给配件提供一个金属芯，该金属芯可以具有刚性，以便使用超过阈值的力可以使其弯曲，该阈值高于通过正常的使用对配件施加的力。进一步的实施例也是可以的。在上文所描述的实施例中的任何一个中，可以使配件的外表面对红外光，或捕捉设备20对其敏感的各种其他波长的光中的任何一种高度反射，以最大化照像机检测配件40的形状和位置的能力。
在图1所示出的实施例中，将配件弯成球拍的形状，尾段58和62基本上彼此相邻。可以理解，可以将配件40形成为各种其他对象，这些其他对象可以，或者也可以不被在计算设备12上运行的应用程序识别。作为进一步的示例，可以将配件形成为球棒、冰球杆或其他棒、高尔夫球棒或其他球棒、盘、手柄、警棍、挂钩、剑、识别笔、指挥棒等等。此列表不是详尽的，在更进一步的实施例中，可以将配件形成为其他形状。此外，尽管配件常常可以被握在用户的手中，但是，在进一步的实施例中可以不必。例如，可以将配件形成为对于用户的脚的滑雪或挡雪板。在更进一步的实施例中，可以将配件成形不握在手中或带在脚上的对象。例如，配件可以作为帽子或围巾来佩带，或者配件可以完全与用户的身体分开。
此外，在所示出的实施例中，配件40的总体形状一般是长的，窄的。然而，配件40的总体形状可以在各实施例中不同。例如，它可以是平面形状的盘、圆形的或矩形的。它还可以进一步分叉，具有一个基座，有两个或更多延伸部分从该基座延伸。在更进一步的实施例中，配件40还可以是其他形状。
在更进一步的实施例中，可以在配件40上，要么在某一个尾段58、62，或在中间某处形成附加连接器(未示出)。可以使用此连接器来将附加配件连接到配件40。这些附加配件可以具有与上文所描述的配件40相同的一般配置。可另选地，这些附加配件可以不同于配件40。在各实施例中，可以针对特定应用程序或应用程序组，自定义配件40和/或附加配件。在此实施例中，可以自定义配件，而不只是将配件形成为给定游戏或其他应用程序特定的形状。
那些本技术的人员将理解分析用户和/或配件移动以判断移动是否符合预定义的姿势的各种方法。例如在上面包括的申请No.12/475,308以及标题为“用于自服务机器和其它应用的姿势控制界面(Gesture-ControlledInterfaces For Self-Service Machines And Other Applications)”的美国专利出版物No.2009/0074248(此处全部引用了该出版物作为参考)中公开了这样的方法。然而，一般而言，由捕捉设备20检测用户/配件位置和移动。然后，将此信息传递到姿势识别引擎190。参考图11的框图和图12的流程图更详细地说明了姿势识别引擎190的操作。
在步骤550中，姿势识别引擎190接收姿态信息。姿态信息可包括涉及用户的位置和/或移动的参数，并可包括涉及配件位置和/或移动的参数。在步骤554中，姿势识别引擎190分析接收到的姿势信息500，以查看姿态信息是否匹配存储在姿势库540内的任何预定义的规则542。存储的规则542描述由姿态信息500所表示的特定位置和/或动力运动何时将被解释为预定义的姿势。在各实施例中，每一个姿势都可以具有不同的、唯一规则或规则集542。规则可以由游戏作者、由游戏平台的主机或由用户本身创建。
每一个规则542都可以具有对于图4所示出的身体部位的中的一个或多个的多个参数。此外，系统10和在计算环境12上运行的应用程序可能能够识别和标识将配件40成形为为应用程序所知的对象。在这样的情况下，可以有包括了配件40的参数的预定义的姿势规则。
姿势识别引擎190可以输出标识的姿势和对应于用户的位置/移动与该姿势相对应的似然率的置信水平。具体而言，除定义姿势所需的参数之外，规则还可以包括在姿态信息500将被解释为姿势之前所要求的阈值置信水平。某些姿势可能作为系统命令或游戏指令具有更大的影响，如此，在姿态被解释为该姿势之前要求较高的置信水平。姿态信息与存储的规则的参数的比较导致关于姿态信息是否表示姿势的累积置信水平。
一旦确定了关于给定姿态或运动是否满足给定姿势规则542的置信水平，姿势识别引擎190就在步骤556中判断该置信水平是否超出对于考虑中的规则的预定阈值。阈值置信水平可以与考虑中的规则相关联地存储。如果置信水平低于阈值，则检测不到姿势(步骤560)，并且不采取动作。另一方面，如果置信水平超出阈值，则判断用户的运动满足考虑中的姿势规则，姿势识别引擎190返回标识的姿势。
前面的对本发明的系统的详细描述只是为了说明和描述。它不是详尽的公开或将本发明的系统限于所公开的准确的形式。根据上述原理，许多修改方案和变化也是可以的。所描述的实施例只是为了最好地说明本发明的系统的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本发明的系统，适合于特定用途的各种修改也是可以的。本发明的系统的范围由所附的权利要求进行定义。

Claims (15)

1.一种人机界面系统(10)，包括：
捕捉设备(20)，用于在捕捉设备的视场内捕捉深度图像；
计算环境(12)，耦合到所述捕捉设备(20)，用于运行应用程序并用于处理从所述捕捉设备接收到的信息；以及
配件(40)，在所述捕捉设备(20)的所述视场内，所述配件变形为不同的形状，用于与在所述计算环境(12)上运行的所述应用程序进行交互，并且所述配件不发射活动信号。
2.如权利要求1所述的人机界面系统，其特征在于，所述配件反射红外光谱内的光。
3.如权利要求1所述的人机界面系统，其特征在于，所述配件在其中它处于固定位置的第一状态和其中所述配件的形状变形为不同的形状的第二状态之间能够移动。
4.如权利要求1所述的人机界面系统，其特征在于，所述配件由多个单独的部分构成，所述多个单独的部分在可变的位置结合在一起。
5.如权利要求4所述的人机界面系统，其特征在于，所述多个单独的部分以一个自由度结合在一起。
6.如权利要求4所述的人机界面系统，其特征在于，所述多个单独的部分结合在一起，以形成所述配件的形状，然后所述多个单独的部分拧紧在一起到一个固定位置。
7.如权利要求1所述的人机界面系统，其特征在于，所述配件是针对在所述计算环境上运行的所述应用程序自定义的。
8.如权利要求1所述的人机界面系统，其特征在于，还包括连接器，用于将附加配件固定到所述配件。
9.一种人机界面系统(10)，包括：
捕捉设备(20)，用于在捕捉设备的视场内捕捉深度图像；
配件(40)，在所述捕捉设备的所述视场内，所述配件变形为不同的形状；以及
计算环境(12)，耦合到所述捕捉设备(20)，用于运行应用程序并用于处理从所述捕捉设备接收到的信息，所述计算环境部分地基于所述配件的形状和在所述计算环境上运行的所述应用程序来标识所述配件(40)，所述计算环境生成所述配件(40)的虚拟的屏幕上图像(42)。
10.如权利要求9所述的人机界面系统，其特征在于，所述虚拟的屏幕上图像匹配所述配件的外观。
11.如权利要求9所述的人机界面系统，其特征在于，所述虚拟的屏幕上图像从所述配件的所述外观来被改变，并被自定义以在所述计算环境上运行的所述应用程序内使用。
12.如权利要求9所述的人机界面系统，其特征在于，所述配件反射红外光谱内的光。
13.一种在包括耦合到用于捕捉用户的深度图像的的捕捉设备(20)的计算环境(12)的系统(10)中与游戏应用程序进行交互的方法，包括：
(a)从所述捕捉设备(20)接收第一组数据；
(b)处理所述第一组数据以标识机身；
(c)从所述捕捉设备(20)接收第二组数据；以及
(d)处理所述第二组数据以标识配件(40)，所述机身与所述配件(40)在三维空间中进行交互，所述配件变形为专门用于所述游戏应用程序的形状。
14.如权利要求13所述的方法，其特征在于，还包括步骤(f)：标识所述配件表示的游戏内对象，以及显示所述配件表示的所述游戏内对象的虚拟图像。
15.如权利要求14所述的方法，其特征在于，还包括步骤(g)：将所述配件的位置和移动中的至少一个包括到存储在所述计算环境中的预定义的姿势。
CN201110117344.7A 2010-04-30 2011-04-29 具有可变刚度的可再成形的连接器 Active CN102323855B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/771,057 US9539510B2 (en) 2010-04-30 2010-04-30 Reshapable connector with variable rigidity
US12/771,057 2010-04-30

Publications (2)

Publication Number Publication Date
CN102323855A true CN102323855A (zh) 2012-01-18
CN102323855B CN102323855B (zh) 2015-11-25

Family

ID=44857848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110117344.7A Active CN102323855B (zh) 2010-04-30 2011-04-29 具有可变刚度的可再成形的连接器

Country Status (2)

Country Link
US (1) US9539510B2 (zh)
CN (1) CN102323855B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107548484A (zh) * 2015-04-29 2018-01-05 索尼移动通讯有限公司 提供在空间中移动的物品的取向和移动的表示
CN109152953A (zh) * 2016-05-25 2019-01-04 皇家飞利浦有限公司 将对象的存在通信给计算机的装置和方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
EP2713307B1 (en) * 2012-09-28 2018-05-16 Accenture Global Services Limited Liveness detection
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10146414B2 (en) * 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
CN105278687B (zh) * 2015-10-12 2017-12-29 中国地质大学（武汉） 可穿戴计算设备的虚拟输入方法
US20220275392A1 (en) 2016-10-13 2022-09-01 Pioneer Hi-Bred International, Inc. Generating northern leaf blight resistant maize
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
USD963407S1 (en) 2019-06-24 2022-09-13 Accenture Global Solutions Limited Beverage dispensing machine
US10726246B1 (en) 2019-06-24 2020-07-28 Accenture Global Solutions Limited Automated vending machine with customer and identification authentication
EP3869395A1 (en) 2020-02-21 2021-08-25 Accenture Global Solutions Limited Identity and liveness verification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070117625A1 (en) * 2004-01-16 2007-05-24 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20090158220A1 (en) * 2007-12-17 2009-06-18 Sony Computer Entertainment America Dynamic three-dimensional object mapping for user-defined control device
CN101510121A (zh) * 2009-03-12 2009-08-19 重庆大学 一种基于手势识别的界面漫游操作方法与装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US8241124B2 (en) 2000-10-16 2012-08-14 Bally Gaming, Inc. Gaming machine having a curved display with a video switcher and touch router system
JP4009433B2 (ja) * 2001-03-29 2007-11-14 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームプログラム及びゲームシステム
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
GB2417874A (en) 2003-05-13 2006-03-08 Electronic Arts Inc Customizing players in a video game using morphing from morph targets and other elements
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US20090201248A1 (en) 2006-07-05 2009-08-13 Radu Negulescu Device and method for providing electronic input
JP2008073184A (ja) * 2006-09-20 2008-04-03 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
US8012027B2 (en) 2006-11-10 2011-09-06 Igt Rotating quick release button panel
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US20080171596A1 (en) * 2007-01-17 2008-07-17 Hsu Kent T J Wireless controller for a video game console capable of measuring vital signs of a user playing a game on the console
US20090088248A1 (en) 2007-09-25 2009-04-02 Andrew Stevens Game controlling apparatus for pedaling motion
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US7880807B2 (en) 2007-12-26 2011-02-01 Sony Ericsson Mobile Communications Ab Camera system with mirror arrangement for generating self-portrait panoramic pictures
US20100179689A1 (en) * 2009-01-09 2010-07-15 National Taiwan University Of Science And Technology Method of teaching robotic system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070117625A1 (en) * 2004-01-16 2007-05-24 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20090158220A1 (en) * 2007-12-17 2009-06-18 Sony Computer Entertainment America Dynamic three-dimensional object mapping for user-defined control device
CN101510121A (zh) * 2009-03-12 2009-08-19 重庆大学 一种基于手势识别的界面漫游操作方法与装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107548484A (zh) * 2015-04-29 2018-01-05 索尼移动通讯有限公司 提供在空间中移动的物品的取向和移动的表示
CN107548484B (zh) * 2015-04-29 2020-10-27 索尼移动通讯有限公司 提供物品的取向和移动的表示的方法、计算机介质和系统
CN109152953A (zh) * 2016-05-25 2019-01-04 皇家飞利浦有限公司 将对象的存在通信给计算机的装置和方法

Also Published As

Publication number Publication date
CN102323855B (zh) 2015-11-25
US20110267259A1 (en) 2011-11-03
US9539510B2 (en) 2017-01-10

Similar Documents

Publication Publication Date Title
CN102323855B (zh) 具有可变刚度的可再成形的连接器
CN102129551B (zh) 基于关节跳过的姿势检测
CN102356373B (zh) 虚拟对象操纵
CN102301315B (zh) 姿势识别器系统架构
US8451278B2 (en) Determine intended motions
CN102449576B (zh) 姿势快捷方式
US9519989B2 (en) Visual representation expression based on player expression
US9498718B2 (en) Altering a view perspective within a display environment
CN102448566B (zh) 骨架以外的姿势
CN102163077B (zh) 使用碰撞体来捕捉屏幕对象
Paelke et al. Foot-based mobile interaction with games
US20110151974A1 (en) Gesture style recognition and reward
US20100302138A1 (en) Methods and systems for defining or modifying a visual representation
US20100306716A1 (en) Extending standard gestures
KR20110139223A (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
CN102156658A (zh) 对象的低等待时间呈现
CN102221883A (zh) 自然用户界面的主动校准

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150730

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150730

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant