CN105705210A - 用于头戴式显示器用户的基于摄像机的安全机制 - Google Patents

用于头戴式显示器用户的基于摄像机的安全机制 Download PDF

Info

Publication number
CN105705210A
CN105705210A CN201480058815.3A CN201480058815A CN105705210A CN 105705210 A CN105705210 A CN 105705210A CN 201480058815 A CN201480058815 A CN 201480058815A CN 105705210 A CN105705210 A CN 105705210A
Authority
CN
China
Prior art keywords
hmd
game
user
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480058815.3A
Other languages
English (en)
Other versions
CN105705210B (zh
Inventor
J.R.斯塔福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/170,470 external-priority patent/US9729864B2/en
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN105705210A publication Critical patent/CN105705210A/zh
Application granted granted Critical
Publication of CN105705210B publication Critical patent/CN105705210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A63F2300/306—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display for displaying a marker associated to an object or location in the game field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering

Abstract

本公开提供用于在视频游戏的游戏过程期间警告头戴式显示器的用户的方法和系统。执行游戏从而引起所述游戏的交互场景呈现在由用户佩戴的头戴式显示器(HMD)的显示部分上。在所述用户与所述游戏交互时检测由所述用户佩戴的所述HMD的位置变化。评估所述位置变化，当所述变化超过预定义阈值时，所述评估引起信号产生。当产生所述信号时，发送内容以中断在所述HMD的所述显示部分上正呈现的所述交互场景。所述发送的数据提供所述信号的描述性上下文。

Description

用于头戴式显示器用户的基于摄像机的安全机制
技术领域
本公开总体上涉及人机界面，更具体地说涉及当用户移动出摄像机的视场或者当他们接近一个或多个有形障碍物时对他们进行警告。
相关技术描述
可追求在这个部分中描述的方法，但是不一定是先前已设想或追求的方法。因此，除非另外说明，不应当认为在这个部分中描述的任何方法仅仅借助于它们包括在这个部分中而有资格作为现有技术。
在人机交互领域中快速发展的技术中的一种是可以戴在用户头上并且具有在一只或两只用户眼睛前方的一个或两个显示器的各种头戴式或头联式显示器。这种类型的显示器具有涉及虚拟现实的模拟的多种民用和商业应用，包括视频游戏、医学、运动训练、娱乐应用等等。在游戏领域中，可使用这些显示器例如来呈现出三维(3D)虚拟游戏世界。这些显示器的重要方面是用户除了利用传统的输入装置(诸如键盘或轨迹球)之外能够通过转动他的头部来改变虚拟世界内的可显示视图。
然而，在传统的头戴式显示器中，当用户佩戴头戴式显示器并提供用户动作诸如做运动或朝向有形障碍物(诸如咖啡桌、椅子等)移动时他们易受到伤害。此外，在涉及头戴式显示器的一些人机界面中，用户应当存在于专用视频摄像机或深度传感器的视场内。如果用户移动出视场，那么当人机交互中断时，对于用户来说可能是让人烦恼的。
概述
提供本概述是为了以简化形式介绍下文将在详述描述中进一步描述的概念选择。本概述并非意图确定所要求保护的主题的关键特征或本质特征，也并非意图被用作确定所要求保护的主题的范围的辅助。
通常，本公开涉及用于警告头戴式显示器(HMD)的用户他们接近由摄像机视场所限定的场景边缘或者他们接近一个或多个有形障碍物的技术。所述警告包括对用户显现音频和/或可显示消息，或者将头戴式显示器的显示器远离用户的眼睛移动。除了提供警告，本公开可用来基于由佩戴HMD的用户进行的动作调整呈现在HMD的显示部分上的内容，诸如朝向视场边缘移动、朝向有形障碍物移动等。在一些实施方案中，调整内容包括在HMD的显示部分上呈现来自用户的紧邻处的现实世界的对象。通过动态跟踪用户的运动，通过分析从图像传感器和/或深度传感器获得的图像和/或深度数据，做出用户接近场景边缘或有形障碍物的确定，所述图像传感器和/或深度传感器固定到头戴式显示器、布置在场景内或场景外部并且不固定到头戴式显示器、或者二者的组合。
场景边缘可以包括有形障碍物。图像还包括场景的深度信息。场景可由至少一个图像传感器或至少一个深度传感器的视场限定。警告包括由处理器引导用户朝向场景中心返回。
在某些实施方案中，所述方法还包括由处理器接收来自一个或多个次级传感器的场景的次级图像，所述一个或多个次级传感器布置在场景外部并且不固定到头戴式显示器。确定用户朝向一个或多个有形障碍物接近还至少基于次级图像。在某些实施方案中，一个或多个有形障碍物存在于场景内。在一些实施方案中，一个或多个有形障碍物包括场景边缘。
根据一个实施方案，提供了一种方法。所述方法包括执行游戏。所述执行引起游戏的交互游戏场景呈现在由用户佩戴的头戴式显示器的显示部分上。在用户与游戏交互时检测由用户佩戴的HMD的位置变化。评估HMD的位置变化。当所述变化超过预定义阈值时，基于所述评估产生信号。当产生信号时，发送数据以中断在HMD的显示部分上正呈现的交互场景。发送给HMD的数据提供信号的描述性上下文。
在另一个实施方案中，公开了一种方法。所述方法包括执行游戏。所述执行引起游戏的交互场景呈现在由用户佩戴的头戴式显示器(HMD)的显示部分上。例如使用笛卡尔空间中的一个或多个坐标确定在用户佩戴的HMD周围的体积。在游戏的游戏过程期间监测佩戴HMD的用户的动作。当动作造成用户佩戴的HMD的位置变化时，评估所述变化。当所述变化超过预定义阈值时，所述评估引起信号产生。当产生信号时，发送数据以中断在HMD的显示部分上正呈现的交互场景。发送的数据提供信号的描述性上下文。
在一些实施方案中，对内容的调整包括使在HMD的屏幕上呈现的游戏的交互场景的亮度渐进地减弱、将HMD的屏幕转变成半透明模式或透明模式。所述转变产生来自佩戴HMD的用户的紧邻处的现实世界对象的呈现。现实世界对象的图像可呈现在前景中而交互场景呈现在背景中，现实世界对象可呈现在背景中而交互场景呈现在前景中，现实世界对象可呈现在HMD的显示屏幕的部分中，其中交互场景呈现在所述显示屏幕的剩余部分中，或者它们的任何组合。
在一些实施方案中，对内容的调整可为使在HMD的显示部分上呈现的游戏的交互场景的亮度渐进地减弱的形式。当用户更接近场景的边缘或对象时，亮度的减弱可以更强。
在某些实施方案中，除了指示对内容的调整，信号可对用户发出警告。警告可为用于在HMD的显示部分处呈现的音频消息、可显示消息或者在HMD处的诸如振动等的触觉消息的形式。警告还包括由处理器将头戴式显示器的至少一个显示器远离用户眼睛移动。
在另一实施方案中，将所述方法操作存储在包括指令的机器可读介质上，所述指令当由一个或多个处理器实现时执行所述操作。在又一示例性实施方案中，硬件系统或装置可以被适配用来执行所述操作。下文描述了其他特征、实例和实施方案。
附图简述
在附图的图示中以举例而非以限制的方式示出了各个实施方案，其中相似参考数字指示类似元件，并且其中：
图1是根据本公开的实施方案的适于实现本技术的各种方面的示例性场景。
图2是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的示例性系统。
图3是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的另一个示例性系统。
图4是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的又一示例性系统。
图5是根据本公开的实施方案的示出用于警示头戴式显示器的用户的方法的过程流程图。
图6是呈计算机系统形式的示例性机器的图解示意图，在所述计算机系统内，执行用于所述机器来执行本文讨论的任何一种或多种方法学的一组指令。
图7示出根据一个实施方案的由用户佩戴的示例性头戴式显示器的不同部分。
图8示出在本发明的一个实施方案中由用户佩戴/握持的头戴式显示器和控制器的跟踪。
图9示出根据一个实施方案的用于跟踪头戴式显示器和头戴式显示器与客户端装置/云服务器之间的数据流的各种模块。
图10示出用于确定由用户佩戴/握持的头戴式显示器和/或控制器的位置的示例性实施方案。
图10A至图10C示出用于确定由用户佩戴的头戴式显示器的海拔变化的示例性实施方案。
图11A至图11E示出在本发明的一个实施方案中的头戴式显示器的跟踪以识别安全问题。图11F示出在本发明的替代实施方案中的头戴式显示器的跟踪以识别另一个安全问题。
图12是根据本发明的替代实施方案的示出用于调整头戴式显示器上所呈现的内容的方法的过程流程图。
图13示出在本发明的一个实施方案中的游戏模块的整体系统架构。
图14示出根据本发明的实施方案的游戏系统的框图。
详细描述
以下详细描述包括对附图的参考，所述附图形成详细描述的部分。附图示出根据示例性实施方案的说明。以足够的细节对本文也称为“实例”的这些示例性实施方案进行描述，以使得本领域技术人员能够实践本主题。各实施方案可加以组合，可利用其他实施方案，或者可在不背离权利要求的范围的情况下做出结构、逻辑和电学改变。因此以下详细描述不认为具有限制性意义，并且所述范围由所附权利要求书及其等效物限定。在本文件中，术语“一(a)”和“一(an)”像通常专利文件中一样用于包括一个或多于一个。在本文件中，除非另有说明，否则术语“或”用于指代非唯一的“或”，以使得“A或B”包括“A但非B”、“B但非A”以及“A和B”。
本文公开的实施方案的技术可使用多种技术实现。例如，本文描述的方法在计算机系统上执行的软件中实现，或者在利用微处理器组合或其他专门设计的专用集成电路(ASIC)、可编程逻辑装置的硬件中实现，或者在它们的各种组合中实现。具体地说，本文描述的方法由驻留在诸如硬盘驱动器或计算机可读介质的存储介质上的一系列计算机可执行指令实现。应注意，本文公开的方法可通过移动终端、蜂窝电话、智能手机、计算机(例如，台式计算机、平板计算机、膝上型计算机)、游戏机、手持式游戏装置等实现。
通常，本公开的实施方案提供用于警告接近场景边缘或移动到摄像机的视场外部或者当他们朝向一个或多个有形障碍物移动时的头戴式显示器的用户的方法和系统。基于图像和/或深度数据的分析做出用户接近视场边缘或障碍物的确定。可从图像传感器和/或深度传感器获得图像和/或深度数据，所述图像传感器和/或深度传感器布置在头戴式显示器上或者与用户分离且不连接到头戴式显示器，或者二者的组合。警告包括音频消息、可显示或可视消息、加亮LED、头戴式显示器上的可显示图像的渐进减弱、图像亮度的减弱、融合现实世界视图、引起头戴式显示器振动、使头戴式显示器或其部分脱离接合、或者移动头戴式显示器的显示器远离用户眼睛使得用户能够看到在他所移动的地方的现实世界和障碍物。
如本文使用的术语“头戴式显示器”是指以下各项中的一个或多个：具有显示器的可佩戴计算机、头戴式电子装置、头联式显示器、头盔显示器、具有显示器的头戴式计算机。佩戴在用户头上或者是头盔的部分的头戴式装置具有位于一只眼睛(单目显示装置)或每只眼睛(双目显示装置)前方的小型显示光学器件。头戴式装置具有一个或两个小型显示器，所述小型显示器具有内嵌在头盔中的透镜和半透明镜子、眼镜(也称为数据眼镜)或护目镜。显示单元可以小型化并且可以包括液晶显示器(LCD)、有机发光二极管(OLED)显示器等。一些供应商采用多个微型显示器来增大总体分辨率和视场。一些其他头戴式装置完全不使用传统显示器并且替代地将光直接投射到用户眼睛中。
如本文使用的术语“深度传感器”是指能够产生3D空间的深度图的任何合适电子装置。深度敏感装置的一些实例包括配置来处理图像以产生深度图的深度敏感摄像机、立体3D摄像机、深度传感器、视频摄像机等等。深度图可由控制装置处理以定位3D空间内存在的用户，并且还定位其包括用户头部、躯干和四肢的身体部分。如本文使用的术语“图像传感器”是指能够产生3D场景的静止或运动图像的任何合适电子装置。图像传感器的一些实例包括视频摄像机、摄像机、电荷耦合装置(CCD)等等。如本文使用的术语“视场”是指由图像传感器和/或深度传感器覆盖和“查看”的3D空间的范围。
如本文使用的术语“控制装置”是指配置来处理数据、图像、深度图、用户输入等的任何合适的计算设备或系统。控制装置的一些实例包括台式计算机、膝上型计算机、平板计算机、游戏机、音频系统、视频系统、蜂窝电话、智能手机、机顶盒、电视机等。在某些实施方案中，将控制装置的至少一些元件并入显示装置中(例如，以可头戴型计算机的形式)。控制装置可与深度传感器/图像传感器和头戴式显示器无线或有线地通信。控制装置还负责产生还可显示在头戴式显示器上的图像(例如，产生虚拟现实)。在某些实施方案中，术语“控制装置”是指“计算装置”、“处理装置”或者仅仅是“处理器”。
根据本公开的实施方案，头戴式显示器可由特定3D空间(诸如处所的起居室)内的用户佩戴。用户可存在于跟踪用户运动的深度传感器/图像传感器的前方。控制装置处理从深度传感器/图像传感器接收的数据，并且通过处理结果使控制装置识别用户、用户的运动/姿势，并跟踪3D空间内的虚拟骨架的坐标。
现参考附图，图1是根据本公开的实施方案的适于实现本技术的各种方面的示例性场景100。
具体地说，示出佩戴头戴式显示器110的用户105。用户105存在于控制装置115前方的3D空间中，所述控制装置115包括深度传感器和/或图像传感器，使得能够容易跟踪用户105。控制装置115耦接到游戏装置或游戏机120或者是其部分，并且还可以与头戴式显示器110和一些其他外围装置(诸如TV显示器130、音频系统等)操作性通信。
为了通过控制装置115来跟踪，用户105应存在于控制装置115的深度传感器和/或图像传感器的视场内，所述区域在本文中还称为“场景”135。如果用户105移动出场景135，那么他将不被跟踪并且因此他与控制装置115的交互会中断。可替代地，用户105可朝向有形障碍物140移动，诸如桌子、椅子、玩具等。由于用户105当佩戴头戴式显示器110时不可看到现实世界或者具有现实世界的减小视角，他可能撞到障碍物140并受到伤害。因此，本技术涉及如果用户105接近场景135的边缘或一个或多个障碍物140来对他警告。
图2是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的示例性系统200。
如图2中所示，系统200包括头戴式显示器110和控制装置115。头戴式显示器包括一个或多个显示器250、通信模块260和任选的触发装置270。
在某些实施方案中，显示器250布置在一只或两只用户眼睛的前方。显示器250被配置来模拟包括视频游戏、运动训练、娱乐应用等的虚拟现实。在一个示例性实施方案中，显示器250被配置来呈现三维(3D)虚拟游戏世界。用户能够通过转动他的头部来改变虚拟世界内的可显示视图。
在某些示例性实施方案中，通信模块260被配置来与控制装置115和一些其他外围装置(诸如TV显示器130、音频系统等)操作性通信。
在某些示例性实施方案中，触发装置270被配置来触发由控制装置115发送给头戴式显示器的警告信号。例如，触发装置270可发起显示器250上的可显示图像的显示，或者发起由头戴式显示器可显示给用户的图像亮度的减弱。在一个示例性实施方案中，触发装置270停止由头戴式装置显示图像。在另一个示例性实施方案中，触发装置270将头戴式显示器110的至少一个显示器250远离用户眼睛移动。
在一些示例性实施方案中，控制装置115包括通信模块210、计算单元220、深度传感器230和图像传感器240。通信模块210被配置来与头戴式显示器110的通信模块260和其他外围装置(诸如TV显示器130、音频系统等)操作性通信。
在某些实施方案中，通信模块210被配置来将由深度传感器230和/或图像传感器240捕获的场景图像传输至计算单元220。在某些实施方案中，计算单元220被配置来处理从深度传感器230和/或图像传感器240接收的场景图像、基于接收图像跟踪用户的定位并确定用户接近场景边缘。计算单元220还被配置来向在场景边缘的邻近周围的头戴式显示器110发送警告消息。
在某些实施方案中，计算单元220基于经处理的场景图像将触发信号发送给触发装置270。在某些实施方案中，深度传感器230在任何环境光照状况下捕获3D视频数据。深度传感器230的感测范围基于以家具或其他障碍物的存在或缺失为基础的物理环境是可调整的且自动校准。
在某些实施方案中，图像传感器240是将光学图像转换成电子信号的装置。图像传感器240可包括例如对可视范围敏感的一个或多个视频摄像机、对IR谱带中的一个敏感的IR摄像机、UV摄像机或其他直接或间接图像生成传感器系统(例如，雷达或激光雷达)。来自深度传感器230和图像传感器240的图像可通过图像融合而组合，并显示给用户。
图3是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的另一个示例性系统300。系统300类似于图2中示出的系统200，除了深度传感器280和图像传感器290是被固定到头戴式显示器110之外。
图4是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的又一示例性系统400。系统400类似于图2中示出的系统200，除了头戴式显示器110包括深度传感器280和图像传感器290两者并且控制装置115包括深度传感器230和图像传感器240两者之外。
图5是根据本公开的实施方案的示出用于警示头戴式显示器的用户的方法500的过程流程图。
方法500由处理逻辑执行，所述处理逻辑包括硬件(例如，专用逻辑、可编程逻辑和微代码)、软件(诸如通用计算机系统或专用机器上运行的软件)或二者的组合。在一个示例性实施方案中，处理逻辑驻留于头戴式显示器处。在另一个示例性实施方案中，处理逻辑驻留于控制装置处。在又一示例性实施方案中，处理逻辑驻留于头戴式显示器和控制装置两者处。
如图5中所示，方法500可开始于操作510处，接收场景的图像和/或深度数据，在所述场景内存在使用头戴式显示器的用户。场景包括预定的三维区域。通过一个或多个传感器捕获场景的图像，例如图像传感器或深度传感器。因此，可通过一个或多个传感器的视场来限定场景。可将一个或多个传感器耦接到头戴式显示器。头戴式显示器是具有显示器的可佩戴计算机、头戴式电子装置、头联式显示器、头盔显示器等等。可替代地，将一个或多个传感器耦接到控制装置。
方法500在操作520处继续，至少部分基于从一个或多个传感器接收的场景的图像和/或深度数据跟踪用户的定位信息。方法500还在操作530处继续，动态地确定用户接近场景边缘。所述确定至少部分基于在操作520处执行的跟踪。在一个示例性实施方案中，场景边缘包括一个或多个有形障碍物，诸如咖啡桌、椅子等等。
在操作540处，基于在操作530处执行的确定来警告用户用户接近场景边缘。警告可包括音频消息、可视消息、打开发光二极管、头戴式显示器上显示的图像的渐进减弱、使显示图像融合在现实世界视图中、振动头戴式显示器、使头戴式显示器或其部分脱离接合、移动头戴式显示器远离用户眼睛等。
在一个示例性实施方案中，方法500还包括接收来自一个或多个次级传感器的场景的次级图像。将一个或多个次级传感器耦接到控制装置。在某些实施方案中，一个或多个次级传感器至少部分基于场景的次级图像来跟踪用户定位。基于次级图像，如果用户继续在场景边缘的方向上移动，那么可对头戴式显示器提供另外的警告。可替代地，如果用户停止在场景边缘的方向上移动并朝向场景中心移动，那么使头戴式显示器上显示的图像逐渐减弱成焦点或者使头戴式显示器或其部分重新接合，将所述头戴式显示器朝向用户眼睛移动等。
图6示出用于呈计算机系统600的示例性电子形式的机器的计算装置的图解示意图，在所述计算机系统600内，可执行用于引起所述机器执行本文讨论的任何一种或多种方法学的一组指令。在示例性实施方案中，机器操作为独立装置，或者可连接(例如联网)到其他机器。在联网部署中，机器可作为服务器-客户端网络环境中的服务器、客户机中操作，或者操作为对等(或分布式)网络环境中的对等机。机器可为个人计算机(PC)、平板PC、机顶盒(STB)、PDA、蜂窝电话、便携式音乐播放器(例如便携式硬盘驱动音频装置，诸如运动图像专家组音频层3(MP3)播放器)、web器具、网络路由器、交换机、网桥、或者能够(顺序地或以其他方式)执行指定所述机器将采取行动的一组指令的任何机器。此外，尽管仅示出单个机器，但术语“机器”还应当认为包括独立地或联合地执行一组(或多组)指令来执行本文讨论的任何一种或多种方法学的机器的任何集合。
示例性计算机系统600包括通过总线620与彼此通信的一个处理器或多个处理器605(例如中央处理单元(CPU)、图形处理单元(GPU)或二者)和主存储器610和静态存储器615。计算机系统600还可包括视频显示单元625(例如，LCD或阴极射线管(CRT))。计算机系统600还包括至少一个输入装置630，诸如字母数字输入装置(例如键盘)、光标控制装置(例如鼠标)、麦克风、数码摄像机、视频摄像机等等。计算机系统600还包括硬盘驱动单元635、信号生成装置640(例如扬声器)以及网络接口装置645。
硬盘驱动单元635包括计算机可读介质650，所述计算机可读介质650存储由本文描述的任何一种或多种方法学或功能体现或利用的一组或多组指令和数据结构(例如指令655)。指令655还可在其由计算机系统600执行期间完全或者至少部分地驻留于主存储器610内和/或处理器605内。主存储器610和处理器605还构成机器可读介质。
指令655还可通过网络接口装置645在通信网络660上传输或接收，所述网络接口装置645利用许多熟知的传输协议(例如超文本传输协议(HTTP)、CAN、串行和Modbus)中的任何一种。通信网络660包括因特网、本地内联网、PAN(个人局域网)、LAN(局域网)、WAN(广域网)、MAN(城域网)、虚拟私人网络(VPN)、存储区域网(SAN)、帧中继连接、高级智能网(AIN)连接、同步光纤网络(SONET)连接、数字T1、T3、E1或E3线路、数字数据服务(DDS)连接、DSL(数字用户线路)连接、以太网连接、ISDN(综合业务数字网)线路、电缆调制解调器、ATM(异步传输模式)连接或者FDDI(光纤分布式数据接口)或CDDI(铜线分布式数据接口)连接。此外，通信还包括到多种无线网络中的任何一种的链接，包括：WAP(无线应用协议)、GPRS(通用分组无线业务)、GSM(全球移动通信系统)、CDMA(码分多址)或TDMA(时分多址)、蜂窝电话网络、全球定位系统(GPS)、CDPD(蜂窝数字分组数据)、RIM(ResearchinMotion,Limited)双向寻呼网络、蓝牙无线电或者基于IEEE802.11的射频网络。
尽管机器可读介质650在示例性实施方案中示出为单个介质，但术语“计算机可读介质”应被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中数据库或分布式数据库，和/或关联的高速缓冲存储器和服务器)。术语“计算机可读介质”还应认为包括能够存储、编码或携带由机器执行并且引起所述机器执行本申请的任何一种或多种方法学的一组指令的任何介质，或者能够存储、编码或携带由这组指令所利用的或与其相关联的数据结构的任何介质。术语“计算机可读介质”应相应地认为包括但不限于固态存储器、光学介质和磁性介质。这种介质还可包括但不限于：硬盘、软盘、闪存卡、数字视频光盘、随机存取存储器(RAM)、只读存储器(ROM)等。
本文描述的示例性实施方案可在包括安装在计算机上的计算机可执行指令(例如软件)的操作环境中、硬件中、或软件和硬件的组合中实施。计算机可执行指令可以计算机编程语言来编写或者可以固件逻辑来体现。如果以编程语言来编写符合公认标准，那么这种指令可在许多硬件平台上执行并且用于和许多操作系统的接口。尽管不限于此，但是用于实现本方法的计算机软件程序可以许多合适的编程语言来编写，例如像：超文本标记语言(HTML)、动态HTML、XML、可扩展样式语言(XSL)、文档样式语义和规范语言(DSSSL)、层叠样式表(CSS)、同步化多媒体整合语言(SMIL)、无线标记语言(WML)、JavaTM、JiniTM、C、C++、C#、.NET、AdobeFlash、Perl、UNIXShell、VisualBasic或VisualBasicScript、虚拟现实标记语言(VRML)、ColdFusionTM或其他编译器、汇编器、解释器，或者其他计算机语言或平台。
图7示出由用户使用的用于观看多媒体内容和/或与多媒体内容交互的示例性头戴式显示器的概况。由用户佩戴的HMD在一个实例中允许用户观看丰富的多媒体内容，其包括来自视频游戏的交互场景、来自电影的场景、互联网内容和其他类型的交互和非交互内容。位置跟踪通过使用传感器的组合或者基于用来限定HMD周围的体积的一个或多个变量跟踪分布在HMD的整个不同外表面上的诸如发光二极管、红外线标记、视觉标记元件等的多个标记元件实现，包括HMD的取向、定位、方向等。用于跟踪的一些传感器包括但不限于：HMD内允许移动跟踪HMD的惯性传感器、一个或多个图像传感器和一个或多个深度传感器，其中图像传感器和深度传感器允许光学跟踪。使用惯性传感器的跟踪可使用设置在HMD内的一个或多个加速仪和一个或多个陀螺仪来实现。图像传感器可包括一个或多个单镜头摄像机、IR摄像机、立体摄像机等，并且深度传感器可包括一个或多个深度感测摄像机、超声波摄像机、三维(3D)立体摄像机、视频摄像机等。图像传感器和深度传感器涵盖设置在HMD内的一个或多个摄像机以及分散在佩戴HMD的用户的现实世界场景内的外部摄像机。从佩戴HMD的用户的角度来看，HMD内的图像传感器和/或深度传感器例如被用来捕获紧邻用户的现实世界对象/场景的图像/视频。如将在下文中进一步解释的，当对内容进行调整时，捕获的图像/视频可在HMD的显示部分中呈现。
在用户场景内在外表上分布的图像传感器和/或深度传感器例如被配置来捕获分布在HMD110的整个外表面上的各种标记的图像/视频，诸如灯、发光二极管(LED)、红外线标记等。在一个实施方案中，将图像/视频传输至客户端系统，其中分析图像/视频帧以准确地确定HMD的定位。此外，在HMD内分析图像/视频以参照现实世界场景中的其他对象确定HMD的定位、取向、方向。在一种配置中，HMD包括设置在HMD的一个或多个外表面上的策略定位处的(对于例如由气泡2、4和6表示的)LED。例如，LED可设置在HMD的前部块单元110a(例如，本文还称为光学块)的四个角落上，并且两个LED设置在HMD110的后/背部分110b上。后部分110b设置在可调整带单元上。HMD还可包括其他表面，诸如允许用户安全且可靠地将HMD捆束在用户头部上的110c和110d。在一些实施方案中，前部LED被配置成部分设置在前表面上，并且部分设置在于前表面的每一侧上设置的侧表面上，以限定部分L形状、弯曲的L形状、回旋镖形状、弯曲矩形、曲线、点、圆形、图案或其组合。标记不局限于LED但是还可包括灯、红外线标记、彩色编码标记、反光标记等。图像/视频帧的分析被用来计算HMD的不同标记与彼此并且与一个或多个参考点的相对距离。计算的距离被用来在使用期间确定HMD周围的体积和体积的变化，以更准确地限定HMD的位置。此外，分析由各种传感器捕获的视频帧/图像以确定位置，包括各种标记的移动的取向、定位、方向，以更精确地确定佩戴HMD的用户的移动或位置的方向。应注意，HMD周围的体积可保持不变，而各种标记的定位、取向和方向在使用期间例如当佩戴HMD的用户旋转时可改变。视频帧/图像的分析将提供HMD的定位、方向和取向的更精确测量。作为安全预防，分析HMD的移动。当所述移动超过某一预定义阈值或者被确定是不安全(例如，用户向后跌倒)时，可产生信号以引起HMD的显示屏幕上当前正呈现的交互场景的中断。可替代地，可产生某个其他形式的警告以对用户发出他们可能正以不安全的方式移动的信号。
HMD被配置来例如在HMD的显示部分处提供视频游戏的交互场景的视图。佩戴HMD的用户将能够在任何方向上移动他的或她的头部以观看交互场景的其他部分，并且基于用户的头部移动提供输入以在呈现的虚拟交互场景中四处移动。在一个实施方案中，以丰富的三维(3D)格式呈现虚拟交互场景。在一种配置中，HMD被配置来与客户端计算机系统106通信，所述客户端计算机系统106呈现被显现给HMD的内容。在另一种配置中，可使用云游戏基础架构112从一个或多个远程服务器向HMD流式传输所述内容(例如，游戏、电影、视频、音频、图像、多媒体等)。在一些实例中，来自远程服务器的内容被下载至客户端系统并随后传送至HMD用于呈现。在其他实例中，所述内容被直接从远程服务器流式传输至HMD用于呈现。
当佩戴HMD的用户面对着图像/深度传感器摄像机时，摄像机应当能够观察到设置在HMD110的正面中的所有LED和/或标记。可替代地，摄像机应当能够跟踪设置在HMD110的正面中的至少一个LED和/或标记。在客户端系统处可获得的HMD的几何模型例如可由客户端系统上执行的程序(诸如游戏或其他程序)访问，以确定当佩戴HMD时用户的头部(相对于摄像机)的深度和取向。例如，设置在HMD的前表面的角落(例如，描绘成矩形形状轮廓)上的四个LED和设置在HMD的后表面中的两个LED可通过捕获图像/视频帧来跟踪，以确定用户是否向下、向上或者向侧面观看。除了或者代替LED，设置在HMD的整个不同外表面上的其他标记元件还可以被用来基于用户的呈头部移动形式的动作确定由用户佩戴的HMD的取向、方向、定向等。
图8示出根据一个实施方案的在使用期间佩戴HMD110的用户的实例。在这个实例中，使用从由摄像机108捕获的图像/视频帧提取的图像数据802来跟踪HMD的位置。在一些实施方案中，除了跟踪HMD的位置，也可跟踪由用户握持的并且用来为HMD上所呈现的内容提供输入的控制器。如图8中所述，使用从由摄像机108捕获的视频帧提取的图像数据804来跟踪控制器。图8示出HMD通过电缆806连接到计算系统(例如客户端装置)106的示例性配置。电缆806能够在HMD与客户端计算系统106之间传输丰富的媒体数据和信号。在一个实施方案中，HMD通过电缆806获得功率。在替代实施方案中，用于HMD的功率可通过连接到电源的另一个电缆获得。在再一实施方案中，HMD可具有可再充电的电池，以便避免额外的电源线。
图9示出用来当用户接近现实世界对象、场景边缘、进入其他玩家的游戏区域或者远离客户端装置转动/移动时，基于用户动作同时观察HMD的显示部分上的交互场景来向用户(或玩家)提供警告的系统的实施方案。所述系统还可被用来基于用户动作调整HMD的显示部分上所呈现的内容。图9中示出的实施方案示出在视频游戏的交互游戏过程中参与的两个玩家。来自视频游戏的交互场景在两个玩家的相应的HMD的显示部分上呈现。用于视频游戏的交互场景由客户端装置提供，诸如游戏机(图9中未示出)，其中通过网络202从(执行游戏的)游戏服务器204执行或下载游戏至游戏机并将游戏呈现在HMD上。可替代地，可通过网络202直接将交互场景从游戏服务器204流式传输至HMD110’。交互场景呈现在相应的HMD的显示部分中。
HMD和由玩家握持的控制器的位置由一个或多个图像传感器、惯性传感器和/或深度传感器来跟踪。图像/视频捕获相应玩家的动作，诸如操作控制器的手的移动、HMD和/或控制器的包括定位、方向和取向的位置上的改变。分析捕获的图像/视频帧以通过确定各种标记的定位来检测每个玩家的HMD和/或控制器的位置，所述标记诸如由每个HMD上的LED(1、2、3、4(未示出)、5和6)限定的标记。在一个实施方案中，客户端装置(诸如游戏机106)内的处理器接收设置在每个HMD上的标记的捕获的图像/视频帧，并分析其中所捕获的内容以基于设置在相应HMD上的标记的捕获的图像/视频帧识别HMD的位置。还可执行设置在控制器上的标记的类似分析以正确地确定控制器的位置。在一些实施方案中，每个HMD中的处理器可用来独立地并且相对于彼此地提供关于相应HMD的移动的另外数据。因此，HMD的处理器收集图像/视频数据，并将其传输至执行分析的客户端装置106。在一些实施方案中，还可通过获得和分析其他HMD上的标记的图像/视频帧并计算由第一玩家佩戴的HMD相对于由第二玩家佩戴的HMD的相对位置来类似地计算出第一HMD相对于第二HMD的相对位置。基于图像/视频帧，可建立玩家A和玩家B各自的游戏区域，如图9中所示。
客户端装置106(在一些实施方案中还由参考数字120(图1)提及)包括多个模块，所述多个模块被用于分析由各种传感器捕获的图像/视频帧内的数据、识别有待在HMD的显示部分处呈现的适当内容并且将所述适当内容传输至HMD。例如，客户端装置106中的HMD数据处理模块905被用于分析从各种传感器接收的图像/视频帧，并确定由用户佩戴/握持的HMD和/或控制器的位置。来自HMD数据处理模块905的分析信息与客户端装置106内的警告处理模块906共享。在一个实施方案中，来自分析的信息可识别玩家到现实世界对象的接近度、玩家到场景边缘的接近度、玩家到另一个玩家的接近度等。例如，在图9中示出的实例中，在与视频游戏的交互期间，玩家A可闯入玩家B的游戏区域或反之亦然。在这个实例中，分析由分布在相应HMD内并且遍及两个玩家的现实世界场景的传感器捕获的两个玩家的各种图像/视频，以确定玩家A闯入玩家B的游戏区域(或反之亦然)的范围。取决于视频游戏中玩家的动作，这种闯入可能导致第一玩家潜在地伤害第二玩家，或反之亦然。为了防止对玩家的任何伤害并且为了提供安全的游戏体验，可由警告处理906使用图像/视频帧的分析信息以产生用于警告相应玩家的信号。
除了分析图像/视频信息的HMD处理模块，游戏逻辑模块901也可分析图像/视频并将分析信息与游戏动作触发器模块902共享。在这个实例中，HMD处理模块905与游戏逻辑模块901共享图像/视频信息。通过游戏逻辑模块的分析可针对当前执行的视频游戏，并且可参照游戏内容来执行。例如，游戏逻辑模块可相对于游戏强度内容分析在客户端装置处接收的图像/视频帧。来自游戏逻辑模块901的信息可由游戏动作触发器模块902使用，以发起适当的游戏特定触发器动作。游戏特定触发器动作可包括识别其是高强度游戏或低强度游戏的标志。游戏特定触发器动作可提供给警告处理模块906，用于产生用于传输至HMD的适当的警告信号。
在一个实施方案中，将由各种传感器捕获的图像/视频帧在网络202上传输至游戏服务器204，其中分析图像/视频帧并将分析数据传输至游戏逻辑模块901用于与游戏动作触发器902共享。基于分析数据，游戏动作触发器902确定发起哪一种动作触发。
除了由游戏逻辑模块901执行的游戏特定分析，系统数据处理模块903还可用来分析从HMD数据处理模块接收的图像/视频帧，以提供系统特定动作触发。例如，系统数据处理模块903可在系统设置的情况下分析图像/视频帧，并为系统动作触发器模块904提供适当数据。系统动作触发器904确定发起哪一种动作触发。来自系统动作触发器904的数据也被传输至警告处理模块906。警告处理模块906接收游戏特定动作触发和系统特定动作触发以及来自HMD数据处理模块905的数据，并产生用于HMD处理器的警告信号。由警告处理模块906产生的警告信号通过HMD数据处理模块905传输至HMD。在HMD数据处理模块905中，信号被用来确定在玩家A或玩家B或二者的HMD的显示部分处是否需要做出对内容的任何调整。如果需要做出对内容的任何调整，那么HMD数据处理模块905将传输适当的数据内容，以中断在HMD的显示部分上正呈现的交互场景。在一些实施方案中，适当的数据内容可将警告传达给佩戴HMD的玩家。所述警告可以是通知玩家基于由用户佩戴的HMD的移动在所述玩家附近所检测到的现实世界环境状况。在一些实施方案中，所述警告可通知玩家基于由玩家佩戴的HMD的移动在所述玩家附近所检测到的现实世界环境安全状况的严重程度。例如，如果玩家A移动到玩家B的游戏区域中，那么可将警告信号引导至玩家A的HMD，以使玩家A知道他/她正闯入玩家B的游戏区域。警告信号可以是在玩家A的HMD的显示部分处呈现的文本警告的形式，如图9中所示，而玩家B的HMD将继续呈现视频游戏的交互场景。在一个实施方案中，取决于视频游戏的强度，文本警告可在玩家A的HMD处呈现在前景中，而视频游戏的交互场景继续呈现在背景中。在这个实施方案中，可减弱交互场景的亮度级，并且明亮地显现出文本警告。在一个实例中，所述减弱取决于游戏强度是以渐进的方式完成的，以便避免使玩家迷失方向感。除了或代替文本警告，可以触觉格式、音频格式等提供警告。
图10示出用于确定HMD和/或控制器的位置的示例性实施方案。在这个实施方案中，一个或多个图像传感器和/或深度传感器被用来确定由用户佩戴的HMD周围的体积和或由用户握持的控制器周围的体积。HMD周围的体积例如可使用深度传感器108(诸如立体摄像机)确定，所述深度传感器108在图像/视频中跟踪设置在由玩家佩戴的HMD的外表面上的各种标记元件的定位，并使深度方面与所述图像/视频相关联。还可类似地确定控制器周围的体积。如图10中所示，深度传感器108可确定HMD周围的体积303和控制器周围的体积305。所述体积可用来更精确地确定HMD和/或由玩家握持的控制器的位置。
图10A和图10B示出HMD数据处理模块如何使用HMD周围的体积和/或控制器周围的体积来确定位置，诸如佩戴/握持HMD/控制器的用户的取向、定位、方向。HMD数据处理模块可确定玩家(即用户)当玩视频游戏时是就座还是站立。视频游戏在玩家的位置上可具有某些限制。例如，对于高强度游戏，视频游戏可能需要玩家在游戏过程期间就座，来避免玩家迷失方向。当玩家在就座的时候开始玩视频游戏并且在游戏过程期间站立时，游戏处理模块通过确定HMD和/或控制器的海拔变化可能能够检测到用户的位置变化。基于游戏限制以及HMD和/或控制器的海拔变化，可产生警告信号。为了确定海拔变化，计算出由玩家佩戴的HMD的初始位置。如图10A中所示，图像传感器/深度传感器确定限定了HMD周围的体积303的一个或多个变量。例如，图像传感器/深度传感器可以被用来确定针对围绕HMD的区域的高度hh(其中hh＝h4-h3)、深度(dh)和宽度wh(其中wh＝w1-w2)，并且HMD周围的体积可以被计算为hh、dh和wh的函数。类似地，可通过确定控制器104周围的区域的高度hc(其中hc＝h2-h1)、深度(dc)和宽度wc(其中wc＝w1-w2)来确定控制器周围的体积，并且控制器104周围的体积305可以被计算为hc、dc和wc的函数。为了简单的目的，控制器周围的区域的宽度示出为与HMD周围的区域的宽度相同。应注意，用于控制器周围的体积的变量(即宽度、高度和深度)可以不同于用于HMD周围的体积的变量。
当玩家通过就座改变他的位置时，例如如图10B中所示，通过图像/深度传感器检测HMD的海拔变化，并且通过HMD数据处理模块为HMD计算新体积。在这个实例中，与高度有关的变量已改变，并且使用由图像/深度传感器捕获的数据来计算出HMD的新高度hh’(其中hh’＝h4’-h3’)，并且HMD的新体积被计算为wh、dh、hh’的函数。在这个实例中，控制器周围的体积(由用于计算hc的高度h1、h2和用于计算wc的宽度w1、w2限定)可以保持不变。在替代实例中，控制器周围的体积也可以改变，并且因此可使用控制器的相应高度和/或宽度变化来为控制器计算新体积。基于由图像/视频帧捕获的玩家的位置变化，HMD数据处理模块905可发送数据以调整HMD上所呈现的内容和/或为玩家提供警告。警告可包括对玩家改变他的定位/位置等的请求。
图10C示出在本发明的一个实施方案中基于玩家的动作来计算HMD/控制器的位置变化。诸如深度感测摄像机、视频摄像机等的外部摄像机115可以被用来在不同时间跟踪由玩家佩戴的HMD与由玩家握持的控制器的相对位置。HMD数据处理模块使用来自摄像机115的图像以检测HMD/控制器的位置变化。通过计算HMD/控制器在时间t0处的初始位置(由‘h1’限定)和HMD/控制器在时间t1处的位置(由‘h2’限定)来检测变化。HMD数据处理模块还确定两个位置之间的差值(h1-h2)是否超过预定义阈值。预定义阈值可设置成允许由玩家佩戴的HMD的位置上的一些变化，所述变化可能由玩家向上、向下或向侧面看所引起。
图11A至图11E示出示例性实施方案，其中用户取向变化可能引起在佩戴HMD的用户附近的环境安全状况变化。基于通过跟踪确定的在用户附近检测到的环境安全状况的严重程度，可跟踪HMD的取向变化并产生警告信号和/或传输数据内容以中断玩家的HMD上呈现的交互场景。例如，图11A示出使用控制器与游戏机106上执行的视频游戏交互的佩戴HMD的用户。视频游戏的交互场景在HMD的显示部分上呈现。控制器处的用户交互被无线传输至游戏机106，并且HMD移动由HMD中的处理器处理，并且经处理的内容通过电缆806传输至游戏机106。来自控制器和HMD的输入用作对视频游戏的用户输入。游戏机基于由用户提供的输入来更新HMD处呈现的交互游戏场景。应注意，在各种实施方案中，用户和玩家可交换地用于是指与HMD的显示部分上显现的内容主动交互的人。所述内容可以是视频游戏、交互应用、社交交互流等的交互游戏场景。在图11A中，由用户佩戴的HMD可使用标记元件来跟踪，诸如LED(例如由参考数字1至6表示)、视觉标记、红外线标记等，并且其可从跟踪在时间t0处佩戴HMD的用户正面向前朝向执行视频游戏的系统(例如游戏机12)的图像/深度传感器115来确定。在游戏过程期间，用户可以开始转身。由于旋转，用户可在时间t1处向右转，如图11B中所示。将HMD连接到游戏机/客户端装置的电缆806慢慢开始缠绕住用户，从而导致对用户的潜在安全危害。当用户继续旋转时，用户向右转并在时间t2处远离系统的图像/深度传感器面朝后，如图11C中所示，并在时间t3处面朝左，如图11D中所示。电缆806继续缠绕住用户。如果用户继续转身，电缆806可能继续缠绕住用户的颈部和/或身体，如图中11E所示，其中示出电缆已缠绕住用户颈部两圈，这可能引起对用户的潜在危害。用户当他/她可能完全沉浸于视频游戏中时可能甚至未意识到这个缠绕。此外，如图11E中可以看出，电缆的缠绕导致电缆变拉紧。为了防止电缆变成对用户的安全危害，从而引起对用户的身体伤害和/或导致HMD的未插接，HMD数据处理模块可检测HMD的位置变化，识别环境安全状况并自动提供适当的警告和/或数据以调整/中断在HMD的显示部分上所呈现的内容。例如，可通过HMD的惯性传感器(一个或多个陀螺仪和一个或多个加速仪)检测旋转动作。HMD数据处理模块可分析由用户佩戴的HMD的位置数据以调整内容和/或提供警告消息。
图11F示出在一个示例性实施方案中当用户执行某些动作同时仍沉浸于视频游戏的游戏过程中时可能降临到用户头上的又一危险。在这个实施方案中，玩视频游戏的用户(在时间处t0)可转过身并远离游戏机行走(如在图11F中的时间t1和t2处的用户位置所示出)，同时继续与视频游戏交互。使用例如设置在HMD的外表面周围的LED跟踪玩家的位置。在图11F中示出的实施方案中，通过跟踪设置在HMD的前部分110a和后部分110b上的LED1至LED6来确定用户初始位置。尽管图11F仅示出前部分110a上的LED2和LED4，但应注意同样跟踪设置在HMD的其他侧上的LED1和LED3。可通过HMD表面上的LED1至LED6的位置变化确定用户远离游戏机的移动。例如，当LED2、LED4、LED6远离摄像机108的视角移动时，诸如LED1、LED3和LED5的其他标记进入摄像机108的视角。通过跟踪设置在HMD的外表面上的LED，可以确定用户已从面向摄像机转为背向摄像机并朝向一段楼梯走去，例如同时完全沉浸在游戏过程中。HMD数据处理模块可检测与HMD有关的数据变化，诸如由用户佩戴的HMD上的各种LED的位置、海拔、取向、方向、定位的变化。变化的数据可用来确定用户位置并提供适当的警告消息。例如，在时间t0处，检测到佩戴HMD的用户的位置上没有变化并且因此来自视频游戏的交互游戏场景继续在HMD的显示部分处呈现。在时间t1处，HMD数据处理模块检测到用户远离游戏机转身和行走，并且响应于用户动作产生识别环境安全的严重程度等级的警告信号并发送用于在HMD上呈现的适当数据。当警告信号识别出低的严重程度等级时，显现描述严重程度等级的警告消息以增强HMD上呈现的交互游戏场景。在时间t2处，当用户继续朝向楼梯离去时，HMD数据处理模块确定用户附近的环境安全状况的严重程度，并传输来自用户的紧邻处的现实世界对象的图像以及指示高严重程度等级的适当的警告消息用于在HMD上呈现。由于高严重程度等级，图像的传输引起HMD上呈现的交互游戏场景中断和HMD上的现实世界对象的图像再现。此外，还呈现限定环境安全状况的严重程度的警告消息。
由用户佩戴的HMD的状况(即位置、海拔、取向、方向、定位)变化不局限于跟踪LED而是可包括通过使用一个或多个图像传感器、深度传感器和/或惯性传感器(即一个或多个陀螺仪、一个或多个加速仪)或者它们的任何组合来跟踪设置在HMD和控制器的不同外表面上的诸如灯、视觉标记、红外线标记元件等的标记元件的移动和/或旋转。当检测到HMD和/或控制器的位置变化超过预定义阈值，可将HMD数据处理模块预编程为停止视频游戏、暂停游戏、中断HMD上呈现的游戏过程/交互场景并呈现与佩戴HMD的用户附近的环境有关的数据。
应注意，可通过HMD的发起系统特定动作触发的操作系统代码和发起游戏特定动作触发的游戏代码两者来监测状况变化。因此，产生的警告消息是根据系统特定动作触发和游戏特定动作触发。因此，在视频游戏的执行中所涉及的各种代码/代码模块监测由用户佩戴/握持的HMD和/或控制器的状况(即取向、位置、定位、方向等)变化，以产生适当警告消息并传输用于警告用户并且调整HMD上所呈现的内容的适当数据，所述代码/代码模块诸如游戏代码模块、来自HMD的操作系统(OS)的代码、来自HMD的应用程代码、来自HMD/OS的代码的组合、固件、游戏机上的软件、由游戏机或应用服务器执行的代码或者云服务器上执行的代码等。传输的数据可用来逐渐地调整HMD上所呈现的内容，以使得用户能够完全沉浸于视频游戏中或者慢慢地从视频游戏中释放，以避免使用户迷失方向感。警告消息可以是呈音频信号、声音信号、文本信号、图形信号(动态或静态)或者在HMD/控制器的使用期间可提供给用户从而警告用户安全问题的任何其他形式的信号的形式。如果警告信号不足以防止安全问题产生，那么HMD可以自动地转变退出HMD上当前呈现的交互场景。
通过各种实施方案的详细描述，现将参考图12描述一种用于调整内容和/或向用户提供警告的方法。方法在操作1210处开始，其中执行游戏。可在客户端装置上、在游戏机上或者在游戏云中的游戏服务器上执行游戏。游戏的执行引起将游戏的交互场景流式传输至由用户佩戴的头戴式显示器(HMD)用于呈现。如操作1220中所示，在用户与游戏交互时检测由用户佩戴的HMD的位置变化。可通过使用图像传感器、深度传感器或惯性传感器中的任何一种或它们的组合监测分布在HMD的整个各种外表面上的一个或多个标记的定位、取向、方向来检测位置变化。可替代地，可使用从分布在HMD内的惯性传感器获取的数据检测位置变化。当检测到HMD的位置变化时，评估所述变化，如操作1230中所示。可由HMD内的代码模块、由提供用于在HMD处呈现游戏的交互场景的数据的客户端装置上执行的游戏的游戏代码模块、由HMD的、客户端装置的或者游戏云服务器的操作系统执行所述变化的评估。如前文所描述的，所述变化的评估可包括确定位置变化是否超过预定义阈值。如果HMD位置变化超过预定义阈值，那么在客户端装置处由代码模块产生信号。基于客户端装置处产生的信号，将数据传输至HMD以引起HMD上呈现的内容的中断和/或调整，如操作1240中所示。对内容的调整可以是在交互游戏场景内容旁边将警告消息提供给佩戴HMD的用户、调整内容以减弱亮度、转变退出所述内容、呈现来自用户附近的现实世界对象/场景的图像而不是交互游戏场景等。对内容的调整取决于信号可以是渐进的，以允许用户在已将视频游戏中断之后从视频游戏脱离或者慢慢沉浸回视频游戏中。
因此，公开了用于警告头戴式显示器的用户的技术。各种实施方案能够以多种方式检测HMD和/或控制器的海拔位置，所述方式包括HMD(例如LED)、控制器LED、通过控制器和/或LED的运动的高度比较。在一些情况下，诸如高强度视频游戏的一些游戏可能需要用户当玩游戏时就座。对于这种游戏，系统可监测以确定用户当玩游戏时何时站起来。通过监测变量(诸如高度)变化使得可进行这种监测并将适当的警告或中断发给交互游戏场景。系统还可例如通过使用陀螺仪、加速仪检测HMD的运动，检测HMD的LED或者控制器的LED的旋转，或者检测它们中的两个或更多个的组合来确定HMD的绳索何时拉动太多次、拉动太紧或者缠绕住用户。一旦检测到这种信号或状况，系统提供适当警告和/或数据以转变退出游戏场景。由HMD的操作系统代码、特定游戏的代码、游戏机上的软件、由游戏机执行的代码、游戏的代码执行或者云服务器上执行的代码来监测所述状况。
虽然已参照特定示例性实施方案描述了实施方案，但是在不背离本申请的较宽泛的精神和范围的情况下，将明显的是，可对这些示例性实施方案做出各种修改和变化。因此，本说明书和附图将视为说明性的意义，而非限制性的意义。
图13示出可用来实现本发明的一些实施方案的硬件和用户接口。图6示意性地示出PlayStation娱乐装置的整体系统架构。PlayStation的其他版本可包括更多或更少特征。提供系统单元1300，其中各种外围装置可以连接到系统单元1300。系统单元1300包括：Cell处理器1302；动态随机存取存储器(XDRAM)单元1304；具有专用视频随机存取存储器(VRAM)单元1308的现实合成器图形单元1306；以及I/O桥1310。系统单元1300还包括用于从磁盘1312a读取的Blu光盘光盘读取器1312和可移除吸入式硬盘驱动器(HDD)1314，所述Blu光盘光盘读取器和可移除吸入式硬盘驱动器可通过I/O桥1310访问。任选地，系统单元1300还包括用于读取压缩闪存卡、Memory存储卡等的存储卡读取器1301，所述存储卡读取器类似地可以通过I/O桥1310访问。
I/O桥1310还连接到六个通用串行总线(USB)2.0端口1316；千兆以太网端口1318；IEEE802.11b/g无线网络(Wi-Fi)端口1320以及能够支持达七个蓝牙连接的无线链接端口1322。
在操作中，I/O桥1310处理所有无线、USB和以太网数据，包括来自一个或多个游戏控制器110和1324的数据。例如，当用户正在玩游戏时，I/O桥1310通过蓝牙链接接收来自游戏控制器110和1324的数据并将其引导到Cell处理器1302，所述Cell处理器相应地更新游戏的当前状态。
无线、USB和以太网端口还提供用于除游戏控制器110和1324之外的其他外围装置的连接性，诸如：遥控器1326；键盘1328；鼠标1330；诸如Sony娱乐装置的便携式娱乐装置1332；诸如眼睛摄像机的视频摄像机1334；形状对象1336；以及麦克风1338。因此，此类外围装置原则上可无线连接到系统单元1300；例如，便携式娱乐装置1332可通过Wi-Fi对等式连接通信，而形状对象1336可通过蓝牙链接通信。
提供这些接口意味着PlayStation3装置潜在地也与其他外围装置兼容，所述其他外围装置诸如数字视频录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、互联网协议(IP)语音电话、移动电话、打印机以及扫描仪。另外，传统存储卡读取器1340可通过USB端口1316连接到系统单元，从而使得能够读取由或PlayStation装置使用的类型的存储卡。
游戏控制器110和1324可操作来通过蓝牙链接与系统单元1300进行无线通信，或连接到USB端口，从而还提供了藉以为游戏控制器110和1324的蓄电池充电的电力。游戏控制器110和1324还可包括存储器、处理器、存储卡读取器、永久存储器(如快闪存储器)、光发射器(如球面照射部分)、发光二极管(LED)、或红外灯、用于超声通信的麦克风和扬声器、声室、数码摄像机、内部时钟、面对游戏机的可辨识形状、以及使用诸如WiFiTM等协议的无线通信等。可辨识形状可为实质上含以下形状的形状：球体、立方体、平行四边形、长方体、圆锥体、棱锥体、英式足球体、美式足球体或橄榄球体、未完成球体、球体的部分、截棱锥、截头圆锥体、棒球棍、截头立方体、多面体、星形等、或这些形状中的两个或更多个的组合。
游戏控制器1324是被设计来供两只手使用的控制器，并且游戏控制器110是具有球形附件的单手控制器。除一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器对三维位置确定敏感。因此，除常规的按钮或操纵杆命令之外或取而代之，游戏控制器的用户的姿态和移动可转换为游戏的输入。可选地，如Sony便携式装置的其他支持无线的外围装置可用作控制器。在Sony便携式装置的情况下，可在所述装置的屏幕上提供额外的游戏或控制信息(例如，控制指令或实况数目)。还可以使用其他替代性或补充性控制装置，如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或定制的控制器，诸如用于快速反应问答游戏的单个或若干大按钮(也未示出)。
遥控器1326也可操作来通过蓝牙链接与系统单元1300无线通信。遥控器1326包括适于BluRayTM光盘BD-ROM读取器1312的操作并且适于导览光盘内容的控件。
除了常规预刻录CD和可刻录CD以及所谓的超级音频CD之外，BluRayTM光盘BD-ROM读取器1312可操作来读取与PlayStation和PlayStation2装置兼容的CD-ROM。除了常规预刻录DVD和可刻录DVD之外，读取器1312也可操作来读取与PlayStation2和PlayStation3装置兼容的DVD-ROM。读取器1312进一步可操作来读取与PlayStation3装置兼容的BD-ROM，以及常规的预刻录蓝光光盘和可刻录蓝光光盘。
系统单元1300可操作来通过音频和视频连接器将由PlayStation3装置通过现实合成器图形单元(RSX)1306产生或解码的音频和视频提供到显示器和声音输出装置1342，如具有显示器1346和一个或多个扬声器1348的监视器或电视机或独立扬声器1350。在一个实施方案中，语音和视线输入被利用来根据用户的POG来朝向特定音频扬声器播放声音。音频连接器1358可包括常规的模拟和数字输出，而视频连接器1360可不同地包括分量视频、S视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可呈诸如PAL或NTSC的格式，或呈720p、1080i或1080p的高清晰度。
音频处理(产生、解码等)由Cell处理器1302执行。PlayStation3装置的操作系统支持5.1环绕声、剧场环绕(DTS)和来自光盘的7.1环绕声的解码。
在本实施方案中，视频摄像机1334包括单个电荷耦合装置(CCD)、LED指示器以及基于硬件的实时数据压缩和编码设备，以使得可以诸如基于内部图像的MPEG(运动图像专家组)标准的适当格式来传输压缩后的视频数据，以用于由系统单元1300解码。摄像机LED指示器被布置来响应于来自系统单元1300的适当控制数据而发光，例如以便表明不利的照明状况。视频摄像机1334的实施方案可通过USB、蓝牙或者Wi-Fi通信端口以不同的方式连接到系统单元1300。视频摄像机的实施方案可包括一个或多个关联麦克风，并且也能够传输音频数据。在视频摄像机的实施方案中，CCD可以具有适合于高清晰度视频捕捉的分辨率。在使用中，视频摄像机所捕获的图像可例如并入游戏内或解释为游戏控制输入。在另一实施方案中，摄像机为适于检测红外光的红外摄像机。
一般来说，为了通过系统单元1300的通信端口中的一个与诸如视频摄像机或遥控器的外围装置进行成功的数据通信，应提供诸如装置驱动器的适当软件片段。装置驱动器技术是众所周知的并且在此将不详细描述，只是说本领域技术人员应意识到，在所描述的本发明的实施方案中可能需要装置驱动器或类似的软件接口。
图14是根据本发明的各种实施方案的游戏系统1100的框图。游戏系统1100被配置来通过网络1115提供视频流到一个或多个客户端1110。游戏系统1100通常包括视频服务器系统1120和任选的游戏服务器1125。视频服务器系统1120被配置来按最小服务质量提供视频流到一个或多个客户端1110。例如，视频服务器系统1120可接收改变视频游戏的状态或视频游戏内的视点的游戏命令，并以最小的滞后时间向客户端1110提供反映此状态改变的更新视频流。视频服务器系统1120可被配置来提供呈广泛多种替代视频格式(包括尚未限定的格式)的视频流。此外，视频流可包括经配置用于以广泛多种帧速率向用户呈现的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒1120帧。但在本发明的替代实施方案中包括较高或较低的帧速率。
本文中被个别称作1110A.、1110B.等的客户端1110可包括头戴式显示器、终端、个人计算机、游戏机、平板计算机、电话、机顶盒、信息亭、无线装置、数字垫、独立装置、手持式游戏装置和/或类似者。通常，客户端1110被配置来接收所编码的视频流，解码视频流，以及将所得视频显现给用户，例如游戏的玩家。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端1110成一体的显示器上或在诸如监视器或电视等单独装置上将视频流显现给用户。客户端1110任选地被配置来支持一个以上游戏玩家。例如，游戏机可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频流，或单个视频流可包括特别针对每个玩家所产生(例如，基于每个玩家的视野点所产生)的帧的多个区。客户端1110任选地在地理上分散开。游戏系统1100中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏装置”用于指用于玩游戏的装置。在一些实施方案中，玩游戏装置可以指多个计算装置，其进行合作来向用户传达游戏体验。例如，游戏机和HMD可与视频服务器系统1120合作来传递通过HMD观看的游戏。在一个实施方案中，游戏机从视频服务器系统1120接收视频流，且游戏机将视频流或对视频流的更新转发给HMD以便呈现。
客户端1110被配置来通过网络1115接收视频流。网络1115可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络和/或类似网络。在典型的实施方案中，通过诸如TCP/IP或UDP/IP的标准协议来传达视频流。或者，通过专有标准来传达视频流。
客户端1110的典型实例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是众所周知的，且取决于所使用的特定编码方案而变化。
客户端1110可(但不需要)还包括被配置用于修改接收到的视频的系统。举例来说，客户端可被配置来：执行进一步呈现，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似操作。例如，客户端1110可被配置来接收各种类型的视频帧，诸如I-帧、P-帧和B-帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1110的构件被配置来对视频流执行进一步呈现、阴影处理、转换成3-D或类似操作。客户端1110的构件任选地被配置来接收一个以上的音频或视频流。客户端1110的输入装置可包括：例如，单手游戏控制器、双手游戏控制器、姿势辨识系统、注视辨识系统、语音辨识系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、摄像机、还未开发出的输入装置和/或类似装置。
客户端1110所接收的视频流(和任选的音频流)是由视频服务器系统1120产生并提供的。如在本文别处进一步描述，此视频流包括视频帧(以及音频流包括音频帧)。视频帧被配置(例如，其在适当数据结构中包括像素信息)以在很大程度上有助于向用户显示图像。如本文所使用，使用术语“视频帧”来指主要包括被配置来造成(例如实现)图像展示给用户的信息的帧。本文中关于“视频帧”的大部分教义也可以适用于“音频帧”。
客户端1110通常被配置来接收来自用户的输入。这些输入可包括被配置来改变视频游戏的状态或以其他方式影响玩游戏的游戏命令。游戏命令可通过使用输入装置来接收和/或可通过计算在客户端1110上执行的指令而自动地产生。所接收的游戏命令是通过网络1115从客户端1110传达到视频服务器系统1120和/或游戏服务器1125。例如，在一些实施方案中，游戏命令通过视频服务器系统1120而传达到游戏服务器1125。在一些实施方案中，游戏命令的独立副本是从客户端1110传达到游戏服务器1125和视频服务器系统1120。游戏命令的传达任选地取决于命令的身份。通过用来向客户端1110A提供音频流或视频流的不同路线或通信信道，从客户端1110A任选地传达游戏命令。
游戏服务器1125任选地通过不同于视频服务器系统1120的实体来操作。例如，游戏服务器1125可通过多玩家游戏的发布者操作。在此实例中，视频服务器系统1120任选地被游戏服务器1125看作客户端，且任选地被配置来从游戏服务器1125的视点看起来是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1120与游戏服务器1125之间的通信任选地通过网络1115而发生。因而，游戏服务器1125可以是发送游戏状态信息到多个客户端的现有技术多玩家游戏服务器，所述多个客户端中的一者是游戏服务器系统1120。视频服务器系统1120可被配置来同时与游戏服务器1125的多个实例通信。例如，视频服务器系统1120可被配置来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器1125支持和/或由不同实体发行。在一些实施方案中，视频服务器系统1120的若干地理上分布式实例被配置来向多个不同用户提供游戏视频。视频服务器系统1120的这些实例中的每一个可与游戏服务器1125的相同实例通信。视频服务器系统1120与一个或多个游戏服务器1125之间的通信任选地通过专用通信信道发生。例如，视频服务器系统1120可通过高带宽信道连接到游戏服务器1125，所述高带宽信道专门用于这两个系统之间的通信。
视频服务器系统1120至少包括视频源1130、I/O装置1145、处理器1150和非暂时性存储装置1155。视频服务器系统1120可包括一个计算装置或分布在多个计算装置当中。这些计算设备任选地通过如局域网的通信系统连接起来。
视频源1130被配置来提供视频流，例如，流式传输视频或形成移动图片的一系列视频帧。在一些实施方案中，视频源1130包括视频游戏引擎和呈现逻辑。视频游戏引擎被配置来从玩家接收游戏命令，并基于所接收的命令来维持视频游戏的状态的副本。此游戏状态包括游戏环境中的对象的位置，以及通常包括视野点。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。通常基于游戏规则以及游戏命令(如，移动、转动、攻击、设置焦点、交互、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地设置在游戏服务器1125内。游戏服务器1125可基于从使用地理上分散开的客户端的多个玩家接收到的游戏命令来维持游戏状态的副本。在这些情况下，游戏服务器1125将游戏状态提供给视频源1130，在视频源1130中存储游戏状态的副本并且执行呈现。游戏服务器1125可通过网络1115直接从客户端1110接收游戏命令，和/或可通过视频服务器系统1120接收游戏命令。
视频源1130通常包括呈现逻辑，例如硬件、固件和/或存储在计算机可读介质诸如存储装置1155上的软件。这个呈现逻辑被配置来基于游戏状态创建视频流的视频帧。所述呈现逻辑的全部或部分任选地安置在图形处理单元(GPU)内。呈现逻辑通常包括被配置来用于确定对象之间的三维空间关系和/或用于基于游戏状态和视野点来应用适当的纹理等的处理级。呈现逻辑产生原始视频，然后常常对原始视频进行编码，然后传达给客户端1110。例如，可根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以便传达到远程装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768，但是可使用任何其他帧大小。帧速率是每秒的视频帧数。视频流可包括不同类型的视频帧。举例来说，H.264标准包括“P”帧和“I”帧。I-帧包括用来刷新显示装置上的全部宏块/像素的信息，而P-帧包括用来刷新所述宏块/像素的子集的信息。P-帧的数据大小通常小于I-帧。如本文中所使用，术语“帧大小”意在指帧内的像素数。术语“帧数据大小”是用来指存储所述帧所需的字节数。
在替代实施方案中，视频源1130包括诸如摄像机的视频录制装置。此摄像机可用来产生可以包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所呈现的图像与使用静态摄像机或视频摄像机录制的图像两者。视频源1130还可包括被配置来存储将要包括在视频流中的先前录制视频的存储装置。视频源1130还可包括被配置来检测对象(例如，人)的运动或位置的运动或定位感测装置，以及被配置来基于所检测的运动和/或位置来确定游戏状态或产生视频的逻辑。
视频源1130任选地被配置来提供被配置来放在其他视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如网络摄像机视频)。在客户端1110A包括触摸屏接口或注视检测接口的实施方案中，所述叠加可包括虚拟键盘、操纵杆、触摸板和/或类似物。在叠加的一个实施例中，将玩家的语音叠加在音频流上。视频源1130任选地还包括一个或多个音频源。
在视频服务器系统1120被配置来基于来自一个以上的玩家的输入来维持游戏状态的实施方案中，每个玩家可具有不同视野点，视野点包括位置和查看方向。视频源1130任选地被配置来基于玩家的视野点给每个玩家提供独立的视频流。此外，视频源1130可被配置来向客户端1110中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1130任选地被配置来提供3-D视频。
I/O装置1145被配置用于视频服务器系统1120，用来发送和/或接收信息，所述信息诸如：视频、命令、对信息的请求、游戏状态、注视信息、装置运动、装置定位、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O装置1145通常包括诸如网卡或调制解调器的通信硬件。I/O装置1145被配置来与游戏服务器1125、网络1115和/或客户端1110通信。
处理器1150被配置来执行本文中讨论的视频服务器系统1120的各种部件内所包括的逻辑，例如软件。例如，处理器1150可用软件指令编程以便执行视频源1130、游戏服务器1125和/或客户端限定器1160的功能。视频服务器系统1120任选地包括处理器1150的一个以上实例。处理器1150还可用软件指令编程，以便执行视频服务器系统1120所接收的命令或协调本文中讨论的游戏系统1100的各种元件的操作。处理器1150可包括一个或多个硬件装置。处理器1150是电子处理器。
存储装置1155包括非暂时性模拟和/或数字存储装置。例如，存储装置1155可包括被配置来存储视频帧的模拟存储装置。存储装置1155可包括计算机可读数字存储装置，例如，硬盘驱动器、光学驱动器或固态存储装置。存储装置1115被配置(例如，借助于适当的数据结构或文件系统)以存储视频帧、人工帧、包括视频帧与人工帧的视频流、音频帧、音频流和/或类似物。存储装置1155任选地分布在多个装置当中。在一些实施方案中，存储装置1155被配置来存储本文中在别处所讨论的视频源1130的软件部件。这些部件可以按需要时随时可以供应的格式来存储。
视频服务器系统1120任选地还包括客户端限定器1160。客户端限定器1160被配置用于远程地确定客户端的能力，诸如客户端1110A或1110B。这些能力可包括客户端1110A本身的能力以及介于客户端1110A与视频服务器系统1120之间的一个或多个通信信道的能力两者。例如，客户端限定器1160可被配置来测试经过网络1115的通信信道。
客户端限定器1160可手动或自动地确定(例如，发现)客户端1110A的能力。手动确定包括与客户端1110A的用户通信并请求用户提供能力。例如，在一些实施方案中，客户端限定器1160被配置来在客户端1110A的浏览器内显示图像、文本和/或类似物。在一个实施方案中，客户端1110A是包括浏览器的HMD。在另一实施方案中，客户端1110A是具有浏览器的游戏机，所述浏览器可显示在HMD上。所显示的对象请求用户输入客户端1110A的信息，诸如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器1160传达回用户所输入的信息。
自动确定可例如通过在客户端1110A上执行代理程序和/或通过向客户端1110A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令，如java脚本。代理程序任选地由客户端限定器1160提供。在各种实施方案中，代理程序可发现：客户端1110A的处理能力、客户端1110A的解码和显示能力、客户端1110A与视频服务器系统1120之间的通信信道的滞后时间可靠性和带宽、客户端1110A的显示器类型、客户端1110A上存在的防火墙、客户端1110A的硬件、在客户端1110A上执行的软件、客户端1110A内的注册表项和/或类似物。
客户端限定器1160包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1160任选地安置在与视频服务器系统1120的一个或多个其他元件分开的计算装置上。例如，在一些实施方案中，客户端限定器1160被配置来确定客户端1110与视频服务器系统1120的一个以上的实例之间的通信信道的特性。在这些实施方案中，客户端限定器所发现的信息可用来确定视频服务器系统1120的哪个实例最适合于向客户端1110中的一个递送流式传输视频。
本发明的实施方案可以通过各种计算机系统配置来实践，包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明的若干实施方案还可以在分布式计算环境中实践，其中由通过基于有线或无线网络加以链接的远程处理装置执行任务。
考虑到以上实施方案，应理解的是，本发明的许多实施方案可采用各种计算机实施的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操作的操作。本文中描述的形成本发明的各种实施方案的部分的任何操作都是有用的机器操作。本发明的若干实施方案还涉及用于执行这些操作的装置或设备。所述设备可出于所要求的目的而专门构造而成，或所述设备可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机器可以与根据本文的教示所编写的计算机程序一起使用，或者可以更方便地构造更专门的设备来执行所要求的操作。
本发明的各种实施方案也可体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储装置，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储装置(NAS)、只读存储器(ROM)、随机存取存储器、紧密光盘ROM(CD-ROM)、可录制CD(CD-R)、可重写CD(RW)、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
尽管以特定顺序描述了所述方法操作，但应理解，其他内务处理操作可以在操作之间执行，或者可以调整操作以使得它们在略微不同的时间发生，或者可以分布在系统中，所述系统允许处理操作以与所述处理相关的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。
尽管为了理解的清楚性目的而略微详细地描述了前述发明，但很显然，可以在所附权利要求的范围内做出某些变化和修改。因此，本发明的实施方案应被认为是说明性而非限制性的，并且本发明的各种实施方案不限于本文所给出的细节，而是可在所附权利要求书的范围和等效物内进行修改。

Claims (20)

1.一种方法，其包括：
执行游戏，所述执行引起所述游戏的交互场景呈现在由用户佩戴的头戴式显示器(HMD)的显示部分上；
在所述用户与所述游戏交互时检测由所述用户佩戴的所述HMD的位置变化；
评估由所述用户佩戴的所述HMD的所述位置变化，当所述变化超过预定义阈值时，所述评估引起信号产生；以及
当产生所述信号时，发送数据以中断在所述HMD的所述显示部分上正呈现的所述交互场景，其中所述发送的数据提供所述信号的描述性上下文，
其中所述方法操作由处理器执行。
2.如权利要求1所述的方法，其中所述描述性上下文识别在佩戴所述HMD的所述用户附近检测到的环境状况。
3.如权利要求1所述的方法，其中所述描述性上下文识别在佩戴所述HMD的所述用户附近检测到的环境安全状况的严重程度。
4.如权利要求3所述的方法，其中发送用于在所述HMD上呈现的所述数据传达警告。
5.如权利要求4所述的方法，其中所述警告基于在佩戴所述HMD的所述用户附近的所述环境安全状况的所述严重程度来识别警告等级。
6.如权利要求4所述的方法，其中当所述警告识别出低的警告等级时，所述发送的数据增强在所述HMD的所述显示部分上正呈现的所述交互场景。
7.如权利要求4所述的方法，其中当所述警告识别出高的警告等级时，所述发送的数据对应于从所述用户附近捕获的现实世界场景，以便允许所述HMD的所述显示部分从所述交互场景转变成所述现实世界场景。
8.如权利要求7所述的方法，其中从所述交互场景到所述现实世界场景的所述转变逐渐地执行。
9.如权利要求1所述的方法，其中所述发送的数据包括基于在佩戴所述HMD的所述用户附近检测的环境安全状况的严重程度的用于增强所述游戏的所述交互场景的数据或用于转变退出所述交互场景的数据。
10.如权利要求1所述的方法，其中发送用于增强所述交互场景的所述数据以音频格式、文本格式、触觉格式、静态图形格式、动画图形格式或它们的任何组合中的一种来发送。
11.如权利要求1所述的方法，其中位置变化包括由所述用户佩戴的所述HMD的取向、方向、定位中的至少一个的变化。
12.如权利要求1所述的方法，其中评估包括，
确定限定所述HMD的所述位置的至少一个变量的变化量。
13.如权利要求12所述的方法，其中所述变量是分散在所述HMD的外表面上的标记元件，并且所述至少一个变量的所述取向变化包括所述标记的取向变化。
14.如权利要求1所述的方法，其中评估包括，
确定限定由所述用户用于与所述游戏交互的控制器的位置的至少一个变量的变化量。
15.一种方法，其包括：
执行游戏，所述执行引起所述游戏的交互场景呈现在由用户佩戴的头戴式显示器(HMD)的显示部分上；
确定由所述用户佩戴的所述HMD周围的体积，所述体积使用笛卡尔空间中的一个或多个坐标来限定；
监测所述用户在所述游戏的游戏过程期间的动作；
当所述动作造成由所述用户佩戴的所述HMD的位置变化时，
评估由所述用户佩戴的所述HMD的所述位置变化，当所述变化超过预定义阈值时，所述评估引起信号产生；以及
当产生所述信号时，发送数据以中断在所述HMD的所述显示部分上正呈现的所述交互场景，其中所述发送的数据提供所述信号的描述性上下文，
其中所述方法操作由处理器执行。
16.如权利要求15所述的方法，其中所述位置变化通过计算限定所述HMD周围的所述体积的所述一个或多个坐标的变化来确定。
17.如权利要求15所述的方法，其中发送用于在所述HMD上呈现的所述数据传达警告。
18.如权利要求17所述的方法，其中所述警告识别警告等级，所述警告等级描述在佩戴所述HMD的所述用户附近检测到的环境安全状况的严重程度。
19.如权利要求15所述的方法，其中所述发送的数据包括基于在佩戴所述HMD的所述用户附近检测的环境安全状况的严重程度的用于增强所述游戏的所述交互场景的数据或用于转变退出所述交互场景的数据。
20.如权利要求15所述的方法，其中所述转变基于在佩戴所述HMD的所述用户附近检测到的环境安全状况的严重程度来逐渐地或快速地执行。
CN201480058815.3A 2013-09-30 2014-09-23 用于头戴式显示器用户的基于摄像机的安全机制 Active CN105705210B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361884900P 2013-09-30 2013-09-30
US61/884,900 2013-09-30
US14/170,470 2014-01-31
US14/170,470 US9729864B2 (en) 2013-09-30 2014-01-31 Camera based safety mechanisms for users of head mounted displays
US14/333,500 US9630105B2 (en) 2013-09-30 2014-07-16 Camera based safety mechanisms for users of head mounted displays
US14/333,500 2014-07-16
PCT/US2014/057041 WO2015048038A2 (en) 2013-09-30 2014-09-23 Camera based safety mechanisms for users of head mounted displays

Publications (2)

Publication Number Publication Date
CN105705210A true CN105705210A (zh) 2016-06-22
CN105705210B CN105705210B (zh) 2021-12-28

Family

ID=52740703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480058815.3A Active CN105705210B (zh) 2013-09-30 2014-09-23 用于头戴式显示器用户的基于摄像机的安全机制

Country Status (7)

Country Link
US (5) US9630105B2 (zh)
EP (1) EP3052209A2 (zh)
JP (4) JP6292686B2 (zh)
CN (1) CN105705210B (zh)
BR (1) BR112016007009B1 (zh)
RU (1) RU2661857C2 (zh)
WO (1) WO2015048038A2 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125927A (zh) * 2016-06-23 2016-11-16 捷开通讯(深圳)有限公司 图像处理系统及方法
CN106325512A (zh) * 2016-08-24 2017-01-11 韩龙潇 一种使用状态下监测周围环境的终端
CN106547353A (zh) * 2016-10-21 2017-03-29 北京小米移动软件有限公司 提醒方法及装置
CN106621320A (zh) * 2016-11-29 2017-05-10 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
WO2018152690A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物的专利信息推送方法以及vr头盔
WO2018152689A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物技术的数据采集方法以及vr头盔
TWI637287B (zh) * 2016-11-04 2018-10-01 宏達國際電子股份有限公司 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
CN108664887A (zh) * 2018-03-20 2018-10-16 重庆邮电大学 一种虚拟现实体验中的摔倒预警装置和方法
CN109045692A (zh) * 2018-07-25 2018-12-21 灵然创智（天津）动画科技发展有限公司 一种手柄控制虚拟摄影机
CN109284056A (zh) * 2018-10-24 2019-01-29 深圳市领点科技有限公司 一种高效的虚拟场景共享方法和装置
CN109416614A (zh) * 2016-11-30 2019-03-01 日本聚逸株式会社 应用程序控制程序、应用程序控制方法以及应用程序控制系统
CN109568944A (zh) * 2017-09-29 2019-04-05 日本聚逸株式会社 游戏处理方法、游戏处理装置、游戏处理系统及记录介质
CN110044322A (zh) * 2018-01-17 2019-07-23 中兴通讯股份有限公司 一种虚拟现实终端的显示方法、装置及移动终端
CN110366440A (zh) * 2017-01-09 2019-10-22 索尼互动娱乐股份有限公司 用户分析系统和方法
CN110692086A (zh) * 2017-04-21 2020-01-14 惠普发展公司，有限责任合伙企业 用于虚拟现实的对象检测
US10591987B2 (en) 2016-11-04 2020-03-17 Htc Corporation Method, virtual reality apparatus and recording medium for fast moving in virtual reality
CN111108462A (zh) * 2017-09-27 2020-05-05 苹果公司 用于头戴式显示系统的测距和附件跟踪
CN111194423A (zh) * 2017-10-09 2020-05-22 脸谱科技有限责任公司 头戴式显示器跟踪系统
TWI714054B (zh) * 2018-04-16 2020-12-21 宏達國際電子股份有限公司 用於追蹤和渲染對應於實體對象的虛擬對象的追蹤系統以及用於其的操作方法
CN112654950A (zh) * 2018-03-14 2021-04-13 索尼互动娱乐有限责任公司 用于从视频流中剖析特定于上下文的hud内容的专业游戏ar面罩和方法
CN112930162A (zh) * 2019-10-07 2021-06-08 株式会社ｍｅｄｉＶＲ 康复支援装置、其方法及程序
US20230047317A1 (en) * 2018-09-27 2023-02-16 Apple Inc. Correcting depth estimations derived from image data using acoustic information

Families Citing this family (209)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
GB201404732D0 (en) * 2014-03-17 2014-04-30 Sony Comp Entertainment Europe Virtual Reality
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9746901B2 (en) * 2014-07-31 2017-08-29 Google Technology Holdings LLC User interface adaptation based on detected user location
US9990774B2 (en) 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US20160064947A1 (en) * 2014-09-02 2016-03-03 Apple Inc. Adjusting Operations in an Electronic Device Based on Environmental Data
US20160070343A1 (en) * 2014-09-09 2016-03-10 Beijing Lenovo Software Ltd. Information processing method and electronic device
CN106062862B (zh) 2014-10-24 2020-04-21 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
US10256859B2 (en) 2014-10-24 2019-04-09 Usens, Inc. System and method for immersive and interactive multimedia generation
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
JP6389275B2 (ja) * 2014-12-09 2018-09-12 旭化成株式会社 位置方位検出装置及び位置方位検出プログラム
US10073523B2 (en) 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10055887B1 (en) * 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
WO2016172209A1 (en) 2015-04-21 2016-10-27 Immersion Corporation Dynamic rendering of etching input
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US10115303B2 (en) 2015-05-05 2018-10-30 Razer (Asia-Pacific) Pte. Ltd. Methods for controlling a headset device, headset devices, computer readable media, and infrared sensors
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
KR101700767B1 (ko) * 2015-06-02 2017-01-31 엘지전자 주식회사 헤드 마운티드 디스플레이
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
USD772986S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Wireless game controller
US9833700B2 (en) * 2015-06-11 2017-12-05 Oculus Vr, Llc Connectable hand-held controllers for virtual-reality systems
JP2017011436A (ja) * 2015-06-19 2017-01-12 セイコーエプソン株式会社 画像表示装置
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
EP3133468A1 (en) * 2015-08-17 2017-02-22 Samsung Electronics Co., Ltd. Virtual reality headset for notifying an object and method thereof
US10002429B2 (en) 2015-08-17 2018-06-19 Samsung Electronics Co., Ltd. Apparatus and method for notifying a virtual reality user of real world objects
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US20170103574A1 (en) * 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
EP3163407B1 (en) * 2015-10-29 2020-08-26 Samsung Electronics Co., Ltd. Method and apparatus for alerting to head mounted display user
US10474411B2 (en) 2015-10-29 2019-11-12 Samsung Electronics Co., Ltd. System and method for alerting VR headset user to real-world objects
US10007339B2 (en) 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US9839840B2 (en) * 2015-11-05 2017-12-12 Oculus Vr, Llc Interconnectable handheld controllers
US10130875B2 (en) 2015-11-12 2018-11-20 Oculus Vr, Llc Handheld controller with finger grip detection
US9990045B2 (en) 2015-11-12 2018-06-05 Oculus Vr, Llc Method and apparatus for detecting hand gestures with a handheld controller
JP2017099686A (ja) * 2015-12-02 2017-06-08 株式会社ブリリアントサービス ゲーム用ヘッドマウントディスプレイ、ゲーム用ヘッドマウントディスプレイのプログラム、およびゲーム用ヘッドマウントディスプレイの制御方法
JP6363587B2 (ja) * 2015-12-14 2018-07-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および警告提示方法
US9804693B2 (en) * 2015-12-18 2017-10-31 Oculus Vr, Llc Handheld controller with activation sensors
KR102053334B1 (ko) * 2015-12-24 2019-12-06 주식회사 소니 인터랙티브 엔터테인먼트 주파수 대역 결정 장치, 헤드 마운트 디스플레이, 주파수 대역 결정 방법, 및 프로그램
JP6727807B2 (ja) * 2015-12-29 2020-07-22 株式会社バンダイナムコアミューズメント ゲーム装置及びプログラム
JP2017119032A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US9977494B2 (en) 2015-12-30 2018-05-22 Oculus Vr, Llc Tracking constellation assembly for use in a virtual reality system
US10441880B2 (en) 2015-12-30 2019-10-15 Facebook Technologies, Llc Handheld controller with spring-biased third finger button assembly
US10343059B2 (en) 2015-12-30 2019-07-09 Facebook Technologies, Llc Handheld controller with thumbstick guard
US10386922B2 (en) 2015-12-30 2019-08-20 Facebook Technologies, Llc Handheld controller with trigger button and sensor retainer assembly
US11857869B2 (en) 2015-12-31 2024-01-02 Meta Platforms Technologies, Llc Handheld controller with hand detection sensors
JP6675209B2 (ja) 2016-01-20 2020-04-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザガイド提示方法
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
KR101910529B1 (ko) * 2016-01-28 2018-10-22 엠더블유엔테크 주식회사 가상현실 소방체험 시스템
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
JP6673717B2 (ja) * 2016-02-22 2020-03-25 株式会社キーエンス 光学安全システム
US9939635B2 (en) * 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
WO2017189699A1 (en) * 2016-04-27 2017-11-02 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10521255B2 (en) * 2016-05-19 2019-12-31 International Business Machines Corporation Interface and interruption management
KR101822471B1 (ko) * 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US10614628B2 (en) * 2016-06-09 2020-04-07 Screenovate Technologies Ltd. Method for supporting the usage of a computerized source device within virtual environment of a head mounted device
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10981061B2 (en) * 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
CN109314800B (zh) * 2016-06-13 2022-02-01 索尼互动娱乐有限责任公司 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
EP3264801B1 (en) * 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US11341776B2 (en) * 2016-07-15 2022-05-24 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
US9946337B2 (en) * 2016-07-25 2018-04-17 Immersv, Inc. Utilizing inertial measurement unit data of a head mounted display device to generate inferred comfort data
CN106139587B (zh) * 2016-08-05 2020-06-09 惠州Tcl移动通信有限公司 一种基于vr游戏用来规避现实环境障碍物的方法及系统
US20180059812A1 (en) * 2016-08-22 2018-03-01 Colopl, Inc. Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
CN109844691A (zh) * 2016-09-01 2019-06-04 哈曼国际工业有限公司 动态增强真实世界声音到虚拟现实混音
USD835104S1 (en) 2016-09-27 2018-12-04 Oculus Vr, Llc Wireless game controller
CN106293101A (zh) * 2016-09-30 2017-01-04 陈华丰 一种用于头戴显示器的人机交互系统及方法
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
US10617956B2 (en) 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10204455B2 (en) 2016-12-31 2019-02-12 Intel Corporation Collision prevention for virtual reality systems
US10212428B2 (en) 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN108536279B (zh) * 2017-03-06 2021-08-03 北京可见文化传播有限公司 一种在虚拟现实环境中进行交互的方法及系统
US20180260022A1 (en) * 2017-03-07 2018-09-13 Htc Corporation Method suitable for a head mounted device and virtual reality system
CN107066088B (zh) * 2017-03-08 2023-03-21 联想(北京)有限公司 一种交互方法及电子设备
JP6955351B2 (ja) * 2017-03-16 2021-10-27 ヤフー株式会社 保護装置、保護方法および保護プログラム
JPWO2018173399A1 (ja) * 2017-03-21 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US10277943B2 (en) * 2017-03-27 2019-04-30 Microsoft Technology Licensing, Llc Selective rendering of sparse peripheral displays based on user movements
US10216260B2 (en) 2017-03-27 2019-02-26 Microsoft Technology Licensing, Llc Selective rendering of sparse peripheral displays based on element saliency
WO2018183390A1 (en) * 2017-03-28 2018-10-04 Magic Leap, Inc. Augmeted reality system with spatialized audio tied to user manipulated virtual object
US20180288392A1 (en) * 2017-04-01 2018-10-04 Intel Corporation Adjusting display content based on user distance detection
US10713848B2 (en) 2017-04-06 2020-07-14 Htc Corporation System and method for providing simulated environment
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
EP3416381A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
CN107281752A (zh) * 2017-06-16 2017-10-24 苏州蜗牛数字科技股份有限公司 一种在vr游戏中设置智能虚拟导游的方法
EP3616035A1 (en) 2017-06-19 2020-03-04 Apple Inc. Augmented reality interface for interacting with displayed maps
US10423241B1 (en) * 2017-07-31 2019-09-24 Amazon Technologies, Inc. Defining operating areas for virtual reality systems using sensor-equipped operating surfaces
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US20190049558A1 (en) * 2017-08-08 2019-02-14 KC Sense Limited Hand Gesture Recognition System and Method
GB2565836B (en) * 2017-08-25 2021-04-14 Sony Interactive Entertainment Inc Data processing for position detection using markers in captured images
US10521942B2 (en) * 2017-09-07 2019-12-31 Motorola Mobility Llc Low power virtual reality presence monitoring and notification
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
EP3454177B1 (en) * 2017-09-11 2020-06-10 Barco N.V. Method and system for efficient gesture control of equipment
JP6340464B1 (ja) * 2017-09-27 2018-06-06 株式会社Ｃｙｇａｍｅｓ プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
US10529074B2 (en) 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
US10839547B2 (en) 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
GB2567203B (en) 2017-10-05 2022-02-23 Displaylink Uk Ltd System and method for locally generating data
KR102572675B1 (ko) * 2017-11-22 2023-08-30 삼성전자주식회사 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
WO2019131143A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
US11386572B2 (en) 2018-02-03 2022-07-12 The Johns Hopkins University Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
CA3139648A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Visual tracking of peripheral devices
EP3542877A1 (en) * 2018-03-20 2019-09-25 InterDigital CE Patent Holdings Optimized content sharing interaction using a mixed reality environment
WO2019193251A1 (en) * 2018-04-06 2019-10-10 Nokia Technologies Oy Method and apparatus for signaling of viewing extents and viewing space for omnidirectional content
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
US10859831B1 (en) * 2018-05-16 2020-12-08 Facebook Technologies, Llc Systems and methods for safely operating a mobile virtual reality system
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
CN110634189B (zh) 2018-06-25 2023-11-07 苹果公司 用于在沉浸式混合现实体验期间用户警报的系统和方法
US10607367B2 (en) * 2018-06-26 2020-03-31 International Business Machines Corporation Methods and systems for managing virtual reality sessions
EP3598270A1 (en) * 2018-07-17 2020-01-22 Technische Universität München Method and control unit for controlling a virtual reality display, virtual reality display and virtual reality system
KR20200010952A (ko) * 2018-07-23 2020-01-31 삼성전자주식회사 배터리 잔량에 기반하여, 투명 부재의 투과율 및 프로젝터의 출력 휘도를 제어하는 웨어러블 전자 장치 및 그 동작 방법
CN116088783A (zh) * 2018-07-24 2023-05-09 奇跃公司 用于确定和/或评价图像显示设备的定位地图的方法和装置
JP7073228B2 (ja) * 2018-08-23 2022-05-23 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
US10853649B2 (en) * 2018-08-27 2020-12-01 Dell Products, L.P. Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
WO2020049638A1 (ja) * 2018-09-04 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびプレイフィールド逸脱検知方法
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
US11366514B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
CN111077984A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 人机交互方法、装置、电子设备及计算机存储介质
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN209596544U (zh) * 2019-02-17 2019-11-08 上海狮峪智能科技有限公司 Vr自助游戏机头显装置
US11934244B2 (en) * 2019-03-06 2024-03-19 Sony Interactive Entertainment Inc. Low battery switchover
US20200327867A1 (en) * 2019-04-15 2020-10-15 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
JP7351638B2 (ja) 2019-04-23 2023-09-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および情報提示方法
GB2583535B (en) * 2019-05-03 2021-11-10 Sony Interactive Entertainment Inc Data processing
EP3751531A1 (en) * 2019-06-14 2020-12-16 Sword Health, S.A. Determination of cause of disconnection of sensors of a motion tracking system
US11132052B2 (en) * 2019-07-19 2021-09-28 Disney Enterprises, Inc. System for generating cues in an augmented reality environment
KR102614495B1 (ko) * 2019-08-02 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN110456957B (zh) * 2019-08-09 2022-05-03 北京字节跳动网络技术有限公司 显示交互方法、装置、设备、存储介质
US11526212B1 (en) * 2019-09-25 2022-12-13 Amazon Technologies, Inc. System to determine don/doff of wearable device
CN113711175A (zh) 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
WO2021062278A1 (en) 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication
JP7448943B2 (ja) 2019-10-07 2024-03-13 株式会社mediVR リハビリテーション支援装置、その方法およびプログラム
JP6867464B2 (ja) * 2019-11-28 2021-04-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および警告提示方法
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11164390B2 (en) 2019-12-30 2021-11-02 Korea Institute Of Science And Technology Method and apparatus for displaying virtual reality image
KR102285015B1 (ko) * 2019-12-30 2021-08-04 한국과학기술연구원 가상현실 영상을 표시하는 방법 및 장치
KR102285012B1 (ko) * 2019-12-30 2021-08-04 한국과학기술연구원 가상현실 영상을 표시하는 방법 및 장치
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11210860B2 (en) 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11113891B2 (en) 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US11200745B2 (en) * 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
JP7085578B2 (ja) * 2020-03-10 2022-06-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
EP4118629A4 (en) * 2020-03-13 2024-04-10 Harmonix Music Systems Inc VIRTUAL REALITY BOUNDARIES TECHNIQUES, AND RELATED SYSTEMS AND METHODS
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11493764B2 (en) 2020-06-04 2022-11-08 Htc Corporation Method for dynamically displaying real-world scene, electronic device, and computer readable medium
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
JP7435330B2 (ja) 2020-07-14 2024-02-21 株式会社島津製作所 ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置
US11049277B1 (en) 2020-07-17 2021-06-29 Microsoft Technology Licensing, Llc Using 6DOF pose information to align images from separated cameras
US11688168B1 (en) 2020-08-03 2023-06-27 Apple Inc. Method and device for visual augmentation of sporting events
DE102020210473A1 (de) * 2020-08-18 2022-02-24 BSH Hausgeräte GmbH Überwachungsmodul für ein Haushaltsgerät
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11189253B1 (en) 2020-11-04 2021-11-30 At&T Intellectual Property I, L.P. Methods, systems, and devices to determine positioning of content on a cross reality headset display based on movement of the cross reality headset
US11448884B2 (en) * 2020-11-25 2022-09-20 Sony Interactive Entertainment Inc. Image based finger tracking plus controller tracking
WO2022135685A1 (en) * 2020-12-22 2022-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Method and communication device for positioning estimation
US11232644B1 (en) * 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
GB2606182B (en) * 2021-04-28 2023-08-23 Sony Interactive Entertainment Inc System and method of error logging
GB2610386B (en) * 2021-09-01 2024-01-10 Sony Interactive Entertainment Inc Head-mountable display system and methods
US20230081452A1 (en) * 2021-09-10 2023-03-16 Qualcomm Incorporated Proximity motion sensing for virtual reality systems
US20230185406A1 (en) * 2021-12-09 2023-06-15 Meta Platforms Technologies, Llc Smart rejection of false solid-state button presses on smart glasses
US11747891B1 (en) * 2022-07-15 2023-09-05 Google Llc Content output management in a head mounted wearable device
US11947862B1 (en) * 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834893B2 (en) * 2006-08-07 2010-11-16 Canon Kabushiki Kaisha Mixed-reality presentation system and control method therefor
CN103033936A (zh) * 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
CN103064187A (zh) * 2011-10-24 2013-04-24 索尼公司 头戴式显示器及用于控制头戴式显示器的方法
WO2013052855A3 (en) * 2011-10-07 2013-05-30 Google Inc. Wearable computer with nearby object response
CN103430534A (zh) * 2011-03-06 2013-12-04 索尼公司 头戴式显示器

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0226870U (zh) * 1988-08-04 1990-02-21
JPH05304646A (ja) * 1992-04-24 1993-11-16 Sony Corp 映像表示装置
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5838262A (en) * 1996-12-19 1998-11-17 Sikorsky Aircraft Corporation Aircraft virtual image display system and method for providing a real-time perspective threat coverage display
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP3492942B2 (ja) * 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
US8068942B2 (en) * 1999-12-15 2011-11-29 Automotive Technologies International, Inc. Vehicular heads-up display system
US6375570B1 (en) * 2000-06-29 2002-04-23 Igt Gaming device displaying an exhibition for replacing video reels
JP2002073246A (ja) * 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
JP2002245490A (ja) * 2001-02-16 2002-08-30 Sony Corp 画像再生装置、画像再生方法
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
JP2005025563A (ja) * 2003-07-03 2005-01-27 Canon Inc 仮想現実感生成方法
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP4393169B2 (ja) 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
WO2005072667A1 (ja) * 2004-01-29 2005-08-11 Konica Minolta Photo Imaging, Inc. 視覚補助表示装置
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
US7677734B2 (en) * 2004-04-09 2010-03-16 Arthur Wallace Audiovisual distraction in patients undergoing surgery with regional anesthesia
US8040361B2 (en) 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US8935006B2 (en) * 2005-09-30 2015-01-13 Irobot Corporation Companion robot for personal interaction
JP2007156561A (ja) * 2005-11-30 2007-06-21 Canon Inc 複合現実感提示方法および複合現実感提示システム
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
JP2008148874A (ja) * 2006-12-15 2008-07-03 Aruze Corp リールによってシンボルの配置を行うスロットマシン
EP1990674A1 (en) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system
WO2010064236A1 (en) 2008-12-01 2010-06-10 Visual Domains Ltd. Method and system for browsing visual content displayed in a virtual three-dimensional space
JP2010134649A (ja) 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
US20150054826A1 (en) 2009-03-19 2015-02-26 Real Time Companies Augmented reality system for identifying force capability and occluded terrain
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
JP2011008351A (ja) * 2009-06-23 2011-01-13 Canon Inc 画像処理方法及び画像処理装置
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
EP2499459B1 (en) * 2009-11-12 2018-12-26 TomTom Belgium N.V. Navigation system with live speed warning for merging traffic flow
JP2011128838A (ja) * 2009-12-17 2011-06-30 Panasonic Corp 画像表示装置
JP5279737B2 (ja) 2010-01-25 2013-09-04 株式会社コナミデジタルエンタテインメント 表示制御装置、視線誘導方法、および、プログラム
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US9129295B2 (en) * 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5039808B2 (ja) * 2010-03-16 2012-10-03 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
TW201203030A (en) 2010-03-16 2012-01-16 Intel Corp A gaming system with safety features
EP2402838A1 (en) * 2010-07-03 2012-01-04 Fachhochschule Dortmund Methods and device for the determination and/or feedback and/or control of the effective measurement space in motion capturing systems
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
RU111703U1 (ru) * 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US8704882B2 (en) 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9317971B2 (en) 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
WO2014016987A1 (ja) * 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元ユーザインタフェース装置及び３次元操作方法
GB2504999B8 (en) 2012-08-17 2015-04-22 Sony Comp Entertainment Europe Apparatus and method for object positioning
US20150193977A1 (en) 2012-08-31 2015-07-09 Google Inc. Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
DE102012217573A1 (de) * 2012-09-27 2014-03-27 Krones Ag Bediensystem für eine Maschine
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
WO2014128747A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 入出力装置、入出力プログラム、および入出力方法
WO2014141504A1 (ja) 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834893B2 (en) * 2006-08-07 2010-11-16 Canon Kabushiki Kaisha Mixed-reality presentation system and control method therefor
CN103430534A (zh) * 2011-03-06 2013-12-04 索尼公司 头戴式显示器
CN103033936A (zh) * 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
WO2013052855A3 (en) * 2011-10-07 2013-05-30 Google Inc. Wearable computer with nearby object response
CN103064187A (zh) * 2011-10-24 2013-04-24 索尼公司 头戴式显示器及用于控制头戴式显示器的方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125927B (zh) * 2016-06-23 2019-11-29 捷开通讯(深圳)有限公司 图像处理系统及方法
CN106125927A (zh) * 2016-06-23 2016-11-16 捷开通讯(深圳)有限公司 图像处理系统及方法
CN106325512A (zh) * 2016-08-24 2017-01-11 韩龙潇 一种使用状态下监测周围环境的终端
CN106547353A (zh) * 2016-10-21 2017-03-29 北京小米移动软件有限公司 提醒方法及装置
US10591987B2 (en) 2016-11-04 2020-03-17 Htc Corporation Method, virtual reality apparatus and recording medium for fast moving in virtual reality
TWI637287B (zh) * 2016-11-04 2018-10-01 宏達國際電子股份有限公司 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
CN106621320A (zh) * 2016-11-29 2017-05-10 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
CN109416614A (zh) * 2016-11-30 2019-03-01 日本聚逸株式会社 应用程序控制程序、应用程序控制方法以及应用程序控制系统
CN110366440A (zh) * 2017-01-09 2019-10-22 索尼互动娱乐股份有限公司 用户分析系统和方法
CN110366440B (zh) * 2017-01-09 2023-08-29 索尼互动娱乐股份有限公司 用户分析系统和方法
WO2018152689A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物技术的数据采集方法以及vr头盔
WO2018152690A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物的专利信息推送方法以及vr头盔
US11861902B2 (en) 2017-04-21 2024-01-02 Hewlett-Packard Development Company, L.P. Object detections for virtual reality
CN110692086A (zh) * 2017-04-21 2020-01-14 惠普发展公司，有限责任合伙企业 用于虚拟现实的对象检测
CN111108462A (zh) * 2017-09-27 2020-05-05 苹果公司 用于头戴式显示系统的测距和附件跟踪
CN109568944A (zh) * 2017-09-29 2019-04-05 日本聚逸株式会社 游戏处理方法、游戏处理装置、游戏处理系统及记录介质
CN109568944B (zh) * 2017-09-29 2022-05-27 日本聚逸株式会社 游戏处理方法、游戏处理装置、游戏处理系统及记录介质
CN111194423A (zh) * 2017-10-09 2020-05-22 脸谱科技有限责任公司 头戴式显示器跟踪系统
CN110044322A (zh) * 2018-01-17 2019-07-23 中兴通讯股份有限公司 一种虚拟现实终端的显示方法、装置及移动终端
CN110044322B (zh) * 2018-01-17 2022-03-22 中兴通讯股份有限公司 一种虚拟现实终端的显示方法、装置及移动终端
CN112654950A (zh) * 2018-03-14 2021-04-13 索尼互动娱乐有限责任公司 用于从视频流中剖析特定于上下文的hud内容的专业游戏ar面罩和方法
CN108664887A (zh) * 2018-03-20 2018-10-16 重庆邮电大学 一种虚拟现实体验中的摔倒预警装置和方法
US10993078B2 (en) 2018-04-16 2021-04-27 Htc Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
TWI714054B (zh) * 2018-04-16 2020-12-21 宏達國際電子股份有限公司 用於追蹤和渲染對應於實體對象的虛擬對象的追蹤系統以及用於其的操作方法
CN109045692A (zh) * 2018-07-25 2018-12-21 灵然创智（天津）动画科技发展有限公司 一种手柄控制虚拟摄影机
US20230047317A1 (en) * 2018-09-27 2023-02-16 Apple Inc. Correcting depth estimations derived from image data using acoustic information
US11947005B2 (en) * 2018-09-27 2024-04-02 Apple Inc. Correcting depth estimations derived from image data using acoustic information
CN109284056A (zh) * 2018-10-24 2019-01-29 深圳市领点科技有限公司 一种高效的虚拟场景共享方法和装置
CN112930162A (zh) * 2019-10-07 2021-06-08 株式会社ｍｅｄｉＶＲ 康复支援装置、其方法及程序
CN112930162B (zh) * 2019-10-07 2023-08-22 株式会社mediVR 康复支援装置、其方法及程序
US11775055B2 (en) 2019-10-07 2023-10-03 Medivr, Inc. Rehabilitation support apparatus, method therefor, and program

Also Published As

Publication number Publication date
US20170203213A1 (en) 2017-07-20
JP6292686B2 (ja) 2018-03-14
WO2015048038A3 (en) 2015-07-02
BR112016007009B1 (pt) 2022-07-12
US20150094142A1 (en) 2015-04-02
US20180093184A1 (en) 2018-04-05
JP2016541035A (ja) 2016-12-28
RU2016117101A (ru) 2017-11-09
JP7028917B2 (ja) 2022-03-02
US9630105B2 (en) 2017-04-25
JP2018099523A (ja) 2018-06-28
US10124257B2 (en) 2018-11-13
EP3052209A2 (en) 2016-08-10
US9908049B2 (en) 2018-03-06
BR112016007009A2 (zh) 2017-08-22
US10532284B2 (en) 2020-01-14
US9873049B2 (en) 2018-01-23
WO2015048038A2 (en) 2015-04-02
JP2020175204A (ja) 2020-10-29
US20190070506A1 (en) 2019-03-07
US20160214016A1 (en) 2016-07-28
JP2017148530A (ja) 2017-08-31
RU2661857C2 (ru) 2018-07-19
CN105705210B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN105705210A (zh) 用于头戴式显示器用户的基于摄像机的安全机制
US11654358B2 (en) Head mounted displays (HMDs) with front facing cameras for transitioning between non-transparent modes and transparent modes
US11037371B2 (en) Sensory stimulus management in head mounted display
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP6770178B2 (ja) Ｈｍｄユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法
CN105377117B (zh) 基于用户的光学处方的头戴式显示器
CN105377383A (zh) 在头戴式显示器上转变游戏过程
CN107735152A (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
CN105359063A (zh) 利用追踪的头戴式显示器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: SONY INTERACTIVE ENTERTAINMENT Inc.

Address before: Tokyo, Japan

Applicant before: SONY COMPUTER ENTERTAINMENT Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant