CN101006110A - 水平透视交互式模拟器 - Google Patents

Abstract

本发明揭示了利用水平透视显示的交互式模拟系统。交互式模拟系统包括可将水平透视图像投影到开放空间的实时电子显示器及允许终端用户用手或手持工具操纵图像的外围设备。

Description

水平透视交互式模拟器

本申请请求2004年4月5日提交的第60/559,780号美国临时申请的优先权，该申请通过参考结合于此。

技术领域

本发明涉及三维模拟器系统，尤其涉及一种适合操作者交互作用的交互式计算机模拟器系统。

背景技术

有三维(3D)功能的电子设备和计算机硬件装置以及实时计算机生成的3D计算机图形在视觉、听觉以及触觉系统的革新，已成为过去几十年中计算机科学的流行领域。在此领域的许多研究产生了特别设计用于生成更真实和更自然的人机界面的硬件和软件产品。这些革新显著增强并简化了终端用户的计算机体验。

自从人们开始通过图片进行通讯，他们就面临着如何精确表现他们所生存的三维世界的难题。雕刻被用于成功地描绘三维对象，但不足以传达对象之间及环境中的空间关系。为此，早先人们企图将他们所看见的周围情况“展平”到二维、竖直的平面上(例如：绘画、素描、织锦等)。一个人竖直站立、树木环绕周围的场景被相对成功地呈现在竖直平面上。但如何描绘从艺术家站立位置水平延展开的地面的地形，远到视力所及之处？

答案就是三维幻影。二维图片必须向大脑提供多个三维提示，来形成三维图像的幻影。由于大脑相当习惯于此，因此三维提示的这种效果实际上是可完成的。三维现实世界总是并且也已经转换成视网膜上二维(例如：高度和宽度)投影图像，视网膜是眼睛后部的凹面。大脑从这张二维图像，通过体验和感觉，从两类深度提示——单眼(一个眼睛感觉)和双眼(两个眼睛感觉)——产生深度信息，以形成三维可视图像。通常，双眼深度提示是先天的和生物的，而单眼深度提示是学习得到的和环境的。

主要的双眼深度提示是聚焦和视网膜不一致。大脑测量眼睛聚焦的数量以提供距离的粗略估计，因为当对象越近，每只眼睛的视线间的角度就越大。由于两眼的分开导致的视网膜图像不一致被用来产生深度的感觉。当每只眼睛接收到景象略微不同的视图，并且大脑将他们结合起来，利用这些不同来确定临近的对象之间距离的比率，此效果被称为立体视法。

双眼提示在深度感觉上非常有用。然而，也有很多一只眼睛的深度提示，称为单眼深度提示，以在一个平面图像上产生深度印象。主要的单眼提示是：重叠、相对尺寸、线性透视、以及灯光和阴影。当所观看的对象被部分覆盖，这一遮蔽图案被用作提示，以确定该对象更远。当两个已知尺寸相同的对象，一个看上去比另一个更小，这种相对尺寸的图案被用作提示，以假设较小的对象较远。相对尺寸的提示还提供线性透视提示的基础，当线离观察者越远，它们就显得越接近，因为透视图中的平行线看上去汇聚到一点。从一定角度射向对象的光线，可以提供对象的形式和深度的提示。一个对象上光线和阴影的分配，对于由生物上正确的假设(光线来自上方)所提供的深度是有力的单眼提示。

透视图及相对尺寸最常用于在诸如纸或画布的平面(二维)上获得三维深度及空间关系的幻影。通过透视，仅通过“欺骗”眼睛看上去处于三维空间，而在二维平面上描绘出三维对象。第一个构建透视理论的论文，Depictura《描刻画二》，早在十五世纪初由设计师Leone Battista Alberti出版。自从他的书的介绍，在“常规”透视后面的详情被很好地记录下来。然而，还有多种其它类型的透视的事实并不为人所知。例如图1所示的军用1、斜等轴测2，等距3、正二轴测4、中心透视5以及两点透视6。

最具特殊影响的是最常用的透视类型，称为中心透视5，如图1左下所示。中心透视，亦称一点透视，是“真实的”透视构造的最简单的类型，并常在艺术和绘画课中教授初学者。图2进一步示出了中心透视。利用中心透视，棋盘和棋子看上去是三维对象，尽管他们被绘制在二维平面纸张上。中心透视具有中心灭点21，且矩形对象被放置使它们的前面平行于图片平面。对象的深度垂直于图片平面。所有平行退后的边缘都向中心灭点推进。观看者向灭点直视。当建筑师或艺术家用中心透视绘图，他们必须用单眼观看。即，绘画的艺术家仅通过一只眼睛，垂直于绘画平面，来捕捉图像。

绝大多数图像，包括中心透视图，在垂直于视线的平面上被显示、观看和捕捉。从非90°的角度观看图像将导致图像变形，意味着当观看面不垂直于视线时，正方形会被看成长方形。

中心透视被广泛地用于3D计算机图形中的无数应用中，诸如科学的、数据显像、计算机生成的原型、运动特技、医学图像、以及建筑，叫出的只有很少一些。最通常和广为人知的3D计算机应用程序是3D游戏，在此作为范例，因为3D游戏的中心概念延伸到所有其它3D计算机应用程序。

图3是一个简单的示例，试图通过列出在3D软件应用程序中为获得高水平的真实感必要的基本组件来打好基础。软件开发者团队31创作了3D游戏开发32，将其输入应用程序包33，如CD。在最高水平，3D游戏开发32包括四个必须组件：

1、设计34：创作游戏的故事线索和游戏运行

2、内容35：在游戏运行中栩栩如生的对象(轮廓，地形等)

3、人工智能(AI)36；在游戏运行中控制与内容的交互

4、实时计算机生成的3D图形引擎(3D图形引擎)37：管理设计、内容和AI数据。决定画什么，以及如何画，然后将它呈现(显示)在计算机显示器上。

一个人使用3D应用程序，如一个游戏，实际就是以实时计算机生成3D图形引擎的形式运行软件。引擎的关键组件之一就是呈现器。它的工作就是选取存在于计算机生成的完全坐标x、y、z中的3D对象，并将他们呈现(绘制/显示)在计算机监视器的观看表面上，所述观看表面是一个平的(2维)平面，具有实际完全坐标x、y。

图4描绘了当运行3D图形引擎时计算机内部所发生的情况。在每一个3D游戏中都存在一个计算机生成的3D“世界”。这个世界里包括了每一件在玩游戏中要经历的事情。它同样使用笛卡尔坐标系，意味着它具有三维x、y、z。这三维被称为“虚拟完全坐标”41。玩一个典型的3D游戏，可能从计算机生成的3D地球以及围绕它运行的计算机生成的3D人造卫星开始。虚拟完全坐标系使地球和人造卫星能正确地位于计算机生成的x、y、z空间。

当它们随时间移动，人造卫星和地球必须保持正确同步。为达此目的，3D图形引擎为计算机生成的时间t生成第四个通用维(universal dimension)。随着时间t的每一次嘀嗒，3D图形引擎在其新位置和方向上再生成人造卫星，好像它围绕自转的地球在运行。因此，3D图形引擎的关键工作是在计算机生成的所有四维x、y、z和t中持续同步和再生成所有3D对象。

图5是当终端用户玩(即运行)第一人3D应用程序时，计算机内部所发生情况的概念上的图解。第一人指的是计算机监视器非常类似一个窗口，玩游戏的人通过该窗口观看计算机生成的世界。为了生成这个视图，3D图形引擎从计算机生成的人的眼睛的视点呈现场景。计算机生成的人可以被设想为实际玩游戏的“真”人的计算机生成的模拟或“虚拟”模拟。

真人，即终端用户，在运行3D应用程序时，在任一给定的时间只观看全部3D世界的一小个片段。这样做是因为在典型的3D应用程序中生成很大数量的3D对象对计算机硬件来说计算成本很高，而终端用户当时并未关注该3D应用程序的大部分。因此3D图形引擎的一个重要的工作就是，通过在计算机生成的时间t的每一次嘀嗒中，绘制/呈现尽可能少的绝对必须的信息，使得计算机硬件的计算负担最小。

图5中的框内区域从概念上表示了3D图形引擎如何使硬件的负担最小。它将计算资源集中在相对3D应用程序的全部世界而言相当小的区域中。在这个例子中，它是一个“计算机生成”的北极幼熊，由“计算机生成”的虚拟人51来观察。由于终端用户在第一人中运行，因此计算机生成的人所看见的每件事情都被呈现到终端用户的显示器上，即，终端用户通过计算机生成的人的眼睛来看。

在图5中，计算机生成的人只用一只眼睛看；换句话说是单眼视图52。这是因为3D图形引擎的呈现器用中心透视来将3D对象绘制/呈现到2D表面，2D表面只需从一只眼睛观看。计算机生成的人用单眼观看所看见的区域被称为“视图空间”53，而在这个视图中计算机生成的3D对象实际上被呈现到计算机监视器的2D观看表面。

图6更详细地示出了视图空间64。一个视图空间是一个“照相机模型”的子集。照相机模型是定义了3D图形引擎的硬件和软件特性的蓝图。就如非常复杂和精制的汽车引擎，3D图形引擎包括太多部分，以至于它们的照相机模型常被简化到仅仅示出必要的参考元素。

图6中描述的照相机模型，显示了3D图形引擎使用中心透视将计算机生成的3D对象呈现到计算机监视器的竖直的、2D观看表面。图6中显示的视图空间，尽管更详细，和图5表示的视图空间是一样的。唯一的不同是语义，因为3D图形引擎将计算机生成的人的单眼视图称为照相机点位61(因此照相机模型)。照相机模型利用一般垂直于投影平面63的照相机视线62。

照相机模型的每个组件被称为“元素”。在我们简化的照相机模型中，投影平面63，也称为近切(near clip)平面，是2D平面，在它上面呈现视图空间中3D对象的x、y、z坐标。每条投影线从照相机点位61开始，到视图空间中的虚拟3D对象的x、y、z坐标点65结束。3D图形引擎随后确定投影线在何处与近切平面63交汇，以及将交汇发生处的x和y点66呈现到近切平面。一旦3D图形引擎的呈现器完成了所有需要的数学投影，近切平面就被显示在计算机监视器的2D观看表面上，如图6底部所示。真人的眼睛68就可以通过真人视线67观看3D图像，真人视线67和照相机视线62相同。

现有技术3D计算机图形的基础是中心透视投影。3D中心透视投影，尽管提供了真实的3D幻影，还是有些限制，不能允许用户和3D显示器交互操作。

有一类鲜为人知的图像，我们称为“水平透视”，正面观看时图像显得变形，但从正确的观看位置观看时，显示三维幻影。在水平透视中，观看面和视线之间的角度最好是45°但可以是几乎任何角度，且观看面最好水平(名称“水平透视”)，但可以是任何平面，只要视线和它之间形成一个非垂直的角度。

水平透视图像提供真实的三维幻影，但是鲜为人知的原因首先是窄的观看位置(观看者的视点必须正好对准图像投影视点)，还包括将二维图像或三维模型投影到水平透视图像的复杂性。

产生水平透视图像相对于创建常规垂直图像需要更多的专门技术。常规垂直图像可直接从观看者或照相机点位产生。只需睁开眼睛或将相机对准任何方向来获取图像。此外，由于观看透视图中提示三维深度的许多体验，观看者可以忍受由于偏离照相机点位而产生的相当大量的变形。相反，创建水平透视图像需要许多操作。通过将图像投影到垂直于视线的平面上，常规照相机不能产生水平透视图像。制作水平图画需要较多精力且非常耗时。此外，由于人们对水平透视图像的体验有限，观看者的眼睛必须正好在投影视点的点位，以避免图像变形。因此水平透视，因其不便，很少受到关注。

发明内容

本发明认识到，个人计算机特别适合水平透视显示。它是个人的，因此设计用于单人操作，而计算机，因其强大的微处理器，非常适合向观看者呈现各种水平透视图像。此外，水平透视提供3D图像的开放空间显示，因此允许终端用户的交互操作。

因此本发明揭示了使用3D水平透视显示的交互式模拟器系统。该交互式模拟器系统包括可将水平透视图像投影到开放空间的实时电子显示器，以及允许终端用户用手或手持工具操纵图像的外围设备。由于水平透视图像被投影到开放空间，用户可以“触摸”图像以得到真实的交互式模拟。触摸的动作实际上是虚拟触摸，意味着没有触摸的手感，只有触摸的观感。虚拟触摸也使得用户可以触摸对象的内部。

交互式模拟器最好包括计算机单元以改变所显示的图像。计算机单元同样跟踪外围设备确保外围设备和所显示的图像之间的同步。该系统可以进一步包括校准单元来确保将外围设备正确映射到显示图像。

交互式模拟器最好包括视点跟踪单元，以将用户视点作为投影点重新计算水平透视图像来使变形最小。交互式模拟器进一步包括操纵所显示的图像的装置，所述操纵诸如放大、缩放、旋转、移动、甚至显示新图像。

附图说明

图1示出了各种透视图。

图2示出了一种典型的中心透视图。

图3示出了3D软件开发的示意图。

图4示出了计算机世界视图。

图5示出了计算机内部的虚拟世界。

图6示出了3D中心透视显示的图解。

图7示出了中心透视(图A)和水平透视(图B)的比较。

图8示出了三个堆叠块的中心透视图。

图9示出了三个堆叠块的水平透视图。

图10示出了绘制水平透视图像的方法。

图11示出了3d对象在水平平面上不正确的映射。

图12示出了3d对象在水平平面上正确的映射。

图13示出了具有z轴校正的典型平面观看表面。

图14示出了图13的3D水平透视图像。

图15示出了本发明交互式模拟器的一个实施例。

图16示出了本发明交互式模拟器的一个时间模拟。

图17示出了一些典型的手持式外围设备。

图18示出了外围设备到交互空间上的映射。

图19示出了使用本发明的交互式模拟器的用户。

图20示出了具有照相机三角测量的交互式模拟器。

图21示出了具有照相机和扬声器三角测量的交互式模拟器。

具体实施方式

本文件中描述的新的和独特的发明是建立在现有技术之上的，它将实时计算机生成的3D计算机图形、3D声音以及触觉人机界面的现状，带入全新的逼真和简便的境界。更具体的说，这些新发明使得实时计算机生成的3D模拟，可以和终端用户及其它现实世界的实际对象一起，共存于实际空间和时间中。这种能力通过提供和3D计算机生成对象和声音的直接的实际交互，大大改善了终端用户的视觉、听觉和触觉计算体验。这个独特的能力几乎在每个想得到的工业中都有用，包括，但不限于，电子、计算机、生物测定、医药、教育、游戏、电影、科学、法律、财经、通讯、法律执行、国家安全、军事、印刷媒体、电视、广告、商业展示、数据可视、计算机生成的实体、特技、CAD/CAE/CAM、生产率软件、操纵系统等。

本发明的水平透视交互式模拟器是根据基于水平透视投影进行三维幻影投影的水平透视显示系统构建的。

水平透视是鲜为人知的透视，我们只发现两本书描述了它的机理：“Stereoscopic Drawing”《具有立体效果的图》(1990)以及“How to MakeAnaglyphs”《如何制作浅浮雕》(1979，已绝版)。虽然这些书描述了这种不著名的透视，它们对它的名称并未达成一致。第一本书把它称为“独立式浅浮雕(free-standing anaglyph)”，第二本称为“幻像(phantogram)”。另一出版物称它为“投影浅浮雕”(1998年8月18日，G.M.Woods的美国专利US5795154)。由于没有统一的名称，我们冒昧地称之为“水平透视”。通常，如在中心透视中，视觉平面，位于视线的右角，也是图片的投影平面，深度指示用于给出该平面图像的深度幻影。在水平透视中，视觉平面保持相同，但是投影的图像不在这个平面上。它在一个与视觉平面成一定角度的平面上。一般而言，此图像将在地平面。这意味着此图像将实际处在相对于视觉平面的第三维。这种水平透视可以称为水平投影。

在水平透视中，对象将图像从纸上分离，并将图像融合到投影水平透视图像的三维对象。因此水平透视图像必须变形以便视觉图像融合以形成独立式三维图形。同样需要从正确的视点观看图像，否则三维幻影就被丢失。中心透视图具有高度和宽度并且投影深度幻影，且对象因此通常唐突地投影，而图像看上去处于许多层中，与之相反，水平透视图像具有实际的深度和宽度，幻影又给了它们高度，因此通常具有渐变，从而使得图像显得连续。

图7对比了中心透视和水平透视相区别的关键特征。图A示出了中心透视的关键相关特征，而图B示出了水平透视的关键相关特征。

换句话说，在图A中，艺术家通过合上一只眼睛，并沿着垂直于竖直绘画平面72的视线71进行观看，从而绘出现实的三维对象(堆叠的三块)。竖直用一个眼睛直视结果图像，和原始图像一样。

图B中，艺术家通过合上一只眼睛，并沿着相对于水平绘画平面74成45°的视线73进行观看，从而绘出现实的三维对象。水平成45°用一个眼睛观看结果图像，和原始图像一样。

图A中所示的中心透视和图B中所示的水平透视的一个主要区别在于，显示器平面相对投影的三维图像的位置。在图B的水平透视中，显示器平面上下可调节，并因此可将投影图像显示在显示器平面以上的开放空间中，即实际的手可以触摸(或是更象穿透)幻影，或者可以显示在显示器平面以下，即因显示器平面实际阻碍了手，而不能触摸幻影。这是水平透视的本性，而且只要照相机视点和观看者视点在同一位置，就呈现幻像。相反，图A的中心透视，三维幻像象是只在显示器平面里面，意味着没有人可以触及它。为了将三维幻像带出显示器平面让观看者触摸它，中心透视将需要精心制作的显示器方案，如环绕图像投影和大的空间。

图8和9示出了使用中心和水平透视间的视觉差异。为了体验这种视觉差异，首先通过一只睁开的眼睛观看用中心透视绘制的图8。将这张纸竖直放在你面前，就如传统绘画，垂直于你的眼睛。你可以看到中心透视提供了三维对象在二维平面上的良好呈现。

现在看用水平透视绘制的图9，将纸平放(水平地)在你面前的桌子上进行审视。同样，仅用一只眼睛观看图像。这样使得你一只眼睛睁开，视点大约与纸成45°，正是艺术家绘图时的角度。保持你的眼睛及其视线与艺术家的吻合，让你的眼睛向下和向前移动接近图画，向外和向下距离约6英寸，处于45°角。这将导致理想的观看体验，最上和中间的块看上去在纸面上方的开放空间中。

同样，你的一只睁开的眼睛需要在这个精确的位置是因为中心和水平透视不仅定义了从视点出发的视线的角度，而且还定义了视点到图画的距离。这意味着，图8和9以你睁开的眼睛相对于图画表面的理想位置和方向被绘制。然而，与中心透视视点的位置和方向的偏离很少产生变形不同，当观看水平透视图像时，使用单眼以及该眼相对于观看表面的位置和方向对于看到开放空间三维水平透视幻影是必要的。

图10是建筑学类型的示例，示出了一种使用水平透视在纸上或画布上绘制简单几何图形的方法。图10是和图9中使用的同样三个块的侧视图。它示出了水平透视的实际结构。组成对象的每一点通过将该点投影到水平绘画平面上来绘制。为了演示，图10通过投影线显示了块被绘制在水平绘画平面上的几个坐标。这些投影线始于视点(因规模关系未在图10中示出)，在对象上相交于点103，接着沿直线继续直到与水平绘画平面102相交，也就是它们被实际绘作纸上的一点104之处。当建筑师为块上的每一点重复此过程，如所看到的从绘画表面沿着45°视线101到达视点，水平透视图像完成了，看上去象图9。

注意到在图10中，三块之一看上去低于水平绘画平面。用水平透视，低于绘画平面的点也被画到水平绘画平面上，如所看到的从视点沿着定位线。因此当观看最终图画时，对象不仅看上去在水平绘画平面之上，而且同样看上去在它之下一显得它们退到了纸里面。如果你再次看图9，你将注意到最底下的框看上去低于或进入了纸，而另两个框看上去在纸以上的开放空间中。

产生水平透视图像相比创建中心透视图需要相当多的专门技术。即使两种方法都致力于向观看者提供自二维图像产生的三维幻影，中心透视图直接从观看者或照相机点位产生三维地形。相反，水平透视图像在正面观看时显得变形，但是这个变形必须被精确呈现使得当在一个精确位置观看时，水平透视产生三维幻影。

水平透视显示系统，通过向观看者提供调整所显示的图像，以最大化幻影观看体验的手段，来促进水平透视投影的观看。通过利用微处理器的计算能力及实时显示器，水平透视显示器，包括可用于重新绘制所投影的图像的实时电子显示器，以及调节水平透视图像的观看者输入装置。通过重显示水平透视图像，使得其投影视点与观看者的视点吻合，本发明的水平透视显示器可以确保从水平透视方法中呈现三维幻影时的最小变形。输入装置可以被手动操作，观看者手动输入他或她的视点位置，或改变投影图像视点以获得最适宜的三维幻影。输入装置也可以自动操作，显示器自动跟踪观看者的视点并相应调整投影图像。本发明消除了观看者必须将他们的头保持在相对固定位置的限制，这个限制给接受诸如水平透视或全息显示这样的精确视点位置带来很多麻烦。

水平透视显示系统，可以进一步包括除实时电子显示器以外的计算装置，以及投影图像输入装置，向计算装置提供输入来为显示器计算投影图像，通过使观看者的视点和投影图像视点吻合，以向观看者提供真实的、最小变形的三维幻影。该系统可进一步包括图像放大/缩小输入装置、或图像旋转输入装置、或图像移动装置来允许观看者调节投影图像的视图。

输入装置可以手动或自动操作。输入装置可以探测观看者视点的位置和方向，根据探测结果计算并将图像投影到显示器。或者，输入装置可以被做成探测观看者头部的位置和方向以及眼球方向。输入装置可以包括红外线探测系统来探测观看者的头部位置，以允许观看者的头部自由运动。输入装置的其它实施例可以是用于探测观看者的视点位置的三角测量法，就如提供适于本发明的头部跟踪目的的位置数据的CCD照相机。输入装置可由观看者手动操作，如键盘、鼠标、轨迹球、游戏杆等等，来指示水平透视显示图像的正确显示。

本文件中描述的发明，利用了水平透视的开放空间特性，结合多个新的计算机硬件和软件元素及进程，一起产生“交互式模拟器”。简而言之，该交互式模拟器带来了全新及独特的计算体验，它使得终端用户实际地直接地(交互式)和实时计算机生成的、看上去象在显示器装置的观看表面上方开放空间(即终端用户个人实际空间)中的3D图形(模拟)互动。

为了使终端用户体验这些独特的交互式模拟，计算机硬件观看表面水平放置，因此终端用户的视线相对于该表面成45°的角度。一般而言，这意味着观看者竖直站着或坐着，观看表面和地面水平。注意尽管观看者可以体验处于非45°观看角度(例如55°、30°等)的实际模拟，45°还是使大脑认识到开放空间图像中最大数量的空间信息的最理想角度。因此，为简单起见，我们在文件中使用“45°”来表示“大约45°的角度”。此外，尽管因为水平观看表面模拟了观看者对水平地面的体验因而是较佳的，任何观看表面都可以提供类似的三维幻影体验。水平透视幻影可以通过将水平透视图像投影到顶面而看上去从顶上悬挂下来，或通过将水平透视图像投影到竖直墙面而看上去浮于墙面。

交互式模拟在3D图形引擎的视图空间内部生成，产生两个新元素，“交互空间”和“内部访问空间”。交互空间位于实际观看表面之上。这样，终端用户可以直接地、实际地操纵模拟，因为它们共同存在于终端用户的个人实际空间中。这个1∶1的对应允许通过用手或手持工具，触摸和操纵模拟器，来实现精确的和切实的实际交互。内部访问空间，位于观看表面之下，而在此空间中的模拟显得位于实际观看装置内部。因此在内部访问空间中生成的模拟不和终端用户共享同一实际空间，而因此图像不能用手或手持工具直接地、实际地操纵。即，他们通过计算机鼠标或游戏杆间接操纵。

所揭示的交互式模拟器可以导致终端用户能够直接地、实际地操纵模拟，因为它们共存于终端用户个人实际空间中。为此目的，需要新的计算概念，其中计算机生成的世界的元素与它们的实际真实世界等效物1∶1对应；即，实际元素和等效计算机生成的元素占用同样的空间和时间。这通过识别并建立一个共有“参照平面”来实现，新的元素相对于该参照平面是同步的。

和参照平面同步构成了在“虚拟”模拟世界和“真实”现实世界之间的1∶1对应的基础。其中，1∶1对应确保了图像正确显示：在交互空间中，处在观看表面上及上方的物体看上去在表面上及上方；在内部访问空间中，处在观看表面下方的物体看上去在表面下面。只有在1∶1对应和相对参照平面的同步时，终端用户才可以通过他们的手或手持工具实际地和直接地访问并和模拟交互。

如上文所概述，本发明的模拟器进一步包括实时计算机生成的3D图形引擎，但利用水平透视投影来显示3D图像。本发明和现有技术的图形引擎之间的一个主要区别是投影显示。现存的3D图形引擎使用中心透视，并因此由竖直平面来呈现其视图空间，而在本发明的模拟器中，需要“水平”方向的呈现平面(相对“竖直”方向的呈现平面)来生成水平透视开放空间视图。水平透视图像比中心透视图像提供更出色的开放空间访问。

本发明交互式模拟器的发明元素之一是计算机生成世界元素和他们的实际现实世界元素间的1∶1对应。如前面的介绍所述，这个1∶1对应是一个新的计算概念，是终端用户实际地和直接地访问并和交互式模拟交互所必须的。这个新概念需要产生一个共有实际参照平面，以及，用于得到其唯一的x、y、z空间坐标的公式。为了确定参照平面的位置和尺寸及其特殊坐标，需要了解以下内容：

计算机监视器或观看装置是由许多物理层制成，每层单独或合在一起具有厚度或深度。为了图解这一点，图11和12包括了典型CRT型观看装置的概念性的侧视图。监视器的玻璃表面的最上层，是实际“观看表面”112，图像形成的荧光层，是实际的“图像层”113。观看表面112和图像层113是位于不同深度(即沿观看装置z轴的z坐标)的分开的物理层。为了显示图像，CRT的电子枪激活荧光剂，荧光剂随后发射光子。这意味着当你观看CRT上的图像时，你沿着它的z轴通过它的玻璃表面，就如你通过窗口，看见来自玻璃后面它的荧光层的图像。

由于头脑中有观看装置的z轴，让我们使用水平透视在该装置上显示图像。在图11和12中，我们使用与前面在图10中所示的同样的建筑技术来用水平透视来绘制图像。通过比较图11和图10，可见图11中的中间块没有正确显示在观看表面112上。在图10中，中间块的底部正确地位于水平绘制/观看平面，即一张纸的观看表面。但是在图11中，荧光层，即图像形成处，位于CRT的玻璃表面之后。因此，中间块的底部不正确地位于观看表面的后面或下方。

图12示出了CRT类型观看装置上三块的正确位置。即，中间块的底部正确地显示在观看表面112而非图像层113。为了完成这一调节，模拟引擎使用观看表面和图像层的z坐标来正确呈现图像。因此，在相对于图像层的观看表面上正确呈现开放空间图像的特殊任务，在精确将模拟图像映射到现实世界空间中是重要的。

现在清楚，观看装置的观看表面是正确的呈现开放空间图像的实际位置。因此，如图13所示，观看表面131，即观看装置玻璃表面的顶部，是共有实际参照平面。但是只有观看表面的一个子集才可以是参照平面，因为整个观看表面大于总图像区域。图13示出了一个显示在观看装置的观看表面上的完整图像的范例。即，该图像，包括幼熊，示出了整个图像区域，它小于观看装置的观看表面。直视这个图像，可以看到如图13的平面图像，但是从一个正确的角度观看，可以出现如图14所示出的3D水平透视图像。

许多观看装置使得终端用户可以通过调节图像区域的x和y值来调节图像区域的尺寸。当然，同样是这些观看装置不提供任何关于z轴的信息或对z轴的访问，因为它是一个全新概念，且直到现在，只有在显示开放空间图像时才需要。但是所有三个x、y、z坐标在确定共有实际参照平面时是必要的。它的公式是：图像层133的z坐标为0。观看表面就是从图像层沿着z轴的距离参照平面的z坐标等于观看平面，即它距图像层的距离。参照层的x和y坐标即尺寸可通过在观看装置上现实完整的图像并测量其x和y轴长度来确定。

共有实际参考平面的概念是一个新的创造性的概念。因此，显示器制造商可能不提供或甚至不知道其坐标。因此可能需要执行“参照平面校准”过程来建立参照平面坐标。这个校准过程向终端用户提供多个与之交互的编排图像。终端用户对这些图像的响应向模拟引擎提供反馈，这样它可以识别参照平面正确的尺寸和位置。当终端用户已经满意并完成该过程，坐标被存入终端用户的个人简述(profile)。

有了观看装置，观看表面和图像层间距离非常短。但无论这个距离大小如何，所有的参照平面的x、y和z坐标都被技术上尽可能接近地确定。

在将“计算机生成的”水平透视投影显示平面(水平平面)映射到“实际”参照平面x、y和z坐标后，两个元素共存且在时间和空间上吻合；即，计算机生成的水平平面现在共享实际参照平面的现实世界的x、y和z坐标，且他们同时存在。

通过设想你正坐在水平方向的计算机监视器前面并使用交互式模拟器，你可以想像这种独特的计算机生成的元素和实际元素的映射占用同样的空间和时间。通过将你的手指放在监视器的表面上，你将正好同时触摸参照平面(实际观看表面的一部分)以及水平平面(计算机生成的)。换句话说，当触摸监视器的实际表面时，你也“触摸”了它的计算机生成的等效物，即由模拟引擎生成并映射到同样的地点和时间的水平平面。

本发明水平透视投影交互式模拟器的一个元素是计算机生成“成一定角度的照相机”点位。照相机点位最初位于距离水平平面任意距离处，且照相机的定位线从中心穿过方向成45°的角度。成一定角度的照相机相对于终端用户眼睛的位置对于生成看上去象在观看装置的表面上或上方的模拟是至关重要的。

算术地，成一定角度的照相机点位的计算机生成的x、y、z坐标轴组成了无限大的“金字塔”的顶点，“金字塔”的边穿过参照/水平平面的x、y、z坐标轴。图15示出了这个无限大的金字塔，它始于成一定角度的照相机点位151，并延伸通过远端剪切平面(未示出)。在金字塔内部有新的平面平行于参照/水平平面156，它和金字塔的边一起，定义了两个新视图空间。这些独特的视图空间称为交互空间153和内部访问空间154。这些空间的尺寸以及定义它们的平面是基于它们在金字塔中的位置。

图15除了其它显示元素还示出了平面155，称为舒适平面。舒适平面是定义交互空间153的6个平面之一，这些平面中，它是最接近于成一定角度的照相机点位151的，且平行于参照平面156。舒适平面155的命名是由于它在金字塔内的位置决定了终端用户个体的舒适性，即当观看及和模拟器交互时，他们的眼睛、头部、身体等位于何处。终端用户可以根据他们个体的视觉舒适，通过“舒适平面调节”过程调节舒适平面的位置。这个过程在交互空间中向终端用户提供编排的模拟，并使他们可以调节舒适平面在金字塔中相对于参照平面的位置。当终端用户已经满意并完成该过程，舒适平面的位置被存入终端用户的个人简述。

本发明的模拟器独特地定义了“交互空间”153。在交互空间中你可以将你的手伸过去实际“触摸”模拟。通过假想你坐在水平方向计算机监视器前并使用交互式模拟器，你可以想像这个情况。如果你把手放置在监视器表面以上几英寸，你正同时将你的手放在实际和计算机生成的交互空间中。该交互空间存在于金字塔中，且位于舒适平面和参照/水平平面之间并包含在其中。

当参照/水平平面上及上方存在交互空间，该模拟器同样任选地定义了存在于实际观看装置下方或内部的内部访问空间154。为此，终端用户不能直接通过他们的手或手持工具与位于内部访问空间中的3D对象交互。但是他们可以用计算机鼠标、游戏杆，或其它类似计算机外围设备，以传统手段交互。进一步定义了“内部平面”，它位于金字塔中参照/水平平面156的下方，紧邻且平行于平面156。由于实际原因，这两个平面可以说就是同一个。内部平面和底平面152是金字塔中定义内部访问空间的六个平面中的两个。底平面152离成一定角度的照相机点位最远，但作为远端剪切平面不会错。底平面同样平面于参照/水平平面，并且是定义内部访问空间的六个平面之一。通过设想你正坐在水平方向计算机监视器前并使用交互式模拟器，你可以想像内部访问空间。如果你将你的手穿过实际表面并将你的手放在监视器内部(当然是不可能的)，你就在把你的手放入内部访问空间。

终端用户离观看金字塔的底部的较佳距离决定了这些平面的位置。终端用户可以调节底平面的位置的一种方法是通过“底平面调节”过程。该过程在交互空间中向终端用户提供编排的模拟，并使他们可以调节底平面在金字塔中相对于参照/水平平面的位置并与之交互。当终端用户已经完成该过程，底平面的坐标被存入终端用户的个人简述。

让终端用户在他们的实际观看装置上观看开放空间图像，它必须位置正确，通常意味着实际参照平面水平于地面放置。无论观看装置相对于地面的位置如何，参照/水平平面必须相对于终端用户最佳的观看视线成45°角度。终端用户可以执行这一步的一种方法是将他们的CRT计算机监视器站立放在地板上，使参照/水平平面水平于地板。这个实例采用了CRT型的计算机显示器，但它可以是任何类型的观看装置，放置在与终端用户的视线成大约45°角。

“终端用户眼睛”的现实世界坐标和计算机生成的成一定角度的照相机点位必须1∶1对应，目的是使终端用户适当地观看显示在参照/水平平面上及其上方的开放空间图像。做到这一点，一种方法是终端用户向模拟引擎提供他们眼睛的真实世界x、y、z位置以及相对实际参照/水平平面中心的定位线信息。例如终端用户告诉模拟引擎他们实际的眼睛在看着参照/水平平面中心时，位于12英寸以上，12英寸以后。模拟引擎接着将计算机生成的成一定角度的照相机点位映射到终端用户视点的实际坐标及视线。

本发明水平透视交互式模拟器利用了水平透视投影来算术地将3D对象投影到交互和内部访问空间。实际参照平面的存在及其坐标的认知，对于在投影之前正确调节水平平面的坐标是必要的。通过考虑图像层和观看表面之间的偏移(位于沿着观看装置z轴的不同值处)，这个对于水平平面的调节使得开放空间图像对终端用户来说看上去在相对于图像层的观看表面上。

因交互和内部访问空间中的投影线都与对象点和偏移水平平面两者相交，对象的三维x、y、z点变成了水平平面的二维x、y点。投影线常常和多于一个3D对象坐标相交，但是只有一个沿着给定的投影线的对象x、y、z坐标可以成为水平平面的二维x、y点。对于每个空间，用于确定哪个对象坐标变成水平平面的一点的公式是不同的。对于交互空间，对象坐标157通过跟随给定的离水平平面最远的投影线而得到图像坐标158。对于内部访问空间，对象坐标159通过跟随给定的离水平平面最近的投影线而得到图像坐标150。在不相上下的情况下，即如果每个空间的3D对象点占据水平平面上的同一2D点，将使用交互空间的3D对象点。

图15是本发明的模拟引擎的示意图，包括了如前所述的新的计算机生成的和现实实际的元素。它还示出了实际世界的元素及其计算机生成的等效物按1∶1映射并共享共同的参照平面。这种模拟引擎的充分应用，导致了交互式模拟器，实时计算机生成的3D图形看上去位于在观看装置表面上及上方的开放空间中，观看装置表面的方向和终端用户的视线成大约45°角。

该交互式模拟器进一步包含加入全新元素及进程以及现存的立体3D计算机硬件。这导致了交互式模拟器具有多个视图或“多视图”能力。多视图向终端用户提供同一个模拟的多个和/或分离的左和右眼视图。

为了提供运动或和时间相关的模拟，模拟器进一步包括新的计算机生成的“时间维”元素，称为“SI时间”。SI是“模拟图像”的首字母缩写，是显示在观看装置上的一幅完整图像。SI时间是模拟引擎完全生成并显示一幅模拟图像所用的时间量。这类似电影放映机以每秒24次显示图像。因此放映机显示一幅图像需要1/24秒，但是SI时间可以是变量，意味着根据视图空间的复杂程度，模拟引擎将花费第1/120或1/2秒来完成一幅SI的显示。

模拟器还包括新的计算机生成的“时间维”元素，称为“EV时间”，它是用于生成一个“眼睛视图”所用的时间量。例如，让我们说模拟引擎需要产生一个左眼视图和一个右眼视图，目的是向终端用户提供立体3D体验。如果模拟引擎需要1/2秒来生成左眼视图，那么第一EV时间周期为1/2秒。如果它需要另一个1/2秒来生成右眼视图，那么第二EV时间周期也为1/2秒。由于模拟引擎生成同一模拟图像的左右眼分开的视图，总的SI时间是一秒。即，第一EV时间为1/2秒，第二EV时间也为1/2秒，使得总的SI时间为一秒。

图16帮助图解这两个新时间维元素。这是一个概念上的图，绘出了当模拟引擎生成模拟图像的双眼视图时，模拟引擎内部发生的情况。计算机生成的人双眼都睁开，需要立体3D观看，因此从两个分开的有利位置看幼熊，即从右眼视图和左眼视图。这两个分开的视图略微不同且偏移，是因为平均的人眼间距是2英寸。因此，每个眼睛从空间分开的点看世界，而大脑将它们组合形成整个图像。这就是如何以及为何我们看见现实世界是立体3D的。

图16是非常高水平的模拟引擎蓝图，关注如何将计算机生成的人的两眼视图投影到水平平面并随后显示在有立体3D能力的观看装置上，表示一个完整的SI时间周期。如果我们用上面第三步的范例，SI时间需要一秒。在这SI时间的一秒中，模拟引擎需要生成两个不同的眼睛视图，因为在这个范例中，立体3D观看装置需要分开的左右眼视图。现在存在需要多于分开的左眼和右眼视图的立体3D观看装置。但是因为这里描述的方法可以生成多视图，它同样可以用于这些装置。

图16的左上图示出了右眼162在时间元素“EV时间1”的成一定角度的照相机点位，意味着要生成的第一眼睛视图时间周期或第一眼睛视图。因此在图16中，EV时间1是模拟引擎用来完成计算机生成的人的第一眼(右眼)视图的时间周期。这是这一步的工作，在EV时间1中完成，并使用在坐标x、y、z的成一定角度的照相机，模拟引擎完成呈现并显示给定的模拟图像的右眼视图。

一旦第一眼(右眼)视图完成，模拟引擎就开始呈现计算机生成的人的第二眼(左眼)视图的过程。图16的左下图示出了左眼164在时间元素“EV时间2”的成一定角度的照相机点位。也就是，第二眼视图在EV时间2中完成。但是在呈现过程可以开始前，步骤5对成一定角度的照相机点位进行调节。这在图16中通过左眼的x坐标增加两英寸来示出。右眼x值和左眼x+2之差提供了两眼间的两英寸距离，这是立体3D观看所需要的。

人们的眼间距离是不同的，但是在上例中我们使用了平均数2英寸。将终端用户个人的眼间距离值提供给模拟引擎也是可以的。这将使得左右眼的x值相对特定观看者非常精确，并因此提高了他们立体3D视图的质量。

一旦模拟引擎将成一定角度的照相机点位的x坐标增加了2英寸，或增加终端用户提供的个人眼间距离值，它就完成了第二(左眼)视图的呈现和显示。这由模拟引擎在EV时间2周期中利用成一定角度的照相机x±2”、y、z坐标完成，且完全相同的模拟图像得到呈现。这样就完成了一个SI时间周期。

根据所使用的立体3D观看装置，模拟引擎继续显示左右眼图像，如上所述，直到它需要移动到下一个SI时间周期为止。这一步的工作就是确定是否该到了移动到新的SI时间周期的时刻了，如果是，则增加SI时间。这情况何时发生，举例就是幼熊移动他的爪子或身体的任何部分。接着需要新的第二模拟图像来显示处于新位置的幼熊。幼熊的位置略微不同的新模拟图像，在新SI时间周期或SI时间2中被呈现。这个新的SI时间2，将有其自己的EV时间1和EV时间2，因此上述模拟步骤在SI时间2中将重复。这种通过不断增加SI时间及其EV时间来生成多个视图的过程一直持续，只要模拟引擎以立体3D方式生成实时模拟。

上述步骤描述了组成具有多视图能力的交互式模拟器的新的和独特的元素和过程。多视图向终端用户提供了同一模拟的多个和/或分开的左右眼视图。多视图能力相比单眼视图具有重大的视觉和交互的进步。

本发明还允许观察者绕着三维显示器移动而不会有大的变形，因为显示器可以跟踪观看者的视点并相应重新显示图像，这和常规的现有技术相反，现有技术中投影和计算三维图像显得从单一视点看，观看者在空间内偏移预定观看点的任何移动都会导致严重变形。

显示系统可进一步包括计算机，用于在给出视点位置的位移时重新计算所投影的图像。水平透视图像创建起来会非常复杂和麻烦，或以对于艺术家或照相机不自然的方式被创建，因此需要计算机系统完成此工作。为了显示具有复杂表面的对象的三维图像，或创建动画序列，可能需要许多计算能力和时间，因此这个工作非常适合计算机。最近，有三维功能的电子设备和计算硬件装置以及实时计算机生成的三维计算机图形得到长足发展，视觉、听觉和触觉系统显著创新，并且有相当好的硬件和软件产品来生成现实的更自然的人机界面。

本发明的水平透视显示系统不仅满足娱乐媒体，诸如电视、电影和视频游戏的要求，也适合如教育(显示三维构造)和技术培训(显示三维设备)等各领域的需求。具有不断增长的对三维图像显示器的要求，可从不同角度观看，以便通过类似对象的图像观察真实对象。水平透视显示系统也能使观看者观察计算机生成的实体。该系统可以包括声音、视觉、动作以及用户输入，以便产生三维幻影的复杂体验。

水平透视系统的输入可以是二维图像、几个图像组合形成一个三维图像，或三维模型。三维图像或模型比二维图像传递更多信息，通过改变视角，观看者将得到从不同的透视点连续得到观看同一对象的印象。

水平透视显示器可以进一步提供多个视图或“多视图”能力。多视图向观看者提供同一个模拟的多个和/或分离的左和右眼视图。多视图能力相比单眼视图具有重大的视觉和交互的进步。在多视图模式中，左眼和右眼的视图都由观看者大脑融合成一个三维幻影。立体图像所固有的两眼的适应性调节和聚焦间差异的问题使得观看者的眼睛因大的差异而疲劳，这一问题可以通过水平透视显示器而减少，尤其是运动图像，因为观看者凝视点的位置会随显示屏改变而改变。

在多视图模式中，目的是模拟两眼的行动来产生深度感觉，即左眼和右眼看见略微不同的图像。因此可用于本发明的多视图装置包括眼镜，诸如浮雕方法、特殊偏振镜或遮光镜，不使用眼镜的方法诸如视差立体图、透镜方法和镜像方法(凸透镜和凹透镜)。

在浮雕方法中，右眼的显示图像和左眼的显示图像分别用两种颜色双重显示，例如红色和蓝色，右眼和左眼的观察图像使用颜色过滤器分开，因此使观看者能看到立体图像。利用水平透视技术显示图像，观看者向下以一定角度观看。如单眼水平透视方法，所投影的图像的视点必须与观看者的视点吻合，因此必须有观看者输入装置使观看者能观察三维水平透视幻影。自从浮雕方法的早期，已经有了很多进步，诸如红色/蓝色眼镜的频谱和显示器，向观看者生成更多真实感和舒适感。

在偏振镜方法中，左眼图像和右眼图像通过使用互相消光的偏振滤镜来分开，诸如正交线性偏振镜、圆形偏振镜、椭圆偏振镜。图像通常用偏振滤镜投影到屏幕，并向观看者提供相应的偏振镜。左右眼图像同时在屏幕上呈现，但是只有左眼偏振光通过眼镜的左眼透镜被发送，而只有右眼偏振光通过右眼透镜被发送。

立体显示的另一种方法是图像顺序系统。在这种系统中，图像在左眼和右眼图像之间顺序显示，而不是将它们彼此叠加，观看者的镜片和屏幕显示同步，从而当显示左图像时仅允许左眼看见，而当显示右图像时仅允许右眼看见。眼镜的遮光可以通过机械遮光或液晶电子遮光来实现。在遮光镜方法中，右眼和左眼的显示图像以时间分享方式被交替显示在CRT上，右眼和左眼的观察图像利用时间分享遮光镜分开，遮光镜以时间分享方式和显示图像同步打开/关闭，因此使得观察者看到立体图像。

另一种显示立体图像的方法是通过光学方法。在这种方法中，右眼和左眼的显示图像利用诸如棱镜、镜子、透镜等光学手段在观察器上被分开显示，在观察者面前双重显示为观察图像，因此使得观察者能看到立体图像。在投影左眼和右眼图像的两个图像投影仪分别向观看者的左右眼提供焦点时，可以使用大的凸透镜和凹透镜。还有一种光学方法是透镜法，其中在圆柱透镜元件或透镜元件的二维阵列上形成图像。

图16是关于计算机生成的人的两眼视图如何投影到水平平面上并随后显示在适合立体3D的观看装置上的水平透视显示器。图16描绘了一个完整的显示时间周期。在此显示时间周期中，水平透视显示器需要生成两眼不同的视图，因为在这个范例中，立体3D观看装置需要分开的左右眼视图。现已存在需要比分开的左右眼视图更多的立体3D观看装置，因为这里描述的方法可以生成多个视图也可以用于这些装置。

图16的左上图示出了在待生成的第一(右)眼视图之后，右眼的成一定角度的照相机点位。一旦第一(右)眼视图完成，水平透视显示器就开始呈现计算机生成的人的第二眼(左眼)视图的过程。图16的左下图示出了这次结束后，左眼的成一定角度的照相机点位。但是在呈现过程可以开始前，水平透视显示器对成一定角度的照相机点位进行调节，以说明左右眼位置间的差异。一旦水平透视显示器增加了成一定角度的照相机点位的x坐标，呈现通过显示第二(左眼)视图继续下去。

根据所使用的立体3D观看装置，水平透视显示器继续显示左右眼图像，如上所述，直到他需要移动到下一个显示时间周期为止。这情况何时发生，举例就是幼熊移动他的爪子或身体的任何部分。接着需要新的第二模拟图像来显示处于新位置的幼熊。幼熊的位置略微不同的新模拟图像，在新显示时间周期中呈现。这种通过不断增加显示时间生成多个视图的过程一直持续，只要水平透视显示器以立体3D方式生成实时模拟。

通过快速显示水平透视图像，可以实现运动的三维幻影。一般而言，一秒钟30到60幅图像将足够使眼睛感知运动。对于立体视法，重叠的图像需要同样的显示速度，时间顺序方法将需要两倍于那个数量。

显示速度是显示器用来完全生成和显示一幅图像的每秒图像数。这类似电影放映机以每秒24次显示图像。因此放映机显示一幅图像需要1/24秒。但是显示时间可以是变量，意味着根据视图空间的复杂程度，计算机将花费1/12或1/2秒来完成一幅图像的显示。由于显示器分开生成了同一图像的左右眼视图，因此总的显示时间是单眼图像的显示时间的两倍。

本发明交互式模拟器进一步包括计算机“外围设备”中采用的技术。图17示出了具有六个自由度的这种外围设备的一个范例，意味着它们的坐标系统使它们可以在(x、y、z)空间中的任何给定点交互。模拟器为终端用户所需要的每一个外围设备产生一个“外围设备开放访问空间”，如空间手套171、特征动画装置172或空间追踪器173。

图18是交互式模拟器工具的高水平图解，关注外围设备的坐标系统在交互式模拟工具中如何实现。新的外围设备开放访问空间，在图18中以空间手套181举例，用开放访问空间来一一映射。达到精确一一映射的关键是用共同参照平面来校准外围设备的空间，共同参照平面是位于显示器装置的观看表面的实际视图平面。

有些外围设备提供一种结构使得交互模拟工具无需任何终端用户的干预就可执行这个校准。但是如果校准外围设备需要外部干涉，那么终端用户将通过“开放访问外围设备校准”过程来完成。这个过程向终端用户提供交互空间中的一系列模拟及用户友好界面，使他们能调节外围设备空间的位置直到和观看表面精确同步。当校准完成后，交互模拟工具将信息保存在终端用户的个人简述中。

一旦外围设备的空间精确校准到观看表面，可以执行下一个过程。交互模拟工具将持续地跟踪外围设备的空间并将其映射到开放访问空间。交互模拟工具根据外围设备的空间中的数据改变它生成的每个交互图像。这个过程的最终结果是终端用户能利用交互模拟工具使用任何给定的外围设备，和在实时生成的交互空间中的模拟进行交互。

通过外围设备链接到模拟器，用户可以和显示模型交互。模拟引擎可以通过外围设备从用户那里得到输入，并操纵所希望的动作。通过外围设备正确地和实际空间及显示空间匹配，模拟器可以提供正确的交互和显示。本发明的交互模拟器接着可以生成全新和独特的计算体验，它使得终端用户实际地和直接地(交互)和实时计算机生成的(即看上去在显示装置观看表面上方开放空间中即终端用户自己的实际空间中)的3D图像(模拟)进行交互。外围设备跟踪可以通过照相机三角测量法或红外线跟踪装置实现。

图19旨在协助进一步解释本发明开放访问空间和手持工具。图19是终端用户利用手持工具与交互图像交互的模拟图。示出的特定情节是终端用户将大量的财经数据看作多个内联的开放访问3D模拟。终端用户可以通过使用手持工具(在图19中看上去像是指示装置)探查并操纵开放访问模拟。

“计算机生成的附件”以开放访问计算机生成的模拟的形式被映射到手持工具的顶端，手持工具在图19中向终端用户显示为计算机生成的“橡皮”。终端用户当然可以请求交互模拟工具向给定的手持工具映射任何数量的计算机生成的附件。例如，可以有不同的具有独特的视觉和听觉特性的计算机生成的附件，用来剪切、粘贴、焊接、上色、抹除、指示、抓取等。这些计算机生成的附件中的每个，在被映射到终端用户手持工具顶端时，就象它们模拟的真的装置那样动作和发声。

模拟器可以进一步包括3D声音装置用于“模拟识别和3D音频”。这导致了一个新的发明，形式是一个带照相机模型、水平多视图装置、外围设备、频率接收/发送装置以及手持装置的交互模拟工具，如下所述。

对象识别是一种使用照相机和/或其它传感器来通过一种叫做三角测量的方法定位模拟的技术。三角测量是应用了三角法、传感器和频带来“接收”来自模拟的数据的过程，目的是确定它们在空间中的精确位置。正因如此，三角测量成为绘图法和勘测工业的支柱，他们使用的传感器和频带包含但不限于照相机、激光、雷达和微波。3D音频同样使用三角测量，但是方式相反，3D音频将数据以声音的形式“发送”或投影到特定位置。但是无论你是发送还是接收数据，模拟在三维空间中的位置是通过频带接收/发射装置用三角测量完成的。通过改变声波到达用户左耳和右耳的幅度和相位角度，该装置可以有效地仿真声源的位置。到达耳朵的声音将需要被隔绝以避免干扰。隔绝可以通过使用耳机等来完成。

图20示出了终端用户201看着从3D水平透视显示器204投影的幼熊的交互图像202。由于幼熊看上去好像在观看平面上方的开放空间中，终端用户可以用手或手持工具触及并操纵幼熊。用户从不同角度观看幼熊也是可能的，就好像它们在现实生活中。这是通过利用三角测量完成的，三个现实世界的照相机203从它们特定的观看角度向交互模拟工具持续发送图像。这个现实世界照相机数据使交互模拟工具可以定位、跟踪和映射终端用户的身体和其它位于并围绕计算机监视器观看表面的现实世界模拟。

图21示出了终端用户211用3D显示器214看着幼熊212，并与之交互，但是它包括从幼熊口中发出的3D声音216。要达到这个水平的声音质量，需要实际将三个照相机213的每一个和分开的扬声器215组合，如图21所示。照相机的数据使得交互模拟工具使用三角测量来定位、跟踪和映射终端用户的“左右耳”。且因为交互模拟工具生成幼熊，作为计算机生成交互图像，它知道幼熊嘴巴的确切位置。通过知道终端用户的耳朵和幼熊嘴巴的确切位置，交互模拟工具使用三角测量来发送数据，通过改变音频的空间特性，让3D声音显得从计算机生成的幼熊嘴巴中发出。

新的频带接收/发送装置可以通过将摄像机和扬声器组合而产生，如前面图21所示。注意，其它传感器和/或变频器也可以使用。

使用这些新的照相机/扬声器装置并将它们附加或放置在靠近诸如图21所示的计算机监视器的观看装置附近。这导致了每个照相机/扬声器装置具有独特的和分开的“现实世界”(x、y、z)位置、视线和频率接收/发送空间。为了理解这些参数，设想使用可携带的摄像机并从其取景器中看过去。当你这样做的时候，摄像机具有特定的空间位置，放置在特定的方向，且所有的你通过取景器看见或接收的视觉频率信息是它的“频率接收空间”。

三角测量通过将每个照相机/扬声器装置分开，以使它们各自的频率接收/发送空间交叠并覆盖完全相同的空间区域。如果你有三个相距很远的频率接收/发送空间覆盖了完全相同的空间区域，那么空间中的任何模拟可以被精确定位。下一步在开放访问照相机模型中为这个现实世界空间产生了新元素，并标为“现实频率接收/发送空间”。

现在存在的这个现实频率接收/发送空间，必须相对共有参照(当然是现实观看平面)进行校准。下一步是现实频率接收/发送空间相对现实观看平面自动校准。这是一个自动过程，由交互模拟工具持续执行，目的是即使当发生意外或被终端用户移动(很可能发生)，保持照相机/扬声器装置正确校准。

图22是完整的开放访问照相机模型的简易示意图，将有助于解释完成上述情节所需的附加步骤的每一步。

模拟器接着通过持续定位和跟踪终端用户的“左右眼”和他们的“视线”221，执行模拟识别。现实世界左右眼坐标持续地映射到开放访问照相机模型中，正如它们在现实世界，并随后持续调节计算机生成的照相机坐标来和被定位、跟踪和映射的现实世界眼睛坐标匹配。这使得能基于终端用户的左右眼精确位置在交互空间中实时生成模拟。这允许终端用户自由地移动他们的头，并围绕交互图像看，而不会变形。

模拟器接着通过持续定位和跟踪终端用户的“左右眼”和他们的“听觉线”222，来执行模拟识别。现实世界左右眼坐标持续地映射到开放访问照相机模型中，正如它们在现实世界，并随后调节3D音频坐标来和被定位、跟踪和映射的现实世界耳朵坐标匹配。这使得能基于终端用户的左右耳精确位置实时生成开放访问声音。允许终端用户自由地移动他们的头，并仍然听见从正确位置发来的开放访问声音。

模拟器接着通过持续定位和跟踪终端用户的“左右手”和他们的“手指”222，即手指和拇指，执行模拟识别。现实世界左右手坐标持续地映射到开放访问照相机模型中，正如它们在现实世界，并持续地调节交互图像坐标来和被定位、跟踪和映射的现实世界手坐标匹配。这使得能基于终端用户的左右手精确位置在交互空间中实时生成模拟，允许终端用户自由地与交互空间中的模拟交互。

或者或另外，模拟器可以通过持续定位和跟踪“手持工具”而非手，执行模拟识别。这些现实世界手持工具坐标可被持续地映射到开放访问照相机模型中，正如它们在现实世界，并持续调节交互图像坐标来和被定位、跟踪和映射的现实世界手持工具坐标匹配。这使得能基于手持工具的精确位置在交互空间中实时生成模拟，允许终端用户自由地与交互空间中的模拟交互。

3D水平透视交互式模拟器揭示完了。本发明的优选形式用图示出并在此描述。本发明不应被解释为限制在这里示出和描述的特定形式上，因为优选形式的变化对于本领域技术人员来说是显而易见的。发明的范围由后面的权利要求及其等同所定义。

Claims (20)

1、一种3D水平透视模拟器系统，包括：

水平透视显示器，利用水平透视将3D图像显示在开放空间；以及

外围设备，通过触摸3D图像操纵显示图像。

2、如权利要求1所述的模拟器系统，其特征在于，进一步包括处理单元，所述处理单元从外围设备提取输入并向水平透视显示器提供输出。

3、如权利要求1所述的模拟器系统，其特征在于，进一步包括将实际外围设备跟踪到3D图像的装置。

4、如权利要求1所述的模拟器系统，其特征在于，进一步包括将实际外围设备校准到3D图像的装置。

5、一种3D水平透视模拟器系统，包括：

处理单元；

水平透视显示器，利用水平透视将3D图像显示在开放空间；

外围设备，通过触摸3D图像操纵显示图像；以及

外围设备跟踪单元，用于将外围设备映射到3D图像。

6、如权利要求5所述的模拟器系统，其特征在于，所述水平透视显示器进一步将一部分3D图像显示到内部访问空间，其中处于内部访问空间的部分图像不能被外围设备触及。

7、如权利要求5所述的模拟器系统，其特征在于，所述水平透视显示器进一步包括自动或手动视点跟踪。

8、如权利要求5所述的模拟器系统，其特征在于，所述水平透视显示器进一步包括缩放、旋转或移动3D图像的装置。

9、如权利要求5所述的模拟器系统，其特征在于，所述水平透视显示器将3D图像投影到实质的水平平面。

10、如权利要求5所述的模拟器系统，其特征在于，所述外围设备是工具、手持工具、空间手套或指示装置。

11、如权利要求5所述的模拟器系统，其特征在于，所述外围设备包括一个顶端，所述操纵对应于外围设备的顶端。

12、如权利要求5所述的模拟器系统，其特征在于，所述操纵包括修改显示图像的行为或生成不同图像的行为。

13、如权利要求5所述的模拟器系统，其特征在于，进一步包括3D声音系统。

14、如权利要求5所述的模拟器系统，其特征在于，所述外围设备映射包括将外围设备的位置输入到处理单元。

15、如权利要求5所述的模拟器系统，其特征在于，外围设备跟踪单元包括三角测量或红外线跟踪系统。

16、如权利要求5所述的模拟器系统，其特征在于，进一步包括将显示图像的坐标校准到外围装备的装置。

17、如权利要求16所述的模拟器系统，其特征在于，所述校准装置包括参照坐标的手动输入。

18、如权利要求16所述的模拟器系统，其特征在于，所述校准装置包括通过校准过程的参照坐标的自动输入。

19、如权利要求5所述的模拟器系统，其特征在于，所述水平透视显示器是使用水平透视显示立体3D图像的立体水平透视显示器。

20、一种多视图3D水平透视模拟器系统，包括：

处理单元；

立体水平透视显示器，利用水平透视将立体3D图像显示在开放空间；以及

外围设备，通过触摸3D图像操纵显示图像；以及

外围设备跟踪单元，用于将外围设备映射到3D图像。

Images