CN102695993B - 用于远程协作运输工具的系统和方法 - Google Patents

Abstract

本发明公开了用于控制运输工具系统的方法和体系结构系统。在一个实施例中，一种远程控制运输工具的方法包括估算运输工具的位置。位置估算算法可以估算运输工具的位置。从运输工具接收的位置数据包可以用于更新运输工具的估算位置。显示设备可以基于运输工具的更新的估算位置显示运输工具的虚拟表示。命令信号可以基于所显示的运输工具的虚拟表示被发送至运输工具。

Description

用于远程协作运输工具的系统和方法

技术领域

本公开涉及远程协作运输工具，更具体地涉及用于远程协作运输工具的系统和方法。

背景技术

远程协作运输工具系统由于它们能够参与从侦察和情报收集到攻击任务的任务中而正逐渐变得有价值。一种常用于控制远程运输工具系统的体系结构包括使来自运输工具的直播视频流到操作器(operator)平台。操作员/操作器观察视频供给并基于所观察的视频供给将命令送回运输工具。虽然这种体系结构理想上允许远程操作器观察运输工具正在实时操作的实际环境，但是这种体系结构通常具有难处理的延迟/等待时间问题并需要相当数量的带宽，因此显著地妨碍实时操作。

延迟/等待时间(latency)是时间滞后，例如运输工具获取、编码和从其发送视频流到远程操作器所花费的时间，加上操作员/操作器提供控制输入所花费的时间以及运输工具接收并响应来自远程操作器的控制输入所花费的时间。延迟可能产生不希望的效应，例如使运输工具从希望的轨道转向。例如，在监视任务期间，如果运输工具发送具有五秒延迟的视频供给，当远离希望的监视点两秒时，对操作员/操作器来说观察潜在的视频并提供在运输工具通过监视点时执行的控制输入将会太迟。结果，操作员/操作器将继续设法补偿延迟而不是实时操作运输工具。

延迟的影响的另一个示例是当运输工具例如通过用惯性导航单元(INU)增强的全球定位系统(GPS)测量其定位和方向时。运动学状态数据例如运输工具的定位、方向、速度和加速度对它们被获得时的精确移动是有效的，但是经过数据被发送并被操作员/操作器观察的时间，运输工具的动量已经使其超过报告的位置。所以，操作员/操作器将基于旧的运动学数据提供控制输入，而不一定基于在产生控制输入的精确时刻的运输工具的状态。这可能引起不希望的效应，例如飞行员诱导振荡。运动学数据延迟还能够妨碍运输工具之间的协作。例如，一大群运输工具以密集队形飞行时，运输工具可以彼此交换运动学数据，以便它们的控制系统可以持续地调整以保持希望的队形。然而，如果存在与运动学数据关联的延迟，每个运输工具的控制系统将基于旧的运动学数据进行它们的计算，而不一定基于表示在执行计算的时刻的其它运输工具的状态的数据。运动学数据延迟的影响可能包括需要分隔开运输工具使它们在队形中互相远离以补偿运动学数据延迟的影响，或者冒着运输工具之间碰撞或与环境中的物体碰撞的危险。

除延迟之外，视频流体系结构通常还需要相当数量的带宽。高质量的视频流可能需要每秒一兆或更大的带宽。这种带宽通常负担着运输工具和远程操作器之间的通信链路。多个无人运输工具系统可以协作地操作，例如以成群的方式进行操作。多个视频流可能将所需的带宽数量增加到难以处理的大小。

一种用于远程控制运输工具系统的可替换体系结构包括压缩视频流以减少带宽需求。虽然压缩视频流有利地减少带宽需求，但是这种体系结构的压缩和解压缩的开销可能增加几秒或更多的延迟。这种增加的延迟可能使得难以远程控制运输工具。

另一种用于远程控制运输工具系统的可替换体系结构包括将运输工具拴系/限制(tethering)到远程操作器。拴系/限制运输工具有利地提供在运输工具和操作器之间的直接通信链路并能够提供具有最小延迟的足够带宽以使被拴系的运输工具能够有效地操作。然而，在这种体系结构中，被拴系的运输工具的任务受限于系链(tether)的长度，其极大地限制运输工具能够执行的任务的类型，并且限制运输工具和操作器与其它运输工具和操作器协作的能力。

发明内容

本发明公开了用于控制运输工具系统的方法和体系结构系统。在一个实施例中，一种远程控制运输工具的方法包括估算运输工具的位置。位置估算算法可以估算运输工具的位置。从运输工具接收的位置数据包可以被用于更新运输工具的估算位置。显示设备可以基于运输工具的更新的估算位置显示运输工具的虚拟表示。命令信号可以基于运输工具的显示的虚拟表示而被发送至运输工具。

在另一个实施例中，一种传送运输工具的位置的方法包括估算运输工具的位置和采集运输工具的实际位置。如果运输工具的估算位置和实际位置之间的差异大于阈值，则可以产生包含方向以及运动学运输工具数据的位置数据包并将其从运输工具上发送。

在另一个实施例中，远程可操作运输工具系统体系结构可以包括远程可操作运输工具和远程操作器(operator)。远程可操作运输工具可以包括估算位置模块以估算运输工具的位置。远程可操作运输工具还可以包括采集位置模块以采集运输工具的实际位置。当运输工具的估算位置和实际位置之间的差异大于位置偏差阈值时，可以产生并传送位置数据包。远程操作器平台可以包括估算位置模块、位置更新模块、显示模块以及命令模块。基于操作器的估算位置模块可以估算运输工具的位置。位置更新模块可以在从运输工具传送位置数据包时更新运输工具的估算位置。显示模块可以基于运输工具的更新的估算位置在显示设备上显示运输工具的虚拟表示。命令模块可以传送一个或更多个操作命令至运输工具。

在另一个实施例中，远程可操作运输工具系统体系结构可以包括至少两个协作的远程可操作运输工具。所述运输工具可以包括估算位置模块、采集位置模块、通信模块、位置更新模块、命令模块以及控制模块。估算位置模块可以估算至少两个协作的远程可操作运输工具中的每一个的位置。每个远程可操作运输工具可以经由采集位置模块获得它们的实际位置。通信模块监视每个运输工具的估算位置和实际位置之间的差异，并且当差异大于位置偏差阈值时，通信模块可以传送位置数据包至每个协作的远程可操作运输工具。位置更新模块可以基于位置数据包更新每个协作的远程可操作运输工具的估算位置。命令模块可以接收来自远程操作器的一个或更多个操作命令或者与其它运输工具交换操作命令。控制模块可以使用运输工具估算位置和环境的虚拟表示来控制运输工具的功能。

可以在本公开的各种实施例中独立地实现这些特征、功能和优势，或者可以在其它实施例中对这些特征、功能和优势进行组合。

附图说明

参考附图来描述详细说明。在附图中，附图标记最左边的数字指示附图标记第一次在其中出现的附图。不同附图中相同的附图标记指示相似或相同的物件。

图1是用于远程可控制运输工具的系统体系结构的组合框图和流程图。

图2是图示说明用于远程可操作系统的位置采集模块的进一步细节的框图。

图3是图示说明用于远程可操作系统的位置跟踪模块的进一步细节的框图。

图4是图示说明用于传送运输工具的位置的过程的流程图。

图5是图示说明用于显示运输工具的位置的过程的流程图。

图6是图示说明用于控制运输工具的过程的流程图。

图7是用于协作地控制多个远程可控制运输工具的系统体系结构的组合框图和流程图。

具体实施方式

概述

如上所述，与直播视频流有关的延迟和带宽问题极大地妨碍了精确地远程控制运输工具系统的能力。这里公开了在不需要传输直播流视频的情况下远程控制运输工具的改进技术。一些技术包括使用预定义的定位算法来估算运输工具的位置。这种预定义的定位算法可以在不需要任何直播流视频作为输入的情况下估算运输工具的位置。其它技术包括仅当运输工具的估算位置与运输工具的实际位置的差异至少大于预先确定的阈值时从运输工具系统传送实际位置数据。通过显示运输工具的虚拟表示以及运输工具操作环境的虚拟表示，可以在没有来自运输工具的实时视频流的情况下显示运输工具在其操作环境中的功能的可视化。可以实现在此公开的技术的运输工具包括但不限于飞机、船舶、航天器、机动车、机械装置以及远程可控制的其它运输工具或系统。

图1示出用于远程可控制运输工具的系统体系结构100。系统体系结构100可以包括远程可操作运输工具102和远程操作器(operator)104。远程可操作运输工具102可以是远程可控制的任何运输工具，例如飞机、船舶、航天器、机动车等。可以理解系统体系结构100的实施方式可以包括任意数量的相似或不同的运输工具，虽然图1为了方便示例说明仅示出一种飞机运输工具。

一般来说，远程可操作运输工具102和远程操作器104可以是包括一个或更多个处理器的基于计算机的系统。图1示出与远程可操作运输工具102关联的运输工具处理器106以及与远程操作器104关联的操作器处理器108。远程可操作运输工具102和远程操作器104可以包括被连接以便与处理器通信的计算机可读存储介质的一个或更多个实例。如图1所示，远程可操作运输工具102可以包括运输工具计算机可读介质110，并且远程操作器104可以包括操作器计算机可读介质112。计算机可读介质110和112可以包含指令，所述指令在被处理器执行时实施如在此所描述的任何工具或相关功能。处理器可以被配置以访问和/或执行被嵌入或被编码在计算机可读介质110和112上的指令。处理器还可以被分类或特征化为具有给定体系结构。这些处理器可以是不同类型的处理器，其取决于远程可操作运输工具102的体系结构。可以理解运输工具102可以是分布式的，例如在运输工具平台上的重量和功率限制等条件需要分布式运输工具系统配置的情况下，运输工具处理器106和关联的模块可以被置于运输工具平台之外(例如在地面上)，并使用远程跟踪系统例如激光、LED、红外线、超声、射频标签(RFTag)或电磁系统来跟踪运输工具平台。

通信链路114可以使得在远程可操作运输工具102和远程操作器104之间的双向通信变得可行。虽然仅示出一个通信箭头，但是可以提供多个通信链路。在一个实施方式中，通信链路114可以使得远程可操作运输工具102能够在没有经过中间网络传递的通信的情况下与远程操作器104通信。适于实现这种通信的技术的示例包括但不限于蓝牙(Bluetooth)和无线局域网即WiFi技术。在可替换实施方式中，通信链路114可以通过一些中间网络或提供的服务和/或通过由第三方保持的一些服务使远程可操作运输工具102能够与远程操作器104通信。

虽然在图1中仅示出一个运输工具，但如果提供多个运输工具，则通信链路114可以使各种运输工具之间能够通信并且能够与远程操作器104通信。

运输工具计算机可读介质110可以包括位置采集和通信模块116以采集并传送运输工具的位置。如以下参考图2进一步描述，位置采集和通信模块116有利地消除使直播视频从远程可操作运输工具102流出的需求。例如，仅当远程可操作运输工具102的实际位置与远程可操作运输工具102的估算位置的差异大于阈值时，位置采集和通信模块116传送远程可操作运输工具102的位置。位置采集和通信模块116可以被实现为一个或更多个软件模块，这些软件模块在被加载到运输工具处理器106中并执行时促使远程可操作运输工具102执行在此描述的各种功能。

运输工具计算机可读介质110还可以包括运输工具测量数据库118的一个或更多个示例从而存储环境的测量。运输工具测量数据库118可以被预加载到运输工具计算机可读介质中或者可以从中央资料库120下载。在操作期间，远程可操作运输工具102可以使用一个或更多个距离传感器(未示出)来感测环境的测量。测量比较模块122可以比较所感测的环境测量和运输工具测量数据库118的一个或多个测量。如果远程可操作运输工具102感测到与运输工具测量数据库118不相关的环境测量，则距离传感器可以更新运输工具测量数据库118以便与传感器测量相关。

例如，距离传感器(未示出)可能指示沿着距离传感器的方位角和仰角到地形的表面的距离是37米，但是在运输工具测量数据库中沿着相同方位角和仰角的距离可能指示到地形的表面的距离是40米，所以两个距离不是相关的，并且如果运输工具位置和传感器方向是精确的，则实际地形在运输工具测量数据库存储的远离那一位置的那一点上一定具有更高的高度。所以，可以在地形高度数据库中插入一个点以反映那一位置的地形轮廓的最新可用的数据。在相同的周围地区中采取的额外距离测量将提供额外的数据点，其能够提供运输工具测量数据库中的地形的非常精确的表示。存在许多可以使用的插入方法，例如如果数据库系统能够支持额外的细节，则添加更多的表面多边形，或者如果数据库系统不能接受额外的表面细节，则修改与现有表面多边形关联的坐标以反应更及时的地形表面数据。

在另一个示例中，距离传感器可以包括图像获取设备(未示出)。测量比较模块122可以比较从图像获取设备获取的环境图像和存储在运输工具测量数据库118中的一个或更多个图像。在一个实施方式中，测量比较模块122比较真实世界获取的环境图像和存储在运输工具测量数据库118中的一个或更多个真实世界获取的图像。可替换地，测量比较模块122可以比较真实世界获取的环境图像和存储在运输工具测量数据库118中的一个或更多个虚拟表示图像。如果获取的图像与运输工具测量数据库118中的图像不同或者如果获取的图像未在运输工具测量数据库118中出现，则远程可操作运输工具102可以将获取的图像存储到运输工具测量数据库118中。在一个实施方式中，远程可操作运输工具102将获取的图像作为真实世界的图像存储到运输工具测量数据库118中。可替换地，远程可操作运输工具102基于距离传感器的位置和方向以及沿着视线在传感器视野内与物体的交叉点将获取的图像的虚拟表示存储到运输工具测量数据库118中。可替换地，远程可操作运输工具102可以将真实世界的图像以及获取的图像的虚拟表示存储到运输工具测量数据库118中。

无论所存储的测量的类型如何，一旦远程可操作运输工具102更新运输工具测量数据库118，则远程可操作运输工具102可以更新中央资料库120以反映新添加的测量。在一个实施方式中，远程可操作运输工具102可以发送资料库更新消息以通知其它平台中央资料库120含有更新的测量。例如，远程可操作运输工具102可以发送资料库更新消息至远程操作器104。远程可操作运输工具102可以经由通信链路114发送资料库更新消息至远程操作器104。可替换地，远程可操作运输工具102可以经由不同于通信链路114的通信技术发送资料库更新消息至远程操作器104。虽然图1仅示出一个运输工具，但是如果提供了多个运输工具，则除了发送资料库更新消息至远程操作器104之外或代替发送资料库更新消息至远程操作器104，远程可操作运输工具102可以发送资料库更新消息至其它运输工具。

继续参考图1，操作器计算机可读介质112可以包括位置跟踪模块124。如以下参考图3进一步描述的，位置跟踪模块124跟踪远程可操作运输工具102的位置而不需要从远程可操作运输工具102流出直播视频。一个或更多个软件模块可以实现位置跟踪模块124，以便当被加载到运输工具处理器106中并被执行时，远程操作器104执行在此描述的各种功能。

操作器计算机可读介质112还可以包括虚拟环境数据库126的一个或更多个示例以存储运输工具的操作环境的测量。虚拟环境数据库126可以被预加载到操作器计算机可读介质中或者可以从中央资料库120下载。在操作期间，远程操作器104可以通过从中央资料库120中下载数据而更新虚拟环境数据库126。例如，远程操作器104可以如上所述在从远程可操作运输工具102接收资料库更新消息之后在操作期间从中央资料库120下载数据。

操作器计算机可读介质112可以额外地包括显示模块128以在显示设备(未示出)上显示远程可操作运输工具102的虚拟表示。显示模块128可以基于经由位置跟踪模块124确定的远程可操作运输工具102的位置显示远程可操作运输工具102的虚拟表示。另外，显示模块128可以从虚拟环境数据库126中检索一个或更多个测量，从而和远程可操作运输工具102的虚拟表示一起在显示设备上显示。例如，显示模块128可以检索运输工具的操作环境的一个或更多个测量，从而基于经由位置跟踪模块124指示的远程可操作运输工具102的位置来显示。

和运输工具的操作环境的虚拟表示一起显示远程可操作运输工具102的虚拟表示有利地使显示设备能够显示远程可操作运输工具102而不需要从远程可操作运输工具102流出直播视频。另外，显示模块128有利地使显示设备能够显示从任何视角观察的可操作运输工具102。例如，显示设备可以从远处以态势感知视角(situationalawarenessview)、过肩视角或远程可操作运输工具102上的远景视角例如虚拟“飞行员”视角显示远程可操作运输工具102。虽然在图1中仅示出一个运输工具，但是可以提供多个运输工具。如果提供了多个运输工具，则显示模块128可以同时在显示设备上一起显示多个运输工具中的一个或更多个。可替换地，多个显示设备可以显示多个运输工具。

继续参考图1，操作器计算机可读介质112可以额外地包括命令模块130以发送一个或更多个操作命令至远程可操作运输工具102。在一个实施方式中，显示设备的用户手动输入命令模块130的一个或更多个命令以发送至远程可操作运输工具102。例如，显示设备的用户可以发送控制命令以使远程可操作运输工具转动、倾斜转弯和/或加速。在另一个可替换实施方式中，自动技术提供一个或更多个命令至命令模块130以发送至远程可操作运输工具102。

在一个实施方式中，命令模块130经由通信链路114发送命令至远程可操作运输工具102。虽然图1仅示出一个运输工具，但是可以提供多个运输工具。如果提供了多个运输工具，则命令模块130可以发送命令至多个运输工具中的一个或更多个。在一个实施方式中，命令模块130发送一个或更多个相似命令至多个运输工具以使多个运输工具彼此同步移动。可替换地，命令模块130可以发送独特命令至多个运输工具中的每一个以独立地控制多个运输工具中的每一个。这些命令的类型可能包括直接驾驶运输工具、更新要遵循的航线点集或更新运输工具可以用于作出自主或协作决定的规则集的那些命令。

一个或更多个软件模块可以实现显示模块128和命令模块130，以便当被加载到远程操作器处理器108并被执行时，远程操作器104执行在此描述的各种功能。

位置采集和通信模块

图2示出用于远程可操作运输工具的位置采集和通信模块116的进一步细节200。如上所述，位置采集和通信模块116反复地采集远程可操作运输工具102的位置，但是仅当远程可操作运输工具102的实际位置与远程可操作运输工具102的估算位置的差异大于阈值时传送远程可操作运输工具102的位置。

如图2所示，位置采集和通信模块116可以包括基于运输工具的估算位置模块202，该估算位置模块可以使用位置估算算法204来估算运输工具的位置。位置采集和通信模块116还可以包括采集位置模块206，该采集位置模块可以使用位置采集技术208来采集运输工具的实际位置。位置采集和通信模块116还可以包括位置比较模块210以基于对运输工具的估算位置和实际位置的比较产生位置数据包212。位置采集和通信模块116还可以包括通信模块214以传送位置数据包。

参考基于运输工具的估算位置模块202，任何位置估算算法204都可以被用于估算运输工具的位置。在一个非限制实施方式中，位置估算算法204可以使用航位推算算法来估算远程可操作运输工具102的位置。在这种实施方式中，航位推算算法可以基于从运输工具获得的方向和运动学数据估算远程可操作运输工具的位置。在一个实施方式中，基于运输工具的估算位置模块202持续地估算远程可操作运输工具102的位置。

参考采集位置模块206，任何位置采集技术208都可以被用于采集运输工具的位置。在一个非限制实施方式中，位置采集技术208可以使用全球定位系统(GPS)技术来采集运输工具的位置。

继续参考图2，位置比较模块210可以比较估算位置和采集位置。如果估算位置和采集位置之间的差异大于达成一致的阈值，则位置比较模块210可以产生位置数据包212。在一个实施方式中，位置数据包212可以包括运输工具的当前方向和运动学数据，所述数据包括线速度和旋转速度以及加速度数据。位置数据包212还可以包括时间戳，该时间戳反映位置数据包212意图表示的时间。这可以是产生数据包的位置比较模块的当前时间，但是它还可以包括向前时间差(lookaheadtimedifferential)，以便该位置数据包表示在其被产生时不久后的运输工具位置，从而补偿到达接收方(例如远程操作器104)的传输延迟。

在产生位置数据包212之后，位置采集和通信模块116可以在214处传送位置数据包。在一个实施方式中，位置采集和通信模块116在214处经由通信链路114(图1)传送位置数据包至图1的远程操作器104。如果提供了多个运输工具，则位置采集和通信模块116可以在214处传送位置数据包至一个或更多个其它运输工具。例如，位置采集和通信模块116可以在214处传送位置数据包至一个或更多个其它运输工具，并且传送位置数据包至远程操作器。

位置跟踪模块

图3示出用于实现远程控制运输工具的系统体系结构的位置跟踪模块124的进一步细节300。如上所述，位置跟踪模块124跟踪远程可操作运输工具102的位置而不需要从远程可操作运输工具102中流出直播视频。

如图3所示，位置跟踪模块124可以包括基于操作器的估算位置模块302。基于操作器的估算位置模块302可以使用位置估算算法304来估算远程可操作运输工具102的位置。在一个实施方式中，基于操作器的估算位置模块302使用与参考图2所描述的基于运输工具的估算位置模块202所用的相同算法来估算远程可操作运输工具102的位置。例如，基于运输工具的估算位置模块202和基于操作器的估算位置模块302可以包含相同的航位推算算法以估算远程可操作运输工具102的位置。在两个估算位置模块202和302中使用相同的位置估算算法有利地使得显示模块能够显示远程可操作运输工具102在其操作环境中的精确表示。

位置跟踪模块124可以包括位置更新模块306以更新远程可操作运输工具的跟踪位置。在一个实施方式中，位置更新模块306可以通过更新位置估算算法304的变量来更新远程可操作运输工具的跟踪位置。例如，位置更新模块306可以基于存储在从远程可操作运输工具102接收的位置数据包中的位置和方向数据来更新估算运输工具位置算法的变量。如上参考图2所述，当远程可操作运输工具的估算位置和远程可操作运输工具的采集位置的差异大于达成一致的误差时，远程可操作运输工具102的位置采集和通信模块116可以发送包括位置、方向以及时间戳数据的位置数据包212至远程操作器104。

位置更新模块306还可以基于从远程可操作运输工具102接收的位置数据包212的时间戳来更新远程可操作运输工具的跟踪位置。例如，位置更新模块306可以基于位置数据包的时间戳(即位置数据包有效的时间)和位置跟踪模块124接收位置数据包的时间之间的任何差异对存储在位置数据包212中的数据进行外推。在使用与数据分配延迟相匹配的向前时间值来产生位置数据包的示例中，位置数据包的时间和位置应非常接近地匹配估算位置模块302中的时间和位置。应该注意到，可能已经因为运输工具的位置比较模块210指示位置估算算法204中已经积累了足以超过达成一致的误差标准阈值的误差而产生了位置数据包212，所以远程操作器位置跟踪模块124可能需要更新的位置，尤其是如果远程操作器位置跟踪模块124正在使用与运输工具102正在使用的作为其位置估算算法204相同的位置估算算法304，则位置估算算法304的积累误差也很可能接近或超过达成一致的误差标准阈值。

虽然图3中仅示出一个运输工具，但是可以提供多个运输工具。如果提供了多个运输工具，则位置更新模块306可以跟踪多个运输工具中的一个或更多个的位置。在一个实施方式中，全部多个运输工具可以使用相同的算法来发送它们的位置数据包212，以便全部远程可操作运输工具和全部操作器获知全部其它远程可操作运输工具的精确位置。在这种实施方式中，各种操作器可以虚拟地控制任何远程运输工具，并且规划和协调多个运输工具之间的协作任务。可替换地，多个运输工具可以获知其它运输工具的位置，以便远程可操作运输工具本身可以在操作员/操作器不干涉的情况下指挥协同操作。下面的图7示出了指挥这种协同操作的系统体系结构。

在一个实施方式中，基于操作器的估算位置模块302持续地估算远程可操作运输工具的位置，以便显示模块持续地更新远程可操作运输工具的所显示的虚拟表示。

示意性处理过程

图4-图6示出涉及远程可控制运输工具的处理过程。示意性处理过程被描绘成逻辑流程图中的方框集合，其表示能够以硬件、软件或其组合实现的操作序列。在软件的背景下，方框表示在被一个或更多个处理器执行时促使一个或更多个处理器执行所列举的操作的计算机可执行指令。一般来说，计算机可执行指令包括执行特殊功能或实现特殊抽象数据类型的例程、程序、对象、构件、数据结构等。所描述的操作顺序不应被解释为是限制性的，并且任何数量的所描述的方框能够以任何顺序和/或并行组合以实现处理过程。

图4示出用于传送运输工具的位置的处理过程400。处理过程400可以至少部分由图1的系统体系结构执行。例如，处理过程400可以由运输工具(例如图1的远程可操作运输工具102)执行以发送远程可操作运输工具的位置。在402处，运输工具获得运输工具的定位、方向和运动学数据。在一个实施方式中，例如通过用惯性导航系统(INS)补充的GPS实现的实施方式，运输工具获得当前定位和方向测量值以及线速度和角速度以及加速度。另外，运输工具可以获得指示定位、方向以及运动学数据的相应时间的时间戳。定位、方向和运动学数据可以和时间戳一起被保存为数据包，并可以被用于初始化在404中所使用的位置估算算法。在404处，运输工具的位置被估算。在一个实施方式中，算法例如上述航位推算算法最初基于在402处获得的定位、方向和运动学数据在404处估算运输工具的定位和方向。通过估算位置模块404的每次迭代，从之前迭代起所经过的时间被用于位置估算算法以估算运输工具在那一时间点可能位于何处。在406处，运输工具的实际位置被采集。在一个实施方式中，用INS补充的GPS如以上所述在406处采集运输工具的实际定位、方向和运动学数据。

在408处，做出关于运输工具的估算位置(即404)和运输工具的采集位置(即406)之间的差异是否大于预定阈值的判断。如果运输工具的估算位置和运输工具的采集位置之间的差异大于预定阈值(即来自408的“是”分支)，则在410处获得运输工具的更新的定位、方向和运动学数据。在402和406处使用的相同的技术可以在410处获得更新的方向和运动学数据。例如，在410处，可以获得运输工具的当前定位和方向测量值、线速度和角速度及加速度，以及指示位置读数的时间的时间戳。在另一个示例中，在406中获取的更新数据可以被直接使用。更新的定位、方向和运动学数据可以在412处被保存为数据包。在414处，更新的定位、方向和运动学数据包(即412)可以被发送。

虽然图4示出当运输工具的估算位置和运输工具的采集位置之间的差异大于预定阈值时(即来自408的“是”分支)运输工具发送数据包，但是可以使用除408以外的其它方法来触发数据包的传输。例如，数据包还可以包括心跳计时器，从而如果运输工具没有在特定时间间隔(例如两秒)内发送数据包，则运输工具至少可以自动地继续发送数据包，以便数据包的接收方知道运输工具仍活动。第二特定时间段可以和心跳计时器一起使用来指示运输工具是不运行的。例如，如果操作器不能在例如2.5倍的心跳间隔内接收数据包，则操作器可以认为运输工具是不运行的。

在一个实施方式中，更新的定位、方向和运动学数据包在414处经由上述通信链路(在图4中用虚线描绘)被发送至远程操作器。更新的定位、方向和运动学数据包可以在414处被发送至远程操作器例如图1的远程操作器104。如果提供了多个运输工具，则在412处产生的更新的定位、方向和运动学数据包在414处除了发送至远程操作器外，还可以被发送至一个或更多个其它运输工具。

一旦定位、方向和运动学数据包在414处被发送，运输工具使用来自410的更新的定位、方向和运动学数据来重新设定并重新初始化404中的位置估算算法，并可以基于从之前迭代起所经过的时间继续更新估算位置的迭代处理，并使用在406处获取的运输工具的更新的定位、方向和运动学数据在408处比较运输工具的更新的估算位置和运输工具的采集位置。

如果运输工具的估算位置和运输工具的采集位置之间的差异不大于预定阈值(即来自408的“否”分支)，则运输工具可以基于从之前迭代起经过的时间继续更新估算位置，并使用在404处估算的定位和方向数据和在406处的运输工具的新采集位置来在408处比较运输工具的更新的估算位置和运输工具的采集位置。

图5示出用于显示运输工具的位置的处理过程500。处理过程500可以至少部分由图1的系统体系结构100执行。例如，处理过程500可以由操作器例如图1的远程操作器104执行以显示运输工具的虚拟表示。在502处，估算技术估算运输工具的位置。在一个实施方式中，估算算法例如上述航位推算算法可以在502处估算运输工具的位置。例如，参考单元404在上面描述的相同的航位推算算法在502处估算运输工具的位置。

在504处，基于运输工具的估算位置显示运输工具的虚拟表示。在一个实施方式中，运输工具的虚拟表示可以和上述一个或更多个虚拟环境测量一起被显示。

在506处，做出关于是否从运输工具接收数据包的判断。在一个实施方式中，接收的数据包可以是以上关于图4在412处所描述的数据包。例如，接收的数据包可以包括运输工具的当前位置测量值、线速度和角速度及加速度，以及指示位置读数的时间的时间戳。如果从运输工具接收了数据包(即来自506的“是”分支)，则可以基于存储在所接收的数据包中的数据在508处更新在502处用于估算运输工具的位置的技术。在一个实施方式中，存储在所接收的数据包中的运输工具的位置测量值、线速度和角速度及加速度可以用于更新502处的位置估算技术的一个或更多个变量。在另一个实施方式中，存储在所接收的数据包中的时间戳可以被用于进一步更新502处的位置估算技术。使用时间戳来更新502处的位置估算技术有利地解决了所接收的数据包的传输中的任何延迟。

一旦用于估算运输工具位置的技术在508处被更新，则操作器可以基于在506处最后接收到的数据包继续在504处显示运输工具。如果没有从运输工具接收到数据包(即来自506的“否”分支)，则操作器可以在不更新502处的位置估算技术的情况下继续在504处显示运输工具。

图6示出用于控制运输工具的处理过程600。处理过程600可以至少部分由图1的系统体系结构100执行。例如，处理过程600可以由操作器例如图1的远程操作器104执行以控制图1的远程可操作运输工具102。在602处，位置估算技术估算运输工具的位置。在一个实施方式中，例如以上参考图4所描述的航位推算算法基于在从运输工具接收的数据包中存储的定位、方向和运动学数据在602处估算运输工具的位置。航位推算算法可以使用反映数据包的生成时间的数据包时间戳来将数据包传输延迟考虑进去。

在604处，基于在602处估算的运输工具的位置显示运输工具的虚拟表示。在一个实施方式中，运输工具的虚拟表示可以和上述一个或更多个虚拟环境测量一起被显示。例如，可以从虚拟环境数据库中检索一个或更多个测量以便和运输工具的虚拟表示一起显示在显示设备上。

在606处，做出关于是否发送任何控制输入至运输工具的判断。在一个实施方式中，606的判断是基于604处显示的运输工具。如果控制输入要被发送至运输工具(即来自606的“是”分支)，则在608处控制输入被发送至运输工具。在一个实施方式中，人类操作员在606处确定是否发送任何控制输入至运输工具。可替换地，自动化技术可以在606处确定是否发送任何控制输入至运输工具。在一个实施方式中，操作员在608处经由以上在图1中所描述的通信链路114(并在图6中被描绘为虚线)发送控制输入至运输工具。可以使用控制器设备采集控制输入。例如，如经常在视频游戏中所用，操作员可以操纵控制器设备例如操纵杆，以便操纵杆的加速度计获取操作员的命令作为一个或更多个定位、方向和运动学数据。可替换地，计算机可以使用软件程序产生控制输入。可替换地，用户可以直接输入关于定位、方向和运动学数据的控制输入。

在一个实施方式中，操作器可以将控制输入打包到控制输入数据包中以发送至运输工具608。控制输入数据包可以额外地包括反映控制输入意图表示的时间的时间戳。时间戳可以是操作器产生控制输入数据包以发送至运输工具的当前时间，但是它还可以包括向前时间差(lookaheadtimedifferential)，以便该控制输入数据包的数据表示在控制输入数据包被产生时不久后的数据，从而补偿到达接收方(例如运输工具608)的传输延迟。发送包括时间戳的控制输入数据包有利地使运输工具能够使用航位推算算法来对控制输入数据包的数据进行外推。例如，如果运输工具基于控制输入数据包的时间戳计算其花费100毫秒从操作器发送控制输入数据包至运输工具，则运输工具可以使用航位推算法来将控制输入数据包的100毫秒以前的数据外推到当前输入数据集。这有利地使得即使在含有控制输入的数据包中存在延迟，将运输工具维持在给定瞬间的操作器的控制器的模型也能够完全精确地匹配操作器的控制器的实际定位。在这种实施方式中，运输工具不直接对操作器发送的控制位置作出响应；而是对已经针对延迟进行补偿的操作器的控制输入的航位推算模型的控制位置作出响应。

在控制输入数据消息的发送和接收两侧使用控制输入的模型(例如航位推算控制输入模型)有利地允许通过仅在超过达成一致的误差阈值(此时可以发送控制输入数据消息)并且两端上的控制输入模型被重新设定至控制输入的实际位置时发送消息来减少网络带宽的使用。

如果控制输入数据包包括反映控制输入意图表示的时间的时间戳，则控制输入时间包还可以包括如上参考图4所述的心跳计时器。例如，如果操作器在特定时间间隔(例如两秒)内没有发送控制输入数据包，则操作器至少可以自动地继续发送控制输入数据包，以便运输工具知道操作器仍在活动。可以使用第二特定时间段以便和心跳计时器一起指示操作器是不运行的。例如，如果运输工具不能在例如2.5倍的心跳间隔内接收控制输入数据包，则运输工具可以认为操作器是不运行的。

如果提供了多个运输工具，则操作器可以发送控制输入至一个或更多个运输工具。在一个实施方式中，操作器可以在608处发送相同的控制输入至多个运输工具以便多个运输工具彼此同步操作。可替换地，操作器可以在608处发送独特控制输入至每一个运输工具以独立地操作多个运输工具。

一旦在608处控制输入被发送至运输工具，则操作器可以在604处基于602处运输工具的新估算的位置继续显示运输工具。如果控制输入未被发送至运输工具(即来自606的“否”分支)，则操作器可以在604处基于602处运输工具的新更新的估算位置继续显示运输工具。

示意性协作系统体系结构

图7是用于协作地控制多个远程可控制运输工具的系统体系结构700的组合框图和流程图。系统体系结构700可以包括第一远程可操作运输工具702和第二远程可操作运输工具704。虽然图7显示远程可控制运输工具702与远程可操作运输工具704相同，但是远程可操作运输工具702和704可以是不同的运输工具。远程可操作运输工具702和704可以是远程可控制的任何运输工具，例如飞机、船舶、航天器、机动车等。

一般地，远程可操作运输工具702和704可以包括如以上参考图1的远程可操作运输工具102所描述的一个或更多个处理器。例如，图7显示了远程可操作运输工具702的处理器706和远程可操作运输工具704的处理器708。如以上参考图1的远程可操作运输工具102所述，远程可操作运输工具702和704可以包括计算机可读存储介质的一个或更多个实例，其分别被耦合以与处理器706和708通信。例如，图7显示了远程可操作运输工具702的计算机可读存储介质710和远程可操作运输工具704的计算机可读存储介质712。

计算机可读存储介质710和712可以分别包括估算位置模块714和716。估算位置模块714可以估算第一远程可操作运输工具702的位置，并且估算第二远程可操作运输工具704的位置。类似地，估算位置模块716可以估算远程可操作运输工具702和远程可操作运输工具704二者的位置。虽然图7仅显示两个远程可操作运输工具，但是可以提供多于两个远程可操作运输工具，以便估算位置模块714和716估算每一个远程可操作运输工具的位置。

如以上参考图2中的基于运输工具的估算位置模块202所述，估算位置模块714和716可以使用任意位置估算算法来估算远程可操作运输工具702和704的位置。在一个非限制性实施方式中，估算位置模块714和716可以使用航位推算算法来估算远程可操作运输工具702和704的位置。在这种实施方式中，航位推算算法可以基于从运输工具获得的方向和运动学数据来估算远程可操作运输工具的位置。在一个实施方式中，估算位置模块714和716持续地估算远程可操作运输工具702和704的位置。

计算机可读存储介质710和712还可以分别包括采集位置模块718和720。采集位置模块718可以采集远程可操作运输工具702的位置，并且采集位置模块720可以采集远程可操作运输工具704的位置。如以上参考图2的采集位置模块206所述，任何位置采集技术都可以采集运输工具的位置。在一个非限制性实施方式中，采集位置模块718和720可以使用用INS增强的GPS技术来采集运输工具的位置。

计算机可读存储介质710和712还可以分别包括通信模块722和724以基于运输工具的估算位置和实际位置的比较产生并传送位置数据包。例如，远程可操作运输工具702可以比较其估算位置及其采集位置。当远程可操作运输工具702的采集位置与估算位置的差异大于阈值时，通信模块722可以产生位置数据包。类似地，远程可操作运输工具704可以在其采集位置与其估算位置的差异大于阈值时产生位置数据包。在一些示例中，远程可操作运输工具702的阈值可以等于远程可操作运输工具704的阈值，但是在其它实例中阈值可能不同。

在产生位置数据包之后，通信模块722和724可以传送位置数据包。在一个实施方式中，通信模块722和724传送位置数据包至远程操作器例如图1的远程操作器104。可替换地，通信模块722可以传送位置数据包至第二远程可操作运输工具704。例如，通信模块722可以经由通信链路726传送位置数据包至第二远程可操作运输工具。类似地，通信模块724可以经由通信链路726传送位置数据包至远程可操作运输工具702。虽然图7仅显示两个远程可操作运输工具，但是可以提供多于两个远程可操作运输工具，以便通信模块722和724经由全部远程可操作运输工具之间的通信链路传送数据包至全部远程可操作运输工具。在另一个可替换实施例中，通信模块722和724可以传送位置数据包至远程操作器例如图1的远程操作器104以及至任何其它(多个)远程可操作运输工具。

如以上参考图2的位置数据包212所述，图7的位置数据包可以包括运输工具的当前定位、方向和运动学数据，该数据包括线速度和旋转速度及加速度数据。位置数据包还可以包括时间戳，该时间戳反映通信模块722和724产生位置数据包的时间。

计算机可读存储介质710和712还可以分别包括位置更新模块728和730以更新远程可操作运输工具702和704的估算位置。例如，当远程可操作运输工具702的采集位置与远程可操作运输工具702的估算位置之间的差异大于阈值时，位置更新模块728可以基于通信模块722的位置数据包更新远程可操作运输工具702的估算位置。位置更新模块728可以额外地基于从通信模块724接收位置数据包来更新第二远程可操作运输工具704的估算位置。虽然图7仅显示两个远程可操作运输工具，但是可以提供多于两个远程可操作运输工具，以便位置更新模块728和730在从每一个远程可操作运输工具接收位置数据包之后更新每一个远程可操作运输工具的估算位置。

计算机可读存储介质710和712还可以包括命令模块732和734以接收一个或更多个操作命令。在一个实施方式中，命令模块732和734从其它远程可操作运输工具接收一个或更多个操作命令。例如，命令模块732可以从远程可操作运输工具704接收一个或更多个操作命令。可替换地，命令模块732和734从远程操作器例如图1的远程操作器104接收一个或更多个操作命令。在另一个可替换示例中，命令模块732和734可以从另一个远程可操作运输工具和/或远程操作器中的一个或二者接收一个或更多个操作命令。在一个实施方式中，命令模块732和734经由通信链路726接收一个或更多个操作命令。可替换地，命令模块732和734可以经由另一路线接收一个或更多个操作命令。

计算机可读存储介质710和712还可以包括控制模块736和738以控制远程可操作运输工具的轨迹。例如，控制模块736可以控制远程可操作运输工具702的轨迹。控制模块736可以额外地控制其它远程可操作运输工具例如远程可操作运输工具704的轨迹。类似地，控制模块738可以控制远程可操作运输工具704的轨迹并且控制远程可操作运输工具702的轨迹。

在一个实施方式中，控制模块736和738可以通过计算远程可操作运输工具在虚拟环境中的虚拟表示内的轨迹来控制远程可操作运输工具的轨迹。例如，控制模块736可以计算远程可操作运输工具702和远程可操作运输工具704两者的虚拟表示内的轨迹，以及远程可操作运输工具702和704正在其中操作的环境的虚拟表示。在一个实施方式中，控制模块736和738可以从运输工具测量数据库(例如以上参照图1所述的运输工具测量数据库118)获得远程可操作运输工具的虚拟表示。

虽然图7仅显示两个远程可操作运输工具，但是可以提供多于两个远程可操作运输工具，以便控制模块736和738同时在显示设备上一起显示全部远程可操作运输工具。

结论

虽然已经图示和描述了本公开的优选和替换实施例(如上所述)，但在不偏离本公开的主旨和范围的情况下可以做出许多变化。因此，本公开的范围不受限于这些优选和替换实施例的公开内容。相反，本公开应该通过参考随附的权利要求被完整地确定。

Claims (14)

1.一种远程控制运输工具(102)的方法，所述方法包括：

在所述运输工具处，

估算所述运输工具(102)的位置；

采集所述运输工具(102)的位置；

在所述运输工具(102)的估算位置和所述运输工具(102)的实际位置之间的差大于位置偏差阈值时，产生位置数据包；以及

传送所述位置数据包至远程操作器；并且

在所述远程操作器处，

估算所述运输工具(102)的位置；

当接收到来自所述运输工具的所述位置数据包时，更新所述运输工具(102)的估算位置；

基于所述运输工具的更新的所述估算位置，在显示设备(128)上显示所述运输工具(102)的虚拟表示；以及

基于所显示的所述运输工具的虚拟表示，发送一个或更多个命令信号至所述运输工具(102)。

2.如权利要求1所述的方法，其中估算所述运输工具(102)的位置包括使用航位推算算法来估算所述运输工具的位置。

3.如权利要求1所述的方法，其中发送一个或更多个命令信号至所述运输工具(102)包括发送控制信号数据包至所述运输工具，所述控制信号数据包是在控制输入的估算位置和控制输入的实际位置超过位置偏差阈值时发送的。

4.如权利要求3所述的方法，其中所述控制信号数据包包括时间戳，所述时间戳指示所述控制信号数据包有效的时间。

5.如权利要求4所述的方法，其中所述控制输入的实际位置是通过控制输入设备上的加速度计采集的。

6.如权利要求1所述的方法，其中更新所述运输工具(102)的估算位置包括基于存储在所述位置数据包中的定位、方向和运动学数据更新所述运输工具的估算位置。

7.如权利要求6所述的方法，其中更新所述运输工具(102)的估算位置还包括基于存储在所述位置数据包中的时间戳更新所述运输工具的估算位置。

8.如权利要求1所述的方法，还包括检索一个或更多个虚拟对象以显示在所述显示设备(128)上，所述一个或更多个虚拟对象是从载置在所述运输工具(102)上的成像传感器获取的纹理图案图像。

9.如权利要求1所述的方法，还包括通过一个或更多个图像传感器感测一个或更多个真实世界图像。

10.如权利要求9所述的方法，还包括当所感测的真实世界图像和存储在虚拟环境数据库中的一个或更多个图像之间存在不一致时，将所述一个或更多个真实世界图像存储到所述虚拟环境数据库(126)。

11.一种远程可操作的运输工具系统体系结构(100)，其包括：

第一远程可操作运输工具(702)，所述第一远程可操作运输工具包括：

第一运输工具估算位置模块(714)，其估算第一远程可操作运输工具(702)的位置并且进一步估算第二远程可操作运输工具(704)的位置；

第一运输工具采集位置模块(718)，其采集所述第一远程可操作运输工具(702)的位置；

第一运输工具通信模块(722)，其在所述第一远程可操作运输工具(702)的估算位置和所述第一远程可操作运输工具(702)的实际位置之间的差大于第一位置偏差阈值时传送第一运输工具位置数据包；

第一运输工具位置更新模块(728)，在所述第一远程可操作运输工具(702)的估算位置和所述第一远程可操作运输工具(702)的实际位置之间的差大于第一位置偏差阈值时，第一运输工具位置更新模块(728)基于所述第一运输工具位置数据包更新所述第一远程可操作运输工具(702)的估算位置，所述第一运输工具位置更新模块(728)进一步基于接收到的第二运输工具位置数据包而更新第二远程可操作运输工具的估算位置；

第一运输工具命令模块(732)，其接收一个或更多个操作命令；和

第一运输工具控制模块(736)，其控制所述第一远程可操作运输工具(702)的轨迹；以及

第二远程可操作运输工具(704)，所述第二远程可操作运输工具包括：

第二运输工具估算位置模块(716)，其估算第一远程可操作运输工具(702)的位置并且进一步估算所述第二远程可操作运输工具(704)的位置；

第二运输工具采集位置模块(720)，其采集所述第二远程可操作运输工具(704)的位置；

第二运输工具通信模块(724)，其在所述第二远程可操作运输工具(704)的估算位置和所述第二远程可操作运输工具(704)的实际位置之间的差大于第二位置偏差阈值时传送第二运输工具位置数据包至至少所述第一远程可操作运输工具(702)；

第二运输工具位置更新模块(730)，其基于所述第二运输工具位置数据包更新所述第二远程可操作运输工具(704)的估算位置；

第二运输工具命令模块(734)，其接收一个或更多个操作命令；和

第二运输工具控制模块(738)，其控制所述第二远程可操作运输工具(704)的轨迹。

12.如权利要求11所述的系统体系结构，其中所述第二运输工具估算位置模块(716)使用单个航位推算算法来估算所述第一远程可操作运输工具的位置并且估算所述第二远程可操作运输工具的位置。

13.如权利要求11所述的系统体系结构，其中所述第一运输工具命令模块(732)和所述第二运输工具命令模块(734)从远程操作器接收所述一个或更多个操作命令。

14.如权利要求11所述的系统体系结构，其中所述第一运输工具命令模块(732)与所述第二运输工具命令模块(734)交换操作命令。