CN101193603A - 腹腔镜的超声机器人外科手术系统 - Google Patents

Abstract

LUS机器人外科手术系统可以由外科医生训练以需要的方式在命令下自动地移动LUS探针，这样在微创手术过程中外科医生不需要用手移动LUS探针。根据存储的指令由LUS探针捕获的2D超声图像切片序列可被处理成解剖结构的3D超声计算机模型，该计算机模型可以显示成照相机视图的3D或2D覆盖图，或由外科医生选择显示在画中画中，或者被编程为辅助外科医生检查解剖结构中的异常性。虚拟定位器是可定义的，以便辅助外科医生准确地引导工具到显示的超声图像上的目标上。

Description

腹腔镜的超声机器人外科手术系统

政府权利声明

【0001】本发明在国家健康学会授予的No.1 R41 RR019159-01专款下由政府支持。政府对本发明有一定权利。

相关申请交叉引用

【0002】本申请要求2005年6月6日提交的、序列号为60/688,013的美国临时申请的权益，在此将其全部内容并入本文作为参考。

技术领域

【0003】本发明一般涉及机器人外科手术系统，并且特别地，涉及用于微创外科手术过程的腹腔镜超声机器人外科手术系统。

背景技术

【0004】微创外科手术提供了除传统的开放式外科手术技术之外的许多好处，包括更少的疼痛、更短的住院时间、更快地回复到正常运动、最小限度的伤疤、减少了的恢复时间和更少的组织创伤。因此，在微创外科中使用机器人外科手术系统的需求是强烈的并且在增长的。

【0005】腹腔镜是微创外科手术的一种类型，其中腹部壁内切开一个小切口，通过该切口插入被称为腹腔镜的器械来允许腹部或骨盆内的解剖结构能被看到。一般通过注入如二氧化碳的可吸收气体，使得腹腔被扩张并且可见。套管可以通过相同或不同的切口被推入皮肤内，以便探针或其它器械能够被引入到手术部位。这样，在不需要大的或开放腔外科切口下，可以进行许多外科手术过程。

【0006】然而，腹腔镜的一个缺点是不能手动地触诊隐藏的或固体的器官。腹腔镜超声(“LUS”)通过提供更深结构的可视化，允许外科医生克服了这个局限性。事实上，甚至当实行开放腔手术时，与双手触诊相比，外科手术中的超声扫描可以在探测其它隐蔽在解剖结构内的损伤时更加敏感。

【0007】作为一个示例，在腹腔镜手术中，在外科手术中对肝脏的超声扫描，在不同的临床环境中都是有用的。这些扫描包括：肝脏疾病分期和评估，包括超声引导的穿刺活体检查、肝肿瘤切除和腹腔镜肝脏切除前的肝脏评估。

【0008】对于切除过程，外科医生应该有能力对肝脏和其它位置进行准确的疾病分期来排除切除前的转移性疾病。相比常规的手术前诊断方法，将LUS加入到标准腹腔镜上提高了对转移的诊断。

【0009】超声引导的肝脏活体检查是肝病分期和评估的一个重要部分。当通过超声识别了损伤时，为了从组织上确认发现，穿刺活检是必须的。当前的实践需要手动的徒手LUS结合在超声引导下的活体检查穿刺的徒手定位。

【0010】对不可切除的疾病转移的治疗，越来越多的兴趣集中在消融处理上，例如射频(“RF”)、冷冻疗法、微波或化学消融。如果能够经过皮肤进行组织间隙消融或在开放外科手术中进行组织间隙消融，腹腔镜消融切除具有显著的优势。首先，不同于经皮治疗，腹腔镜能识别在手术前成像上看不到的肝内和肝外病变转移，手术前成像会遗漏患结肠直肠癌/肿瘤肝转移的大约10％至20％病人身上的明显肿瘤。第二，在显象肝脏损伤上，腹腔镜或手术超声(“US”)已经显示出远比经腹US、CT或MR更准确。进一步地，手术方法，包括腹腔镜，允许结构活动远离表面瘤，该表面瘤可以在RF切除下被热毁坏。经皮切除和腹腔镜切除一般均需要全身麻醉和全天住院。另一方面，腹腔镜不会给病人带来更巨大的负担。

【0011】尽管与其它方法相比，切除具有优势，但操作超声探针的技术困难，将超声探针对准切除探针并且放置切除探针，均要求有相当程度的专门技术。外科医生必须精确地将切除探针尖放置在瘤的体心内，以便实现对瘤和周围1cm区域内正常软组织的适当破坏。通过手术前成像，主要是CT和MR，瘤被识别，然后通过LUS瘤被腹腔镜定位。

【0012】切除方法的一个主要局限是，在瘤的中心定位探针尖缺乏准确性。这是特别重要的，因为对肝进行了切除在切除后不能估计组织边缘。此外，手动导引经常需要多个通道和重新定位探针尖，这进一步增加了失血和瘤扩散的风险。术中超声提供了对于瘤的极好的可视性，并且提供了对RF探针位置的导引，但是它的2D特性和对超声波扫描者技术的依赖限制了它的效果。

【0013】虽然腹腔镜仪器和技术开始被扩展到肝脏切除手术中，但是外科医生触觉的丧失使评估切除手术中的安全边缘更加困难，而这对于安全软组织横断面是必要的。使用当前LUS技术缺乏对肝内结构清晰的可视性和映射会导致主要邻近结构的毁灭性的损伤。在切除手术前，外科医生必须通过超声小心地检查肝脏，目的是排除会阻碍医疗治疗的其它的瘤。外科医生也需要超声来确定并且计划在有足够的外科手术边缘间隙下安全、全面的切除。

【0014】尽管它有理论优势，但是术中LUS没有被广泛地应用于例如腹腔镜肝癌手术中。为了扩大在此类和其它应用中的使用，需要改进LUS机器人手术系统，使其进行微创手术过程时能提高外科手术效率，并且使得使用这些系统变得容易。

【0015】例如，最优化肝外科手术的LUS可以大大改善患者的临床管理。除最小化发病率和使不舒适感降到最低之外，改进的LUS机器人手术系统可以较大地减少成本。专家们可以对肝脏进行更快、更准确和更完全的评价，这些评价也可以潜在地由肝脏的术中超声波扫描方面的外科医生而不是专家进行。

【0016】有时小且不易到达的肝脏损伤的图象引导的活体检查可以变得容易。先进的LUS机器人工具可以增加切除术的使用，作为较大的、位置不是很有利的肿瘤的最后治疗。用于规划，传输和监控切除疗法的改进的实时引导也可以提供允许准确有效应用这种有希望的疗法需要的缺少的工具。

【0017】

【0018】

发明内容

【0019】因此，本发明不同方面的一个目标是腹腔镜超声机器人外科手术系统和机器人辅助的腹腔镜超声方法，该系统和方法易于应用并且提高外科医生的效率。

【0020】本发明不同方面的另一个目标是腹腔镜超声机器人外科手术系统和机器人辅助的腹腔镜超声方法，该系统和方法对于解剖结构提供更快、有更高准确度的和完全的评估。

【0021】本发明不同方面的另一个目标是腹腔镜超声机器人外科手术系统和机器人辅助的腹腔镜超声方法，该系统和方法使用外科医生训练的轨迹提供机器人生成的解剖结构的术中3D超声图像。

【0022】本发明不同方面的另一个目标是腹腔镜超声机器人外科手术系统和机器人辅助的腹腔镜超声方法，该系统和方法在显示屏上灵活显示了超声图像。

【0023】本发明不同方面的又一个目标是腹腔镜超声机器人外科手术系统和机器人辅助的腹腔镜超声方法，该系统和方法有助于引导工具到解剖结构上的目标。

【0024】这些目标和其它目标通过本发明的不同方面来实现，其中简单讲，一个方面是腹腔镜超声机器人外科手术系统，包括：机械地连接到超声探针上的第一机器人手臂；机械地连接到外科手术相关设备上的第二机器人手臂；主操纵器；具有用户可选择的第一模式和第二模式的控制开关；处理器，该处理器被配置成当控制开关处于第一模式时，使第二机器人手臂被锁定在适当位置，第一机器人手臂根据用户对主操纵器的操作来移动超声探针，而当控制开关处于第二模式时，使第二机器手臂根据对主操纵器的操作来操纵工具，并且当第一机器人手臂探测到与存储的指令相关的用户命令时，根据存储的指令移动超声探针。

【0025】另一个方面是一种提供机器人辅助的腹腔镜超声的方法，该方法包括：当探测到训练指示开始时存储当前超声探针位置和方向；以及周期性存储超声探针位置和方向来确定位置和方向的轨迹直到探测到结束的训练指令。

【0026】另一个方面是一种提供机器人辅助的腹腔镜超声的方法，该方法包括：使用安装在适当位置和方向的超声探针捕获超声图像；存储位置和方向的信息；生成超声图像的可点击缩略图；关联存储的位置和方向与可点击缩略图；在显示屏上显示可点击缩略图。

【0027】又一个方面是一种提供机器人辅助的腹腔镜超声的方法，该方法包括：显示患者体内的解剖结构的超声图像，作为解剖结构照相机视图的已记录覆盖图；接收标注在超声视图中的目标的信息；确定工具在患者体内行进到目标的路径；以及产生虚拟定位器来协助用电子方法约束工具沿确定路径行进。

【0028】从下面对优选实施例的描述中，本发明不同方面的其它目标、特征和优势将变得明显，所述优选实施例的描述是结合附图进行的。

【0029】

附图说明

【0030】图1所示为利用本发明各方面的手术室的俯视图，该手术室应用了腹腔镜超声机器人外科手术系统。

【0031】图2所示为利用本发明各方面的腹腔镜超声机器人手术系统的方框图。

【0032】图3所示为利用本发明各方面的腹腔镜探针。

【0033】图4所示为利用本发明各方面的方法的流程图，该方法用于训练LUS机器人外科手术系统来基于命令按训练的方式用机器人移动LUS探针。

【0034】图5所示为利用本发明各方面的方法的流程图，该方法产生可点击缩略图图像，该缩略图图像允许用户命令LUS探针自动运动到图像捕获的位置和方向。

【0035】图6所示为利用本发明各方面的方法的流程图，该方法自动地移动LUS探针到与可点击缩略图图像关联的位置和方向。

【0036】图7所示为利用本发明各方面的方法的流程图，该方法用机器人辅助的针引导到癌结构的标记损伤。

【0037】图8所示为在利用本发明各方面的医疗机器人系统中使用的、具有可选择的2D图像切片的照相机参考系中，解剖结构的3D超声图像的透视图。

【0038】图9所示为在利用本发明各方面的医疗机器人系统中使用的照相机参考系中，解剖结构的3D照相机视图的透视图。

【0039】图10所示为在利用本发明各方面的医疗机器人系统中可显示的解剖结构的3D超声视图的正面2D切片的透视图，该切片覆盖了解剖结构的3D照相机视图。

【0040】图11所示为在利用本发明各方面的医疗机器人系统中可显示的解剖结构的3D超声视图的内部2D切片的透视图，该切片覆盖了解剖结构的3D照相机视图。

【0041】

具体实施方式

【0042】作为一个示例，图1所示为应用机器人外科手术系统的手术室的俯视图。在此案例中的机器人外科手术系统是腹腔镜超声机器人外科手术系统100，该系统100包括控制台(“C”)，在一个或更多个助手(“A”)协助下、对躺在手术台(“O”)上的患者(“P”)身体进行微创诊断或手术过程时该控制台被外科医生(“S”)利用。

【0043】控制台包括主显示器104(本文也称作“显示屏”)，该主显示器104显示患者体内手术部位的一个或更多个图像，也可能是给外科医生的其它信息。控制台还包括主输入设备107和108(本文也称作“主操纵器”)、一个或更多个脚踏板105和106、用于接收来自外科医生的声音命令的麦克风103以及处理器102。主输入设备107和108可以包括任意的一个或更多个不同的输入设备，例如操纵杆、手套、扳机枪、手动控制器或类似物。处理器102优选的是个人电脑，个人电脑可以被并入控制台或另外以传统方式连接到控制台。

【0044】外科医生通过操作主输入设备107和108来进行微创手术过程，以便处理器102使主输入设备各自关联的从动臂128和129(这里也称作“从操纵器”)相应地操纵它们各自的可移动连接的并且握持/控制的外科手术器械138和139(这里称作“工具”)，同时外科医生在主显示器104上观察手术部位的三维(“3D”)图像。

【0045】工具138和139优选的是Intuitive Surgical专利所有的Endo Wrist^TM铰接器械，该器械在人的腕关节之后被成型以便当附加到持有工具的机器人手臂的运动时，允许完全的六个自由度的运动，这类似于开放手术的自然运动。这些工具的附加细节可以从以下文献中找到：专利号为5,797,900名为“Wrist Mechanism for Surgical Instrumentfor Performing Minimally Invasive Surgery with Enhanced Dexterity andSensitivity”的美国专利，其全部内容被并入本文作为参考。每个工具138和139的操作端是可操作的末端执行器例如夹子、抓紧器、剪刀、订书机、刀片、针或针托。

【0046】主显示器104是有高分辨的立体视频显示器，该显示器有两个步进扫描的阴极射线管(“CRT”)。该系统提供了比偏光、快门眼镜或其它技术更高的保真度。通过物镜和一系列镜子，每个眼睛观察一个呈现左或右眼视图的独立CRT。手术自始至终外科医生均舒服地坐着并且观察这个显示器，使它成为外科医生显示并且处理3D的术中影像的理想的地方。

【0047】立体内窥镜140(也称为“腹腔镜”)向处理器102提供了右照相机视图和左照相机视图，以便处理器102可以根据程序指令来处理信息并且使之能显示在主显示器104上。腹腔镜超声(“LUS”)探针150向处理器102提供解剖结构的二维(“2D”)超声图像切片，以便处理器102可以根据外科医生或存储的程序指令生成解剖结构的3D超声计算机模型并且使该3D计算机模型(或者可选择地，它的2D(截面))作为内窥镜导出的3D图像的覆盖图显示在主显示器104上，或者以2D或3D中的任一形式并且从不同角度和/或透视角度显示在画中画(“PIP”)内。

【0048】每一个工具138和139，以及内窥镜140和LUS探针150，优选地通过套管或套管针(图中未示)或其它工具引导件被插入患者体内以便通过相应的微创切口，例如切口166，向下延伸到手术部位。每一个从动臂121-124通常由连杆组成，该连杆通过电机控制的接头(也称作“活动接头”)连接在一起并被操作。包括连杆和调整接头的调整臂(图中未示)用于垂直和水平地定位从动臂121-124以便它们相应的手术相关器械可以被连接用于插入套管中。

【0049】一次使用的外科手术工具的数量并且因此在系统100中使用的从动臂的数量一般取决于诊断或手术过程和手术室内的空间限制，以及其它因素。如果在手术过程中必须改变使用的一个或多个工具，则助手可以从从动臂上将不再使用的工具移去，并且用手术室内盘子(“T”)上的其它工具代替它，例如工具131。

【0050】优选地，主显示器104位于靠近外科医生手的位置以便它能显示定向的投影图像以便外科医生能感觉到他或她实际径直向下观察手术部位。为了这个目标，工具138和139的图像优选地仿佛被基本定位在外科医生的手所在的位置，即使观察点(例如，内窥镜140和LUS探针150的观察点)并不来自图像的观察位置。

【0051】此外，实时图像优选地被投影到透视图上以便外科医生能够通过关联的主输入设备，107或108，来操作工具如138或139的末端执行器，好像观察基本真实存在的工作场所。真实存在意味着图像的存在是真实的透视图，该透视图模拟了物理上操作工具的操作者的视点。因此，处理器102将工具的坐标转换到可察觉的位置，所以透视图是这样的图像：在开放式腔手术过程中从外科医生的视线水平可以看到内窥镜140是否直接观察该工具。

【0052】处理器102执行系统100中的不同功能。它执行的一个重要的功能是通过总线110上的控制信号转换主输入设备107和108的机械运动并将其传递到它们关联的从动臂121和122上，以便外科医生能够有效地操作它们相应的工具138和139。另一个重要功能是实现这里描述的提供机器人辅助的LUS能力的不同方法。

【0053】虽然是用处理器描述的，但可以认识到处理器102实际上可以以硬件、软件和固件的任意结合来实现。同样，这里描述的功能可以由一个单元执行或者被分割在不同组件内，每个功能又可以通过硬件、软件和固件的任意结合来实现。

【0054】在执行微创手术过程之前，LUS探针150捕获的超声图像，立体内窥镜140捕获的右2D照相机图像和左2D照相机图像，使用从动臂121-124的运动学以及它们感测的接头位置来测定的末端执行器的位置和方向，被彼此校正并被记录。

【0055】为了使超声图像和其余的手术环境相关联，二者需要表示在相同的坐标系中。代表性地，LUS探针150用标记被标注或通过追踪设备被跟踪，或通过有精确接头编码器的机器人握持/控制，其中所述追踪设备例如加拿大安大略湖的Northern Digital Inc.制造的Optotrak^位置传感系统。然后超声图像和追踪的坐标系间的刚性转换被确定(一般称作超声校准)。

【0056】例如，使用Optotrak^系来进行超声校准，则LUS探针150产生的超声图像被校正成使用AX＝XB方程的Optotrak^刚性体。“AX＝XB”是一类校正/记录问题的成规(rubric)，一般在计算机视觉、外科手术导航、医学成象和机器人技术中遇到所述问题。该数学技术是公知的。可参照，例如，E.Boctor，A.Viswanathan，M.Chioti，R.Taylor，G.Fichtinger，G.Hager，“A Novel Closed Form Solutionfor Ultrasound Calibration，”International Symposium onBiomedicai Imaging，Arlington，VA，2004，pp.527-530。

【0057】此案中的“A”和“B”是Optotrak^刚性体(A)和超声图像(B)姿态间的变换。因此，“X”是从超声图像到刚性体的变换。

【0058】为了实现超声校准，LUS探针150可以被放置在由AX＝XB校准幻象定义的三个已知的方向内。然后超声图像系可以被出现在三个姿态中的每一个姿态的三个基准限定。所述三个姿态允许基于Optotrak^读数(A)进行三个相关的变换，并允许基于AX＝XB记录的超声图像(B)进行三个相关的变换。

【0059】照相机校准是计算机视觉应用中常见的过程。例如，为了确定内窥镜140的内在和外在参数，有复合平面方程的棋盘幻象可以被使用，该方程由Caltech Camera Calibration Toolbox(加利福尼亚理工学院照相机校准工具箱)提供。为了构造幻象，Optotrak^标记被附加到代表性的棋盘视频校准幻象上，并且使用校准的Optotrak^指示器数字化棋盘的每一个拐角。因此，拐角位置可以相对于Optotrak^被报告。

【0060】然后可以将内窥镜140的视野内的幻象放置在几十个方向上，并记录立体图像数据和棋盘四个拐角的Optotrak^读数来进行校准。然后图像可以被传送给校准工具箱，该校准工具箱确定内在和外在照相机参数，以及照相机系中栅格拐角的3D坐标。然后这些坐标可以和Optotrak^读数被用于实现内窥镜140刚性体和照相机系之间的点云(point-cloud)对点云记录。

【0061】控制器102被配置成使用机器人运动学来相对于内窥镜140报告LUS探针150的尖部的坐标系。然而，由于调整接头编码器中的误差，每个坐标系均可能偏移离开它们的正确值。因此，记录内窥镜140的真实照相机系和从运动学计算的照相机系之间的偏移量以及真实和运动学LUS探针150系之间的偏移量可能是必要的。完成这个后，运动学可以被用于代替Optotrak^读数来确定超声图像覆盖图的方位。

【0062】只要内窥镜140的位置没有太改变，可以假定运动的工具尖和腹腔镜Optotrak^刚性体之间是恒定变换。使用AX＝XB方程，LUS探针150可以被移动，例如，被移动到几个位置，并且工具尖和Optotrak^刚性体之间的静态偏移量可被记录。知道这个偏移量，内窥镜140的偏移量可以通过下式直接计算：

C_CD＝D_LusD(C_LusUrb)^-1 T_OUrb(T_OErb)^-1F_CErb  (1)

【0063】其中，C_CD是从真实内窥镜140(这里也简称为“照相机”)系到从运动学计算的照相机系的照相机偏移量，F_CErb是从照相机到内窥镜刚性体的变换，T_OUrb(T_OErb)^-1是从照相机刚性体到LUS刚性体的变换，C_LusUrb是从LUS刚性体到运动的超声工具尖的变换，D_LusD是来自控制器102的读数，该控制器102得出从运动的超声工具尖到关联了从动臂121-124的固定参考点的变换。

【0064】然而，上述记录应该在每次照相机移动时被重复，因此使之最适于手术前校准和记录。对于手术中，使用视频跟踪LUS探针150上的视觉标记而不是使用Optotrak^读数，记录可以更好地被执行。因此，如果使用工具跟踪时照相机被移动，则在工具被跟踪时记录能够被实时纠正。至于工具跟踪的附加细节，参照，例如，2005年5月16日提交的专利号为11/130,471的名为“Methods and system forperforming 3-D tool tracking by fusion of sensor and/or camera deriveddata during minimally invasive surgery”的美国专利，其全部内容被并入本文作为参考。另外，或者替代地，在解剖结构的3D超声计算机模型上使用常规抓取、移动和旋转动作，可以对超声图像和照相机图像进行手动记录，以便在主显示器104上将解剖结构的计算机模型适当地记录在照相机模型上。

【0065】从动臂123和124可以以从动臂121和122操纵工具138和139的相似的方式操纵内窥镜140和LUS探针150。然而，当系统中只有两个主输入设备时，例如系统100中的主输入设备107和108，为了使外科医生用手控制内窥镜140或LUS探针150中任一个的运动，可能需要临时将主输入设备107和108中的一个与外科医生要求手动控制的内窥镜140或LUS探针150联系在一起，而它先前关联的工具和从操纵器被锁定在适当位置。

【0066】作为示例，图2图释了LUS机器人手术系统100的方框图。在这个系统中，有两个主输入设备107和108。主输入设备107控制工具138或立体内窥镜140中任一个的运动，该控制取决于它的控制开关机构211所处的模式，而主输入设备108控制工具139或LUS探针150中任一个的运动，该控制取决于它的控制开关机构231所处的模式。

【0067】外科医生使用语音命令、被物理地放置在主输入设备107和108之上或附近的开关、控制台上的脚踏板105和106，或者外科医生选择主显示器104或辅助显示器(图中未示)上显示的适当的图标或选择其它图形用户界面，可以将控制开关机构211和231放置在第一模式或第二模式中的一个模式。

【0068】当控制开关机构211被置于第一模式时，导致主控制器202联通从控制器203以便外科医生对主输入107的操作通过从动臂121导致工具138相应的运动，同时内窥镜140被锁定在适当位置。另一方面，当控制开关机构211被置于第二模式时，引起主控制器202联通从控制器233以便外科医生对主输入107的操作通过从动臂123导致内窥镜140的相应运动，同时工具138被锁定在适当位置。

【0069】相似地，当控制开关机构231处于第一模式时，引起主控制器222联通从控制器223，以便外科医生对主输入108的操作通过从动臂122导致工具139的相应运动。然而在这个案例中，LUS探针150不是必须要锁定在某一位置。它的运动可以根据存储在存储器240中的指令被辅助控制器242引导。辅助控制器242也通过主输入108给外科医生提供触觉反馈，该主输入108可以反映LUS探针压力传感器247的读数。另一方面，当控制开关机构231处于第二模式时，引起主控制器222联通从控制器243以便外科医生对主输入222的操作通过从动臂124导致LUS探针150的相应运动，同时工具139被锁定在适当位置。

【0070】在切换回到第一模式或标准模式之前，主输入设备107或108优选地被重置到切换到控制开关211或231的第二模式前它们所在的位置，对于该案例可能，或者主输入设备107或108和它各自的工具从动臂121或122间的运动学关系被重新调整以便一切换回到第一模式或正常模式时，工具138或139不会突然运动。对于控制开关的附加细节，参照，例如，共同拥有的专利号为6,659,939的名为“Cooperative Minimally Invasive Telesurgical System”的美国专利申请，其全部内容被并入本文作为参考。

【0071】辅助控制器242也执行关于LUS探针150和内窥镜140的其它功能。它接收来自LUS探针压力传感器247的输出，该传感器247检测施加到LUS探针150上的压力并且通过主控制器222将压力信息反馈给主输入设备108，以便外科医生可以感到这些压力，即使当时他或她没有直接控制LUS探针150的运动。因此，最小化了对患者的潜在伤害，因为外科医生有能力立刻停止LUS探针150的任何运动并且有能力接管对于LUS探针150的运动的手动控制。

【0072】辅助控制器242的另一个关键功能是引起来自内窥镜140和LUS探针150的所处理的信息根据用户选择的显示选项被显示到主显示器104上。如下面更多细节描述的，这个处理过程包括经由通过超声处理器246将接收自LUS探针150的2D超声图像切片生成3D超声图像，使对应所选择的位置和方向的3D或2D超声图像中任意一个显示在主显示器104的画中画窗口中，并且引起解剖结构的3D超声图像或2D超声图像中的任意一个覆盖显示在主显示器104上的、解剖结构的照相机捕获图像。

【0073】虽然图中显示的是独立实体，但主控制器202和222，从控制器203、233、223和243，以及辅助控制器242优选地作为被处理器102执行的软件模块实现，以及作为控制开关机构211和231的某些模式的开关体实现。超声处理器246和视频处理器236，另一方面，是独立的板或卡片，该板或卡片一般由LUS探针150和内窥镜140的制造商提供，该板或卡片被插入适当的槽内，该槽连接到处理器102或以其它方式与处理器102集成来将接收自这些图像捕获设备的信号转换成适于显示在主显示器104的信号并且/或者适于显示到主显示器104之前通过辅助控制器242进行附加处理的信号。

【0074】图3所示为LUS探针150的一个实施例的侧视图。LUS探针150是优选具有两个末端自由度的灵巧工具，该工具允许LUS传感器301重新定向通过，例如，末端“倾斜(pitch)”和“偏转(yaw)”约±80°和关于球窝接头形倾斜-偏转机构311“转动”±240°(其功能为被称为“腕”的机构)。物理地连接到LUS传感器301的近端并且延伸通过伸长轴312的内部通道的一对对立驱动杆或电缆(图中未示)使用常规的推-拉形式的动作机械控制LUS传感器301的倾斜和偏转运动。LUS探针150的灵活性(由倾斜/偏转腕机构提供)对于微创手术过程中对解剖结构执行超声波检查的LUS探针150的最优定位特别有用。

【0075】LUS传感器301捕获接近的解剖结构的2D超声切片，并且通过LUS电缆304将信息传送回处理器102。虽然所示是在伸长轴312的外部延伸，但LUS电缆304也可以在其内部延伸。抓斗鞘321围住伸长轴312和LUS电缆304来提供穿过套管331(或套管针)的良好密封。为了视频跟踪的目的，基准标记302和322被放置在LUS传感器301和鞘321上。

【0076】压力传感的能力是由应变仪303提供的，该应变仪303提供了LUS探针150推向超声扫描结构的强度的直接反馈，补充了来自接头电机扭矩的任何可用的有限反馈。这个信息的潜在用途包括：提供冗余的安全阈值核对，以便压力过大时警告外科医生或阻止进入结构的运动；向外科医生提供他或她推向结构的强度的被认可的触觉评价；并且可以允许倾斜-偏转或“腕”机构311的未成型偏移的某些补充测量，这些偏移由于某种原因没有被接头位置传感器或编码器检测到。此案中的应变仪303起到了LUS探针压力传感器247的作用，如上述参考图2所描述的。

【0077】相比徒手扫描而言，机器人辅助的LUS有降低所产生的超声图像中的可变性的潜力，并且能够降低操作者的工作量和难度。如前后摆动LUS探针150般简单的行为能够维持更新的3D超声图像，而不用操作者干涉。更复杂的行为可以包括LUS探针150沿有组织类型内的目标解剖结构的表面的运动以产生目标的完整图像，或者可靠地返回先前扫描的探针位置和方向。

【0078】图4作为示例图释了用于训练辅助控制器242(例如，向辅助控制器242提供存储的指令)的方法的流程图，使LUS探针150基于命令以训练的方式被自动地移动，目的是捕获解剖结构的2D超声图像切片的序列，辅助处理器242使用所述序列生成解剖结构的3D计算机模型。进行训练之前，控制开关机构231处于第二模式以便外科医生为了训练目的可以通过操作主输入设备108来移动LUS探针150。在进行训练后，控制开关机构231被放回第一模式或标准模式以便外科医生可以使用主输入设备108来操作工具139执行微创外科手术过程。

【0079】在401中，训练模块最初是空闲的(即，没有被处理器102操纵)。在402中，处理器102(或者背景中运行的训练模块工具/主体)可以周期检查是否接收到训练开始的指示。可替代地，训练开始的指示可以充当开始训练模块运行的中断信号。外科医生可以通过可识别语音命令、选择显示在主显示器104上的图形用户界面上的训练选项、可以被物理放置在相应的主控制输入108或其它靠近外科医生的方便位置上的开关机构或其它任何常规装置，来发出训练开始的指示。

【0080】在检测到训练开始的指示后，在403中，训练模块记录或存储当前的LUS探针150的位置和方向，并且通过在403和404之间循环周期性地(或在外科医生的命令下)持续这样做直到检测或接收到训练停止指示为止。在此案中的训练停止指示也可以由外科医生以以与训练开始指示一样的方式发出，或者可以以不同的其它常规方式被发出。在检测或接收到训练停止指示后，记录并存储LUS探针150的最后位置和方向。

【0081】在训练开始和停止之间，外科医生移动LUS探针150，并且处理器102存储它的点和方向的轨迹以便随后它们可以在命令下被回溯。在一种训练形式中，外科医生在解剖结构附近前后移动LUS探针150，目的是捕获2D超声图像切片的序列，处理器102可以从该切片序列中提出解剖结构的3D型式(或计算机模型)。在另一种训练形式中，外科医生沿解剖结构的表面移动LUS探针150一次或多次，目的是捕获2D超声图像切片的不同序列，处理器102可以从该切片序列中提出解剖结构的3D型式(或计算机模型)。

【0082】虽然描述的是记录LUS探针150的位置和方向，但在实际中，存储的是它的从动臂124的活动接头位置，因为它们的测量结果是通过附在每一个接头上的编码器直接得到的，而它们的位置与LUS探针150的位置和方向一致。

【0083】在将LUS探针150的位置和方向的轨迹存储到存储器240后，然后轨迹关联到一个装置，该装置用于外科医生命令辅助控制器242以所需的方式移动LUS探针150。例如，轨迹可以与基于检测的语音命令关联，辅助控制器242引起从动臂124将LUS探针150沿存储的位置和方向的轨迹前后移动。同样地，轨迹也可以被关联到显示在主显示器104上的图形用户界面的用户可选择选项上，或者它可以被关联到开关机构上例如主输入设备108上的按钮或者不用的控制元件上。它也可以与脚踏板106的俯角相关联，以便辅助控制器242促使从动臂124在脚踏板106被压下时沿存储的位置和方向的轨迹前后移动LUS探针150，并且一旦外科医生将他或她的脚抬离脚踏板106则停止这样的运动。

【0084】图5作为示例图释了一种方法的流程图，该方法用于产生对应于存储在存储器240中的LUS探针150的位置和方向的可点击缩略图图像，以便当外科医生点击一个缩略图图像时，辅助控制器242促使从动臂124将LUS探针150移动到它存储的位置和方向。这就允许当控制开关机构231在第一模式或标准模式时，外科医生移动LUS探针150以看到解剖结构不同视图。因此，外科医生可以使用主输入设备108操纵工具139来继续施行微创手术过程。然后该方法可以与参考图4描述的方法相结合，以便从该位置和方向开始产生2D超声图像切片的序列，辅助控制器242可以从该序列产生解剖结构的3D计算机模型重现。

【0085】然而，在施行此方法前，控制开关机构231处于第二模式，以便外科医生可以通过操纵主输入设备108来移动LUS探针150到所需的位置和方向。在产生可点击缩略图图像后，控制开关机构231被放置回第一模式或标准模式，以便外科医生可以使用主输入设备108操纵工具139来完成微创手术过程。

【0086】在501中，辅助控制器242接收来自外科医生的快照命令。该快照命令可以是，例如，语音命令、图形用户界面选择或开关位置。在502中，辅助控制器242导致LUS探针150捕获2D超声图像切片，而在503中，生成图像的缩略图。在此案中的缩略图可以包括捕获的图像的简单JPEG或GIF文件。在504中，LUS探针150的当前位置和方向连同它关联缩略图的信息被存储在存储器240中。在505中，缩略图的可点击型式被显示在主显示器104上，以便在任何时候当用他或她的鼠标或其它指示设备在可点击缩略图上点击时，外科医生可以命令辅助控制器242使LUS探针被定位和定向在存储的位置和方向上。然后外科医生可以移动LUS探针150到其它位置和/或方向，并且重复501-505来生成附加的缩略图图像。

【0087】图6作为示例图释了一种方法的流程图，该方法用于在使用工具139进行微创手术过程中在外科医生相应的命令下自动移动LUS探针150到与可点击缩略图关联的位置和方向。在601中，参考图5描述的方法产生的缩略图的点击是通过，例如，常规中断处理过程来检测的。根据这样的检测，在602中，通过例如对应中断处理过程的存储指令给辅助控制器242下达指令，来检索存储在存储器240中的关联了缩略图的位置和方向。然后辅助控制器242通过适当地控制从动臂124使LUS探针150移动到该位置和方向。因此，外科医生能够将LUS探针150移动到要求的位置而不用改变控制开关机构231的模式，并且终止工具139的工作直到LUS探针150移动。

【0088】图7作为示例图释了一种方法的流程图，该方法用于机器人辅助的穿刺引导并穿透到癌结构的标记损伤内，这样可以理解本文描述的机器人辅助的LUS的各个方面。在701中，癌结构(例如肝脏)的被选择的2D超声图像切片视图以适当深度被显示在主显示器104上，作为癌结构的3D照相机视图的覆盖图。被选择的2D超声图像切片视图可以是从先前生成的癌结构的3D超声计算机模型中获得的正视图或内部切片视图。

【0089】作为阐明701过程的示例，图8图释了癌结构的3D超声计算机模型800的简化透视图，该透视图通过使用例如参考图4所述的方法生成，并且已经被变换到照相机参考系(EX，EY，EZ)。另一方面，图9图释了立体内窥镜140获得的癌结构的3D照相机视图900的简化透视图。如果外科医生选择3D超声计算机模型800的前切片801作为3D照相机视图900的覆盖图来观察，那么覆盖图将如图10所示。另一方面，如果外科医生选择3D超声计算机模型800内部切片802-804中的一个，例如内部切片803，作为3D照相机视图900的覆盖图来观察，那么覆盖图将如图11所示，其中2D超声图像切片803被显示在适当的深度。为了避免混乱，3D照相机视图中超出该深度的部分被处理成透明的。

【0090】可替代地，在701中，外科医生可以用手控制LUS探针150的运动，以便它捕获的2D超声图像切片显示为在适当的角度和方向从主显示器104上的LUS探针150的3D照相机图像中分离。优选地，显示在主显示器104上的被分离的2D图像切片不封闭探测到的解剖结构。这个手动方法对于外科医生快速发现解剖结构中的损伤是特别有用的。

【0091】在702中，外科医生在701结果显示的癌结构上标记损伤。每个被标记的损伤优选地使用指定的颜色被标记，以便清楚地显示出外科医生已经识别了它，因而避免重复计数。每个被标记的损伤在照相机参考系(EX，EY，EZ)中的位置被存储在存储器240中，在703中，处理器102确定到达该位置的最佳针尖路线。

【0092】在703中，处理器102生成虚拟定位器来帮助将针引导到被标记的损伤处。为了生成虚拟定位器，操纵针工具的从动臂的局部运动学约束可以由提供的约束表的形式具体说明：

${(\stackrel{\→}{x}-{\stackrel{\→}{x}}_0)}^T{A}_K(\stackrel{\→}{x}-{\stackrel{\→}{x}}_0)+{\stackrel{\→}{b}}_K(\stackrel{\→}{x}-{\stackrel{\→}{x}}_0)\≤c---\left(2\right)$

【0093】其中，用简化的术语讲，

代表主动臂当前的6自由度运动学姿态，或者，用更一般术语的讲，代表关于某个标准姿态F₀线性化的笛卡尔姿态F的参数化以便 $(\stackrel{\→}{x}-{\stackrel{\→}{x}}_0)~F_0^{-1}F.$ 该表将基于视觉反馈、用户的交互作用等被定期更新。

【0094】可以意识到，公式(2)能够被容易地检查并执行。

【0095】相似地，用于外科医生交互作用力的简单驱动表界面能按照以下表示近似执行：

$\stackrel{\→}{f}\←0;$ $y\←\stackrel{\→}{x}-{\stackrel{\→}{x}}_0;---\left(3\right)$

for  k←1 to N do

$\{\mathrm{\ϵ}\←{\stackrel{\→}{y}}^T{C}_K\stackrel{\→}{y}+{\stackrel{\→}{d}}_K\stackrel{\→}{y}-e_K;$

$\mathrm{if\ϵ}>0\mathrm{then}\{\stackrel{\→}{g}\←{2C}_K\stackrel{\→}{y}{\stackrel{\→}{d}}_K;\stackrel{\→}{f}\←\stackrel{\→}{f}+f\left(\mathrm{\ϵ}\right)\stackrel{\→}{g}/|\left|\stackrel{\→}{g}\right||;\};$

$\};$

【0096】其中，ε粗略地对应于到状态矢量空间中的表面的距离，而函数f(ε)对应于非线性硬度。

【0097】上述方程足够支持多种虚拟斜面、虚拟弹簧、制动器等。也可以通过加入速度项容易地扩展成虚拟阻尼器。

【0098】现在，更特别的是，在本案例中需要协助将注射针瞄准到实时超声图像的目标上，令：

V_目标＝关于LUS传感器的目标位置    (8)

【0099】然后，基本约束是针轴(此例中假定是针驱动器的

轴)应该瞄准通过F_LUS

得出的目标损伤。瞄准方向误差的一个度量将是：

【0100】其中，能够以的二次形式被逼近并且使用上述方法转换成虚拟定位器。相似地，如果针尖的位置是

超过LUS目标的穿透深度如下式给出：

【0101】能够被容易地转录成阻止穿透过度的虚拟制动器或障碍物。可替代地，能够得出简单的球形吸引物虚拟定位器以最小化

【0102】在705中，处理器102确定当针尖朝向目标损伤移动时针尖的位置，并且在706中，处理器102确定针尖位置和目标损伤之间的距离。该针尖位置可以从从动臂运动学和/或通过照相机图像上的视觉跟踪来确定。

【0103】在707中，当针尖接近目标时显示器上损伤或其它一些物体的颜色改变。例如，当针尖仍然远离目标时颜色可以从蓝色开始，并且可以沿色谱变化，以便当接近目标时变成红色。可选择地，可以用条形图或其它视觉指示器快速检测距离。

【0104】在708中，确定距离是否已经到达阈值距离(经常被指定为接近或甚至在目标损伤的表面的距离)。如果没达到阈值，则方法循环回到705并且继续重复705-708直到达到阈值。一旦达到阈值，在709中，癌结构的90度视图和接近的针被显示在主显示器104的画中画窗口中。然后在针穿透癌结构或者退回到其开始位置时，该方法可以返回705并且重复705-708。

【0105】虽然已经根据优选实施例描述了本发明的不同方面，但应该理解，本发明有权享有所附权利要求的全部范围内的全部保护范围。

Claims (41)

1.一种腹腔镜超声机器人外科手术系统，包括：

机械地连接到超声探针上的第一机器人手臂；

机械地连接到手术相关设备上的第二机器人手臂；

主操纵器；

具有用户可选择的第一模式和第二模式的控制开关；以及

处理器，该处理器被配置成当所述控制开关在所述第一模式时，使所述第二机器人手臂被锁定在适当位置，而所述第一机器人手臂根据所述主操纵器的用户操纵来移动所述超声探针，并且当所述控制开关在所述第二模式时，使所述第二机器人手臂根据所述主操纵器的操纵来操纵所述工具，而所述第一机器人臂在检测到与存储指令相关的用户命令时根据存储指令来移动所述超声探针。

2.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述手术相关设备是手术工具。

3.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述用户命令是语音命令。

4.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述用户命令来自图形用户界面中提供的选项的用户选择。

5.根据权利要求1所述的腹腔镜超声外科系统，其中所述用户命令来自开关位置指示的选择。

6.根据权利要求1所述的腹腔镜超声外科系统，其中所述存储指令指示所述处理器使所述第一机器人手臂移动所述超声探针以便由所述超声探针在移动中捕获的2D超声图象切片提供信息给处理器来在微创手术过程中生成至少一部分解剖结构的3D计算机模型。

7.根据权利要求6所述的腹腔镜超声机器人手术系统，其中所述存储指令指示所述处理器使所述第一机器人手臂沿存储点的轨迹移动所述超声探针。

8.根据权利要求7所述的腹腔镜超声机器人手术系统，其中所述存储指令指示处理器使所述第一机器人手臂沿存储点的所述轨迹重复地前后移动所述超声探针。

9.根据权利要求7所述的腹腔镜超声机器人手术系统，其中存储点的所述轨迹包括所述解剖结构表面上的点。

10.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述存储指令指示所述处理器使所述第一机器人手臂移动所述超声探针以便被定位并定向在存储的位置和方向上。

11.根据权利要求10所述的腹腔镜超声机器人手术系统，其中所述存储的位置和方向对应于由在该位置和方向上的所述超声探针生成的超声图象的可点击缩略图。

12.根据权利要求11所述的腹腔镜超声机器人手术系统，其中所述处理器被配置成当接收到用户点击所述可点击缩略图的指示时，使所述第一机器人手臂移动所述超声探针到所述存储的位置和方向。

13.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述手术相关设备是手术工具，并且进一步包括：

捕获患者体内的手术部位图像的内窥镜；

其中所述处理器被配置成在显示屏的图片区域内显示所述捕获的图像并且在所述显示屏的画中画区域显示所述超声探针捕获的超声图像。

14.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述手术相关设备是手术工具，并且进一步包括：

用于捕获视频图像的内窥镜；

其中所述处理器被配置成立体地记录所述超声探针捕获的超声图像和所述内窥镜捕获的所述视频图像。

15.根据权利要求14所述的腹腔镜超声机器人手术系统，其中所述处理器被配置成确定关于关联了所述内窥镜的参考系的所述超声图像的位置和方向，并且显示所述超声图像以便覆盖显示屏上在确定的位置和方向处的所述视频图像。

16.根据权利要求15所述的腹腔镜超声机器人手术系统，其中所述内窥镜是立体内窥镜，它捕获包括所述超声探针的捕获图像的右2D照相机视图和左2D照相机视图，所述显示屏是3D显示屏，并且所述处理器被配置成：从所述捕获的右2D照相机视图和左2D照相机视图生成3D照相机图像，并且在所述3D显示屏上显示所述3D照相机图像，其中所述超声探针捕获的2D超声图像切片被覆盖在所述3D照相机图像上，以便呈现为从所述超声探针发出的适当视角。

17.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述控制开关通过用户语音命令被置于所述第一模式或第二模式。

18.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述控制开关根据用户对图形用户界面内提供的选项的选择被置于所述第一模式或第二模式。

19.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述控制开关根据用户选择的开关位置被置于所述第一模式或第二模式。

20.根据权利要求1所述的腹腔镜超声机器人手术系统，其中超声探针包括压力传感器来检测对所述超声探针施加的压力并且提供所检测压力的信息给所述处理器，并且所述处理器将所检测压力的信息返回所述主操纵器以便当用户操纵所述主操纵器时感觉到该信息。

21.根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述超声探针包括：

超声传感器；

伸长轴；以及

腕机构，该腕机构连接所述超声传感器到所述伸长轴上以便允许所述超声传感器关于沿所述伸长轴的长度贯穿的轴作倾斜运动和偏转运动。

22.根据权利要求21所述的腹腔镜超声机器人手术系统，其中所述超声探针进一步包括：

第一对电缆，该第一对电缆被连接到所述超声传感器上以便通过仅拉所述第一对电缆中的一条电缆时，使所述超声传感器在偏转方向上移动，并且当仅拉所述第一对电缆中的另一条电缆时使所述超声传感器在相反的偏转方向上移动。

23.根据权利要求22所述的腹腔镜超声机器人手术系统，其中所述超声探针进一步包括：

第二对电缆，该第二对电缆被连接到所述超声传感器上以便通过仅拉所述第二对电缆中的一条电缆时，使所述超声传感器在倾斜方向上移动，并且当仅拉所述第二对电缆中的另一条电缆时，使所述超声传感器在相反的倾斜方向上移动。

24.一种提供机器人辅助的腹腔镜超声的方法，该方法包括：

检测到训练指示开始时存储当前超声探针的位置和方向；以及

周期性存储超声探针的位置和方向来定义位置和方向的轨迹直到检测到训练结束指示。

25.根据权利要求24所述的方法，其中所述训练指示开始和结束是通过用户语音命令产生的。

26.根据权利要求24所述的方法，其中所述训练指示开始和结束是通过使用图像用户界面的用户选择产生的。

27.根据权利要求24所述的方法，其中所述训练指示开始和结束是通过一个或更多个开关机构的位置产生的。

28.根据权利要求24所述的方法，进一步包括：将所述位置和方向的轨迹与第一语音命令关联。

29.根据权利要求28所述的方法，进一步包括：当检测到所述第一语音命令时使所述超声探针沿所述位置和方向的轨迹移动。

30.根据权利要求28所述的方法，进一步包括：当检测到所述第一语音命令时使所述超声探针沿所述位置和方向的轨迹前后移动，直到检测到第二语音命令。

31.根据权利要求24所述的方法，进一步包括：关联所述位置和方向的轨迹到显示在显示屏上的可点击缩略图。

32.根据权利要求31所述的方法，进一步包括：当检测到所述可点击缩略图被点击时使所述超声探针沿所述位置和方向的轨迹移动，直到接收到结束指示。

33.根据权利要求24所述的方法，进一步包括：关联所述位置和方向的轨迹到第一开关位置。

34.根据权利要求33所述的方法，进一步包括：当检测到开关位于所述第一开关位置时使所述超声探针沿所述位置和方向的轨迹移动，直到检测到所述开关位于第二开关位置。

35.一种提供机器人辅助的腹腔镜超声的方法，该方法包括：

使用设置在某一位置和方向的超声探针捕获超声图像；

存储所述位置和方向的信息；

生成所述超声图像的可点击缩略图；

关联所存储的位置和方向到所述可点击缩略图；以及

在显示屏上显示所述可点击缩略图。

36.根据权利要求35所述的方法，进一步包括：

接收用户在所述可点击缩略图上点击的信息；以及

使所述超声探针被放置在所述位置和方向上，所述位置和方向与在可点击缩略图上点击的位置和方向相关联。

37.一种提供机器人辅助的腹腔镜超声的方法，该方法包括：

显示患者体内解剖结构的超声视图作为该解剖结构照相机视图的记录的覆盖图；

接收标记在所述超声视图上的目标的信息；

确定工具行进到所述患者体内的所述目标的路径；以及

生成虚拟定位器来辅助用电子形式约束所述工具在所确定的路径内的行进。

38.根据权利要求37所述的方法，其中所述解剖结构是癌，所述目标是外科医生在所显示的超声视图上标记的损伤，并且所述工具是针。

39.根据权利要求37所述的方法，进一步包括：

确定所述工具到所述目标的距离；以及

改变标记在所述超声视图上的所述目标的颜色以便指示所述距离。

40.根据权利要求37所述的方法，进一步包括：

确定何时所述工具的尖到达与所述解剖结构表面相距的一个阈值距离；以及

当在画中画窗口中检测到所述工具的所述尖已经到达所述阈值距离时，显示所述超声图像和所述工具的直角视图。

41.根据权利要求40所述的方法，其中所述超声图像是从所述解剖结构的2D超声图像切片序列中产生的3D图像。

Images