DE69535523T2

DE69535523T2 - Verfahren für tele-manipulation und tele-anwesenheit

Info

Publication number: DE69535523T2
Application number: DE69535523T
Authority: DE
Inventors: Philip S. Redwood City GREEN
Original assignee: SRI International Inc; Stanford Research Institute
Current assignee: SRI International Inc
Priority date: 1994-05-05
Filing date: 1995-05-03
Publication date: 2008-04-03
Anticipated expiration: 2015-05-04
Also published as: EP1840818A2; US20010046313A1; DE69535523D1; ATE365953T1; JPH10504763A; EP1849566A3; US20130023899A1; US20030228039A1; US6259806B1; US8068649B2; US20070196004A9; EP1849566A2; US7333642B2; CA2189775C; US20090082905A1; US6574355B2; ES2287934T3; JP4172816B2; EP1840818A3; EP0758469A1

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung betrifft die Telemanipulation unter Verwendung der Telepräsenz und insbesondere Anwendungen der Telemanipulation bei der laparoskopischen Chirurgie.
Ein Telemanipulationssystem erlaubt es einem Operator, Objekte, die sich in einem Arbeitsraum befinden, ausgehend von einer fernen Steueroperatorstation aus zu manipulieren. So wird zum Beispiel bei einem laparoskopischen Abdominalchirurgieverfahren der Bauch (das Abdomen) des Patienten mit Gas aufgeblasen, und Kanülen werden durch kleine Einschnitte eingeführt, um Eintrittsöffnungen für laparoskopische chirurgische Instrumente bereitzustellen. Laparoskopische chirurgische Instrumente umfassen eine Bilderfassungseinrichtung zum Betrachten des Operationsbereichs und Arbeitswerkzeuge wie etwa Zangen, Klemmen, Pinzetten oder Scheren. Die Arbeitswerkzeuge sind denen ähnlich, die bei der offenen Chirurgie verwendet werden, mit der Ausnahme, dass das Arbeitsende jedes Werkzeugs von seinem Handgriff durch einen Verlängerungsschlauch getrennt ist. Der Chirurg führt den chirurgischen Eingriff durch, indem er die Instrumente durch die Kanülen gleiten läßt bzw. schiebt und diese dann im Innern des Abdomens manipuliert, während er auf ein angezeigtes Bild des Inneren des Abdomens Bezug nimmt. Operationen mittels Telepräsenz, das heißt, von einem fernen Ort aus mit Hilfe einer Fernsteuerung der chirurgischen Instrumente, ist ein nächster Schritt. Ein Chirurg ist idealerweise in der Lage, eine Operation mittels Telepräsenz durchzuführen, die, anders als andere Techniken der Fernmanipulation, dem Chirurgen das Gefühl gibt, dass er die direkte Kontrolle über die Instrumente besitzt, obwohl er nur die Fernsteuerung der Instrumente und eine Ansicht über das angezeigte Bild hat.
Die Wirksamkeit der Telepräsenz leitet sich in großem Maße von der Illusion ab, dass die fernen Manipulatoren von dem Operator des Systems als aus den Handsteuerungsvorrichtungen herauskommend wahrgenommen werden, die sich an der fernen Operatorstation befinden. Wenn die Bilderfassungseinrichtungen, wie z.B. eine Kamera oder ein Laparoskop, in einer Position hinsichtlich der Manipulatoren angeordnet werden, die sich beträchtlich von der anthropomorphen Beziehung der Augen und der Hände unterscheidet, dann werden die Manipulatoren so erscheinen, als ob sie sich entfernt von den Handsteuerungen des Operators befinden. Dies wird bewirken, dass sich die Manipulatoren in einer ungeschickten Weise relativ zu der Betrachtungsposition bewegen werden, was die Fähigkeit des Operators, diese mit Geschicklichkeit und Schnelligkeit zu steuern, unterbinden wird. Aber es ist bei Anwendungen wie etwa der laparoskopischen Chirurgie oftmals nicht vermeidbar, das Laparoskop zu bewegen, um das bestmögliche Bild der Bauchhöhle zu erhalten.
Das US-Patent mit der Nummer 5,182,641 lehrt ein System für die Echtzeit-Videobild-Anzeige für Roboter oder eine Fernteleoperation von Fahrzeugen. Das System weist wenigstens einen Fernsehmonitor zur Anzeige eines Fernsehbildes von einer ausgewählten Kamera und die Fähigkeit auf, eine Kamera für die Bildanzeige auszuwählen.
Die internationale Patentanmeldung mit der Nummer WO 93/05479 offenbart ein Verfahren und eine Vorrichtung zur Kalibrierung eines Werkzeugsteuerrahmens eines Roboters im Hinblick auf einen bekannten Kalibrierungsbezugsrahmen, der an einem Roboterglied angebracht ist.
Deshalb besteht ein Bedarf an einem Verfahren zur Bereitstellung des Gefühls der direkten Handsteuerung des fernen Manipulators für den Operator, selbst in der Gegenwart einer beträchtlich verlagerten bildgebenden Vorrichtung derart, dass sich der Operator fühlt, als ob er den Arbeitsraum so betrachtet, wie wenn er tatsächlich präsent wäre.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einer Ausführungsform der Erfindung ist ein Telemanipulationssystem bereitgestellt, wie es in Anspruch 1 definiert ist. Bevorzugte Merkmale des Systems sind in den Ansprüchen definiert, die von Anspruch 1 abhängen.
Gemäß einer weiteren Ausführungsform der Erfindung ist ein Verfahren zum Manipulieren von Objekten bereitgestellt, wie es in Anspruch 21 definiert wird. Bevorzugte Merkmale des Verfahrens sind in den Ansprüchen definiert, die von Anspruch 21 abhängen.
Gemäß einem alternativen Ausführungsbeispiel der Erfindung ist ein Telemanipulationssystem zum Manipulieren von Objekten, die sich in einem Arbeitsraums an einem fernen Arbeitsplatz befinden, durch einen Operator an einer Operatorstation, wie etwa bei einem Fernoperationssystem, bereitgestellt, wobei der ferne Arbeitsplatz einen Manipulator oder ein Paar von Manipulatoren jeweils mit einem Endeffektor zur Manipulation eines Objektes in dem Arbeitsraum, wie etwa einer Körperhöhle, einen Controller, der eine Handsteuerung einschließt, an der Steueroperatorstation für die Fernsteuerung der Manipulatoren, eine Bilderfassungseinrichtung, wie etwa eine Kamera, zur Aufnahme in Echtzeit eines Bildes des Arbeitsraums, und eine Bilderzeugungseinrichtung zum Reproduzieren eines betrachtbaren Bildes mit ausreichendem Feedback aufweist, um dem Steueroperator den Anschein einer Echtzeitkontrolle bezüglich des Objekts in dem Arbeitsraum zu geben, wobei bei der Verbesserung Einrichtungen zum Abtasten der Position der Bilderfassungseinrichtung relativ zu dem Endeffektor bereitgestellt sind und Einrichtungen zum Transformieren des betrachtbaren Echtzeitbildes in ein perspektivisches Bild mit korrelierter Manipulation des Endeffektors durch die Handsteuerungseinrichtungen derart bereitgestellt sind, dass der Operator den Endeffektor und den Manipulator so manipulieren kann, als ob er den Arbeitsraum genau so betrachtet, wie wenn er selber tatsächlich wirklich präsent wäre. Mit wirklich präsent ist gemeint, dass die Präsentation eines Bildes ein tatsächliches perspektivisches Bild ist, das den Blickpunkt eines Operators simuliert. Eine Bildtransformation gemäß der Erfindung umfasst die Rotation, die Verschiebung und die perspektivische Korrektur.
Bevorzugte Ausführungsbeispiele der Erfindung werden unter Bezugnahme auf die nachfolgende ausführliche Beschreibung in Verbindung mit den beigefügten Zeichnungen besser verständlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1A ist eine Seitenansicht einer Fernoperatorstation und einer Arbeitsplatzstation in einem Telemanipulationssystem gemäß der vorliegenden Erfindung.
1B ist eine perspektivische Ansicht einer Fernoperatorstation und einer Arbeitsplatzstation, die für die stereoskopische Betrachtung in einem Telemanipulationssystem gemäß der vorliegenden Erfindung ausgelegt sind.
2 ist eine schematische perspektivische Ansicht eines spezifischen Ausführungsbeispiels der Erfindung, bei dem die Bilderfassungseinrichtung relativ zu dem Blickpunkt eines Operators, der die Manipulatoren verwendet, zentriert und normalisiert ist.
3 ist eine schematische perspektivische Ansicht eines spezifischen Ausführungsbeispiels der Erfindung, bei dem die Bilderfassungseinrichtung relativ zu dem Blickpunkt eines Operators, der die Manipulatoren verwendet, seitlich verlagert ist.
4 ist eine schematische perspektivische Ansicht eines spezifischen Ausführungsbeispiels der Erfindung, bei dem sich die Bilderfassungseinrichtung an einer niedrigeren Position relativ zu dem Blickpunkt eines Operators, der die Manipulatoren verwendet, befindet.
5A ist eine Aufrissansicht der Linsen einer stereoskopischen Bilderfassungseinrichtung, bei der sich die Linsen in einer normalisierten Position relativ zu dem Blickpunkt eines Operators, der die Manipulatoren verwendet, befinden.
5B ist eine Aufrissansicht der Linsen einer stereoskopischen Bilderfassungseinrichtung, bei der die Linsen relativ zu dem Blickpunkt eines Operators, der die Manipulatoren verwendet, gedreht sind.
6A ist eine Ansicht von oben eines Bildes eines fernen Manipulators in einem Telemanipulationssystem, das ein eingeblendetes stereografisches Vierpunkte-Koordinatenelement vor der Kalibrierung zeigt.
6B ist eine Ansicht von oben eines Bildes eines fernen Manipulators in einem Telemanipulationssystem, das ein eingeblendetes stereografisches Vierpunkte-Koordinatenelement nach der Kalibrierung zeigt.
7A ist eine Ansicht von oben eines Bildes eines fernen Manipulators in einem Telemanipulationssystem, das den Verschiebungswinkel in der Horizontalen der Bilderfassungseinrichtung relativ zu den Manipulatoren zeigt.
7B ist eine vergrößerte Ansicht eines Teils von 4A, die die kombinierte Auswirkung auf die Position des Endeffektors eines Manipulators nach einer seitlichen Verschiebung zeigt.
8 ist eine geometrische Darstellung des Bildes eines Manipulators als eine Projektion einer Handsteuerung.
9 ist eine geometrische Darstellung des tatsächlichen Manipulators, dessen Bild in 8 dargestellt ist.
BESCHREIBUNG SPEZIFISCHER AUSFÜHRUNGSBEISPIELE
1A zeigt ein Telemanipulationssystem 10 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung mit einer fernen Operatorstation 12, an der ein Operator 14 (zum Beispiel ein Chirurg) die Telemanipulation bei einem Objekt an einer Arbeitsplatzstation 16 durchführen kann. Die ferne Station 12 umfasst eine Videoanzeige 20 für den Operator 14, um den Arbeitsplatz und einen virtuellen Arbeitsraum 22 zu betrachten, an dem der Operator 14 die tatsächlichen Manipulationen ausführt, indem er Handsteuerungseinrichtungen 24, 26 ergreift, wie z.B. die Handgriffe von chirurgischen Instrumenten, die mit Positionssensoren 51, 55 verbunden sind. Die Arbeitsplatzstation 16 umfasst eine Bilderfassungseinrichtung 19, die eine Sensoreinrichtung 21 mit einer Kameralinse 28 einer Kamera oder eines Endoskops und die Voraussetzung einschließt, dass eine Bilderfassungseinrichtung 19 mit dieser Linse assoziiert ist, die ein Bild eines Objekts erfasst, das sich in dem Arbeitsraum 30 befindet. (Ein Endoskop würde sich in der Körperhöhle befinden.) Die Manipulatoren 32, 34 erlauben die Manipulation des Objekts in dem Arbeitsraum 30 korreliert mit einem angezeigten Bild durch die Verwendung von Endeffektoreinrichtungen 39, 41.
Das Bild, das an dem Arbeitsplatz 16 erfasst wird, wird durch eine Anzahl von Stufen übertragen, die dem Operator 14 ein Echtzeitbild des Objekts in dem Arbeitsraum 30 präsentieren. Insbesondere stellt die Sensoreinrichtung 21, die optische Bilderfassungseinrichtungen 19 einschließt, eine Ansicht der Manipulatoren 32, 34 durch eine Kameralinse 28 bereit, wobei solche Bildinformationen durch den Pfad 13 zu einem Bildprozessor 23 übermittelt werden. Zusätzlich können Bildsensorpositionsinformationen (Kameraposition) auf dem Pfad 63 zu dem Koordinatentransformator 43 übermittelt werden. (Für eine feststehende Kamera können die Kamerapositionsinformationen vorher festgelegt werden). Des Weiteren fühlen die mechanischen Positionsabfühleinrichtungen 59, 61 die Position der Manipulatoren 32, 34 mechanisch ab und übermitteln die Positionsinformationen über den Pfad 157 zu dem Koordinatentransformator 43.
Der Bildprozessor 23 umfasst eine Rotations- und Verschiebeeinrichtung 25, eine perspektivische Korrektureinrichtung 29 und eine Kalibrierungseinrichtung 27. Der Rotator dient zum Drehen des Bildes und der Verschieber dient zum Verschieben des gedrehten Bildes. Der perspektivische Korrektor 29 dient primär dazu, das Bild zu vergrößern, und kann einige Senkrechtschwenkungskorrekturen umfassen. Der Kalibrator 27 kann verschiedene Funktionen aufweisen, je nach Abhängigkeit von dem Typ an Bildeingabe. Er wird vor allem dazu verwendet, das Bild auf ein bekanntes Bezugskoordinatensystem zu kalibrieren, um einen Operator in die Lage zu versetzen, Bewegungen der Handsteuerungen und der Manipulatoren zu koordinieren. Nachdem das Bild eine Transformation durch einen oder mehrere dieser Funktionsblöcke durchlaufen hat, werden die Pixeldaten auf dem Pfad 15 zu einem Bildgenerator 31 übermittelt, der eine Videoanzeige 20 steuert, die in diesem Ausführungsbeispiel eine monoskopische Vorrichtung ist, und Daten über das Bild werden zu dem Koordinatentransformator 43 weiter übermittelt, wodurch jegliche verarbeiteten Bilddaten, die potentiell die Steuerung der Manipulatoren beeinflussen können (z.B. Vergrößerung, Rotation, Verschiebung) für die Steuerung der Manipulatoren zur Verfügung gestellt werden. Die Einzelheiten der Prozesse, die beeinflusst werden können, werden unten vor allem im Hinblick auf die Kalibrierung erläutert werden.
Der Koordinatentransformator 43 ist der Haupt-Prozessor der Positionsinformationen. Kamerapositionsinformationen, Manipulatorpositionsinformationen und Handsteuerungspositionsinformationen werden darin empfangen und verarbeitet. Insbesondere die Positionen der Handsteuerungen 24, 26 werden von den Positionssensoren 51, 51 abgefühlt und über den Pfad 47 zu dem Koordinatentransformator 43 übermittelt. Nach der Transformation und der Verarbeitung in dem Koordinatentransformator 43 werden die Steuerinformationen an einen Positionsverfolgungsservo 45 angelegt, der die Manipulatoren 32, 34 mit den Endeffektoren 39, 41 antreibt und steuert. Die Operation jedes dieser Blöcke wird ausführlicher beschrieben werden.
Während des Betriebs erfasst die Kameralinse 28 das Bild des Objekts in dem tatsächlichen Arbeitsraum 30 in einer spezifischen Ausrichtung in der Bilderfassungseinrichtung 19. Die Videoanzeige 20 zeigt dieses Bild so an, dass der Operator 14 das Objekt betrachten kann, während es manipuliert wird. Der Operator 14 kann dann Handsteuerungseinrichtungen 24, 26 ergreifen, die sich in dem sichtbaren Arbeitsraum 22 befinden, um die gewünschten Manipulationen auszuführen. Die Handsteuerungseinrichtungen 24, 26 an der fernen Station 12, die sich unter der Anweisung des Positionsverfolgungsservos 45 befinden, steuern die Manipulatoren 32, 34 an der Arbeitsplatzstation 16, die die eigentliche Manipulation des Objekts in dem Arbeitsraum 30 durchführen. Der tatsächliche Arbeitsraum 30 wird somit effektiv zu dem fernen Operator 14 zurückprojiziert, um so die Illusion zu erzeugen, das er das Objekt, das sich in dem Arbeitsraum 30 befindet, direkt erreicht und direkt in es hineinschaut und direkt steuert. Auf korrekte Weise projiziert führt dies zu natürlichen und spontanen Steuerbewegungen durch den Operator 14, selbst wenn er sich in einem anderen Raum oder an einer anderen extrem weit entfernten Stelle befindet.
Die Probleme, die von der vorliegenden Erfindung angegangen werden, ergeben sich aus der Situation, in der die Kameralinse in dem realen Arbeitsraum 30 nicht an der gleichen Position relativ zu den Manipulatoren 32, 34 wie die Augen des Steueroperators angeordnet ist, die das projizierte Bild in dem "sichtbaren" bzw. "virtuellen" Arbeitsraum 22 relativ zu den Handsteuerungseinrichtungen 24, 26 betrachten. Eine Lösung dafür wird von der vorliegenden Erfindung bereitgestellt.
Das Telemanipulationssystem nach der vorliegenden Erfindung kann auch so ausgelegt werden, dass es sich an eine stereoskopische Betrachtungsweise anpasst. 1B zeigt alle Elemente von 1A sowie zusätzlich eine zweite Kameralinse 36 und Bilderfassungseinrichtung 35. Die beiden Kameralinsen 28 und 36 können um etwa 10° voneinander getrennt sein, welches die gleiche interokulare Betrachtungsdisparität ist, die man erfährt, wenn man ein Gesichtsfeld mit einem Abstand von 40 cm betrachtet. Das Stereobild wird auf einem Stereovideoanzeigemonitor 38 angezeigt (z.B. unter Verwendung eines elektronisch geschalteten Polarisators 37 über den Bildschirm) und durch kreuzpolarisierte stereoskopische Linsen 40 betrachtet, wodurch dem fernen Operator 14 ein natürliches Bild angeboten wird, so dass der Operator das korrekte visuelle Feedback erfährt, wie wenn er den tatsächlichen Arbeitsraum 30 erreicht und direkt in diesen hineinblickt und direkt die sich darin befindlichen Objekte manipuliert. Die Einzelheiten des Systems werden im Folgenden erläutert.
2 ist eine schematische perspektivische Ansicht der Elemente der Arbeitsplatzstation 16 in dem Arbeitsraum 30 des Telemanipulationssystems, wobei Merkmale von 1 gezeigt werden, die sich in einem Regelkreis befinden. Der Systemoperator befindet sich an einer fernen Station, um Objekte zu manipulieren, die sich an einem Mittelpunkt 50 in dem Arbeitsraum 30 befinden. In dem monoskopischen System erfasst die Sensoreinrichtung 21 mit der Kameralinse 28 und der Bilderfassungseinrichtung 19 ein Echtzeitbild des Objekts. Der Operator 14 verwendet doppelte Handsteuerungseinrichtungen 24, 26, um jeweils den linken Manipulator 32 und den rechten Manipulator 34 zu steuern, die eine Fernmanipulation des Objekts in dem Arbeitsraum 30 erlauben. Für die Handsteuerungseinrichtungen 24, 26 und die Manipulatoren 32, 34 gibt es in diesem Beispiel einen festen Drehpunkt, um denn eine bidirektionale Winkelbewegung bewirkt werden kann, zusammen mit einer teleskopartigen Verlängerungsfähigkeit für jeden bzw. jede der Manipulatoren und Handsteuerungen. Die Korrelation zwischen den Handsteuerungseinrichtungen 24, 26 und den Manipulatoren 32, 34, kombiniert mit dem Bild, das von der Kameralinse 28 erfasst wird, stellen einen ausreichenden Feedback bereit, um den Steueroperator mit dem Anschein einer Echtzeitsteuerung bezüglich des Objekts in dem Arbeitraum zu versehen (eine weitere Verbesserung ist mit einem taktilen Feedback möglich). Sowohl der linke Manipulator 32 als auch der rechte Manipulator 34 sind in diesem Beispiel um 30° im Hinblick auf eine willkürliche Ausrichtungsebene erhöht, die eine Mittellinienachse 52 des Arbeitsraums 32 umfasst, um eine typische Positionierung eines Objekts in dem echten lokalen Arbeitsraum 30 zu simulieren.
Während des Betriebs befindet sich die Kameralinse 28 in der seitlichen 0°-Position im Hinblick auf die Mittellinienachse 52, so dass sich die Kameralinse 28 zwischen dem linken Manipulator 32 und dem rechten Manipulator 34 befindet. Die Fläche der Kameralinse 28 ist zum Beispiel in einem 45° Winkel im Hinblick auf die Ebene erhöht, die die Mittellinienachse 52 und die Grundlinie 53 enthält. Diese Kameraposition und -ausrichtung ist eine enge Annäherung an die tatsächliche Augenposition im Hinblick auf die Manipulatoren 32 und 34 und repräsentiert eine Grund- oder Bezugsposition. Das Bild, das von der Kameralinse 28 eingefangen wird, erweckt den Anschein, als ob der Operator auf den Mittelpunkt 50 schaut, während er über den Manipulatoren 32 und 34 steht, und zwar mit einem Betrachtungswinkel von 45° in den Arbeitsraum hinein. Sowohl der linke Manipulator 32 als auch der rechte Manipulator 34 erscheinen am unteren Ende des angezeigten Bildes (proximal zu den Handsteuerungen des Operators), was ein starkes Gefühl der Telepräsenz hervorruft, was bedeutet, das der Operator das Gefühl einer direkten Kontrolle der Manipulatoren 32 und 34 erfährt, was eine Steuerung mit Geschicklichkeit und Schnelligkeit erlaubt, insbesondere dann, wenn es ein taktiles Feedback von den Manipulatoren 32, 34 zu den Handsteuerungseinrichtungen 24, 26 gibt.
Bei einer Telemanipulationsanwendung, bei der das Positionieren von Elementen aufgrund von Hindernissen schwierig ist, ist es oftmals notwendig, die Kameralinse 28 in verschiedene Positionen zu bewegen, was zu einer anderen Ansicht des Objekts an dem Mittelpunkt 50 führt. Unter Bezugnahme auf 3 ist eine schematische perspektivische Ansicht der Elemente in dem Arbeitsraum 30 der Arbeitsplatzstation 16 eines monoskopischen Telemanipulationssystems gezeigt, in dem die Position der Kameralinse 28 um einen Winkel θ 58 seitlich in der horizontalen Ebene weg von der Mittellinienachse 52 gedreht ist. Nach der Rotation der Kameralinse 28 sind der linke Manipulator 32 und der rechte Manipulator 34 immer noch nach unten in einem Winkel von 30° relativ zu der Ebene geneigt, die die Mittellinienachse 52 und die Grundlinie 53 enthält, und die Kameralinse 28 ist immer noch in einem Winkel θ oberhalb der Ebene positioniert, die von der Mittellinienachse 52 und der Grundlinie 53 gebildet wird. Um ein Gefühl der Telepräsenz bei dem Operator hervorzurufen, ähnlich wie bei dem Fall, bei dem die Kameralinse 28 direkt über den Manipulatoren 32 und 34 angeordnet ist (wie in 2), wird gemäß der Erfindung das erfasste Bild, das von der Kameralinse 28 projiziert wird, um eine visuelle Achse/Sehachse 54 durch den Mittelpunkt der Kameralinse 28 gedreht. Dadurch wird die Rotation um die "vertikale" Achse U kompensiert, um eine statische Neuausrichtung der sichtbaren bzw. virtuellen Manipulatorpositionen zu bewirken.
Es sollte verstanden werden, dass die Kameralinse 28 und die Bilderfassungseinrichtung einen vollen Rotationsbereich um die vertikale Achse U ge nießen können, und dass die Winkel relativ zu den Bezugsebenen und dergleichen der Manipulatoren und der Kamera von den Beschränkungen der Betriebsumgebung diktiert werden. Außerdem kann die Kameralinse 28 in verschiedenen Winkeln relativ zu der Ebene positioniert werden, die von der Mittellinienachse 52 und der Grundlinie 53 gebildet wird. So zeigt zum Beispiel die 4 die Kameralinse 28 in einer Position in einer Höhe von 15° oberhalb der (willkürlichen) Bezugsebene, die von der Mittellinienachse 52 und der Grundlinie 53 gebildet wird. Bei dieser Ausrichtung befindet sich die Kameralinse 28 unterhalb der Manipulatoren 32, 34.
Wenn das Bild rein monoskopisch ist, wie es in 1A dargestellt ist, kann das System eine statische Neuausrichtung der Manipulatoren 32 und 34 um eine Achse 54 durch einen Punkt, insbesondere den Mittelpunkt 50 bewirken, indem das digitale Bild mittels der Rotationseinrichtung 25 gedreht wird. 3 zeigt die relevanten Rotationswinkel. Der Winkel Φ 56 bezeichnet den Neigungswinkel der Sehachse 54 der Kameralinse 28 unter der vertikalen Achse U. Der Winkel θ 58 bezeichnet die Rotation der Position der Kameralinse 28 in der horizontalen Ebene (gebildet von den Linien 52, 53) weg von der Mittellinienachse 52 relativ zu dem Mittelpunkt 50.
Die Rotationseinrichtung 25 bewirkt eine statische Neuausrichtung der Manipulatoren durch das Drehen des Echtzeitbildes Pixel um Pixel um einen Winkel, der etwa gleich -θ ist, in Übereinstimmung mit bekannten Verfahren. Nachdem diese Operation fertiggestellt ist, erscheinen der linke Manipulator 32 und der rechte Manipulator 34 im unteren Teil des angezeigten Bildes (untere Hälfte des projizierten Bildschirms). Die Kameralinse 28 bleibt stationär, und das angezeigte Bild wird durch die Bildmanipulation gedreht. Es sei angemerkt, dass dann, wenn Handsteuerungseinrichtungen 24, 26 an der Operatorstation oberhalb des Blickpunkts des Steueroperators positioniert sind, die Rotation des angezeigten Bildes das angezeigte Bild bis zu dem Punkt korrigieren wird, an dem die Manipulatoren oben in dem angezeigten Bild erscheinen (obere Hälfte des projizierten Bildschirms). In beiden Fällen erlaubt es die Transformation des angezeigten Bildes dem Operator, die Manipulatoren so zu betrachten, als ob diese aus den Handsteuerungen des Operators heraustreten. Das Remapping des Bildes wird durchgeführt, bevor die tatsächliche Steuerung bewirkt werden kann.
Zusätzlich zu dem Bewirken einer statischen Neuausrichtung durch digitale Bildtransformation kann eine Transformationseinrichtung 25 eine dynamische Synchronisation von virtuellen Manipulatorendenpositionen mit Handsteuerungspositionen bewirken, indem die nachfolgende Koordinatentransformation bei den Videobilddaten durchgeführt wird. Die tatsächliche Position der Manipulatorenden in dem Arbeitsraum 30 kann in eine virtuelle Position in dem angezeigten Bild transformiert werden, so dass die Manipulatoren so erscheinen werden, als ob sie sich starr mit den Handsteuerungen des Operators verbunden bewegen. Das Ändern der virtuellen Position der Manipulatorenden verbessert die Geschicklichkeit des Operators bei der Handhabung des Objekts in dem Arbeitsraum 30. Da der Endpunkt des Endeffektors des Manipulators bekannt ist, kann der Punkt (a, b, c) in Bezug zu der Winkelposition und der Länge des Manipulators gebracht werden, und der Punkt (p, q, r) kann in Bezug zu den gleichen Parametern relativ zu der Handsteuerung gebracht werden, und zwar unter Verwendung bekannter trigonometrischer Beziehungen zwischen Vektoren und ihren Endpunkten. Somit gilt:
(Gleichung 1)
In Verbindung mit der Transformation, die mit der obigen Gleichung assoziiert ist, wird das Bild um einen Winkel θ' gedreht, der von dem Operator ausgewählt wird, um die virtuelle Position der Manipulatoren in eine tatsächliche Deckung mit den Handsteuerungen zu bringen. Es ist eine Beobachtung, dass der Winkel θ' ≈ -θ. Diese Transformation beschreibt die Beziehung zwischen der Position des Punktes, der von den Endeffektoreinrichtungen bei (a, b, c) (für jede Endeffektoreinrichtung) repräsentiert wird, relativ zu dem Punkt (p, q, r) des entsprechenden Endes des Manipulators in dem virtuellen Arbeitsraum in dem angezeigten Bild auf der Videoanzeige 20.
Ein anderes Verfahren zum Erzielen einer statischen Neuausrichtung der Manipulatorpositionen liegt darin, die Bilderfassungseinrichtung um ihre Sehachse zu drehen. Unter erneuter Bezugnahme auf das monoskopische System, das in 1A und in 3 veranschaulicht ist, wird die Kameralinse 28 um ihre eigene Sehachse 54, eine Achse senkrecht zu der Ebene der Kameralinse 28, bis zu dem Punkt gedreht, an dem der linke Manipulator 32 und der rechte Manipulator 34 in dem unteren Teil des angezeigten Bildes (untere Hälfte des projizierten Bildschirms) erscheinen. Es sei erneut angemerkt, dass dann, wenn die Handsteuerungseinrichtungen an der Operatorstation oberhalb des Blickpunkts des Steueroperators positioniert sind, die Drehung der Kameralinse 28 und der Bilderfassungseinrichtung 19 das angezeigte Bild bis zu dem Punkt korrigieren wird, an dem die Manipulatoren in dem oberen Teil des angezeigten Bildes (obere Hälfte des projizierten Bildschirms) erscheinen.
Zur Beibehaltung des stereoskopischen Effekts können in dem Fall der stereoskopischen Bildgebung, wie sie in 1B dargestellt ist, die Rotationen nicht um separate Achsen durch jede Kameralinse ausgeführt werden, sondern (unter Bezugnahme auf 5A und 5B) müssen zusammen um eine einzige Achse ausgeführt werden, die von jeder Linse versetzt ist. Insbesondere wird diese Rotation senkrecht zu der Mittelachse 57, die durch den Mittelpunkt 50 verläuft, und einem willkürlichen Punkt auf der Mittelachse 57 zwischen den stereoskopischen Kameralinsen 28 und 36 (5A und 5B) ausgeführt. Diese Achse ist der Sehachse 54 ähnlich, die in Verbindung mit 2 beschrieben wurde. Unter Bezugnahme auf 5A sind die Linsen einer stereoskopischen Vorrichtung in ihren Anfangspositionen gezeigt. Die Mittelachse 57 zeigt die feste Beziehung jeder Linse des Kamerapaars und verläuft parallel zu einer Bezugsachse 59 parallel zu einer Achse in der Ebene, die von den Manipulatoren 32, 34 gebildet wird, mit einer Kreuzungsstelle an dem Mittelpunkt 50, wobei die Achse senkrecht zu einer Linie verläuft, die die Manipulatoren halbiert und durch den Mittelpunkt 50 verläuft. Um das angezeigte Bild durch die Rotation der Bilderfassungseinrichtung neu auszurichten, wird die Mittelachse 57 relativ zu einer Bezugsebene 59, die durch den Mittelpunkt verläuft, geneigt, wobei diese Ebene die Bezugsachse 59 einschließt, wie in 5B gezeigt ist.
Es gibt eine Begrenzung bezüglich des Betrags an visuell akzeptierbarer Rotation der stereoskopischen Bilderfassungseinrichtungen 19, 35 und der Erhöhung der Bilderfassungseinrichtungen 19, 35 relativ zu der Ebene der Manipulatoren 32, 34. Die Erhöhung kann nicht so groß sein, dass sie es unmöglich macht, den relativen Betrachtungswinkel jedes der beiden Manipulatoren relativ zueinander zu ändern. Im Klartext heißt dies, wenn der Winkel Φ gleich 90° Erhöhung ist (wobei die Betrachtungsachse 54 in der Bezugsebene liegt, die von den Linien 52 und 53 gebildet wird), wird keine nutzbringende Änderung indem relativen Betrachtungswinkel erreicht werden, indem das Bild gedreht wird. Bei anderen Erhöhungswinkeln hängt die Begrenzung von dem Separationswinkel der Manipulatoren 32, 34 und zweitens von dem Abstand der stereoskopischen Linsen 28, 36 ab.
Zusätzlich zu dem Erzielen einer statischen Neuausrichtung der Manipulatorpositionen durch die Rotation der Kameralinse 28 kann das System eine dynamische Neuausrichtung bewirken, indem sie eine Koordinatentransformation mittels Verschiebeeinrichtungen 25 durchführt. Die tatsächliche Position der Manipulatorenden in dem Arbeitsraum 30 kann in eine sichtbare Position in dem angezeigten Bild umgewandelt werden, so dass die Manipulatoren so erscheinen, als ob sie sich fest mit den Handsteuerungen des Operators verbunden bewegen. Das Ändern der virtuellen Position der Manipulatorenden verbessert die Geschicklichkeit des Operators bei der Handhabung des Objekts in dem Arbeitsraum 30.
8 und 9 veranschaulichen jeweils das Bild 132 eines Manipulators (32) und eines tatsächlichen Manipulators 32 relativ zu der Handsteuerung 24. In diesem Beispiel und bei einem Vergleich mit 2 sind die Manipulatoren und die entsprechenden Controller, die von den Handsteuerungen repräsentiert werden, von einem Typ, der einen einzigen Drehpunkt 151, 161 in Verbindung mit den Positionssensoren 51, 61 mit einer zweidimensionalen Schwenkung um den/die Punkt(e) und eine Verlängerung entlang der Achse des Manipulators 32 verwendet. Andere Bewegungen, die mit diesen Betätigungen konsistent sind, wie etwa eine Längsrotation des Manipulators um seine Achse, werden von der Erfindung in Betracht gezogen. Unter Bezugnahme auf 8 und 9 bewirkt die Bewegung der Handsteuerung 24, dass sich das Manipulatorende 72 zu einem neuen Punkt (a, b, c) in dem Arbeitsraum 30 derart bewegt, dass sich das Bild 132 des Manipulatorendes 172 zu einem neuen Punkt (p, q, r) in dem virtuellen Arbeitsraum 22 bewegt, wobei dieser Punkt bei der Betrachtung durch den Operator so erscheint, als ob er sich an dem verlängerten Ende der Handsteuerung 24 befindet. Es mag vorzuziehen sein, die Servobefehle, die sich auf die Handsteuerung und ihren entsprechenden Manipulator beziehen, in ihren Polarkoordinatensystemen (Ω, ψ, L) und (Ω', ψ', L') auszudrücken. Diese Polarkoordinaten und ihre jeweiligen Punkte in Kartesischen Koordinatensystemen werden durch bekannte Transformationen von Polarkoordinaten in Kartesische Koordinaten miteinander in Bezug gebracht.
Unter erneuter Bezugnahme auf 3 werden die spezifischen Rotationswinkel, die bei der Berechnung der Koordinatentransformation verwendet werden, gezeigt. Der Winkel Φ 56 bezeichnet den Neigungswinkel der Sehachse 54 der Kameralinse 28 unter der vertikalen Achse U. Der Winkel θ 58 bezeichnet die Rotation der Kameralinse 28 in der horizontalen Ebene weg von der Mittellinienachse 52 relativ zu dem Mittelpunkt 50 in dem Arbeitsraum 30. Der Winkel r 60 bezeichnet die Rotation der Kameralinse um ihre Sehachse 54.
Während des Betriebs eines monoskopischen Telemanipulationssystems werden die Kameralinse 28 und die Bilderfassungseinrichtung 19 um eine visuelle Achse 54 gedreht, wie oben beschrieben worden ist. Die Koordinaten (a, b, c) in einem orthogonalen Kartesischen Bezugskoordinatensystem des dreidimensionalen Arbeitsraums 30 definieren die tatsächliche Position des Endes eines Manipulators, wie z.B. des linken Manipulators 32. Die nachfolgende Matrizengleichung bringt die gewünschte virtuelle Position (p, q, r im orthogonalen Kartesischen Raum) des Manipulatorendes in dem angezeigten Bild in der Videoanzeige 20 mit der tatsächlichen Position (a, b, c) des Manipulatorendes in dem Arbeitsraum 30 in Bezug:
(Gleichung 2)
Wenn das Manipulatorende an einer Position (p, q, r) in dem angezeigten Bild in der Videoanzeige 20 angezeigt wird, wird es dem Operator so erscheinen, also ob sich der Manipulator tatsächlich an dem Ende der starren Handsteuerungsvorrichtung des Operators befindet. Die Koordinatentransformation ver bessert die Mühelosigkeit, mit der der Operator Objekte in dem Arbeitsraum unter Verwendung eines Telemanipulationssystems handhaben kann.
In dem Fall einer stereoskopischen Bildgebung wird die Stereobilderfassungseinrichtung 19, 35 relativ zu einer Bezugsachse 59 parallel zu einer Achse in der Ebene gedreht, die von den Manipulatoren 32, 34 gebildet wird, mit einem Schnittpunkt an dem Mittelpunkt 50, wobei die Achse senkrecht zu einer Linie verläuft, die die Manipulatoren halbiert und durch den Mittelpunkt 50 verläuft, wie in 5B gezeigt ist. Der Winkel r 60 misst den Betrag an Rotation der stereoskopischen Linsen 28, 36, und sein Wert kann in der Gleichung 2 zur Berechnung der korrekten Koordinatentransformation für die stereoskopische Betrachtung verwendet werden.
Um zu gewährleisten, dass die Bewegungen der Manipulatoren 32, 24 in dem Arbeitsraum 30 den Bewegungen der Handsteuerungen 24, 26 in dem virtuellen Arbeitsraum 22 des Operators richtig folgen, und das sogar ohne komplette Kenntnis aller Winkel und Positionen, kann der Operator eine Kalibrierungsreferenz für Manipulatoren 32, 34, wenn sie in dem angezeigten Bild in der Videoanzeige 20 betrachtet werden, in Verbindung mit dem Positionsverfolgungsservo einrichten. Unter Bezugnahme auf 6A, die das Bild zeigt, das in einer Videoanzeige 20 angezeigt wird, kann zum Beispiel ein Vierpunkte-Koordinaten-Grafikelement 62 in der Form einer Tetraeder- oder Würfelstruktur in einer dreidimensionalen Ansicht in dem dreidimensionalen Raum auf der Stereobildanzeige eingeblendet werden, was einen Koordinatenbezug in dem dreidimensionalen Bildraum bereitstellt. Zur Kalibrierung der Position eines einzelnen Manipulators im Hinblick auf seine entsprechende Handsteuerung "öffnet" das System den Regelkreis, und der Operator 14 bewegt zum Beispiel die Handsteuerung 24, während er die Bewegung des Endes des Manipulators 32 beobachtet und das Ende lenkt, bis es so aussieht, als ob dieses einen ersten Bezugspunkt 64 des eingeblendeten Grafikelements 62 berührt, wie in 6B gezeigt ist. (Da die Bewegung der Handsteuerung und des Manipulatorendes noch nicht koordiniert worden sind, kann die Ausrichtung des Endes auf den ersten Bezugspunkt eine sehr behutsame Bemühung erfordern.) Der Operator 14 zeigt dann dem System an, dass die Überlagerung des Manipulators und des Bezugspunkts erreicht worden ist (z.B. wird ein "Eingestellt"-Signal an das System gesendet).
Das System verriegelt dann den Manipulator 32 in der Position, öffnet den Regelkreis, indem sie diesen von der Handsteuerung 24 abkoppelt, und instruiert den Operator 14, die Handsteuerung 24 freizugeben. Das System stellt die Verlängerung L (8 und 9) der Handsteuerung so ein, dass sie mit der des Manipulators L' übereinstimmt, indem sie den Offset σ₃ = L-L' einfügt, damit dann, wenn der Regelkreis geschlossen wird, keine reaktive Bewegung durch eine der Vorrichtungen erfolgt. Das heißt, die virtuellen Verlängerungspositionen der Handsteuerung 24 und des Manipulators 32 müssen identisch sein, wenn sie in dem Regelkreis verglichen werden. Das System schließt dann den Regelkreis und entriegelt den Manipulator 32 und gibt die Steuerung an den Operator 14 zurück.
Der Operator bewegt dann die Handsteuerung um ihren Drehpunkt zu einer Winkelausrichtung (ψ, Ω), bei der der Operator das Gefühl hat, dass das Bild des Manipulators aus der Handsteuerung des Operators herauszukommen scheint. In ähnlicher Weise zu dem oben beschriebenen Prozess berechnet das System die Transformationen, die es gewährleisten, dass es keine reaktive Bewegung durch entweder den Master oder den Slave geben wird, wenn der Regelkreis geschlossen wird. Das System berechnet die Winkel-Offsets σ₁ = ψ-ψ' und σ₂ = Ω-Ω' und das Transformieren der virtuellen Position des Master oder des Slave vor dem Schließen des Regelkreises. Das System speichert nun die Positionen in dem dreidimensionalen Raum des Handsteuerungs-Master (ψ₁, Ω₁, L₁) und des Manipulator-Slave (ψ'₁, Ω'₁, L'₁).
Der Operator wiederholt die Elemente dieses Prozesses mit den restlichen Bezugspunkten des eingeblendeten Grafikelements 62. Das System kann dann die nachfolgende linearisierte Gleichung ableiten und installieren, die inkrementelle Änderungen in der Position der Handsteuerungs-Masters 24, 26 in Bezug zu inkrementellen Änderungen in der Position der Manipulator-Slaves 32, 34 bringt, und zwar unter Verwendung der Datensätze zur Bestimmung der Koeffizienten der Gleichungen, die die Positionen in Beziehung zueinander bringen: ΔΩ' = k11ΔΩ + k12Δψ + k13ΔL Δψ' = k21ΔΩ + k22Δψ + k23ΔL ΔL' = k31ΔΩ + k32Δψ + k33ΔL
Die Lösung zu der obigen linearisierten Gleichung ist wie folgt:
(Gleichung 3)
Das System installiert diese Koeffizientenwerte in dem Koordinatentransformator 43, der den Servo 45 steuert, mit geeigneten Offsets σ₁σ₂ und σ₃, so dass es keine reaktive Bewegung gibt, wenn der Regelkreis geschlossen wird.
In einem alternativen Ausführungsbeispiel wird die Kalibrierung der Manipulatoren durch eine virtuelle Bewegung mit Hilfe des Systems erreicht. Unter Bezugnahme auf 6B bewegt das System das Manipulatorende 32, anstatt dass der Operator das Manipulatorende 32 führt, zu einem von vier definierten Punkten in dem dreidimensionalen Arbeitsraum 30, wie etwa dem Bezugspunkt 64, wie er von dem Operator aus gesehen wird. Unter Verwendung der Handsteuerung 24 kalibriert der Operator 14 dann dynamisch die Position des Manipulators 32, indem er einen eingeblendeten Grafikpunkt lenkt, bis dieser auf dem Manipulatorende 32 überlagert erscheint. Der Operator 14 zeigt dann dem System an, dass eine Überlagerung des Manipulatorendes 32 und des Bezugspunkts 64 erreicht worden ist, und die Koordinaten des Manipulators 32 und der Handsteuerung 24 werden aufgezeichnet. Der Prozess wird für die restlichen Bezugspunkte wiederholt, nach dem das System eine Koordinatentransformationsformel in dem Koordinatentransformator 43 ableitet und installiert, wie dies in dem obigen Ausführungsbeispiel beschrieben worden ist.
In der tatsächlichen Praxis ist es vorzuziehen, dass eher der Chirurg als das System den Kalibrierungsprozess initiiert, wenn die Erfindung bei einer laparoskopischen Operation verwendet wird. Während der Operation wird der Kalibrierungsprozess innerhalb eines Abdomens eines Patienten ausgeführt, wo es wenig Platz zum Manövrieren gibt. Folglich können automatische Bewegungen des Manipulators, egal wie klein, als weniger wünschenswert betrachtet werden wie operatorgesteuerte Bewegungen.
Ein anderes Verfahren zum Hervorrufen eines Gefühls der Telepräsenz in einem Telemanipulationssystem beinhaltet die Verwendung einer spezifischen Koordinatentransformation, um andere Änderungen in dem angezeigten Bild zu kompensieren, wie etwa eine seitliche Verschiebung oder eine Maßstabsänderung. Die Kamera kann eine seitliche oder winkelmäßige Verlagerung erfahren, die bewirkt, dass das angezeigte Bild verschoben wird. Außerdem kann die Kamera in der Lage sein, das Objekt in dem Arbeitsraum zu vergrößern, was eine Maßstabsänderung und eine Verschiebung des virtuellen Drehpunkts des Manipulators bewirkt.
Die 7A und 7B zeigen die kombinierte Wirkung einer seitlichen Verschiebung des Bildes und einer Maßstabsänderung, die durch eine Vergrößerung des Bildes herbeigeführt worden sind. 7A zeigt einen Teil des angezeigten Bildes, einschließlich eines Manipulators 32, in einem zweidimensionalen Feld. Der Mittelpunkt des Bildes befindet sich bei den Koordinaten (0, 0). Der Operator erfährt das bestmögliche Gefühl der Telepräsenz, wenn sich das Manipulatorende 72 an den Koordinaten (u, v) in dem Bildfeld so zu bewegen scheint, als ob es fest an der Steuervorrichtung in der Hand des Operators angebracht wäre. Die Steuervorrichtung wird an dem Punkt (m, n) in der Figur geschwenkt. Der Manipulator befindet sich in einem Winkel α 74 zu der y-Achse, und der Abstand von dem Drehpunkt (m, n) zu dem Manipulatorende (u, v) ist die Länge L 76.
7B zeigt, was der Operator sehen würde, wenn das Bild um einen Faktor m vergrößert worden wäre. Der Mittelpunkt des Bildes ist seitlich um einen Abstand von Δx und Δy verschoben, und die neuen virtuellen Koordinaten des Manipulatorendes 72 sind (u', v'). Um ein gewünschtes Niveau an Telepräsenz zu gewährleisten, werden der Winkel α 74 und die Länge L 76 durch perspektivische Korrektureinrichtungen 29 in dem angezeigten Bild neu abgebildet bzw. zugeordnet (Remapping), um dem Operator den Eindruck zu vermitteln, dass das Manipulatorende 72 immer noch fest an der Handsteuerungsvorrichtung angebracht ist. Das nachfolgende Paar an Gleichungen beschreibt das Remapping des Winkels α 74 in den Winkel α 78 und der Länge L 76 in die Länge L' 80: α' = arctan[(u' – m)/(v' – n)] und L = [(u' – m)2 + (v' – n)2]1/2 wobei:

u' = M(u – Δx) v' = M(v – Δy) und wobei

u = L(sinα) + m v = L(cosα) + n
Wenn, α und L gemäß den obigen Gleichungen neu abgebildet bzw. zugeordnet werden, wird der Anschein erweckt, als ob sich das Manipulatorende 72 in dem angezeigten Bild so bewegen würde, wie wenn es fest mit der Handsteuerungsvorrichtung des Operators verbunden wäre.
Die obigen Beziehungen können erweitert werden, um Transformationen in drei Dimensionen einzuschließen, um eine Verlagerung der Manipulatoren zu kompensieren, wenn die Kameralinse 28 um ihre eigene Sehachse 54 gedreht wird, wie bei dem Ausführungsbeispiel, das im Hinblick auf 3 beschrieben worden ist. In allen Fällen wird das Ziel des Aufrecherhaltens der Übereinstimmung der wahrgenommenen Ebene, die die beiden Manipulatoren enthält, mit der Ebene der beiden Handsteuerungen erreicht.
Die Erfindung ist nun unter Bezugnahme auf spezifische Ausführungsbeispiele beschrieben worden. Andere Ausführungsbeispiele werden den Durchschnittsfachleuten auf dem Gebiet bei Bezugnahme auf die vorliegende Beschreibung offensichtlich werden. Zum Beispiel kann die Erfindung auf Gelenkmanipulatoren mit mehreren Dreh- und Verschiebungspunkten oder mit Drehpunkten an Stellen, die physisch nicht an den Manipulatoren angebracht sind, erweitert werden. Es ist deshalb nicht so gedacht, dass die Erfindung auf irgendeine Weise begrenzt wird, mit Ausnahme durch das, was von den angehängten Ansprüchen angegeben wird.

Claims

Telemanipulationssystem (10) zum Manipulieren von Objekten, die sich in einem tatsächlichen Arbeitsraum (30) an einem fernen Arbeitsplatz (16) befinden, durch einen Steueroperator (14) von einer Steueroperatorstation (12) aus, wobei das Telemanipulationssystem (10) einen Manipulator (32, 34) an dem Arbeitsplatz mit einem Endeffektor (39, 41) zur Manipulation eines Objekts in dem tatsächlichen Arbeitsraum, einen Controller, der eine Handsteuerung (24, 26) einschließt, an der Steueroperatorstation (12) zur Fernsteuerung des Manipulators durch den Steueroperator (14), eine Bilderfassungsvorrichtung (19) zur Aufnahme eines Echtzeitbildes des tatsächlichen Arbeitsraumes (30) und einen Bildgenerator (31) zum Erzeugen einer Anzeige auf einem Monitor für die Augen des Steueroperators umfasst, wobei der Controller des Weiteren Folgendes umfasst: Einrichtungen (23), die mit der Bilderfassungsvorrichtung (19) gekoppelt sind, zum Verarbeiten des Echtzeitbildes in ein verarbeitetes Bild, das dem Steueroperator angezeigt wird, wobei sich die Bilderfassungsvorrichtung in einem Winkel und einer Position relativ zu dem Endeffektor (39, 41) befindet, die sich von einer relativen Position der Augen des Steueroperators (14) und der Handsteuerung (24, 26) unterscheidet, wobei die Bildverarbeitungseinrichtung (23) und der Bildgenerator zusammenarbeiten, um das verarbeitete Bild des Endeffektors zu erzeugen, dadurch gekennzeichnet, dass die Anzeige so positioniert ist, dass sich das verarbeitete Bild im Wesentlichen in einer Position befindet, in der der Operator die Handsteuerung sehen würde, wodurch ein virtueller Arbeitsraum (22) geschaffen wird, und dass das verarbeitete Bild im Wesentlichen das gleiche wie ein Bild ist, das von einer Bilderfassungsvorrichtung aufgenommen wird, die sich in einem Winkel und einer Position relativ zu dem Endeffektor befindet, die im Wesentlichen äquivalent zu einem relativen Winkel und einer relativen Position der Augen des Steueroperators und des Controllers sind.
System nach Anspruch 1, wobei die Bildverarbeitungseinrichtung (23) des Weiteren Folgendes umfasst: Einrichtungen zum Umwandeln einer tatsächlichen Position des Endeffektors in dem Arbeitsraum in eine wahrgenommene Position des Endeffektors in dem verarbeiteten Bild, wobei die Bilderfassungsvorrichtung (19) monoskopisch ist und in einem Winkel in einer Bezugsebene positioniert ist, wobei sich die Bilderfassungsvorrichtung (19) oberhalb der Bezugsebene in einem Bezugsraum befindet, und wobei die Augen des Steueroperators (14) in einem Winkel von 0° relativ zu einer Grundlinie in der Bezugsebene positioniert sind, wobei sich die Augen oberhalb der Bezugsebene in dem Bezugsraum befinden, wobei das verarbeitete Bild Pixel um Pixel um einen Winkel θ' gedreht wird, der etwa gleich -θ ist.
System nach Anspruch 2, wobei die Koordinaten der wahrgenommenen Position des Endeffektors (39, 41) mit den Koordinaten der tatsächlichen Position des Endeffektors durch die folgende Beziehung dynamisch in Bezug stehen:
wobei [p, q, r] die Koordinaten der wahrgenommenen Position sind, [a, b, c] die Koordinaten der tatsächlichen Position sind, der Winkel die Rotation der Bilderfassungseinrichtung in einer horizontalen Ebene um eine vertikale Achse ist, der Winkel θ' im Wesentlichen gleich – θ ist, und der Winkel Φ der Winkel der Neigung unter der vertikalen Achse einer Achse ist, die senkrecht zu einer Oberfläche der Bilderfassungseinrichtung ist.
System nach Anspruch 1, wobei die Bildverarbeitungseinrichtung (23) des Weiteren Folgendes umfasst: Einrichtungen zur statischen Neuausrichtung des Manipulators (32, 34), die durch das Drehen der Bilderfassungsvorrichtung (19) um eine Achse senkrecht zu einer Oberfläche der Bilderfassungsvorrichtung in eine Position bewirkt wird, in der der Manipulator in dem verarbeiteten Bild als dem Steueroperator (14) präsentiert erscheint, wobei sich die Handsteuerungen (24, 26) unterhalb eines Blickpunkts des Steueroperators (14) befinden.
System nach Anspruch 1, wobei die Bildverarbeitungseinrichtung (23) des Weiteren Folgendes umfasst: Einrichtungen zur statischen Neuausrichtung des Manipulators, die durch das Drehen der Bilderfassungsvorrichtung (19) um eine Achse senkrecht zu einer Oberfläche der Bilderfassungsvorrichtung in eine Position bewirkt wird, in der der Manipulator (32, 34) in dem verarbeiteten Bild als dem Steueroperator (14) präsentiert erscheint, wobei sich die Handsteuerungen (24, 26) oberhalb eines Blickpunkts des Steueroperators (14) befinden.
System nach Anspruch 4, wobei die Bilderfassungsvorrichtung (19) Folgendes umfasst: eine monoskopische Kamera (19), wobei die Rotation der Bilderfassungseinrichtung um eine Sehachse der monoskopischen Kamera durch einen Mittelpunkt einer Linse (28) der monoskopischen Kamera erfolgt.
System nach Anspruch 4, wobei die Bilderfassungsvorrichtung (19) Folgendes umfasst: eine stereoskopische Doppelblendenkamera mit einer senkrechten Achse, die eine Linie zwischen jeder Blende der stereoskopischen Kamera halbiert, wobei die Rotation der Bilderfassungsvorrichtung um eine Sehachse der stereoskopischen Kamera durch den Mittelpunkt der senkrechten Achse erfolgt.
System nach Anspruch 4, wobei die Bildverarbeitungseinrichtung (23) des Weiteren Folgendes umfasst: Einrichtungen zur Übertragung einer tatsächlichen Position des Endeffektors in dem Arbeitsraum in eine wahrgenommene Position des Endeffektors in dem verarbeiteten Bild derart, dass die Bewegung des Endeffektors (39, 41) starr verbunden mit der Handsteuerung (24, 26) erscheint.
System nach Anspruch 8, wobei das Übertragen der tatsächlichen Position in die wahrgenommene Position gemäß der folgenden Beziehung erfolgt:
wobei [p, q, r] die Koordinaten der wahrgenommenen Position sind, [a, b, c] die Koordinaten der tatsächlichen Position sind, der Winkel Γ die Rotation der Bilderfassungseinrichtung um eine Achse senkrecht zu einer Oberfläche der Bilderfassungseinrichtung ist, der Winkel Φ der Winkel der Neigung der senkrechten Achse unter einer vertikalen Achse ist, und der Winkel θ die Rotation der Bilderfassungseinrichtung in einer horizontalen Ebene um die vertikale Achse ist.
System nach einem der vorhergehenden Ansprüche, wobei sich ein Winkel und eine Position der Bilderfassungsvorrichtung (19) relativ zu dem Endeffektor (39, 41) im Maßstab und in der seitlichen Position im Vergleich zu dem Steueroperator und der Handsteuerung unterscheiden, und wobei die Bildverarbeitungseinrichtung (23) die Manipulation des Endeffektors (39, 41) mit der Handsteuerung (24, 26) korreliert, wobei die Bildverarbeitungseinrichtung (23) und der Bildgenerator (31) zusammen des Weiteren Folgendes umfassen: Einrichtungen (29) zum Durchführen einer perspektivischen Korrektur in dem verarbeiteten Bild im Anschluss an eine seitliche Verschiebung und eine Maßstabsänderung der Bilderfassungsvorrichtung (19).
System nach Anspruch 10, wobei die Einrichtung (29) zur perspektivischen Korrektur Einrichtungen zur Durchführung von Transformationen gemäß den nachfolgenden Beziehungen umfasst: α' = arctan[(x – m)/(y' – n)], L' = [(x' – m)2 + (y' – n)2]1/2, x' = M(x – Δx), y' = M(y – Δy), x = L(sinα) + m, y = L(cosα) + nwobei die Koordinaten (m, n) eine Position eines Drehpunkts des Manipulators vor dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung beschreiben, die Koordinaten (m', n') eine Position des Drehpunkts des Manipulators nach dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung beschreiben, die Koordinaten (x, y) eine Position des Endeffektors vor dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung beschreiben, die Koordinaten (x', y') eine Position des Endeffektors nach dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung beschreiben, die Koordinaten (Δx, Δy) die Positionsänderung des Endeffektors beschreiben, die durch die seitliche Verschiebung verursacht worden ist, der Faktor M den Vergrößerungsfaktor der Maßstabsänderung beschreibt, der Winkel α die Rotation des Manipulators um eine vertikale Achse vor dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung ist, der Winkel α' die Rotation des Manipulators um die vertikale Achse nach dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung ist, die Länge L ein Abstand zwischen dem Drehpunkt und dem Endeffektor vor dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung ist, und die Länge L' ein Abstand zwischen dem Drehpunkt und dem Endeffektor nach dem Stattfinden der seitlichen Verschiebung und der Maßstabsänderung ist.
System nach einem der vorhergehenden Ansprüche, wobei die Bildverarbeitungseinrichtung (23) eine Bildverarbeitungsvorrichtung (23) einschließt, die mit dem Bildgenerator (31) gekoppelt ist, wobei die Bildverarbeitungsvorrichtung das Echtzeitbild in das verarbeitete Bild verarbeitet.
System nach Anspruch 12, wobei die Bildverarbeitungsvorrichtung (23) des Weiteren Einrichtungen zur Transformierung der Koordinaten der Bilderfassungsvorrichtung in Koordinaten nahe den Endeffektoren derart umfasst, dass das verarbeitete Bild dem Operator ein Gefühl bereitstellt, dass der Controller im Wesentlichen integral mit den Endeffektoren ist.
System nach Anspruch 12, das des Weiteren Folgendes umfasst: eine Servosteuerung zur Steuerung der Position des Manipulators; einen ersten Positionssensor (59, 61), der angeordnet ist, um eine Position der Manipulation (32, 34) in dem Arbeitsraum zu erfassen; einen zweiten Positionssensor (51, 55), der angeordnet ist, um eine Position der Handsteuerung (24, 26) an der Operatorstation zu erfassen; und eine Koordinatentransformationsvorrichtung, die mit der Bildverarbeitungseinrichtung (23), dem ersten Positionssensor und dem zweiten Positionssensor gekoppelt ist, um Informationen über die Manipulatorposition, die Handsteuerungsposition und die Position des verarbeiteten Bildes in Steuersignale umzuwandeln, die an die Servosteuerung angelegt werden.
System nach Anspruch 14, des Weiteren mit einem dritten Positionssensor (21), der angeordnet ist, um eine Position der Bilderfassungsvorrichtung (19) zu erfassen, wobei die Koordinatentransformationsvorrichtung mit dem dritten Positionssensor gekoppelt ist, um Positionsinformationen über die Bilderfassungsvorrichtung (19) in Steuersignale umzuwandeln.
System nach einem der vorhergehenden Ansprüche und das dynamische Kalibrierungseinrichtungen (27) einschließt, die Folgendes umfassen: Einrichtungen zum automatischen Bewirken, dass sich der Endeffektor (39, 41) durch eine vorher ausgewählte Sequenz von Bezugspunkten bewegt, die in einem dreidimensionalen Raum in dem verarbeiteten Bild verteilt sind; Einrichtungen zum Anzeigen eines überdeckten Grafikpunktes in der Anzeige des Endeffektors derart, dass die Position des Punktes durch die Position der Handsteuerung (24, 26) gesteuert wird; manuell betätigbare Einrichtungen zum Registrieren, wann der Punkt auf dem Endeffektor an jedem Bezugspunkt überlagert wird; und Einrichtungen zum Herstellen einer Nachführungsbeziehung zwischen der Handsteuerung und dem Endeffektor, um dadurch eine Kalibrierung herzustellen.
System nach einem der Ansprüche 1 bis 15, das dynamische Kalibrierungseinrichtungen (27) einschließt, die Folgendes umfassen: Einrichtungen zum Anzeigen einer Darstellung eines Vierpunkte-Koordinaten-Grafikelements in einem dreidimensionalen Raum in dem Echtzeitbild des Endeffektors (39, 41); manuelle Eingabeeinrichtungen zum Registrieren, wann der Endeffektor, der durch die Steuerung der Handsteuerung (24, 26) bewegbar ist, so positioniert ist, dass er jeden Bezugspunkt des Grafikelements zu berühren scheint; und Einrichtungen zum Herstellen einer Nachführungsbeziehung zwischen der Handsteuerung und dem Endeffektor.
System nach einem der vorhergehenden Ansprüche, wobei die Bilderfassungsvorrichtung ein Endoskop umfasst.
System nach einem der vorhergehenden Ansprüche, wobei der Endeffektor ein chirurgisches instrument umfasst.
System nach einem der vorhergehenden Ansprüche, das dynamische Neuausrichtungseinrichtungen zum dynamischen Neuausrichten der Manipulatoren einschließt, indem eine Koordinatentransformation durch Transformationseinrichtungen durchgeführt wird.
Verfahren zum Manipulieren von Objekten, die sich in einem tatsächlichen Arbeitsraum (30) an einem fernen Arbeitsplatz (16) befinden, durch einen Steueroperator (14) von einer Steuerstation (12) aus, wobei das Verfahren Folgendes umfasst: Verwenden einer Handsteuerung (24, 26) an der Steueroperatorstation (12) zur Fernsteuerung eines Manipulators (32, 34) mit einem Endeffektor (39, 41) an dem Arbeitsplatz; Aufnehmen eines Echtzeitbildes des tatsächlichen Arbeitsraumes (30) unter Verwendung einer Bilderfassungsvorrichtung (19) an einer Position relativ zu dem Endeffektor (38, 41), die sich von einer relativen Position der Augen des Steueroperators (14) und der Handsteuerung (24, 26) unterscheidet; Verarbeiten des Echtzeitbildes in ein verarbeitetes Bild, das dem Steueroperator (14) angezeigt wird, wobei das verarbeitete Bild im Wesentlichen das gleiche wie ein Bild ist, das von einer Bilderfassungsvorrichtung aufgenommen wird, die sich in einem Winkel und einer Position relativ zu dem Endeffektor (39, 41) befindet, die im Wesentlichen äquivalent zu einem relativen Winkel und einer relativen Position der Augen des Steueroperators (14) und des Controllers sind; und Anzeigen des verarbeiteten Bildes für den Steueroperator (14) in einer Position, die sich im Wesentlichen in einer Position befindet, in der der Operator die Handsteuerung sehen würde, wodurch ein virtueller Arbeitsraum (22) geschaffen wird.
Verfahren nach Anspruch 21, das das Umwandeln einer tatsächlichen Position des Endeffektors (39, 41) in dem Arbeitsraum in eine wahrgenommene Position des Endeffektors in dem verarbeiteten Bild umfasst, wobei das verarbeitete Bild aus einer Position in einem Winkel in einer Bezugsebene aufgenommen wird und oberhalb der Bezugsebene in einem Bezugsraum positioniert wird, und wobei die Augen des Steueroperators (14) in einem Winkel von 0° relativ zu einer Grundlinie in der Bezugsebene positioniert sind, wobei sich die Augen oberhalb der Bezugsebene in dem Bezugsraum befinden, wobei das verarbeitete Bild Pixel um Pixel um einen Winkel θ' gedreht wird, welcher etwa gleich -θ ist.
Verfahren nach Anspruch 22, wobei die Koordinaten der wahrgenommenen Position des Endeffektors (39, 41) zu den Koordinaten der tatsächlichen Position des Endeffektors durch die folgende Beziehung dynamisch in Bezug stehen:
wobei [p, q, r] die Koordinaten der wahrgenommenen Position sind, [a, b, c] die Koordinaten der tatsächlichen Position sind, der Winkel die Rotation der Bilderfassungseinrichtung in einer horizontalen Ebene um eine vertikale Achse ist, der Winkel θ' im Wesentlichen gleich -θ ist, und der Winkel Φ der Winkel der Neigung unter der vertikalen Achse einer Achse ist, die senkrecht zu einer Oberfläche der Bilderfassungseinrichtung ist.
Verfahren nach einem der Ansprüche 21 bis 23, wobei der Schritt des Verarbeitens des Bildes das statische Neuausrichten des Manipulators (32, 34) durch das Drehen einer Bilderfassungsvorrichtung (19), die zum Aufnehmen des Echtzeitbildes verwendet wird, um eine Achse senkrecht zu einer Oberfläche der Bilderfassungsvorrichtung (19) in eine Position umfasst, in der der Manipulator (32, 34) in dem verarbeiteten Bild als dem Steueroperator (14) präsentiert erscheint, wobei sich die Handsteuerungen (24, 26) unterhalb eines Blickpunkts des Steueroperators befinden.
Verfahren nach einem der Ansprüche 21 bis 23, wobei der Schritt des Verarbeitens des Bildes das statische Neuausrichten des Manipulators (32, 34) durch das Drehen einer Bilderfassungsvorrichtung (19), die zum Aufnehmen des Echtzeitbildes verwendet wird, um eine Achse senkrecht zu einer Oberfläche der Bilderfassungsvorrichtung (19) in eine Position umfasst, in der der Manipulator (32, 34) in dem verarbeiteten Bild als dem Steueroperator (14) präsentiert erscheint, wobei sich die Handsteuerungen (24, 26) oberhalb eines Blickpunkts des Steueroperators befinden.
Verfahren nach einem der Ansprüche 21 bis 25, wobei der Schritt des Aufnehmens des Echtzeitbildes das Übertragen einer tatsächlichen Position des Endeffektors (39, 41) in dem Arbeitsraum in eine wahrgenommene Position des Endeffektors in dem verarbeiteten Bild derart umfasst, dass die Bewegung des Endeffektors starr verbunden mit der Handsteuerung (24, 26) erscheint.
Verfahren nach Anspruch 26, wobei das Übertragen der tatsächlichen Position in die wahrgenommene Position gemäß der folgenden Beziehung erfolgt:
wobei [p, q, r] die Koordinaten der wahrgenommenen Position sind, [a, b, c] die Koordinaten der tatsächlichen Position sind, der Winkel Γ die Rotation der Bilderfassungseinrichtung um eine Achse senkrecht zu einer Oberfläche der Bilderfassungseinrichtung ist, der Winkel der Winkel der Neigung der senkrechten Achse unter einer vertikalen Achse ist, und der Winkel die Rotation der Bilderfassungseinrichtung in einer horizontalen Ebene um die vertikale Achse ist.
Verfahren nach einem der Ansprüche 21 bis 27, wobei die Schritte des Verarbeitens des Echtzeitbildes die Manipulation des Endeffektors (39, 41) mit der Handsteuerung (24, 26) korrelieren und den Schritt des Durchführens einer perspektivischen Korrektur in dem verarbeiteten Bild im Anschluss an eine seitliche Verschiebung und eine Maßstabsänderung der Vorrichtung (19) zur Aufnahme des Echtzeitbildes umfassen.
Verfahren nach einem der Ansprüche 21 bis 28, das den Schritt der dynamischen Kalibrierung einschließt, der Folgendes umfasst: automatisches Bewirken, dass sich der Endeffektor (39, 41) durch eine vorher ausgewählte Sequenz von Bezugspunkten bewegt, die in dem dreidimensionalen Raum in dem verarbeiteten Bild verteilt sind; Anzeigen eines überdeckten Grafikpunktes in der Anzeige des Endeffektors derart, dass die Position des Punktes durch die Position der Handsteuereinrichtungen (24, 26) gesteuert wird; manuelles Registrieren, wann der Punkt auf dem Endeffektor an jedem Bezugspunkt überlagert wird; und Herstellen einer Nachführungsbeziehung zwischen der Handsteuerung und dem Endeffektor, um dadurch die Kalibrierung herzustellen.
Verfahren nach einem der Ansprüche 21 bis 28, das die dynamische Kalibrierung einschließt, die Folgendes umfasst: Anzeigen einer Darstellung eines Vierpunkte-Koordinaten-Grafikelements in einem dreidimensionalen Raum in dem verarbeiteten Bild des Endeffektors (39, 41); manuelles Registrieren, wann der Endeffektor, der durch die Steuerung der Handsteuerung (24, 26) bewegbar ist, so positioniert ist, dass er jeden Bezugspunkt des Grafikelements zu berühren scheint; und Herstellen einer Nachführungsbeziehung zwischen der Handsteuerung und dem Endeffektor.