DE60213769T2 - Verfahren und system zur ferngesteuerten flächenrekonstruktion - Google Patents

Verfahren und system zur ferngesteuerten flächenrekonstruktion Download PDF

Info

Publication number
DE60213769T2
DE60213769T2 DE60213769T DE60213769T DE60213769T2 DE 60213769 T2 DE60213769 T2 DE 60213769T2 DE 60213769 T DE60213769 T DE 60213769T DE 60213769 T DE60213769 T DE 60213769T DE 60213769 T2 DE60213769 T2 DE 60213769T2
Authority
DE
Germany
Prior art keywords
remote
movable element
modeling
local
local system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60213769T
Other languages
English (en)
Other versions
DE60213769D1 (de
Inventor
Bernard Hennion
Agnès GUERRAZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of DE60213769D1 publication Critical patent/DE60213769D1/de
Application granted granted Critical
Publication of DE60213769T2 publication Critical patent/DE60213769T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for

Description

  • Die vorliegende Erfindung gehört zum Gebiet der Fern-Rekonstruktion einer Fläche, insbesondere einer unebenen Fläche.
  • Für die Kraftrückkopplungsübertragung aus der Ferne, insbesondere im Rahmen der Entwicklung verteilter virtueller Welten und der Entwicklung von Telepräsenzmitteln, tritt der Bedarf auf, die Koordinaten einer entfernten Fläche eines Rechen- oder Steuermittels zu bestimmen, und dies mit dem Ziel einer Kalibrierung.
  • Die klassischen Methoden, insbesondere der Interpolation, der Glättung, von Lagrange, von Hermite usw., verwenden im Allgemeinen Positionsdaten im Raum, die sorgfältig ausgewählt werden, um ein Ergebnis nahe dem realen Modell zu erhalten. Die daraus folgenden Berechnungen sind schwerfällig und können kaum in Echtzeit durchgeführt werden. Die Qualität des Ergebnisses hängt von der Anzahl von bekannten Punkten des realen Objekts, der Relevanz der gemessenen Punkte und der Quasi-Homothetie des virtuellen und des realen Modells ab.
  • In gleicher Weise, wie die Techniken der digitalen Videocodierung sich auf die Kenntnisse der visuellen Wahrnehmung, und die Techniken der Spracherkennung sich auf die Kenntnisse des Gehörs stützen, stützen sich die haptischen Techniken (vom Griechischen haptos: die Hand) auf die Kenntnisse der Gesten.
  • Es gibt zwei Arten von feinen Gesten, die mit der Hand durchgeführt werden können: die ballistischen Gesten, wie zum Beispiel die Hand zu einem Glas auszustrecken, um es zu ergreifen, und die Gesten mit Gegenkopplungen des Tastsinns, wie diejenige, die es nach dem Ergreifen des Glases und dem Schließen der Klammer aus Daumen und Fingern ermöglicht, das Glas zum Mund zu führen. Das Gehirn wird dann permanent über die Kraft, mit der die Hand das Glas umklammert, und über sein Gewicht informiert, das von der Flüssigkeitsmenge abhängt. Das Gehirn reagiert dann, indem es den motorischen Befehl gibt, dieses Glas ausreichend "einzuklemmen", damit es nicht fällt, aber nicht zu sehr, um es nicht zu zerbrechen oder eine unnütze Energie zu verschwenden.
  • Die ballistischen Gesten aktivieren den motorischen Bogen, aber sie aktivieren nicht den sensorischen Bogen in Rückkopplung vom Tastsinn. Die Informationsrückleitung kann eine visuelle Darstellung des Raums, aber auch eine Gestik-Karte sein, d.h. eine mentale Darstellung, die erlernt oder innewohnend und im Gehirn verkabelt ist, und die automatisch die Folge der motorischen Befehle der Muskeln der Schulter, des Arms, der Hand erzeugt, um diese ballistische Geste in Abhängigkeit von einer gewissen mentalen Darstellung des Raums, insbesondere der angenommenen Entfernung zwischen Hand und Glas, durchzuführen.
  • Für die ballistischen Gesten genügt es, an das Gehirn die Informationen über die Geste mit einer Tastfrequenz von 100 Hz zu übertragen. Dies bedeutet, dass, wenn man alle 10 ms eine Tastprobe des Signals sendet, das übertragene Signal die ganze relevante Information der ballistischen Geste enthält.
  • Die Gesten mit Gegenkopplungen des Tastsinns aktivieren gleichzeitig den motorischen Bogen und den sensorischen Bogen. Das Gehirn schließt die Schleife, und der komplette Zyklus beim Menschen dauert weniger als 1 ms. Das Durchlassband der in den Fingerspitzen befindlichen sensorischen Neuronen, d.h. die maximale Frequenz des mechanischen Signals, das diese Neuronen erfassen und an das Gehirn übertragen können, ist größer als 500 Hz. Wenn man in einem Computer eine feine Geste codieren können möchte, muss das verwendete System mit Kraftrückkopplung selbst eine hohe Betriebsfrequenz haben, die gemäß dem Shannon-Theorem mindestens doppelt so groß wie das Durchlassband der Finger sein muss.
  • In der Praxis arbeiten die Systeme mit Kraftrückkopplung in einer lokalen Maschine mit einer typischen Frequenz von 1 kHz in geschlossener lokaler Schleife, d.h., dass eine Rückkopplung berechnet, dann in ihren Motoren durchgeführt und dann alle 1/1000 Sekunden von der Hand wahrgenommen wird. Dies ermöglicht es, die Wirkung der "elektrischen Zahnbürste" zu vermeiden: Das Instrument, das man in der Hand hält, darf nicht den Eindruck erwecken, dass es vibriert.
  • Diese Frequenz von 1 kHz resultiert aus dem folgenden Kompromiss: Sie darf nicht zu niedrig sein, um den taktilen Eindruck fein wiederherstellen zu können, und nicht zu hoch sein, um dem Computer ausreichend Zeit zu lassen, um die Gegenkopplungskraft zu berechnen, die in der virtuellen mechanischen Welt die Feinsimulation der durchgeführten Geste darstellen wird.
  • Wenn man nun über ein Telekommunikationsnetz feine Gesten, die vom System mit Kraftrückkopplung codiert werden, und feine Gesten mit Gegenkopplungen übertragen möchte, verkompliziert das Problem sich durch die allgemein wesentlich höhere Latenz, die vom Netz selbst eingeführt wird.
  • So beträgt die Latenz in der ISDN-Technologie 30 ms, in der ADSL-Technologie etwa 200 ms, und im Internet kann sie 6 s erreichen oder sogar die schlichte Zurückweisung der Nachricht hervorrufen. In ADSL und im Internet variiert die Latenz aufgrund der asynchronen Beschaffenheit der Netze. Die Taktfolge von 1 kHz ist also viel zu hoch, um aufrechterhalten werden zu können, wenn die geschlossene Schleife einen Hin- und Rückweg über das Netz enthält – die Geste wird codiert und dann über das Netz übertragen, sie wird an ein fernes Objekt angewendet, die Gegenkopplung dieses Objekts wird ihrerseits codiert und über das Netz rückübertragen.
  • Eine ballistische Geste kann mit einer Verzögerung in der Größenordnung von 10 ms übertragen werden. Das Sehen ist nämlich ein eindirektionaler Sinn: Das Auge ist eine Art Kamera, die eine Szene aufzeichnet, und das Gehirn kann bis auf einen Toleranzspielraum mit einer leichten Verzögerung den präzisen visuellen Film wahrnehmen, ohne die Durchführung der Geste zu stören.
  • Eine feine Geste mit Gegenkopplung erfordert dagegen, in weniger als einer Millisekunde die Hin- und Rückwegsschleife der Entscheidung über die Stärke der auszuübenden Kraft zu schließen:
    • – Senden des Befehls an den Muskel über den sensorischen Antriebsbogen,
    • – mechanische Einwirkung der Hand auf das Glas,
    • – Empfindung der Berührung des Glases (Erhöhung des Kontaktdrucks) in Höhe der Fingerspitzen, und
    • – Rückkopplung dieser Information zum Gehirn über den taktilen sensorischen Bogen, um es dem Gehirn zu ermöglichen, über die Anpassung der Kraft der "Klammer" zu entscheiden.
  • Um zu versuchen, trotzdem eine solche feine Geste zu übertragen, gibt es eine "Wavetransform" genannte Methode, veröffentlicht von John Wilson, Neville Hogan des MIT mit dem Titel "Algorithms for Network-Based Force Feedback", Fourth PHANTOM Users Group Workshop (PUG 99). Diese Methode simuliert die vom Netz eingeführte Verzögerung durch eine künstliche Viskosität, die die Gegenkopplungsschleife stabilisiert: Das System ist um so viskoser, je größer die vom System eingeführte Verzögerung ist.
  • Die "Wavetransform"-Methode besteht darin, in den Kräfte/Geschwindigkeiten-Raum die Theorie der passiven Vierpole mit reiner Verzögerung umzusetzen, die für die elektrischen Größen Spannung/Stromstärke wohl bekannt ist. Diese Theorie ermöglicht es, die einfallenden und reflektierten elektrischen Wellen in Abhängigkeit von der charakteristischen Impedanz der Leitung zu berechnen. Die Übertragung des elektrischen Signals ist optimal, wenn diese Leitung auf diesem gleichen charakteristischen Wert der Impedanz geschlossen ist.
  • Das Ohm'sche Gesetz U = Z·I wird im mechanischen Raum in das Gesetz F = Viskosität·Geschwindigkeit umgesetzt, und die "Wavetransform"-Methode besteht darin, eine virtuelle reine Verzögerungsleitung anzupassen, indem ihr als charakteristische Impedanz (tatsächlich Viskosität) diejenige des ferngesteuerten Roboters verliehen wird. Das Signal wird in Form seiner Z-Transformation, S(z) = Σ(s(t)·e(2i·π·n·T)) übertragen, wobei T die feste Verzögerung des Netzes ist. Je größer die vom Netz eingeführte Verzögerung ist, desto größer muss die in die Leitung eingefügte künstliche Viskosität sein, um die verteilte mechanische Simulation der feinen Geste in geschlossener Schleife und im Netz zu stabilisieren.
  • Die Gestikempfindung wird zwar verformt, aber die Übertragung des Nutzsignals wird optimiert. Diese Methode wurde im Fourth Users Group Workshop (PUG99) veröffentlicht.
  • Die "Wavetransform"-Methode erfordert ein synchrones Netz, d.h. ein Netz mit fester und bekannter Verzögerung, zum Beispiel ISDN. Sie basiert auf der Darstellung in Z der diskreten getasteten Signale mit einer Periode gleich dieser bekannten festen Verzögerung des Netzes.
  • Sie kann also bei den asynchronen Netzes mit Mitteilungen vom Typ Internet oder ATM, UMTS nicht angewendet werden, die durch eine variable Übertragungsverzögerung und eine Zurückweisung charakterisiert sind, wenn die Mitteilung verloren geht oder zu viel Zeit braucht, um das Netz zu durchqueren.
  • Das Problem der zu schnellen Taktfolge der Systeme mit Kraftrückkopplungen wird in diesen asynchronen Netzen verschärft, bei denen:
    • – die Mitteilungen verloren gehen, nicht am Ziel ankommen oder zurückgewiesen werden können, wenn die Empfangsbestätigung zu lange auf sich warten lässt (TCP/IP),
    • – die Mitteilungen, die am Ziel ankommen, eine variable Zeit brauchen, um das Netz zu durchqueren,
    • – die Mitteilungen nicht unbedingt in der Reihenfolge ankommen, in der sie gesendet wurden,
    • – es keinen bis auf eine Millisekunde genauen gemeinsamen Taktgeber zwischen zwei Maschinen gibt.
  • EP-A-411 498 beschreibt ein Fernführungsverfahren eines beweglichen Elements mit Hilfe einer simulierten Umgebung. Das Modell der Umgebung, in der das bewegliche Element sich fortbewegt, wird mit den Bildern verglichen, die von einer von diesem beweglichen Element getragenen Kamera übertragen werden, was es ermöglicht, das Modell zu korrigieren.
  • Die Erfindung schlägt vor, die Nachteile der Systeme des Stands der Technik zu beheben.
  • Die Erfindung schlägt vor, aus der Ferne eine lokale Fläche zu rekonstruieren, um innerhalb einer kurzen Zeit einen Einstellwert berechnen zu können.
  • Die Erfindung schlägt insbesondere ein Steuersystem für ein in der Ferne befindliches Element mit Gegenkopplung vor, das mit Datenübertragung über synchrone oder asynchrone Netze mit bekannter oder unbestimmter Verzögerung arbeiten kann.
  • Gemäß einem Aspekt der Erfindung weist das Verfahren zur Fern-Rekonstruktion einer Fläche die folgenden Schritte auf
    • – ein lokales System sendet an ein fernes System eine Positionsinformation eines beweglichen Elements des lokalen Systems, wobei das bewegliche Element des lokalen Systems die Position des beweglichen Elements des fernen Systems nachbildet, wobei das ferne System eine ferne Modellisierung der Fläche enthält;
    • – ein ferner Operator verschiebt das bewegliche Element des fernen Systems, und wenn das bewegliche Element des lokalen Systems mit der Fläche in Kontakt kommt, wird die ferne Modellisierung für jeden Kontaktpunkt zwischen dem beweglichen Element des lokalen Systems und der Fläche so verändert, dass die ferne Modellisierung sich der Fläche annähert. So wird eine Kalibrierung durchgeführt, die es ermöglicht, dass das ferne Modell die lokale Fläche präzise simuliert.
  • In einer Ausführungsform der Erfindung ist die ferne Modellisierung ursprünglich eine ebene vermaschte Fläche. Die ferne Modellisierung kann ursprünglich eine ebene Einheit von aneinandergrenzenden dreieckigen Elementen sein.
  • In einer Ausführungsform der Erfindung wird die ferne Modellisierung in ihrer Gesamtheit der Fläche gemäß einer Translationsbewegung orthogonal zu einem Abschnitt der Fläche und orthogonal zu einem Abschnitt der fernen Modellisierung angenähert, bis zu einem ersten Kontaktpunkt des beweglichen Elements des lokalen Systems mit der Fläche.
  • Die Koordinaten des ersten Kontaktpunkts können gemäß zwei Achsen eines dreidimensionalen Koordinatensystems vorbestimmt werden, wobei nur die Koordinate gemäß einer dritten Achse des dreidimensionalen Koordinatensystems bestimmt werden muss.
  • In einer Ausführungsform der Erfindung ist ein Kontaktpunkt ein Punkt des dem beweglichen Elements des lokalen Systems und der Fläche gemeinsamen Raums und derart, dass das bewegliche Element des lokalen Systems eine vorbestimmte Kraft auf die Fläche ausübt. Im Allgemeinen ist die Kraft senkrecht zur Fläche.
  • Vorteilhafterweise weist die ferne Modellisierung mehrere Knoten auf, wobei ein Knoten der Fläche durch Translationsverschiebung gemäß einer Achse angenähert, wird. Die Translationsachse kann parallel zur dritten Achse sein. Alternativ kann ein Knoten der Fläche durch Drehung um einen benachbarten Knoten angenähert werden, unter Beibehaltung der Entfernung zwischen den zwei Knoten.
  • In einer Ausführungsform der Erfindung wird die von der Fläche auf das bewegliche Element des lokalen Systems ausgeübte Reaktionskraft vom beweglichen Element des fernen Systems nachgebildet, damit der Operator die Kraft wahrnimmt und die Fläche erfassen kann.
  • Vorteilhafterweise bildet in einer Initialisierungsphase das bewegliche Element des fernen Systems die Position des beweglichen Elements des lokalen Systems nach.
  • In einer Ausführungsform. der Erfindung übt das bewegliche Element des fernen Systems eine Bremskraft aus, wenn das bewegliche Element des lokalen Systems in einem Bereich des Raums zur Fläche verschoben wird, der zwischen der Modellisierung und der Fläche liegt. Der Operator nimmt so die Bremskraft wahr und kann die Modellisierung erfassen.
  • Die Erfindung schlägt auch ein System zur Fern-Rekonstruktion einer Fläche vor. Das System weist ein lokales System, das mit einem beweglichen Element versehen ist, das in der Lage ist, mit der zu rekonstruierenden Fläche in Kontakt zu kommen, und ein fernes System auf, das mit einem beweglichen Element, das von einem Operator manipuliert werden kann, mit einer fernen Modellisierung der Fläche, und mit einem Mittel zur Veränderung der fernen Modellisierung für jeden Kontaktpunkt zwischen dem beweglichen Element des lokalen Systems und der Fläche versehen ist, wenn das bewegliche Element des lokalen Systems mit der Fläche in Kontakt kommt, so dass die ferne Modellisierung sich der Fläche annähert. Das lokale System ist mit einem Mittel, um an das ferne System eine Positionsinformation des beweglichen Elements des lokalen Systems zu senden, und mit einem Mittel versehen, um die Position des beweglichen Elements des fernen Systems nachzubilden.
  • Die Erfindung betrifft auch ein Computerprogramm, das Programmcodemittel aufweist, um die Schritte des Verfahrens durchzuführen, wenn das Programm auf einem Computer läuft.
  • Die Erfindung betrifft auch einen Träger, der von einer Lesevorrichtung von Programmcodemitteln gelesen werden kann, die darauf gespeichert und für die Durchführung der Schritte des Programms geeignet sind, wenn das Programm auf einem Computer läuft.
  • Man kann so ein fernes Objekt oder dreidimensionale Form völlig freier Form modellisieren und kalibrieren. Der Strom von haptischen Daten wird verwendet, um das Maximum von Daten über die ferne Form zu übertragen.
  • Die vorliegende Erfindung bezieht sich vorteilhaft auf bidirektionale Systeme, zum Beispiel die robotisierte Fern-Echographie, die auf dem Gebiet der Geburtshilfe und der Untersuchungen des Abdomens verwendet werden kann. Man kann ein virtuelles 3D-Dummy einer Person fernkalibrieren.
  • Im Fall der Echographie wird die Haut der Person im Allgemeinen für eine zweckmäßige Übertragung der Ultraschallwellen mit einem Gel bestrichen. Die Echographiesonde kann von einem Operator telemanipuliert werden. Aufgrund des Vorhandenseins des Gels können die vom Patienten oder der Patientin auf die Sonde ausgeübten Kraftkomponenten als orthogonal zur lokalen Oberfläche der Haut angesehen werden. Die Sonde besitzt 6 Freiheitsgrade mit einer Kraftgegenkopplung gemäß den drei Achsen eines dreidimensionalen Koordinatensystems und einer Drehmomentgegenkopplung ebenfalls gemäß den drei Achsen eines dreidimensionalen Koordinatensystems.
  • Das System kann ebenfalls von schwachsichtigen Personen genutzt werden, um eine Form zu erfassen.
  • Das System kann auch bei industriellen Anwendungen der Art Fernbearbeitung, Fernsteuerung von Robotern in einer menschenfeindlichen Umgebung, oder bei geringer Sicht eingesetzt werden. Das System ist gut geeignet für Fern-Tastuntersuchungen.
  • Die vorliegende Erfindung wird besser verstanden und weitere Vorteile gehen aus der ausführlichen Beschreibung einiger Ausführungsformen hervor, die als keineswegs einschränkend zu verstehende Beispiele dienen und in den beiliegenden Zeichnungen dargestellt sind. Es zeigen:
  • 1 eine schematische Ansicht eines Systems gemäß einer Ausführungsform der Erfindung;
  • 2 eine detaillierte Ansicht der Systeme S1 und S2 der 1;
  • 3 eine detailliertere Ansicht der 2;
  • 4 Rückstellungskurven;
  • 5 eine schematische Ansicht eines Systems gemäß einer Ausführungsform der Erfindung;
  • 6 eine schematische Ansicht der Rekonstruktion in einem Punkt; und
  • 7 ein Ablaufdiagramm der Schritte des Verfahrens.
  • Eine für die Echographie bestimmte Ausführungsform der Erfindung ist in 1 dargestellt. Es ist ein Steuersystem S1 vorgesehen, das zum Beispiel in einem nicht auf Geburtshilfe spezialisierten Krankenhaus, in einem Krankenhaus einer Kleinstadt, oder in einem Fahrzeug zur Versorgung von ländlichen Gebieten installiert ist. Das System S2 ist in einem spezialisierten Krankenhaus installiert, wo hoch qualifizierte Operatoren zur Verfügung steht, um die Echographievorgänge durchzuführen, zum Beispiel in einem Kreis- oder Universitätskrankenhaus. Eine Patientin J3 liegt auf einem Bett oder einem Tisch T. Eine Echographiesonde SE steht mit ihrem Abdomen in Kontakt. Eine Einstelltabelle TR von Parametern der Sonde SE ist in der Nähe installiert. Die Sonde SE ist mit dem System S1 verbunden und überträgt Daten von Echographiebildern an das System S1, und tauscht Daten bezüglich der Position und der ausgeübten Wirkungen mit dem System S1 aus. Aus Gründen der Klarheit der Zeichnung wurde der Träger der Sonde SE, der ein Gelenkarm sein könnte, hier nicht dargestellt. Es ist aber klar, dass es sich um einen Träger handelt, der eine räumliche Verschiebung gemäß mehreren Freiheitsgraden, im Allgemeinen mindestens sechs, erlaubt, um eine angepasste Stellung in Kontakt mit dem Abdomen der Patientin J3 einnehmen zu können. Es sind ein Mikrofon MI3 und ein Lautsprecher HP3 vorgesehen, die mit dem System S1 verbunden sind und es der Patientin ermöglichen, sich mit dem in der Ferne befindlichen Operator zu unterhalten. Es sind noch eine Kamera CA3, die auf die Patientin J3 gerichtet ist, und ein Videobildschirm EV3 vorgesehen, der es der Patientin ermöglicht, entweder den in der Ferne befindlichen Operator oder Echographiebilder zu sehen. Die Kamera CA3 und der Videobildschirm EV3 sind ebenfalls mit dem System S1 verbunden. Die Systeme S1 und S2 weisen außer den unter Bezugnahme auf die 1 und 2 beschriebenen Elementen je einen Multiplexer-Demultiplexer DM1 und DM2 auf, um die Datenübertragung über das Netz 3 zu ermöglichen, das zum Beispiel vom Typ ADSL sein kann.
  • Auf der Seite des Systems S2 manipuliert der Operator J4, der ein auf Echographie spezialisierter Arzt sein kann, einen Handgriff P3, dessen Stellung im Raum von der Sonde SE nachgebildet wird. Der Handgriff P3 ist mit einem Gelenkarm BA verbunden, der selbst mit einer Schnittstelle I3 von der Art der oben beschriebenen Schnittstellen I1 und I2 ist und einen oder mehrere Stellantriebe und einen oder mehrere Positionsmessfühler und Kraftmessfühler aufweist. Die Messung der Wirkung kann durch eine Messung einer energetischen Größe der Stellantriebe durchgeführt werden, zum Beispiel des verbrauchten Stroms, oder auch mittels eines Dehnungsmessstreifens. Die Schnittstelle I3 ist mit dem System S2 verbunden.
  • Es sind noch eine Kamera CA4, die zum Operator J4 gerichtet ist und deren Bilder auf dem Bildschirm EV3 angezeigt werden können, ein Mikrofon MI4 und ein Lautsprecher HP4 vorgesehen, die es dem Operator J4 ermöglichen, sich mit der Patientin J3 zu unterhalten. Diese Elemente sind mit dem System S2 verbunden. Ein großformatiger Videobildschirm EV4 ermöglicht es, gleichzeitig mehrere Bilder anzuzeigen, zum Beispiel ein Ultraschallbild, ein Bild des Gesichts der Patientin J3 und ein Bild, das die Positionierung der Sonde SE auf dem Abdomen der Patientin zeigt.
  • Wie man in 2 sehen kann, weist eine Echographieeinheit ein Element SE1 einer Form nahe einer Echographiesonde für den Benutzer U1 und eine Echographiesonde SE2 für eine nicht dargestellte Patientin auf. Jedes Element SE1, SE2 ist mit einer Schnittstelle I1, I2 verbunden, die ein Mittel, um eine Kraft auf das Element SE1, SE2 auszuüben, zum Beispiel einen Stellantrieb von der Art elektrischer Arbeitszylinder, und ein Mittel aufweist, um die vom Benutzer U1 und der Patientin auf das Element SE1, SE2 ausgeübte Kraft zu messen, zum Beispiel einen Drehmomentsensor oder auch einen Dehnungsmessstreifen. Die Schnittstelle I1, I2 weist ebenfalls eine Erfassungskarte auf, die mit dem Mittel zum Ausüben einer Kraft und mit dem Messmittel verbunden und fähig ist, digitale Daten mit einem anderen digitalen System wie einem Computer auszutauschen.
  • Jede Schnittstelle I1, I2 ist mit einem Steuersystem S1, S2 verbunden. Im hier gezeigten Fall sind die Systeme S1 und S2 gleich. Nur das System S1 wird beschrieben. Man kann aber Ausführungsformen in Betracht ziehen, bei denen eines der beiden Systeme eine bezüglich des anderen vereinfachte Struktur hat.
  • Allgemein kann das System S1 in Form eines Computers von der Art PC vorliegen, der allgemein mit mindestens einem Mikroprozessor, einem nichtflüchtigen und einem flüchtigen Speicher, einem Kommunikationsbus, Eingangs- und Ausgangsports und einem oder mehreren Softwareprogrammen versehen ist, die gespeichert und in der Lage sind, vom Mikroprozessor ausgeführt zu werden.
  • Das System S1 ist einerseits mit der Schnittstelle I1, zum Beispiel über einen Bus vom Typ RS 232, und mit dem System S2 über ein insgesamt mit 3 bezeichnetes Kommunikationsnetz verbunden, das vom synchronen Typ, zum Beispiel ISDN, oder vom asynchronen Typ, zum Beispiel ATM, UMTS, oder auch Internet (TCP/IP) sein kann. Das System S1 befindet sich in der Nähe des Benutzers U1, zum Beispiel im gleichen Raum. Das System S2 befindet sich vom System S1 entfernt in einer Entfernung, die von einigen Metern bis zu einigen Tausend Kilometern reichen kann. In anderen Worten sind das System S1, die Schnittstelle I1, das Element SE1 und der Benutzer U1 lokal angeordnet, während das System S2, die Schnittstelle I2, das Element SE2 und die Patientin bezüglich der vorhergehenden distal angeordnet sind.
  • Genauer gesagt, weist das System S1 ein lokales Modell ML1 auf, das an die Schnittstelle I1 einen Einstellwert senden und von der Schnittstelle I1 eine von der Schnittstelle I1 gemessene Variable empfangen kann, zum Beispiel die Position X des Elements SE1. Der Einstellwert kann eine Kraft- oder Drehmomentvariable sein und ist mit Fe bezeichnet. Das System S1 weist ein fernes Modell MD2 auf, das vorgesehen ist, um einen Zustand des lokalen Modells ML2 des Systems S2 zu schätzen. Das ferne Modell MD2 des Systems S1 ist in der Lage, Daten vom System S2 zu empfangen, Daten vom lokalen Modell ML1 zu empfangen und Daten zum lokalen Modell ML1 zu senden. Insbesondere weist das System S1 einen Extrapolierer EXT2 auf, der über das Kommunikationsnetz 3 Daten vom System S2 empfängt, um eine Rückstellungsmitteilung zu verarbeiten, die vom System S2 kommt, und um in Abhängigkeit von der als letzte empfangenen Rückstellungsmitteilung Aktualisierungsdaten an das ferne Modell MD2 zu übertragen.
  • Das System S1 weist einen Bildschirm E1 auf, der mit dem lokalen Modell ML1 zur Anzeige von Daten verbunden ist, die vom lokalen Modell ML1 kommen, zum Beispiel eine Kurve, die die Entwicklung der ausgeübten Kräfte und der Positionen der Elemente SE1 und SE2 nachzeichnet.
  • Das System S1 weist einen Rücksteller R1 auf, der Daten vom lokalen Modell ML1 empfängt und in der Lage ist, Ausgangsdaten an das System S2 und insbesondere an den Extrapolierer EXT1 des Systems S2 zu senden. Der Rücksteller R1 kann eine Vorbereitung von Daten durchführen, um sie in Form einer Rückstellungsmitteilung zu senden, die ein Datum, die Position X des Elements SE1, die an diesem Datum auf das Element SE1 ausgeübte Kraft F sowie die an einem vorhergehenden Datum auf das Element SE1 ausgeübte Kraft enthält.
  • Das System S1 weist außerdem ein Phantommodell MF1 auf, das ebenfalls die vom Rücksteller R1 des Systems S1 kommenden Rückstellungsmitteilungen empfängt, und das eine Schätzung der Zustandsvariablen der Schnittstelle I1 entsprechend den Rückstellungsmitteilungen durchführt, die vom Rücksteller R1 gesendet und vom System S2 empfangen werden. In anderen Worten führt das Phantommodell MF1 eine Schätzung entsprechend den gleichen Daten durch, wie diejenigen, die vom fernen Modell MD1 des Systems S2 empfangen werden. So ermöglicht es das Phantommodell MF1, die Variablen der Schnittstelle I1 so zu modellisieren, wie sie vom System S2 modellisiert werden.
  • Der Ausgang des Phantommodells MF1 ist mit dem Rücksteller R1 verbunden, der die Schätzung der vom Phantommodell MF1 kommenden Zustandsvariablen und der vom lokalen Modell ML1 kommenden Zustandsvariablen vergleicht. Bei einer über einer vorbestimmten Schwelle liegenden Differenz sendet der Rücksteller R1 eine Rückstellungsmitteilung an das Phantommodell MF1 und an den Extrapolierer EXT1 des Systems S2. So ist das zwischen den Systemen S1 und S2 ausgetauschte Datenvolumen relativ reduziert, da eine Rückstellungsmitteilung nur gesendet wird, wenn eines der beiden Systeme S1, S2 annimmt, dass das andere System S2, S1 nicht mehr in der Lage ist, die Zustandsvariablen in geeigneter Weise zu schätzen.
  • Der Betrieb des Systems wird anhand von 3 besser verstanden werden. Für den Benutzer U1 zerfällt der Zustandsvektor X in drei Teile: Xe Variable, die sich an der Schnittstelle mit dem Element SE1 befindet, Xm Variable innerhalb des mechanischen Modells des Benutzers U1, und Xi Wechselwirkungs-Variable, die sich an der Schnittstelle mit dem anderen Teilnehmer befindet. Analog zerfällt die zugeordnete Kraft- oder Drehmoment-Variable F in: Fe vom Benutzer U1 auf das Element SE1 ausgeübte Kraft, Fm durch die Schwerkraft, die anderen Objekte, mögliche weitere Teilnehmer ausgeübte Kraft, und Fi die vom Benutzer U1 auf die Patientin ausgeübte Kraft. Analog zerfällt der Zustandsvektor Y der Patientin in Y'e, Y'm und Y'i, und der zugeordnete Drehmoment-Kraftvektor G zerfällt in G'e, G'm und G'i. Der Benutzer U1 und die Patientin sind in virtuellem Kontakt. Es gilt also Xi = Yi. Das Gesetz der Aktion und der Reaktion ergibt: Fi + G'i = 0.
  • In jedem Zeitschritt erfasst die Schnittstelle I1 die Position Xe n und überträgt sie zum lokalen Modell ML1. Die Schnittstelle I1 empfängt die Einstellkraft Fe n vom lokalen Modell ML1 und steuert seinen oder seine Stellantrieb(e) mit der Gegenkopplungskraft –Fe n. Analog erfasst die Schnittstelle I2 die Position Y'e n und überträgt sie zum lokalen Modell ML2 und empfängt die Kraft G'e n vom lokalen Modell ML2 und steuert seinen oder seine Stellantrieb(e) mit der Gegenkopplungskraft –G'e n.
  • Zu Beginn des Zeitpunkts n+1 empfängt das lokale Modell ML1 die Position Xe n+1 von der Schnittstelle I1, die Wechselwirkungsschätzung G ~in+1 vom fernen Modell MD2 und die voreingespeicherten intrinsischen Variablen Fm n+1. Das lokale Modell ML1 berechnet die vom Teilnehmer J1 auf die Patientin ausgeübte Kraft: Fin+1 ≈ G ~in+1 , die vom Benutzer U1 auf das Element SE1 ausgeübte Kraft: Fe n+1 = Bee-1{Xen+1 – Xe n – AeXn – BemFm n+1 + BeiG ~in+1 }, wobei die Matrizen A und B diejenigen der Entwicklung des Benutzers U1 sind, mit X = AX + BF. Das lokale Modell ML1 berechnet noch:
    Figure 00170001
  • Das lokale Modell ML1 sendet Xn+1 und Fn+1 an den Rücksteller R1, den Einstellwert –Fe n+1 an die Schnittstelle I1, und die Positionsvariable Xi n+1 an das ferne Modell MD2.
  • Wenn das Phantommodell MF1 keine Mitteilung vom Rücksteller R1 empfängt, berechnet es F ^n+1 = F ^n + K1, wobei K1 vom System S2 geliefert wird, und die Positionsschätzung X ^n+1 = (I + A)X ^n + BF ^n+1, d.h. den mechanischen Zustand des Benutzers U1, wie er vom System S2 vorhergesagt werden kann. I ist hier die Identitätsmatrix.
  • Bei Empfang einer Rückstellungsmitteilung Mn = {n, X n, F n und F n_1} vom Rücksteller R1 führt das Phantommodell MF1 die folgende Rückstellung durch: X ^n = X n, F ^n = F n und K1 = F nF n-1.
  • Der Rücksteller R1 empfängt in jedem Zeitschritt n die Positionsvariable Xn und die Kraftvariablen Fn und Fn+1 vom lokalen Modell ML1, und die Schätzung X ^n vom Phantommodell MF1. Er vergleicht den Absolutwert der Differenz zwischen der Positionsvariablen Xn und der Schätzung X ^n mit einem vorbestimmten Schwellwert, und tut nichts, wenn der Absolutwert unter dem Schwellwert liegt. Im gegenteiligen Fall verfasst er eine Rückstellungsmitteilung Mn = (n, Xn, Fn, Fn-1). Der Rücksteller R1 sendet die Rückstellungsmitteilung Mn an das Phantommodell MF1, damit es sich sofort zurückstellt, und an das ferne Modell MD1 über den Extrapolierer EXT1 des Systems S2, damit es sich so bald wie möglich zurückstellt.
  • Der Extrapolierer EXT2 des Systems S1 ermöglicht die Durchführung einer Synchronisation. Die vom Rücksteller R2 des Systems S2 gesendete Mitteilung Mp = (p, Yp, Gp, Gp-1) kommt nämlich im System S1 zu einem Zeitpunkt an, der zwischen n und n + 1 liegt. Die Mitteilung Mp wird aber von dem vom System S2 kommenden Datum p abgestempelt. Der Extrapolierer EXT2 berechnet K2 = Gp – Gp-1 und stellt das ferne Modell MD2 zurück, indem er durchführt : Ḡp = Gp und Ῡp = Yp, und dann in den folgenden Zeitpunkten und in jedem Fall: j = p,..., n, Ḡj+1 = Ḡj + K2 und Ȳj+1 = Ȳj + CȲj + DḠj+1,wobei C und D die äquivalenten Matrizen zu den Matrizen A und B für die Patientin sind. Der Extrapolierer EXT2 überträgt an das ferne Modell MD2 das Ergebnis der Rückstellung: Ȳn+1, Ḡn+1 und K2.
  • Das ferne Modell MD2 des Systems S1 stellt sich bei Empfang einer Mitteilung vom Extrapolierer EXT2 zurück, indem es die vom Extrapolierer EXT2 gelieferten Werte annimmt: G ~n+1 = Ḡn+1, Ỹn+1 = Ȳn+1 und K ~2 = K2
  • Außerhalb des Empfangs einer solchen Mitteilung und in jedem Zeitschritt empfängt das ferne Modell MD2 die Positionsvariable Xi n+1 vom lokalen Modell ML1 und führt eine vorhersagende Berechnung durch: G ~i,m' n+1 = G ~i,m' nK ~i,m'2 G ~l n+1 = Dli-1{Xi n+1 – Ỹl n – CỸl n – DiGi n+1 – Dm'Gm' n+1} i,m' n+1 = Ỹi,m' n + Ci,m'n + Di,m'G ~n+1 l n+1 = Xl n+1
  • Das ferne Modell MD2 überträgt zum lokalen Modell ML1 die Vorhersage einer Positionsvariablen bezüglich der Patientin: G ~n+1.
  • Vorzugsweise führt der Extrapolierer EXT2 eine abgeschrägte Rückstellung durch, was es ermöglicht, die Entwicklungen zu glätten, siehe 3.
  • Anstatt die Schätzung der Positionsvariablen Y abrupt auf die Variable Ȳ zurückzuführen, die wie oben erläutert vom Extrapolierer EXT2 berechnet wird, wird die Rückstellung in vier Schritten zwischen den Zeitpunkten n und n + 4 gemäß der folgenden Rechnung durchgeführt: k = |Ỹn+1 ≔ Ȳn+1|/Schwellwert + 1; wenn gilt k = 1, dann gilt Ỹn+1 – Ȳn+1
    sonst gilt j = n, j+1 = Ḡj + K2 Ȳj+1 = Ȳj + CȲj + DḠj+1 j+1 ≔ Ỹj + CỸj + DḠj+1 j+1 = (Ȳj+1 + (K – 1)Ỹj+1)/k j ≔ j + 1
  • Wenn k größer ist als 2, dann gilt k ≔ k – 1
  • Sonst verlässt man die Schleife und es gilt Ỹj+1 = Ȳj+1 Die abgeschrägte Rückstellung ermöglicht einen sanfteren Betrieb des Systems, was von den Benutzer besser wahrgenommen wird und weniger mechanische Zwänge bedingt.
  • Allgemeiner empfängt das Phantommodell MF1 die gleichen Daten wie das ferne Modell MD1 vom anderen System und ermöglicht es, die gleiche Simulation durchzuführen wie das andere System. In anderen Worten will man zum Zweck der Rückstellung wissen, was das andere System nicht weiß. Der Rücksteller arbeitet blind bezüglich des anderen Systems und ermöglicht es, in Abwesenheit von durch eine vom anderen System kommenden Rückstellungsmitteilung übertragenen Daten weiter zu simulieren. Insbesondere im Fall einer abgeschrägten Rückstellung ermöglicht es der Extrapolierer EXT2, die Bewegung, wie sie vom anderen System gemessen wird, während der Übertragungsfrist aufgrund des Kommunikationsnetzes zu berücksichtigen. In einer vereinfachten Variante kann man durchaus vorsehen, dass eines der zwei oder beide Systeme kein Phantommodell aufweist. Man kann auch vorsehen, mehr als zwei Systeme zusammen arbeiten zu lassen.
  • Die lokalen Modelle stellen die mechanischen Modelle der beiden Benutzer dar. Die fernen Modelle stellen eine ferne Nachbildung der lokalen mechanischen Modelle dar, die aufgrund der Übertragungsdauern der Zustände der lokalen Modelle über das Kommunikationsnetz notwendigerweise angenähert ist. Die Phantommodelle stellen eine angenäherte lokale Kopie der fernen Modelle dar. Die fernen Modelle und die Phantommodelle arbeiten alle im Prediktor-Korrektor-Modus. Die Extrapolierer führen eine Extrapolation der empfangenen Mitteilungen mit einer gewissen Verzögerung durch, um die fernen Modelle auf den Wert des Taktgebers des anderen Systems zurückzustellen. Die Rücksteller ermitteln die Notwendigkeit, eine Rückstellungsmitteilung im Kommunikationsnetz zu starten, sobald ein zu großer Abstand zwischen den lokalen Modellen und den prediktiven lokalen Vergleichs-Phantommodellen der prediktiven fernen Modelle auftritt. Die Rücksteller ermöglichen es, die Anzahl von über das Kommunikationsnetz gesendeten Mitteilungen zu begrenzen, um dessen Überlastung zu vermeiden. Im Inneren eines Systems können die Informationsaustauschvorgänge in der Taktfolge von einem kHz durchgeführt werden. Zwischen den Systemen, und folglich über das Kommunikationsnetz, erfolgen die Austauschvorgänge von Mitteilungen, wenn einer der Rücksteller es als notwendig erachtet.
  • In 5 ist eine andere Ausführungsform dargestellt, die besonders für die Echographie geeignet ist. In der Nähe der Patientin P ist die Echographiesonde SE2 angeordnet, die vom Arm BA gestützt wird, der mit der Schnittstelle I2 verbunden ist, die selbst mit dem System S2 verbunden ist. Diese Elemente werden von einem Träger 5 getragen. In einem entfernt liegenden Raum sind das System S1, die Schnittstelle I1 und ein bewegliches Element SE1 gleicher Außenform, gleicher Masse und gleiche Trägheit wie die Sonde SE2 angeordnet.
  • Mit einem dünnen Strich ist die ferne Modellisierung Mo in ihrem Endzustand, d.h. sehr stark der Form der Patientin P angenähert, dargestellt. Das bewegliche Element SE1 ist hier in einem Ruhezustand in einer Position bezüglich der fernen Modellisierung Mo angeordnet, die gleich der Position der Sonde SE2 bezüglich der Patientin P und von dieser entfernt ist. Das bewegliche Element SE1 wird von einem Praktiker so ergriffen, wie eine wirkliche Echographiesonde ergriffen würde, und progressiv nach unten geführt. Die Echographiesonde SE2 folgt der gleichen Verschiebung wie das bewegliche Element SE1. Indem er das bewegliche Element SE1 verschiebt, platziert der Praktiker zunächst die Echographiesonde SE2 auf der obersten Oberfläche der Patientin, im Allgemeinen dem Scheitel ihres Abdomens. Die vom Abdomen der Patientin P auf die Sonde SE2 ausgeübte Gegenkopplungskraft wird in der Ferne so kopiert, dass der das bewegliche Element SE1 betätigende Praktiker die gleich Wirkung, in anderen Worten die gleiche Gegenkopplungskraft, wahrnimmt, als wenn er eine reale Echographiesonde gegen das Abdomen einer Patientin betätigen würde.
  • Ausgehend vom Scheitel des Abdomens der Patientin P entdeckt der das bewegliche Element SE1 betätigende Praktiker, indem er es sowohl senkrecht als auch waagrecht verschiebt, progressiv den Umriss der Patientin P, ggf. mit Unterstützung eines Anzeigebildschirms wie des Bildschirms EV4 in 1. Indem er das bewegliche Element SE1 manipuliert, lässt der Praktiker der Sonde SE2 das Abdomen der Patientin P beschreiben, die die Bewegung nachbildet. Die vom Abdomen der Patientin auf die Sonde SE2 ausgeübte Kraft wird vom beweglichen Element SE1 nachgebildet.
  • Da die Positionen des beweglichen Elements SE1 und der Sonde SE2 im Wesentlichen gleich sind, wird das bewegliche Element SE1 im Wesentlichen gleich der Position positioniert, die eine reale Sonde hätte, die über das Abdomen der gleichen Patientin geführt wird. Das System S1 speichert die verschiedenen Positionen des beweglichen Elements SE1, was es ausgehend von einer ausreichenden Anzahl von Messpunkten ermöglicht, eine dreidimensionale Rekonstruktion der Außenfläche des Abdomens der Patientin durchzuführen und so die ferne Modellisierung Mo zu erhalten.
  • Man kann einen Gegenkopplungskraftbereich vorsehen, in dem das System S1 annimmt, dass das bewegliche Element SE1 sich in einer Position entsprechend der Oberfläche des Abdomens der Patientin befindet. Oberhalb der oberen Grenze des Bereichs nimmt man an, dass das bewegliche Element SE1 zu stark in das Abdomen eingedrückt ist. Unterhalb der unteren Grenze des Bereichs wird angenommen, dass es keine Kontakt gibt, und dass das bewegliche Element sich außerhalb der Oberfläche des Abdomens der Patientin P befindet.
  • 6 ist eine schematische Darstellung, die die Schritte der Erzeugung der fernen Modellisierung darstellt. Zunächst hat die ferne Modellisierung die Form einer Anfangsmodellisierung Moinit, die eine ebene vermaschte Fläche ist, hier im Schnitt gesehen. Durch Manipulation des beweglichen Elements SE1 positioniert dann der Praktiker die Echographiesonde SE2 auf dem Scheitel des Abdomens der Patientin P. Die Anfangsmodellisierung Moinit wird dann zu einer Zwischenmodellisierung Mointer, nach wie vor in Form einer ebenen Fläche, die aber den Scheitel des Abdomens der Patientin berührt. In anderen Worten wurden die senkrechten Koordinaten der Punkte der Modellisierung um den Abstand verringert, der die Anfangsmodellisierung Moinit vom Scheitel des Abdomens der Patientin trennt, wobei die Anfangsmodellisierung Moinit und die Zwischenmodellisierung Mointer waagrechte Ebenen sind.
  • Der Praktiker verschiebt dann die Sonde SE1 waagrecht und bringt sie zum Beispiel in die Position 7, die an der Zwischenmodellisierung Mointer bündig anliegt, und führt dann das bewegliche Element in die Position 8, so dass die Echographiesonde SE2 mit dem Abdomen der Patientin P in Kontakt ist. Sobald die vom Abdomen der Patientin P auf die Sonde SE2 ausgeübte Gegenkopplungskraft die untere Grenze des Bereichs überschreitet und an das System S1 übertragen wird, speichert das System S1 die Position als zur Oberfläche des Abdomens der Patientin P gehörend. In der Praxis kann der Praktiker gekrümmte Bewegungen ausführen, damit die Sonde SE2 der Oberfläche des Abdomens der Patientin P folgt, und dies sowohl für den Komfort der Patientin als auch für die Schnelligkeit des Verfahrens. Bei jeder Verschiebung des beweglichen Elements SE1 über die Modellisierung hinaus kann man außerdem vorsehen, dass eine leichte Gegenkopplungskraft vom beweglichen Element SE1 auf die Hände des Praktikers ausgeübt wird, so dass er die Überschreitung wahrnimmt. Die Kraft wird vom System S1 gesteuert und von der Schnittstelle I1 angewendet und kann einstellbar sein und gleichzeitig unter der unteren Grenze des Bereichs bleiben. Die Kraft kann einen konstanten Teil analog zu einem trockenen Reiben und einen variablen Teil proportional zur Geschwindigkeit der Verschiebung des beweglichen Elements SE1 aufweisen.
  • In 7 sind die verschiedenen Schritte des Verfahrens schematisch dargestellt. Im Initialisierungsschritt 10 platzieren sich die Sonde SE2 und das bewegliche Element SE1 in einer Warte- oder Ruheposition, die es der Patientin P ermöglicht, auf einem Untersuchungstisch Platz zu nehmen oder einen solchen Tisch zu verlassen. Im Schritt 11 steuert der Praktiker die Annäherung der Sonde SE2 an den Scheitel des Abdomens der Patientin P. Im Schritt 12 finden der Kontakt zwischen der Sonde SE2 und dem Scheitel des Abdomens der Patientin, die Speicherung der Koordinaten des ersten Kontaktpunkts durch das System S1 und die Verschiebung der fernen Modellisierung Mo von der fernen Anfangsmodellisierung Moinit zur fernen Zwischenmodellisierung Mointer statt. Im Schritt 13 führt der Praktiker die Sonde SE2 über die Oberfläche des Abdomens der Patientin. Jedes Mal, wenn ein bestimmter Koordinatenpunkt als zur Oberfläche des Abdomens der Patientin P gehörend angenommen wird, wird die ferne Zwischenmodellisierung Mointer Masche für Masche oder Knoten für Knoten verformt, um die Form der Oberfläche des Abdomens der Patientin P anzunehmen. Man kommt so progressiv zur fernen Endmodellisierung Mofin.
  • Die ferne Modellisierung Mo kann eine Masche variabler oder fester Größe aufweisen. Man kann ggf. eine Resegmentierung anwenden, um die Modellisierung in bestimmten Zonen zu verfeinern.
  • Am Ende dieser Kalibrierung speichert das System S1 in einem Speicher die ferne Endmodellisierung, was es ihm ermöglicht, mit einer äußerst kurzen Reaktionszeit zu reagieren, selbst wenn das Übertragungssystem 3 unter hohen Übertragungsdauern leidet. Später, wenn der Praktiker das bewegliche Element SE1 verschiebt, indem es die ferne Endmodellisierung durchquert, wendet das System S1 eine Kraft auf das bewegliche Element SE1 an, die die Gegenkopplungskraft des Abdomens der Patientin P auf die Sonde SE2 simuliert, indem ggf. einen Reibungsterm hinzugefügt wird, um zu schnelle Bewegungen des beweglichen Elements SE1 und somit der Echographiesonde SE2 zu vermeiden.
  • Die Erfindung wendet also eine Verformung einer geometrischen Vermaschung unter der Geste des Benutzer-Praktikers an. Die Fern-Kalibrierung des virtuellen Dummys oder die ferne Modellisierung erfolgt durch eine intuitive Abtastung durch den Benutzer-Praktiker, um die Ausgangsvermaschung oder ursprüngliche ferne Modellisierung zur Form der Patientin zu spannen, deren Korpulenz, und insbesondere das Stadium der Schwangerschaft, von einer Person zur anderen äußerst variabel sind. Man kann so eine Person oder das fern von einer Masterstation angeordnete Objekt abtasten, was es ermöglicht, eine dreidimensionale Form anzunähern und die Form der Person oder des Objekts zu erfassen, wobei das Vorhandensein einer Kamera nicht unbedingt notwendig ist. Im Rahmen einer Anwendung, die bereits ein Kraftrückkopplungssystem verwendet, ermöglicht die vorgeschlagene Methode die Fern-Rekonstruktion der dreidimensionalen Form ohne Zuhilfenahme der früheren Methoden wie den Laseraufstellungen oder der Stereophotographie.

Claims (10)

  1. Verfahren zur Fern-Rekonstruktion einer Fläche, bei dem: – ein lokales System an ein fernes System eine Positionsinformation eines beweglichen Elements des lokalen Systems sendet, wobei das bewegliche Element des lokalen Systems die Position des beweglichen Elements des fernen Systems nachbildet, wobei das ferne System eine ferne Modellisierung der Fläche enthält; – ein ferner Operator das bewegliche Element des fernen Systeme verschiebt, und wenn das bewegliche Element des lokalen Systeme mit der Fläche in Kontakt kommt, die ferne Modellisierung für jeden Kontaktpunkt zwischen dem beweglichen Element des lokalen Systems und der Fläche so verändert wird, dass die ferne Modellisierung sich der Fläche annähert.
  2. Verfahren nach Anspruch 1, bei dem die ferne Modellisierung ursprünglich eine ebene vermaschte Fläche ist.
  3. Verfahren nach Anspruch 1 oder 2, bei dem die ferne Modellisierung in ihrer Gesamtheit der Fläche gemäß einer Translationsbewegung orthogonal zu einem Abschnitt der Fläche und orthogonal zu einem Abschnitt der fernen Modellisierung angenähert wird, bis zu einem ersten Kontaktpunkt des beweglichen Elements des lokalen Systems mit der Fläche.
  4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein Kontaktpunkt ein Punkt des dem beweglichen Elements des lokalen Systems und der Fläche gemeinsamen Raums und derart ist, dass das bewegliche Element des lokalen Systems auf die Fläche eine vorbestimmte Kraft ausübt.
  5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine ferne Modellisierung mehrere Knoten aufweist, wobei ein Knoten der Fläche durch Translationsverschiebung gemäß einer Achse angenähert wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die von der Fläche auf das bewegliche Element des lokalen Systems ausgeübte Reaktionskraft vom beweglichen Element des fernen Systeme nachgebildet wird, damit der Operator die Kraft bemerkt und die Fläche erfassen kann.
  7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in einer Initialisierungsphase das bewegliche Element des fernen Systems die Position des beweglichen Elements des lokalen Systems nachbildet.
  8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das bewegliche Element des fernen Systems eine Bremskraft ausübt, wenn das bewegliche Element des lokalen Systems zur Fläche in einem Bereich des Raums verschoben wird, der zwischen der fernen Modellisierung und der Fläche liegt.
  9. System zur Fern-Rekonstruktion einer Fläche, dadurch gekennzeichnet, dass es ein lokales System (S2), das mit einem beweglichen Element (SE2) versehen ist, das in der Lage ist, mit der zu rekonstruierenden Fläche in Kontakt zu kommen, und ein fernes System (S1) aufweist, das mit einem beweglichen Element (SE1), das von einem Operator manipuliert werden kann, mit einer fernen Modellisierung (Mo) der Fläche, und mit einem Mittel zur Veränderung der fernen Modellisierung für jeden Kontaktpunkt zwischen dem beweglichen Element des lokalen Systems und der Fläche versehen ist, wenn das bewegliche Element des lokalen Systems mit der Fläche in Kontakt kommt, so dass die ferne Modellisierung sich der Fläche annähert, wobei das lokale System mit einem Mittel, um an das ferne System eine Positionsinformation des beweglichen Elements des lokalen Systems zu senden, und mit einem Mittel versehen ist, um die Position des beweglichen Elements des fernen Systems nachzubilden.
  10. Computerprogramm, das Code-Programm-Mittel aufweist, um die Schritte des Verfahrens nach einem der Ansprüche 1 bis 8 durchzuführen, wenn das Programm auf einem Computer läuft.
DE60213769T 2001-03-21 2002-03-14 Verfahren und system zur ferngesteuerten flächenrekonstruktion Expired - Lifetime DE60213769T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0103828A FR2822573B1 (fr) 2001-03-21 2001-03-21 Procede et systeme de reconstruction a distance d'une surface
FR0103828 2001-03-21
PCT/FR2002/000912 WO2002074177A1 (fr) 2001-03-21 2002-03-14 Procede et systeme de reconstruction a distance d'une surface

Publications (2)

Publication Number Publication Date
DE60213769D1 DE60213769D1 (de) 2006-09-21
DE60213769T2 true DE60213769T2 (de) 2007-08-23

Family

ID=8861392

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60213769T Expired - Lifetime DE60213769T2 (de) 2001-03-21 2002-03-14 Verfahren und system zur ferngesteuerten flächenrekonstruktion

Country Status (11)

Country Link
US (1) US20030144768A1 (de)
EP (1) EP1370188B1 (de)
JP (1) JP2004519340A (de)
CN (1) CN1228031C (de)
AT (1) ATE335442T1 (de)
CA (1) CA2409369A1 (de)
DE (1) DE60213769T2 (de)
ES (1) ES2271236T3 (de)
FR (1) FR2822573B1 (de)
NO (1) NO20025571L (de)
WO (1) WO2002074177A1 (de)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4613330B2 (ja) * 2001-04-17 2011-01-19 学校法人慶應義塾 マスタスレーブ装置、制御方法及びコンピュータープログラム
US7613313B2 (en) * 2004-01-09 2009-11-03 Hewlett-Packard Development Company, L.P. System and method for control of audio field based on position of user
US20080021317A1 (en) * 2006-07-24 2008-01-24 Siemens Medical Solutions Usa, Inc. Ultrasound medical imaging with robotic assistance for volume imaging
CN101610721A (zh) * 2006-09-25 2009-12-23 皇家飞利浦电子股份有限公司 触觉反馈医学扫描方法和系统
US20110169605A1 (en) * 2007-11-29 2011-07-14 Christopher John Gunn System and method for providing remote indication
US10875182B2 (en) * 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US20110125022A1 (en) * 2009-11-25 2011-05-26 Siemens Medical Solutions Usa, Inc. Synchronization for multi-directional ultrasound scanning
US9149929B2 (en) * 2010-05-26 2015-10-06 The Boeing Company Methods and systems for inspection sensor placement
DE102010038427A1 (de) * 2010-07-26 2012-01-26 Kuka Laboratories Gmbh Verfahren zum Betreiben eines medizinischen Roboters, medizinischer Roboter und medizinischer Arbeitsplatz
KR102258800B1 (ko) * 2014-05-15 2021-05-31 삼성메디슨 주식회사 초음파 진단장치 및 그에 따른 초음파 진단 방법
CN110913792A (zh) * 2017-06-06 2020-03-24 直观外科手术操作公司 用于远程操作系统中基于状态的语音识别的系统和方法
US10671163B2 (en) 2018-07-24 2020-06-02 Microsoft Technology Licensing, Llc Refining virtual mesh models through physical contacts

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3527533A (en) * 1964-08-25 1970-09-08 Trw Inc Method and apparatus for deriving and processing topographical information
US3915061A (en) * 1973-05-07 1975-10-28 John H Stockman Method for engraving graphical representations upon workable materials
DE3925275A1 (de) * 1989-07-31 1991-02-07 Kernforschungsz Karlsruhe Verfahren zur manipulation in unzugaenglichen arbeitsraeumen
US5438517A (en) * 1990-02-05 1995-08-01 Caterpillar Inc. Vehicle position determination system and method
SE468198B (sv) * 1990-12-12 1992-11-23 Nobelpharma Ab Foerfarande och anordning foer framstaellning av individuellt utformade tredimensionella kroppar anvaendbara som tandersaettningar, proteser, etc
SE469158B (sv) * 1991-11-01 1993-05-24 Nobelpharma Ab Dental avkaenningsanordning avsedd att anvaendas i samband med styrning av en verkstadsutrustning
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
US5477459A (en) * 1992-03-06 1995-12-19 Clegg; Philip M. Real time three-dimensional machine locating system
ZA952853B (en) * 1994-04-18 1995-12-21 Caterpillar Inc Method and apparatus for real time monitoring and co-ordination of multiple geography altering machines on a work site
US5882206A (en) * 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system

Also Published As

Publication number Publication date
ES2271236T3 (es) 2007-04-16
CN1228031C (zh) 2005-11-23
US20030144768A1 (en) 2003-07-31
EP1370188A1 (de) 2003-12-17
EP1370188B1 (de) 2006-08-09
DE60213769D1 (de) 2006-09-21
ATE335442T1 (de) 2006-09-15
WO2002074177A1 (fr) 2002-09-26
FR2822573B1 (fr) 2003-06-20
CA2409369A1 (fr) 2002-09-26
CN1458837A (zh) 2003-11-26
JP2004519340A (ja) 2004-07-02
NO20025571D0 (no) 2002-11-20
NO20025571L (no) 2003-01-21
FR2822573A1 (fr) 2002-09-27

Similar Documents

Publication Publication Date Title
DE60213769T2 (de) Verfahren und system zur ferngesteuerten flächenrekonstruktion
EP3285144B1 (de) System und verfahren zur haptischen interaktion mit virtuellen objekten
DE602004008397T2 (de) Videokonferenzsystem mit physischen Hinweisen
DE69433061T2 (de) Netzwerk der virtuellen realität
EP1402502B1 (de) Geburtensimulator
DE102019106684B4 (de) System zur haptischen Interaktion mit virtuellen Objekten für Anwendungen in der virtuellen Realität
DE60201923T2 (de) Materialverbiegungssimulationsgerät inbesondere für weiche Körpergewebe
DE2264123C3 (de) Verfahren zur rechner-unterstützten Erzeugung von Trickfolgen-Projektionsbildern mehrdimensionaler Objekte
EP1402503A1 (de) Programmierbarer gelenksimulator mit kraft- und bewegungsfeedback
DE102020007465A1 (de) Steuern bzw. Regeln eines neuronalen Netzwerkes durch zwischengeschaltete Latenträume
DE102018207518A1 (de) Verfahren und System zum Animieren eines 3D-Avatars
JP4744753B2 (ja) 力フィードバック部材制御方法およびシステム
WO2015055320A1 (de) Erkennung von gesten eines menschlichen körpers
DE102004046038B4 (de) Virtueller OP-Simulator
EP3716014B1 (de) Übertragen eines zustands zwischen vr-umgebungen
EP2317910A1 (de) Verfahren zur visualisierung mehrkanaliger signale
DE60304444T2 (de) Verfahren und system zur dynamischen steuerung eines kraftrückkopplungselements
WO2005001793A2 (de) Starrer geburtensimulator mit interaktivem optischen display
WO2001041052A1 (de) Haptische ein- und ausgabevorrichtung und verfahren für ein manipulieren von virtuellen objekten
DE10356010A1 (de) Verfahren und Vorrichtung zur Verarbeitung, zum Ansehen und Installieren von Befehlsinformationen, die von einer Einrichtung zur Manipulation von Bildern gesendet worden ist
EP4327987A1 (de) System, verfahren, computerprogramm und computerlesbares medium zur erfassung und ausgabe von eigenschaften
WO2020235541A1 (ja) 画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラム
DE20221662U1 (de) Interaktiver Geburtensimulator
DE102021120629B3 (de) Verfahren und Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars, Computerprogramm zur Durchführung eines solchen Verfahrens
EP4106959A1 (de) Aufstellort eines robotermanipulators

Legal Events

Date Code Title Description
8364 No opposition during term of opposition