WO2002074177A1 - Procede et systeme de reconstruction a distance d'une surface - Google Patents

Procede et systeme de reconstruction a distance d'une surface

Info

Publication number
WO2002074177A1
WO2002074177A1 PCT/FR2002/000912 FR0200912W WO02074177A1 WO 2002074177 A1 WO2002074177 A1 WO 2002074177A1 FR 0200912 W FR0200912 W FR 0200912W WO 02074177 A1 WO02074177 A1 WO 02074177A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote
mobile element
modeling
local system
local
Prior art date
Application number
PCT/FR2002/000912
Other languages
English (en)
Inventor
Bernard Hennion
Agnès GUERRAZ
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Priority to JP2002572891A priority Critical patent/JP2004519340A/ja
Priority to CA002409369A priority patent/CA2409369A1/fr
Priority to EP02716893A priority patent/EP1370188B1/fr
Priority to DE60213769T priority patent/DE60213769T2/de
Publication of WO2002074177A1 publication Critical patent/WO2002074177A1/fr
Priority to NO20025571A priority patent/NO20025571L/no

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for

Definitions

  • the present invention relates to the field of remote reconstruction of a surface, in particular of a left surface.
  • haptic techniques from the Greek haptos: the hand
  • ballistic gestures like moving the hand towards a glass to grasp it
  • gestures with feedback against touch like the one that allows after grabbing the glass and closing the thumb clip -fingers, to bring the glass to his mouth.
  • the brain is then constantly informed of the force with which the hand encloses the glass, of its weight which depends on the quantity of liquid.
  • the brain then reacts by giving the motor command to "pinch" this glass enough so that it does not fall, but not too much, so as not to break it or expend unnecessary energy.
  • Ballistic gestures activate the motor arc but they do not activate the sensitive arc in return for touch.
  • Feedback can be a visual representation of space, but also a 'gestural map, that is to say a learned or innate mental representation wired in the brain and which automatically generates the sequence of motor orders of the muscles of the shoulder, arm , of the hand to carry out this ballistic gesture according to a certain mental representation of space, in particular of the presumed hand-glass distance.
  • Gestures with touch feedback activate the motor arc and the sensitive arc at the same time.
  • the brain closes the loop and the complete cycle in humans lasts less than 1 ms.
  • the bandwidth of the sensory neurons located in the fingertips that is to say the maximum frequency of the mechanical signal that these neurons are able to detect and transmit to the brain, is greater than 500 Hz. If we want to be able to code in a computer, a fine gesture, the force feedback system used must itself have a high operating frequency, at least equal, according to Shannon's theorem, to twice the bandwidth of the fingers.
  • force feedback systems on a local machine operate at a typical frequency of 1 KHz in local closed loop, that is to say that a feedback is calculated and then exerted on their motors then perceived by the hand every 1/1000 of a second. This avoids the so-called "electric toothbrush” effect: the instrument held in the hand should not give the impression of vibrating.
  • This frequency of 1 KHz results from the following compromise: it must be neither too low to be able to reproduce the tactile impression finely, nor too high to leave sufficient time for the computer to calculate the force of feedback which will represent, in the mechanical virtual world, the fine simulation of the gesture performed.
  • the latency in ISDN technology is 30 ms, in ADSL technology of the order of 200 ms, and on the Internet it can reach 6 s or even cause outright rejection of the message.
  • ADSL On ADSL and
  • a ballistic gesture can be transmitted with a delay of the order of magnitude of 10 ms. Indeed, sight is a unidirectional sense: the eye is a kind of camera recording a scene and the brain, to within tolerance, can perceive with a slight delay the precise visual film without disturbing the execution of the gesture.
  • a fine gesture with feedback requires completing, in less than a millisecond, the round trip decision of the intensity of the force to be exerted: - emission of order to the muscle via the sensitive arc engine,
  • the "Wavetransform" method consists in transposing into space forces / speeds the theory of passive quadrupoles with pure delay which is well known for electrical magnitudes tensiori / intensity. This theory makes it possible to calculate the incident and reflected electric waves as a function of the characteristic impedance of the line. The transmission of the electrical signal is optimal when this line is closed at the same characteristic value of the impedance.
  • the "Wavetransform" method requires a synchronous network, that is to say a fixed and known delay network, for example ISDN. It is based on the Z representation of the discrete sampled signals with a period equal to this fixed delay known to the network.
  • the invention proposes to remotely reconstruct a local surface in order to be able to calculate a setpoint in a short time.
  • the invention proposes, in particular, a system for controlling a feedback element located remotely capable of operating with data transmission on synchronous or asynchronous networks, of known or undetermined delay.
  • the method for remotely reconstructing a surface comprises the following steps: - a local system sends to a remote system position information of a mobile element of said local system, the mobile element of the local system replicating the position of the mobile element of the remote system, the remote system comprising a remote modeling of the surface, - a remote operator moves the mobile element of the remote system, and when the mobile element of the local system enters contact with said surface, said remote modeling is modified for each point of contact between the mobile element of the local system and said surface so that the remote modeling approaches said surface.
  • a calibration is thus carried out which allows the remote model to accurately simulate the local surface.
  • the remote modeling is initially a planar mesh surface.
  • the remote modeling can initially be a plane set of contiguous triangular elements.
  • the remote modeling is approached as a whole from said surface in a movement of translation normal to a portion of said surface normal to a portion of remote modeling, up to a first point of contact of the mobile element of the local system with said surface.
  • the coordinates of said first contact point can be predetermined along two axes of a three-dimensional coordinate system, only being to determine the coordinate along a third axis of said three-dimensional coordinate system.
  • a point of contact is a point in the space common to the mobile element of the local system and to said surface and such that the mobile element of the local system exerts on said surface a predetermined force. Generally, said force will be normal to said surface.
  • the remote modeling comprises a plurality of nodes, a node is brought closer to said surface by translation along an axis.
  • the translation axis can be parallel to said third axis.
  • a node can be brought closer to said surface by rotation around an adjacent node with conservation of the distance between said two nodes.
  • the reaction force exerted by said surface on the mobile element of the local system is replicated by the mobile element of the remote system so that the operator perceives said reaction forces and can apprehend said surface.
  • the mobile element of the remote system replicates the position of the mobile element of the local system.
  • the mobile element of the remote system exerts a braking force when the mobile element of the local system is moved towards said surface in a part of the space between the modeling and said surface. The operator thus perceives said braking force and can understand said modeling.
  • the invention also provides a remote reconstruction system for a surface.
  • the system comprises a local system provided with a mobile element able to come into contact with the surface to be reconstructed and a remote system provided with a mobile element able to be manipulated by an operator, remote modeling of the surface and d 'means for modifying said remote modeling for each point of contact between the mobile element of the local system and said surface when the mobile element of the local system comes into contact with said surface, so that the remote modeling approaches said surface .
  • the local system is provided with means for sending position information of the mobile element of said local system to the remote system, and with means for replicating the position of the mobile element of the remote system.
  • the invention also relates to a computer program. comprising program code means for implementing the steps of the method, when said program is running on a computer.
  • the invention also relates to a medium capable of being read by a device for reading program code means which are stored therein and which are suitable for implementing the steps of the method, when said program is running on a computer.
  • the haptic data flow is used to transmit the maximum amount of data on said remote form.
  • the present invention advantageously applies to bidirectional systems, for example robotic tele-echography which can be used in the field of obstetrics and abdominal examinations. You can remote calibrate a 3D virtual mannequin of a person.
  • the person's skin is generally coated with a gel for proper transmission of ultrasound.
  • the ultrasound probe can be manipulated remotely by an operator. Due to the presence of the gel, the force components exerted by the patient on the probe can be considered normal to the local surface of the skin.
  • the probe has 6 degrees of freedom with a force feedback along the three axes of a three-dimensional frame and a torque feedback also along the three axes of a three-dimensional frame.
  • the system can also be used by people with impaired vision to understand a shape.
  • the system can also be applied to industrial applications of the telemachining type, remote control of robots in an atmosphere " hostile to humans or in low visibility.
  • the system is well suited for performing palpations from a distance.
  • FIG. 1 is a schematic view of a system according to a mode of carrying out the invention
  • Figure 2 is a detailed view of the systems S 1 and S2 of the figure
  • Figure 3 is a more detailed view of Figure 2;
  • FIG. 4 shows rewired curves;
  • Figure 5 is a schematic view of a system according to an embodiment of the invention;
  • Figure 6 is a schematic view of the reconstruction at one point; and
  • Figure 7 is a flow diagram of the process steps.
  • FIG. 1 An embodiment of the invention intended for ultrasound is illustrated in FIG. 1.
  • a control system S 1 is provided, installed for example in an establishment not specialized in obstetrics, in an establishment in a small town. , or in a vehicle to serve rural areas.
  • the S2 system is installed in a specialized hospital establishment where highly qualified operators are available to perform ultrasound operations, for example in a regional or university hospital center.
  • a patient J3 rests on a bed or table T.
  • a SE ultrasound probe is in contact with her abdomen.
  • a setting table TR for parameters of the SE probe is installed nearby.
  • the SE probe is connected to the SI system and transmits echographic image data to said SI system, and exchanges data relating to the position and effects exerted with the S system 1.
  • the support of the SE probe which could be an articulated arm has not been shown here. However, we understand that this is a support allowing movement in space according to several degrees of freedom, in general at least six to be able to take a suitable position in contact with the abdomen of the patient 13. It is provided a microphone MI3 and a speaker HP3 connected to the system S 1 and allowing the patient to converse with the operator located remotely. There is also provision for a camera CA3 oriented towards the patient J3 and a video screen EV3 allowing the patient to see either the operator located at a distance, or echographic images. The camera CA3 and the video screen EV3 are also connected to the system S 1.
  • the systems S 1 and S2 in addition to the elements which have been described with reference to FIGS. 1 and 2, include each a multiplexer-demultiplexer DM1 and DM2 to allow the transmission of data on the network 3 which can for example be of ADSL type.
  • the operator J4 who could be a doctor specialized in ultrasound manipulates a handle P3 whose position in space will be replicated by the SE probe.
  • the handle P3 is connected to an articulated arm B A itself connected to an interface 13 of the type of interfaces II and 12 described above and comprising one or more actuators and one or more position sensors and force sensors.
  • the measurement of the effect can be carried out by measuring an energy quantity of the actuators, for example by the current still consumed by means of a strain gauge.
  • the interface 13 is connected to the system S2.
  • a large EV4 video screen will simultaneously display a plurality of images, for example an ultrasound image, an image of the face of the patient J3 and an image showing the positioning of the SE probe on the abdomen of the patient.
  • an ultrasound assembly comprises an element SE1 of shape close to an ultrasound probe for the user Ul and an ultrasound probe SE2 for a patient not shown.
  • Each element SE1, SE2 is connected to an interface II, 12 comprising a means for exerting a force on the element
  • the interface II, 12 will also include an acquisition card connected by means of the exercise of a force and by the measurement means and capable of exchanging digital data with another digital system such as a computer.
  • Each interface II, 12 is connected to a control system S 1, S2.
  • S 1, S2 a control system
  • SI and S2 are identical. Only the SI system will be described. However, one can consider modes of embodiment in which one of the two systems is of simplified structure compared to the other.
  • system S 1 can be in the form of a computer, of the personal computer type generally provided with at least one microprocessor, non-volatile and non-retentive memories, a communication bus, ports input and output and one or more software stored in memory and able to be executed by the microprocessor.
  • the system SI is connected on the one hand to the interface II for example by a bus of RS 232 type and to the system S2 by a communication network referenced 3 as a whole and which may be of synchronous type for example ISDN or asynchronous, ATM, UMTS or Internet (TCPtTP) type.
  • the SI system is located near the user Ul, for example in the same room.
  • the S2 system is located at a distance from the SI system, a distance which can range from a few meters to a few thousand kilometers.
  • the system SI, the interface II, the element SE1 and the user Ul are arranged locally while the system S2, the interface 12, the element SE2 and the patient are arranged distal to the previous ones.
  • the system S 1 comprises a local model ML1 capable of sending a setpoint to the interface II and of receiving from said interface II a variable measured by the interface II, for example the position X of the element SE1.
  • the setpoint can be a force or torque variable and is noted F e .
  • the system S 1 comprises a remote model MD2 provided for estimating a state of the local model ML2 of the system S2.
  • the distant model is provided for estimating a state of the local model ML2 of the system S2.
  • the MD2 of the system SI is able to receive data from the system S2, to receive data from the local model ML1 and to transmit data to the local model ML1.
  • the system SI " comprises an extrapolator EXT2 receiving data coming from the system S2 via the communication network 3 to process a registration message coming from the system S2 and transmit update data to the remote model MD2 based on the last received recalibration message.
  • the system SI comprises a screen El connected to the local model ML1 for displaying data from the local model ML1, for example a curve retracing the evolution of the forces exerted and the positions of the elements SEl and SE2.
  • the system S 1 comprises a readjuster RI receiving data from the local model ML1 and able to send output data to the system S2, in particular to the extrapolator EXT1 of the system S2.
  • the recalibrator RI is able to carry out a preparation of data to send them in the form of a registration message which may include a date, the position X of the element SEl, the force F exerted on the element SEl on said date as well as the force exerted on the SEl element at an earlier date.
  • the SI system further comprises a phantom model MF1 which also receives the registration messages from the RI recalibrator of the SI system and which performs an estimation of the state variables of the interface II according to the registration messages sent. by the recalibrator RI and received by the system S2.
  • the phantom model MF1 performs an estimation based on the same data as that received by the remote model MD 1 of the system S 2.
  • the phantom model MF 1 makes it possible to model the variables of the interface II as they are modeled by the S2 system.
  • the output of the phantom model MF1 is connected to the register RI which compares the estimation of the state variables coming from the phantom model MF1 and the state variables coming from the local model ML1. In the event of a difference greater than a predetermined threshold, the registration device RI transmits a registration message intended for the phantom model MF1 and the extrapolator EXT1 of the system S2.
  • the volume of data exchanged between the systems S 1 and S2 is relatively reduced insofar as a registration message is sent only if one of the two systems SI, S2 considers that the other system S2, SI n is more able to properly estimate these state variables.
  • the operation of the system will be better understood with reference to FIG. 3.
  • the state vector X is broken down into three parts: X e variable located at the interface with the element SE1, X 111 internal variable to the mechanical model of the user Ul and X 1 interaction variable located at the interface with the other player.
  • the associated variable of force or torque F breaks up into: F e force exerted by the user Ul on the element SEl, F m force 'exerted by gravity, the other objects, other possible players, and the force F 1 exerted by the user Ul on the patient.
  • the patient's state vector Y decomposes into Y ' e , Y' m and Y ' 1 and the associated torque force vector G decomposes into G' e , G ' m , and G 1 .
  • the interface II captures the position X e n and transmits it to the local model MLl.
  • the interface II receives the setpoint force F e n from the local model MLl and controls its actuator (s) with the feedback force - F e n .
  • the interface 12 picks up position Y ' e n and transmits it to the local model ML2 and receives the force G' e n from the local model ML2 controls its actuator (s) with the feedback force - G ' e n .
  • the local model MLl receives the position
  • the local model MLl calculates the force exerted by the player Jl on the patient
  • the local model ML1 sends X n + ⁇ and F n + ⁇ to the readjuster RI, the setpoint - F e n + to the interface II and the position variable X ⁇ - i -i to the remote model MD2.
  • F n + l F n + K l , K x being provided by the system S2
  • the position estimate X n + 1 - (I + A) X n + BF n + l that is to say the mechanical state of the user Ul as it can be predicted by the system S2.
  • the identity matrix is the identity matrix.
  • the registration device RI sends the registration message M n to the phantom model MF1 so that it is readjusted immediately and to the remote model MD1 by means of the extrapolator EXT1 of the system S2 so that it readjusts itself as soon as possible.
  • the extrapolator EXT2 transmits to the remote model MD2 the result of the registration: Y n + 1 , G perennial +1 and K2.
  • the remote model MD2 of the SI system is reset on reception of a message from the extrapolator EXT2 taking the values provided by said extrapolator EXT2:
  • the remote model MD2 Without receiving such a message, and at each time step, the remote model MD2 receives the position variable X 1 n + ⁇ from the local model MLl and performs a predictive calculation:
  • G'n + l E>" '-1 ⁇ r ⁇ + l - ⁇ 'n ⁇ CYn - DG ° ' n - D" * ' G " ' n + l ⁇
  • the remote model MD2 transmits to the local model ML1 the prediction of position variable relative to the patient: G n + l
  • the extrapolator EXT2 performs a bevel registration which smooths the evolutions, see Figure 3.
  • y L n + ⁇ • ⁇ l ⁇ + l
  • ⁇ j + 1 ⁇ Y J + l + (Kl) ⁇ l ) lk
  • the phantom model MF1 receives the same data as the remote model MD1 of the other system and makes it possible to perform the same simulation as said other system.
  • the readjuster operates blind with respect to the other system and makes it possible to continue simulating in the absence of relevant data transmitted by a readjustment message coming from the other system.
  • the EXT2 extrapolator in particular in the case of bevel registration, allows the movement as measured by the other system to be taken into account during the transmission delay due to the communication network.
  • the local models represent the mechanical models of the two users.
  • the remote models represent a remote replication of the local mechanical models which is necessarily approximated because of the transmission delays via the communication network of the states of the local models.
  • the ghost models represent an approximate local copy of the remote models.
  • the remote models and the ghost models all operate in predictor-corrector mode.
  • the extrapolators perform an extrapolation of the messages received with a certain delay to readjust the remote models to the value of the clock of the other system.
  • the recalibers assess the need to launch a registration message on the communication network as soon as a too large gap appears between the local models and the local predictive witness ghost models of the remote predictive models.
  • the readjusters make it possible to limit the number of messages sent through the communication network to avoid cluttering it.
  • FIG. 5 another embodiment is shown which is particularly suitable for ultrasound. Near the patient P is arranged the ultrasound probe SE2 supported by the arm BA connected to the interface 12, itself connected to the system These elements are supported by a support 5. In a room located at a distance, the system SI, the interface 11 and a mobile element SE1 of the same external shape, are arranged. same mass and same inertia as the SE2 probe.
  • the distant modeling Mo has been shown in thin line in its final state, that is to say extremely close to the shape of the patient P.
  • the mobile element SEl is here placed in a state of rest, in a relative position to the remote modeling Mo identical to the position of the probe SE2 relative to the patient P and removed from this one.
  • the mobile element SEl will be grasped by a practitioner as would have been a real ultrasound probe and will be gradually lowered.
  • the ultrasound probe SE2 follows the same movement as the mobile element SE 1. The practitioner comes first, by moving the mobile element SE 1, place the ultrasound probe SE2 on the uppermost surface of the patient, generally the top of his abdomen.
  • the feedback force exerted by the abdomen of patient P on the probe SE2 is remotely copied so that the practitioner handling the movable element SE1 perceives the same effect, in other words the same counter force reaction, only if he wielded an actual ultrasound probe against a patient's abdomen.
  • the mobile element SE1 by manipulating the mobile element SE1, will cause the abdomen of patient P to be described by the probe SE2 which replicates the movement thereof.
  • the force exerted by the patient's abdomen on the SE2 probe is replicated by the mobile element SE1.
  • the positions of the mobile element SE1 and of the probe SE2 being substantially identical, the mobile element SEl is positioned in a manner substantially identical to the position that an actual probe would have traversing the abdomen of the same patient.
  • the system S 1 records the different positions of the movable element SEl, which makes it possible, from a sufficient number of measurement points, to carry out a three-dimensional reconstruction of the outer surface of the patient's abdomen, and therefore to obtain the remote modeling Mo.
  • FIG. 6 is a diagram illustrating the stages of generation of the remote modeling.
  • the remote modeling is in the form of an initial modeling M ⁇ jnter , which is a planar mesh surface, seen here in section.
  • the practitioner by manipulating the mobile element SEl positions the ultrasound probe SE2 on the top of the abdomen of patient P.
  • the initial modeling o mjt then becomes an intermediate modeling M ⁇ jnter , always in the form of a flat surface , but tangent to the top of the patient's abdomen.
  • the vertical coordinates of the points of the modeling have been reduced by the distance separating the initial modeling Mo ⁇ j . from the top of the patient's abdomen, the initial models M ⁇ nt and intermediate Mo ⁇ nter being horizontal planes.
  • the practitioner can make curved movements so that the SE2 probe follows the upper surface of patient P's abdomen, both for comfort. the patient and the speed of the process.
  • a slight feedback force is exerted by the mobile element SEl on the practitioner's hands so that said crossing be perceptible to him.
  • Said force will be controlled by the SI system and applied by the interface II, and may be adjustable while remaining below the lower limit of said range.
  • Said force may comprise a constant part analogous to dry friction and a part variable proportional to the speed of movement of the movable element SEl.
  • the various stages of the process are illustrated schematically.
  • the probe SE2 and the mobile element SE1 are placed in a waiting or rest position, allowing the patient P to settle on an examination table or to leave such a table.
  • the practitioner controls the approach of the SE2 probe towards the top of the abdomen of patient P.
  • the contact between the SE2 probe and the top of the abdomen takes place.
  • the patient recording by the SI system of the coordinates of the first contact point and the displacement of the remote modeling Mo from the initial remote modeling Mo jnjt to the intermediate remote modeling M ⁇ jnter .
  • the practitioner runs the SE2 probe through the upper surface of the patient's abdomen.
  • the intermediate remote modeling Mo jnter is deformed mesh by mesh or node by node to match the shape of the upper surface of the abdomen of patient P.
  • the remote modeling Mo can comprise a mesh of variable or fixed size. One can possibly implement a resegmentation in order to refine the modeling in certain zones.
  • the SI system stores the final remote modeling in a memory, which allows it to react with an extremely short response time, even if the transmission network 3 suffers from high transmission times. Later, when the practitioner moves the movable element SEl through the final remote modeling, the system S 1 will apply a force to the movable element SEl, simulating the force of feedback from the abdomen of patient P on the probe SE2. By possibly adding a friction term in order to avoid too rapid movements of the mobile element SE1 and therefore of the ultrasound probe SE2.
  • the invention therefore implements a deformation of a geometric mesh under the gesture of the user practitioner.
  • Remote calibration of virtual mannequin or remote modeling is carried out by an intuitive scanning of the user practitioner in order to make the initial mesh or initial remote modeling tend towards the shape of the patient whose body size and in particular the stage of pregnancy are extremely variable d from one person to another. It is thus possible to palpate a person or object located at a distance from a master station, which makes it possible to approach a three-dimensional shape and to grasp the shape of the person or object, the presence of a camera n being not essential.
  • the proposed method allows remote reconstruction of the three-dimensional shape without resorting to previous methods such as laser surveys or stereophotography.

Abstract

Procédé de reconstruction à distance d'une surface, dans lequel un système local (S1) envoie à un système distant (S2) une information de position d'un élément mobile (SE) dudit système local, l'élément mobile (SE) du système local (S1) répliquant la position de l'élément mobile (P3) du système distant (S2), le système distant comprenant une modélisation distante de la surface, et un opérateur distant déplace l'élément mobile du système distant, et lorsque l'élément mobile (SE) du système local entre un contact avec ladite surface, ladite modélisation distance est modifiée pour chaque point de contact entre l'élément mobile (SE) du système local et ladite surface de façon que la modélisation distante se rapproche de ladite surface.

Description

Procédé et système de reconstruction à distance d'une surface.
La présente invention relève du domaine de la reconstruction à distance d'une surface, notamment d'une surface gauche.
Pour la transmission de retour d'effort à distance, notamment dans le cadre du développement de mondes virtuels répartis et du développement de moyens de téléprésence, le besoin apparaît de déterminer les coordonnées d'une surface éloignée d'un moyen de calcul ou de commande, et ce dans un but d'étalonnage.
Les méthodes classiques, notamment d'interpolation, de lissage, de Lagrange, de Hermite..., utilisent généralement des données de position dans l'espace prises judicieusement pour obtenir un résultat proche du modèle réel. Les calculs qui en découlent sont lourds et ne peuvent guère être effectués en temps réel. La qualité du résultat dépend du nombre de points connus de l'objet réel, de la pertinence des points
' mesurés et de la quasi homothétie des modèles virtuel et réel. De la même façon que les techniques de codage de vidéo numérique s'appuient sur les connaissances de la perception visuelle, et les techniques de reconnaissance vocale sur les connaissances de l'ouïe, les techniques haptiques (du grec haptos : la main) s'appuient sur les connaissances des gestes. II existe deux sortes de gestes fins réalisables avec la main : les gestes balistiques, comme déplacer la main vers un verre pour le saisir et les gestes avec contre-réactions du toucher, comme celui qui permet après saisie du verre et fermeture de la pince pouce-doigts, de porter le verre à sa bouche. Le cerveau est alors informé en permanence de la force avec laquelle la main enserre le verre, de son poids qui dépend de la quantité de liquide. Le cerveau réagit alors en donnant l'ordre moteur de "pincer" suffisamment ce verre pour qu'il ne tombe pas, mais pas trop toutefois, pour ne pas le casser, ni dépenser une énergie inutile.
Les gestes balistiques activent l'arc moteur mais ils n'activent pas l'arc sensitif en retour du toucher. Le retour d'informations peut être une représentation visuelle de l'espace, mais aussi une' carte gestuelle, c'est-à-dire une représentation mentale apprise ou innée câblée dans le cerveau et qui génère automatiquement la séquence des ordres moteurs des muscles de l'épaule, du bras, de la main pour réaliser ce geste balistique en fonction d'une certaine représentation mentale de l'espace, notamment de la distance présumée main- verre.
Pour les gestes balistiques, il est suffisant de transmettre au cerveau les informations sur le geste avec une fréquence d'échantillonnage de 100 Hz. Cela signifie que si on envoie un échantillon du signal toutes les 10 ms, le signal transmis contiendra toute l'information pertinente du geste balistique.
Les gestes avec contre-réactions du toucher activent en même temps l'arc moteur et l'arc sensitif. Le cerveau ferme la boucle et le cycle complet chez l'homme dure moins de 1 ms. La bande passante des neurones sensitifs situés dans les bouts des doigts, c'est-à-dire la fréquence maximale du signal mécanique que ces neurones sont capables de détecter et de transmettre au cerveau, est supérieure à 500 Hz. Si on veut pouvoir coder dans un ordinateur un geste fin, il faut que le système à retour d'efforts utilisé ait lui-même une fréquence de fonctionnement élevée, au moins égale, d'après le théorème de Shannon, au double de la bande passante des doigts.
Dans la pratique, les systèmes à retour d'efforts sur une machine locale fonctionnent à une fréquence typique de 1 KHz en boucle fermée locale, c'est-à-dire qu'une rétroaction est calculée puis exercée sur leurs moteurs puis perçue par la main toutes les 1/1000 de seconde. Cela permet d'éviter l'effet dit de la "brosse à dents électrique" : l'instrument que l'on tient en main ne doit pas donner l'impression de vibrer.
Cette fréquence de 1 KHz résulte du compromis suivant : elle ne doit être ni trop basse pour pouvoir restituer finement l'impression tactile, ni trop haute pour laisser suffisamment de temps à l'ordinateur pour calculer la force de contre-réaction qui va représenter, dans le monde virtuel mécanique, la simulation fine du geste effectué.
Si maintenant on désire transmettre via un réseau de télécommunications, des gestes fins codés par le système à retour d'efforts et des gestes fins ayec contre-réactions, le problème se complique du fait de la latence généralement bien supérieure introduite par le réseau lui- même.
Ainsi, la latence en technologie RNIS est de 30 ms, en technologie ADSL de l'ordre de 200 ms, et sur Internet elle peut atteindre 6 s ou même provoquer le rejet pur et simple du message. Sur ADSL et
Internet, la latence varie du fait de la nature asynchrone des réseaux. La cadence de 1 KHz est donc beaucoup trop élevée pour pouvoir être maintenue si la boucle fermée inclut un aller-retour via le réseau - le geste est codé puis transmis via le réseau, il est appliqué à un objet distant, la contre-réaction de cet objet est à son tour codée et transmise en retour via le réseau.
Un geste balistique peut être transmis avec un retard de l'ordre de grandeur de 10 ms. En effet, la vue est un sens monodirectionnel : l'oeil est une sorte de caméra enregistrant une scène et le cerveau, à une tolérance près, peut percevoir avec un léger retard le film visuel précis sans perturber l'exécution du geste.
Au contraire, un geste fin avec contre-réaction nécessite de boucler en moins d'une milliseconde, l'aller-retour de décision de l'intensité de la force à exercer : - émission de l'ordre au muscle via l'arc sensitif moteur,
- action mécanique de la main sur le verre,
- sensation du toucher du verre (augmentation de la pression de contact) au niveau des bouts des doigts, et
- retour vers le cerveau via l'arc sensitif tactile de cette information pour permettre au cerveau de décider l'ajustement de la force de la "pince".
Pour tenter de transmettre néanmoins un tel geste fin, il existe une méthode dite Méthode "Wavetransform", publiée par John Wilson, Neville Hogan du MIT sous le titre " Algorithms for Network - B ased Force Feedback", Fourth PHANTOM Users Group Workshop (PUG 99). Cette méthode simule le retard introduit par le réseau par une viscosité artificielle qui stabilise la boucle de contre-réaction : le système est d'autant plus visqueux que le réseau introduit un grand retard.
La méthode "Wavetransform" consiste à transposer dans l'espace forces/vitesses la théorie des quadripôles passifs à retard pur qui est bien connue pour les grandeurs électriques tensiori/intensité. Cette théorie permet de calculer les ondes électriques incidentes et réfléchies en fonction de l'impédance caractéristique de la ligne. La transmission du signal électrique est optimale lorsque cette ligne est fermée sur cette même valeur caractéristique de l'impédance.
La loi d'Ohm U=Z*I se transpose dans l'espace mécanique en la loi F = viscosité * Vitesse et la méthode "Wavetransform" consiste à adapter une ligne à retard pure virtuelle en lui donnant comme impédance (viscosité en fait) caractéristique celle du robot télémanipulé. Le signal est transmis sous la forme de sa transformée en Z, S(z) = ∑(s(t)*e 2i*π*n*τ)) où T est le délai fixe du réseau. Plus le réseau introduit un grand retard, et plus il faut rajouter une grande viscosité artificielle dans la ligne pour stabiliser la simulation mécanique répartie du geste fin en boucle fermée et en réseau. On déforme certes la sensation gestuelle, mais on optimise la transmission du signal utile. Cette méthode a été publiée au Fourth Users Group Workshop (PUG99).
La méthode "Wavetransform" nécessite un réseau synchrone, c'est-à-dire un réseau à retard fixe et connu, par exemple RNIS. Elle est basée sur la représentation en Z des signaux discrets échantillonnés de période égale à ce délai fixe connu du réseau.
Elle est donc inapplicable sur les réseaux asynchrones à messages du type Internet ou ATM, UMTS, qui se caractérisent par un délai de transmission variable, et un rejet si le message se perd ou met trop de temps à traverser le réseau.
Le problème de la cadence trop élevée des systèmes à retours d'efforts est exacerbé sur ces réseaux asynchrones, pour lesquels :
- les messages peuvent se perdre, ne pas aboutir, ou être rejetés si l'accusé de réception tarde trop (TCP/IP), - les messages qui arrivent à bon port mettent un délai variable pour traverser le réseau,
- ils n'arrivent pas forcément dans l'ordre où ils ont été émis,
- il n'existe pas d'horloge commune exacte à la milliseconde près entre deux machines. L'invention propose de remédier aux inconvénients des systèmes de l'art antérieur.
L'invention propose de reconstruire à distance une surface locale pour pouvoir calculer une consigne dans un délai court.
L'invention propose, notamment, un système de commande d'un élément à rétroaction situé à distance susceptible de fonctionner avec transmission de données sur réseaux synchrones ou asynchrones, de retard connu ou indéterminé.
Le procédé de reconstruction à distance d'une surface, selon un aspect de l'invention, comprend les étapes suivantes : - un système local envoie à un système distant une information de position d'un élément mobile dudit système local, l'élément mobile du système local répliquant la position de l'élément mobile du système distant, le système distant comprenant une modélisation distante de la surface, - un opérateur distant déplace l'élément mobile du système distant, et lorsque l'élément mobile du système local entre en contact avec ladite surface, ladite modélisation distante est modifiée pour chaque point de contact entre l'élément mobile du système local et ladite surface de façon que la modélisation distante se rapproche de ladite surface. On effectue ainsi un étalonnage qui permet que le modèle distant simule de façon précise la surface locale.
Dans un mode de réalisation de l'invention, la modélisation distante est initialement une surface plane maillée. La modélisation distante peut être initialement un ensemble plan d'éléments triangulaires contigus.
Dans un mode de réalisation de l'invention, la modélisation distante est rapprochée dans son ensemble de ladite surface selon un mouvement de translation normale à une portion de ladite surface normale à une portion de la modélisation distante, jusqu'à un premier point de contact de l'élément mobile du système local avec ladite surface.
Les coordonnées dudit premier point de contact peuvent être prédéterminées selon deux axes d'un repère tridimensionnel, seule étant à déterminer la coordonnée selon un troisième axe dudit repère tridimensionnel. Dans un mode de réalisation de l'invention, un point de contact est un point de l'espace commun à l'élément mobile du système local et à ladite surface et tel que l'élément mobile du système local exerce sur ladite surface une force prédéterminée. Généralement, ladite force sera normale à ladite surface. Avantageusement, la modélisation distante comprend une pluralité de noeuds, un noeud est rapproché de ladite surface par translation selon un axe. L'axe de translation peut être parallèle audit troisième axe. De façon alternative, un noeud peut être rapproché de ladite surface par rotation autour d'un noeud adjacent avec conservation de la distance entre lesdits deux noeuds.
Dans un mode de réalisation de l'invention, la force de réaction exercée par ladite surface sur l'élément mobile du système local est répliquée par l'élément mobile du système distant de façon que l'opérateur perçoive lesdites forces de réaction et puisse appréhender ladite surface. Avantageusement, lors d'une phase d'initialisation, l'élément mobile du système distant réplique la position de l'élément mobile du système local.
Dans un mode de réalisation de l'invention, l'élément mobile du système distant exerce une force de freinage lorsque l'élément mobile du système local est déplacé vers ladite surface dans une partie de l'espace comprise entre la modélisation et ladite surface. L'opérateur perçoit ainsi ladite force de freinage et peut appréhender ladite modélisation.
L'invention propose également un système de reconstruction à distance d'une surface. Le système comprend un système local pourvu d'un élément mobile apte à entrer en contact avec la surface à reconstruire et un système distant pourvu d'un élément mobile apte à être manipulé par un opérateur, d'une modélisation distante de la surface et d'un moyen pour modifier ladite modélisation distante pour chaque point de contact entre l'élément mobile du système local et ladite surface lorsque l'élément mobile du système local entre en contact avec ladite surface, de façon que la modélisation distante se rapproche de ladite surface. Le système local est pourvu d'un moyen pour envoyer au système distant une information de position de l'élément mobile dudit système local, et d'un moyen pour répliquer la position de l'élément mobile du système distant. L'invention concerne également un programme d'ordinateur comprenant des moyens de code programme pour mettre en œuvre les étapes du procédé, lorsque ledit programme fonctionne sur un ordinateur.
L'invention concerne également un support capable d'être lu par un dispositif de lecture de moyens de code programme qui s'y trouvent stockés et qui sont aptes à la mise en œuvre des étapes du procédé, lorsque ledit programme fonctionne sur un ordinateur.
On peut ainsi modéliser et étalonner un objet ou une forme tridimensionnelle distant de forme totalement libre. Le flux de données haptiques et utilisé pour transmettre le maximum de données sur ladite forme distante.
La présente invention s'applique de façon avantageuse à des systèmes bidirectionnels, par exemple la télé-échographie robotisée qui peut être utilisée dans le domaine de l'obstétrique et des examens abdominaux. On peut télé-calibrer un mannequin virtuel 3D d'une personne.
Dans le cas de l'échographie, la peau de la personne est généralement enduite d'un gel pour une transmission convenable des ultra sons. La sonde échographique pourra être manipulée à distance par un opérateur. En raison de la présence du gel, les composantes de force exercée par le patient ou la patiente sur la sonde peuvent être considérées comme normales à la surface locale de la peau. La sonde possède 6 degrés de liberté avec une contre réaction de force selon les trois axes d'un repère tridimentionnel et une contre réaction de couple également selon les trois axes d'un repère tridimensionnel. Le système peut également être mis à profit par des personnes ayant une vue déficiente pour appréhender une forme.
Le système peut également s'appliquer à des applications industrielles du genre télé-usinage, télé-commande de robots en atmosphère "hostile à l'homme ou sous faible visibilité. Le système est bien adapté pour effectuer des palpations à distance.
La présente invention sera mieux comprise et d'autres avantages apparaîtront à la lecture de la description détaillée de quelques modes de réalisation pris à titre d'exemple nullement limitatifs et illustrés par les dessins annexés, sur lesquels : la figure 1 est une vue schématique d'un système selon un mode de réalisation de l'invention; la figure 2 est une vue détaillée des systèmes S 1 et S2 de la figure
1 ; la figure 3 est une vue plus détaillée de la figure 2; la figure 4 montre des courbes de recaïage; la figure 5 est une vue schématique d'un système selon un mode de réalisation de l'invention; la figure 6 est une vue schématique de la reconstruction en un point; et la figure 7 est un organigramme des étapes du procédé.
Un mode de réalisation de l'invention destiné à l'échographie est illustré sur la figure 1. Il est prévu un système de commande S 1 installé par exemple dans un établissement non spécialisé en obstétrique, dans un établissement d'une ville de petite taille, ou encore dans un véhicule pour la desserte de zones rurales. Le système S2 est installé dans un établissement hospitalier spécialisé où des opérateurs hautement qualifiés sont disponibles pour réaliser les opérations d'échographie, par exemple dans un centre hospitalier régional ou universitaire. Une patiente J3 repose sur un lit ou une table T. Une sonde échographique SE est en contact avec son abdomen. Un tableau de réglage TR de paramètres de la sonde SE est installé à proximité. La sonde SE est relié au système SI et transmet des données d'images échogrâphiques audit système SI, et échange des données relatives à la position et aux effets exercés avec le système S 1. Pour des raisons de clarté du dessin, le support de la sonde SE qui pourrait être un bras articulé n'a pas été représenté ici. Toutefois, on comprend qu'il s'agit d'un support permettant un déplacement dans l'espace selon plusieurs degrés de liberté, en général au moins six pour pouvoir prendre une position adaptée en contact avec l'abdomen de la patiente 13. Il est prévu un microphone MI3 et un haut-parleur HP3 relié au système S 1 et permettant à la patiente de converser avec l'opérateur situé à distance. Il est encore prévu une caméra CA3 orientée vers la patiente J3 et un écran vidéo EV3 permettant à la patiente de Voir soit l'opérateur situé à distance, soit des images échogrâphiques. La caméra CA3 et l'écran vidéo EV3 sont également reliés au système S 1. Les systèmes S 1 et S2, outre les éléments qui ont été décrits en référence aux figures 1 et 2, comprennent chacun un multiplexeur-démultiplexeur DM1 et DM2 pour permettre la transmission de données sur le réseau 3 qui peut être par exemple de type ADSL.
Du côté du système S2, l'opérateur J4 qui pourra être un médecin spécialisé en échographie manipule une poignée P3 dont la position dans l'espace va être répliquée par la sonde SE. La poignée P3 est reliée à un bras articulé B A lui-même relié à une interface 13 du genre des interfaces Il et 12 décrites ci-dessus et comprenant un ou plusieurs actionneurs et un ou plusieurs capteurs de position et capteurs d'effort. La mesure de l'effet peut être effectuée par une mesure d'une grandeur énergétique des actionneurs, par exemple par le courant consommé encore au moyen d'une jauge de contrainte. L'interface 13 est relié au système S2.
Il est encore prévu une caméra CA4 dirigée vers l'opérateur J4 et dont les images pourront être affichées sur l'écran EV3, un microphone MI4 et un haut-parleur HP4 permettant à l'opérateur J4 de converser avec la patiente J3. Ces éléments sont reliés au système S2. Un écran vidéo EV4 de grande dimension permettra d'afficher simultanément une pluralité d'images, par exemple une image échographique, une image du visage de la patiente J3 et une image montrant le positionnement de la sonde SE sur l'abdomen de la patiente.
Comme on peut le voir sur la figure 2, un ensemble d'échographie comprend un élément SEl de forme proche d'une sonde échographique pour l'utilisateur Ul et une sonde échographique SE2 pour une patiente non représentée. Chaque élément SEl, SE2 est relié à une interface II , 12 comprenant un moyen pour exercer une force sur l'élément
SEl, SE2, par exemple un actionneur du genre vérin électrique, et un moyen pour mesurer la force exercée par l'utilisateur Ul et la patiente sur l'élément SEl , SE2, par exemple un capteur de couple ou encore une jauge de contrainte. L'interface II, 12 comprendra également une carte d'acquisition reliée au moyen d'exercice d'une force et au moyen de mesure et capable d'échanger des données numériques avec un autre système numérique tel qu'un ordinateur.
Chaque interface II , 12 est reliée à un système de commande S 1 , S2. Dans le cas illustré ici, les systèmes SI et S2 sont identiques. Seul le système SI sera décrit. Toutefois, on peut envisager des modes de réalisation dans lesquels l'un des deux systèmes est de stru'cture simplifiée par rapport à l'autre.
De façon générale, le système S 1 peut se présenter sous la forme d'un ordinateur, du genre ordinateur personnel généralement pourvu d'au moins un micro-processeur, de mémoires rémanente et non rémanente, d'un bus de communication, de ports d'entrée et de sortie et d'un ou plusieurs logiciels stockés en mémoire et aptes à être exécutés par le micro-processeur.
Le système SI est relié d'une part à l'interface II par exemple par un bus de type RS 232 et au système S2 par un réseau de communication référencé 3 dans son ensemble et qui pourra être de type synchrone par exemple RNIS ou asynchrone, de type ATM, UMTS ou encore Internet (TCPtTP). Le système SI est situé à proximité de l'utilisateur Ul, par exemple dans la même pièce. Le système S2 est situé à distance du système S I, distance qui peut aller de quelques mètres à quelques milliers de kilomètres. En d'autres termes, le système SI, l'interface II, l'élément SEl et l'utilisateur Ul sont disposés de façon locale tandis que le système S2, l'interface 12, l'élément SE2 et la patiente sont disposés de façon distale par rapport aux précédents. Plus précisément, le système S 1 comprend un modèle local ML1 apte à envoyer une consigne à l'interface II et à recevoir de ladite interface Il une variable mesurée par l'interface II, par exemple la position X de l'élément SEl. La consigne peut être une variable de force ou de couple et est notée Fe. Le système S 1 comprend un modèle distant MD2 prévu pour estimer un état du modèle local ML2 du système S2. Le modèle distant
MD2 du système SI est apte à recevoir des données en provenance du système S2, à recevoir des données en provenance du modèle local ML1 et à émettre des données vers le modèle local ML1. Plus particulièrement, le système SI "comprend un extrapolateur EXT2 recevant des données en provenance du système S2 par l'intermédiaire du réseau de communication 3 pour traiter un message de recalage provenant du système S2 et transmettre des données de mise à jour au modèle distant MD2 en fonction du message de recalage reçu en dernier.
Le système SI comprend un écran El relié au modèle local ML1 pour l'affichage de données issues du modèle local ML1 , par exemple une courbe retraçant l'évolution des forces exercées et des positions des éléments SEl et SE2.
Le système S 1 comprend un recaleur RI recevant des données du modèle local MLl et apte à envoyer des données de sortie à destination du système S2, en particulier à destination de l'extrapolateur EXT1 du système S2. Le recaleur RI est apte à effectuer une préparation de données pour les émettre sous la forme d'un message de recalage qui pourra comprendre une date, la position X de l'élément SEl, la force F exercée sur l'élément SEl à ladite date ainsi que la force exercée sur l'élément SEl à une date antérieure.
Le système SI comprend, en outre, un modèle fantôme MF1 qui reçoit également les messages de recalage en provenance du recaleur RI du système SI et qui effectue une estimation des variables d'état de l'interface II d'après les messages de recalage émis par le recaleur RI et reçu par le système S2. En d'autres termes, le modèle fantôme MF1 effectue une estimation d'après les mêmes données que celles reçues par le modèle distant MD 1 du système S 2. Ainsi, le modèle fantôme MF 1 permet de modéliser les variables de l'interface II telles qu'elles sont modélisées par le système S2. La sortie du modèle fantôme MF1 est reliée au recaleur RI qui compare l'estimation des variables d'état provenant du modèle fantôme MF1 et les variables d'état provenant du modèle local MLl. En cas de différence supérieure à un seuil prédéterminé, le recaleur RI émet un message de recalage destiné au modèle fantôme MF1 et à l'extrapolateur EXT1 du système S2. Ainsi, le volume de données échangé entre les systèmes S 1 et S2 est relativement réduit dans la mesure où un message de recalage n'est émis que si l'un des deux systèmes SI, S2 estime que l'autre système S2, SI n'est plus en mesure d'estimer convenablement ces variables d'état. Le fonctionnement du système sera mieux compris en référence à la figure 3. Pour l'utilisateur Ul, le vecteur d'état X se décompose en trois parties : Xe variable située à l'interface avec l'élément SEl, X111 variable interne au modèle mécanique de l'utilisateur Ul et X1 variable d'interaction située à l'interface avec l'autre joueur. De façon analogue, la variable associée de force ou de couple F se décompose en : Fe force exercée par l'utilisateur Ul sur l'élément SEl, Fm force ' exercée par la pesanteur, les autres objets, d'autres joueurs éventuels, et la force F1 exercée par l'utilisateur Ul sur la patiente. De manière analogue, le vecteur d'état Y de la patiente se décompose en Y'e, Y'm et Y'1 et le vecteur associé de force de couple G se décompose en G'e, G'm, et G 1.
L'utilisateur Ul et la patiente sont en contact virtuel. On a donc X1 = Y1. La loi de l'action et de la réaction donne : F1 + G'1 = 0.
A chaque pas de temps, l'interface II capte la position Xe n et la transmet au modèle local MLl. L'interface II reçoit la force de consigne Fe n en provenance du modèle local MLl et commande son ou ses actionneurs avec la force de contre-réaction - Fe n. De façon analogue, l'interface 12 capte la position Y'e n et la transmet au modèle local ML2 et reçoit la force G'e n en provenance du modèle local ML2 commande son ou ses actionneurs avec le force de contre-réaction - G'e n. Au début de l'instant n +1 , le modèle local MLl reçoit la position
Xe n+ de l'interface II, l'estimation d'interaction Gn l +1 du modèle distant MD2 et les variables intrinsèques préenregistrées Fm n + . Le modèle local MLl calcule la force exercée par le joueur Jl sur la patiente
Figure imgf000014_0001
et B étant celles de l'évolution de l'utilisateur Ul avec X = AX +BF. Le modèle
Figure imgf000014_0002
Le modèle local MLl envoie Xn+ι et Fn+^ au recaleur RI, la consigne - Fe n + à l'interface II et la variable de position X^-i-i au modèle distant MD2.
Le'modèle fantôme MF1 s'il ne reçoit pas de message du recaleur RI calcule Fn+l = Fn + Kl , Kx étant fourni par le système S2, et l'estimation de position Xn+1 — (I+A)Xn + BFn+l , c'est-à-dire l'état mécanique de l'utilisateur Ul tel qu'il peut être prédit par le système S2. I est ici la matrice identité.
Sur réception d'un message de recalage Mn = [n,Xπ,Fπ et E„_ι } en provenance du recaleur RI, le modèle fantôme MF1 effectue le recalage suivant : Xn = Xn,Fn = Fn et Kl = Fn - F^
Le recaleur RI reçoit à chaque pas de temps n la variable de position Xn et les variables d'effort Fn et Fn+ en provenance du modèle local MLl, et l'estimation Xπ en provenance du modèle fantôme MF1. Il compare la valeur absolue de la différence entre la variable de position Xn et l'estimation Xπ à un seuil prédéterminé et ne fait rien si ladite valeur absolue est inférieure audit seuil. Dans le cas contraire, il compose un message de recalage Mn ={n, Xn, Fn, F^j }. Le recaleur RI envoie le message de recalage Mn au modèle fantôme MF1 pour qu'il se recale immédiatement et au modèle distant MD1 par l'intermédiaire de l'extrapolateur EXT1 du système S2 pour qu'il se recale le plus tôt possible.
L'extrapolateur EXT2 du système SI permet de réaliser une synchronisation. En effet, le message Mp = {p, Yp, Gp, Gp_^ } émis par le recaleur R2 du système S2 arrive au système S 1 à un instant compris entre n et n+ 1. Toutefois, le message Mp est estampillé par la date p en provenance du système S2. L'extrapolateur EXT2 calcule K2 = Gp - Gp_^ et recale le modèle distant MD2 en effectuant : n = G et γ ~ γ puis aux
P P P P instants suivants et quel que soit : j = p, ... , n, GJ+1 = G; +K2 et ΫJ+l = ζ + ξ + DGj+l , C et D étant les matrices équivalentes aux matrices A et B pour la patiente . L'extrapolateur EXT2 transmet au modèle distant MD2 le résultat du recalage : Yn+1, G„+1 et K2. Le modèle distant MD2 du système SI se recale sur réception d'un message en provenance de l'extrapolateur EXT2 en prenant les valeurs fournies par ledit extrapolateur EXT2 :
Figure imgf000015_0001
Hors réception d'un tel message, et à chaque pas de temps, le modèle distant MD2 reçoit la variable de position X1 n+ι en provenance du modèle local MLl et effectue un calcul prédictif :
G e ,m π+I Ge-m nKe-m 2 G'n+l = E>"'-1{rπ+l - Ϋ'n ~ CYn - D G°' n - D"*' G"' n+l}
r '„+1 = r''m'„ + ce',m'Fn + De''m'Gn π+l = X π+1
Le modèle distant MD2 transmet au modèle local MLl la prédiction de variable de position relative à la patiente : Gn+l
De préférence, l'extrapolateur EXT2 effectue un recalage en biseau qui permet de lisser les évolutions, voir figure 3. Au lieu de ramener brutalement l'estimation de la variable de position Y à la variable Y calculée comme exposée ci-dessus par l'extrapolateur EXT2, le recalage est effectué en quatre étapes entre les instants n et n+4 selon le calcul suivant : k == | y Ln+Ï •= γ lπ+l | /seuil + 1 ;
Si k = l, alors Fπ+1 - 7 +ι
Sinon j = n,
Gj = GJ + K2
Figure imgf000016_0001
F.+1 := 7. + Cyy + G;+1
Ϋj+1 = {YJ+l +(K-l)Ϋ l)lk
Si k est supérieur à 2, alors k : == k-1
Sinon on sort de la boucle et +1 = .+ι. Le recalage en biseau permet un fonctionnement plus doux du système, ce qui est mieux perçu par les utilisateurs et implique moins de contraintes mécaniques.
De façon plus générale, le modèle fantôme MF1 reçoit les mêmes données que le modèle distant MD1 de l'autre système et permet d'effectuer la même simulation que ledit autre système. En d'autres termes, on cherche à savoir ce que l'autre système ne sait pas dans un but de recalage. Le recaleur fonctionne en aveugle par rapport à l'autre système et permet de continuer à simuler en l'absence de données pertinentes transmises par un message de recalage en provenance de l'autre système. L'extrapolateur EXT2, en particulier dans le cas du recalage en biseau, permet de tenir compte du mouvement tel que mesuré par l'autre système pendant le délai de transmission dû au réseau de communication. Dans une variante simplifiée, on peut parfaitement concevoir que l'un des deux ou les deux systèmes est dépourvu de modèle fantôme. On peut également prévoir de faire fonctionner ensemble un nombre de systèmes supérieur à deux.
Les modèles locaux représentent les modèles mécaniques des deux utilisateurs. Les modèles distants représentent une réplication distante des modèles mécaniques locaux nécessairement approchée du fait des délais de transmission via le réseau de communication des états des modèles locaux. Les modèles fantômes représentent une copie locale approchée des modèles distants. Les modèles distants et les modèles fantômes fonctionnent tous en mode prédicteur-correcteur. Les extrapolateurs effectuent une extrapolation des messages reçus avec un certain retard pour recaler les modèles distants à la valeur de l'horloge de l'autre système. Les recaleurs évaluent la nécessité de lancer un message de recalage sur le réseau de communication dès qu'un écart trop grand apparaît entre les modèles locaux et les modèles fantômes témoins prédictifs locaux des modèles prédictifs distants. Les recaleurs permettent de limiter le nombre de messages émis à travers le réseau de communication pour éviter de l'encombrer. A l'intérieur d'un système, les échanges d'information peuvent être effectués à la cadence d'un khz. Entre les systèmes et donc par l'intermédiaire du réseau de communication, les échanges de message s'effectuent si l'un des recaleurs le considère comme nécessaire. " Sur la figure 5, est représenté un autre mode de réalisation particulièrement adapté à l'échographie. A proximité de la patiente P est disposée la sonde échographique SE2 supportée par le bras BA relié à l'interface 12, lui-même relié au système S2. Ces éléments sont supportés par un support 5. Dans un local situé à distance, sont disposés le système SI, l'interface 11 et un élément mobile SEl de même forme extérieure, de même masse et de même inertie que la sonde SE2.
On a représenté en trait fin la modélisation distante Mo dans son état final, c'est-à-dire extrêmement proche de la forme de la patiente P. L'élément mobile SEl est ici disposé dans un état de repos, dans une position relative à la modélisation distante Mo identique à la position de la sonde SE2 relativement à la patiente P et écarté de celle-là. L'élément mobile SEl va être saisi par un praticien comme l'aurait été une véritable sonde échographique et va être descendu progressivement vers le bas. La sonde échographique SE2 suit le même déplacement que l'élément mobile SE 1. Le praticien vient d'abord, en déplaçant l'élément mobile SE 1 , placer la sonde échographique SE2 sur la surface la plus haute de la patiente, en générale le sommet de son abdomen. La force de contre-réaction exercée par l'abdomen de la patiente P sur la sonde SE2 est recopiée à distance de façon que le praticien maniant l'élément mobile SEl perçoive le même effet, en d'autres termes la même force de contre-réaction, que s'il maniait une sonde échographique réelle contre l'abdomen d'une patiente.
A partir du sommet de l'abdomen de la patiente P, le praticien maniant l'élément mobile SEl en le déplaçant à la fois verticalement et horizontalement, va découvrir progressivement le contour de la patiente P, éventuellement en s 'aidant d'un écran de visualisation tel que l'écran
EV4 illustré sur la figure 1. Le praticien en manipulant l'élément mobile SEl va faire décrire l'abdomen de la patiente P à la sonde SE2 qui en réplique le mouvement. La force exercée par l'abdomen de la patiente sur la sonde SE2 est répliquée par l'élément mobile SEl. Les positions de l'élément mobile SEl et de la sonde SE2 étant sensiblement identiques, l'élément mobile SEl est positionné de façon sensiblement identique à la position qu'aurait une sonde réelle parcourant l'abdomen de la même patiente. Le système S 1 enregistre les différentes positions de l'élément mobile SEl, ce qui permet à partir d'un nombre de points de mesure suffisant, d'effectuer une reconstruction tridimensionnelle de la surface extérieure de l'abdomen de la patiente, et donc d'obtenir la modélisation distante Mo.
On pourra prévoir une plage de force de contre-réaction dans laquelle le système SI considérera que l'élément mobile SEl est dans une position correspondante à la surface de l'abdomen de la patiente. Au- dessus de la borne supérieure de la plage, on considérera que l'élément mobile SEl est trop enfoncé dans l'abdomen. En dessous de la borne inférieure de la plage, on considérera qu'il n'y a pas contact et que l'élément mobile est situé hors de la surface extérieure de l'abdomen de la patiente P.
La figure 6 est un schéma illustrant les étapes de génération de la modélisation distante. Tout d'abord, la modélisation distante se présente sous la forme d'une modélisation initiale Mθjnter, qui est une surface plane maillée, vue ici en coupe. Puis, le praticien en manipulant l'élément mobile SEl positionne la sonde échographique SE2 sur le sommet de l'abdomen de la patiente P. La modélisation initiale omjt devient alors une modélisation intermédiaire Mθjnter, toujours sous la forme d'une surface plane, mais tangente au sommet de l'abdomen de la patiente. En d'autres termes, les coordonnées verticales des points de la modélisation ont été diminuées de la distance séparant la modélisation initiale Mo^j. du sommet de l'abdomen de la patiente, les modélisations initiale Mθ n t et intermédiaire Mo^nter étant des plans horizontaux.
Le praticien décale alors la sonde SEl horizontalement et l'amène, par exemple dans la position 7 affleurant la modélisation intermédiaire Momter, puis amène l'élément mobile dans la position 8, de sorte que la sonde échographique SE2 est en contact avec l'abdomen de la patiente P, Dès que la force de contre-réaction exercée par l'abdomen de la patiente P sur la sonde SE2 dépasse la borne inférieure de la plage et est transmise au système SI, ledit système SI enregistre la position comme appartenant à la surface supérieure de l'abdomen de la patiente P. En pratique, le praticien pourra effectuer des mouvements courbes de façon que la sonde SE2 suive la surface supérieure de l'abdomen de la patiente P, et ce à la fois pour le confort de la patiente et la rapidité du procédé. En outre, lors de tout déplacement de l'élément mobile SEl au-delà de la modélisation, on peut prévoir qu'une légère force de contre-réaction soit exercée par l'élément mobile SEl sur les mains du praticien de façon que ledit franchissement lui soit perceptible. Ladite force sera commandée par le système SI et appliquée par l'interface II, et pourra être réglable tout en restant inférieure à la borne inférieure de ladite plage. Ladite force pourra comprendre une partie constante analogue à un frottement sec et une partie variable proportionnelle à la vitesse du déplacement de l'élément mobile SEl.
Sur la figure 7, sont illustrées de façon schématique, les différentes étapes du procédé. A l'étape 10 d'initialisation, la sonde SE2 et l'élément mobile SEl se placent dans une position d'attente ou de repos, permettant à la patiente P de s'installer sur une table d'examen ou de quitter une telle table. A l'étape 11, le praticien commande l'approche de la sonde SE2 vers le sommet de l'abdomen de la patiente P. A l'étape 12, a lieu le contact entre la sonde SE2 et le sommet de l'abdomen de la patiente, renregistrement par le système SI des coordonnées du premier point de contact et le déplacement de la modélisation distante Mo de la modélisation distante initiale Mojnjt à la modélisation distante intermédiaire Mθjnter. A l'étape 13, le praticien fait parcourir à la sonde SE2 la surface supérieure de l'abdomen de la patiente. A chaque fois qu'un point de coordonnées déterminé est considéré comme appartenant à la surface supérieure de l'abdomen de la patiente P, la modélisation distante intermédiaire Mo jnter est déformée maille par maille ou noeud par noeud pour épouser la forme de la surface supérieure de l'abdomen de la patiente P. On parvient ainsi progressivement à la modélisation distante finale Mofin-
La modélisation distante Mo peut comprendre une maille de taille variable ou fixe. On peut mettre en oeuvre éventuellement une resegmentation afin d'affiner la modélisation dans certaines zones.
A l'issue de cet étalonnage, le système SI stocke dans une mémoire la modélisation distante finale, ce qui lui permet de réagir avec un temps de réponse extrêmement bref, même si le réseau de transmission 3 pâtit de délais de transmission élevés. Ultérieurement, lorsque le praticien déplacera l'élément mobile SEl en traversant la modélisation distante finale, le système S 1 appliquera une force à l'élément mobile SEl , simulant la force de contre-réaction de l'abdomen de la patiente P sur la sonde SE2. En y ajoutant éventuellement un terme de frottement afin d'éviter des mouvements trop rapides de l'élément mobile SEl et donc de la sonde échographique SE2.
L'invention met donc en oeuvre une déformation d'un maillage géométrique sous le geste du praticien utilisateur. Le télé-étalonnage du mannequin virtuel ou modélisation distante, s'effectue p'ar un balayage intuitif du praticien utilisateur afin de faire tendre le maillage de départ ou modélisation distante initiale vers la forme de la patiente dont la corpulence et notamment le stade de la grossesse sont extrêmement variables d'une personne à une autre. On peut ainsi palper une personne ou l'objet situé à distance d'un poste maître, ce qui permet d'approcher une forme tridimensionnelle et d'appréhender la forme de la personne ou de l'objet, la présence d'une caméra n'étant pas indispensable. Dans le cadre d'une application utilisant déjà un système à retour d'effort, la méthode proposée permet la reconstruction à distance de la forme tridimensionnelle sans recourir aux méthodes antérieures comme les relevés lasers ou la stéréophotographie.

Claims

REVENDICATIONS
1. Procédé de reconstruction à distance d'une surface, dans lequel :
- un système local envoie à un système distant une information de position d'un élément mobile dudit système local, l'élément mobile du système local répliquant la position de l'élément mobile du système distant, le système distant comprenant une modélisation distante de la surface,
- un opérateur distant déplace l'élément mobile du système distant, et lorsque l'élément mobile du système local entre en contact avec ladite surface, ladite modélisation distante est modifiée pour chaque point de contact entre l'élément mobile du système local et ladite surface de façon que la modélisation distante se rapproche de ladite surface.
2. Procédé selon la revendication 1, dans lequel la modélisation distante est initialement une surface plane maillée.
3. Procédé selon la revendication 1 ou 2, dans lequel la modélisation distante est rapprochée dans son ensemble de ladite surface selon un mouvement de translation normale à une portion de ladite surface et normale à une portion de la modélisation distante, jusqu'à un premier point de contact de l'élément mobile du système local avec ladite surface.
4. Procédé selon l'une quelconque des revendications précédentes, dans lequel un point de contact est un point de l'espace commun à l'élément mobile du système local et à ladite surface et tel que l'élément mobile du système local exerce sur ladite surface une force prédéterminée .
5. Procédé selon l'une quelconque des revendications précédentes, dans lequel une modélisation distante comprend une pluralité de noeuds, un noeud est approché à ladite surface par translation selon un axe.
6. Procédé selon l'une quelconque des revendications précédentes, dans lequel la force de réaction exercée par ladite surface sur l'élément mobile du système local est répliquée par l'élément mobile du système distant de façon que l'opérateur perçoive ladite force de réaction et puisse appréhender ladite surface.
7. Procédé selon l'une quelconque des revendications précédentes, dans lequel, lors d'une phase d'initialisation, l'élément mobile du système distant réplique la position de l'élément mobile du système local.
8. Procédé selon l'une quelconque des revendications précédentes, dans lequel l'élément mobile du système distant exerce une force de freinage lorsque l'élément mobile du système local est déplacé vers ladite surface dans une partie de l'espace comprise entre la modélisation distante et ladite surface.
9. Système de reconstruction à distance d'une surface, caractérisé par le fait qu'il comprend un système local (S2) pourvu d'un élément mobile (SE2) apte à entrer en contact avec ladite surface à reconstruire, et un système distant (SI) pourvu d'un élément mobile (SEl) apte à être manipulé par un opérateur, une modélisation distante (Mo) de la surface, et d'un moyen pour modifier ladite modélisation distante pour chaque point de contact entre l'élément mobile du système local et ladite surface lorsque l'élément mobile du système local entre en contact avec ladite surface, de façon que la modélisation distante se rapproche de ladite surface, le système local étant pourvu d'un moyen pour envoyer au système distant une information de position de l'élément mobile dudit système local, et d'un moyen pour répliquer la position de l'élément mobile du système distant.
10. Programme d'ordinateur comprenant des moyens de code- programme pour mettre en oeuvre les étapes du procédé selon l'une quelconque des revendications 1 à 8, lorsque ledit programme fonctionne sur un ordinateur.
PCT/FR2002/000912 2001-03-21 2002-03-14 Procede et systeme de reconstruction a distance d'une surface WO2002074177A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002572891A JP2004519340A (ja) 2001-03-21 2002-03-14 遠隔地における表面の再構築方法およびシステム
CA002409369A CA2409369A1 (fr) 2001-03-21 2002-03-14 Procede et systeme de reconstruction a distance d'une surface
EP02716893A EP1370188B1 (fr) 2001-03-21 2002-03-14 Procede et systeme de reconstruction a distance d'une surface
DE60213769T DE60213769T2 (de) 2001-03-21 2002-03-14 Verfahren und system zur ferngesteuerten flächenrekonstruktion
NO20025571A NO20025571L (no) 2001-03-21 2002-11-20 Fremgangsmåte og system for på avstand å rekonstruere en overflate

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR01/03828 2001-03-21
FR0103828A FR2822573B1 (fr) 2001-03-21 2001-03-21 Procede et systeme de reconstruction a distance d'une surface

Publications (1)

Publication Number Publication Date
WO2002074177A1 true WO2002074177A1 (fr) 2002-09-26

Family

ID=8861392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2002/000912 WO2002074177A1 (fr) 2001-03-21 2002-03-14 Procede et systeme de reconstruction a distance d'une surface

Country Status (11)

Country Link
US (1) US20030144768A1 (fr)
EP (1) EP1370188B1 (fr)
JP (1) JP2004519340A (fr)
CN (1) CN1228031C (fr)
AT (1) ATE335442T1 (fr)
CA (1) CA2409369A1 (fr)
DE (1) DE60213769T2 (fr)
ES (1) ES2271236T3 (fr)
FR (1) FR2822573B1 (fr)
NO (1) NO20025571L (fr)
WO (1) WO2002074177A1 (fr)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4613330B2 (ja) * 2001-04-17 2011-01-19 学校法人慶應義塾 マスタスレーブ装置、制御方法及びコンピュータープログラム
US7613313B2 (en) * 2004-01-09 2009-11-03 Hewlett-Packard Development Company, L.P. System and method for control of audio field based on position of user
US20080021317A1 (en) * 2006-07-24 2008-01-24 Siemens Medical Solutions Usa, Inc. Ultrasound medical imaging with robotic assistance for volume imaging
US20100041991A1 (en) * 2006-09-25 2010-02-18 Koninklijke Philips Electronics N.V. Haptic feedback medical scanning methods and systems
WO2009067765A1 (fr) * 2007-11-29 2009-06-04 Commonwealth Scientific And Industrial Research Organisation Système et procédé pour fournir une indication à distance
US10875182B2 (en) * 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US20110125022A1 (en) * 2009-11-25 2011-05-26 Siemens Medical Solutions Usa, Inc. Synchronization for multi-directional ultrasound scanning
US9149929B2 (en) * 2010-05-26 2015-10-06 The Boeing Company Methods and systems for inspection sensor placement
DE102010038427A1 (de) * 2010-07-26 2012-01-26 Kuka Laboratories Gmbh Verfahren zum Betreiben eines medizinischen Roboters, medizinischer Roboter und medizinischer Arbeitsplatz
KR102258800B1 (ko) * 2014-05-15 2021-05-31 삼성메디슨 주식회사 초음파 진단장치 및 그에 따른 초음파 진단 방법
EP3634296A4 (fr) * 2017-06-06 2021-03-03 Intuitive Surgical Operations, Inc. Systèmes et méthodes de reconnaissance vocale basée sur l'état dans un système de téléopération
US10671163B2 (en) 2018-07-24 2020-06-02 Microsoft Technology Licensing, Llc Refining virtual mesh models through physical contacts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0411498A2 (fr) * 1989-07-31 1991-02-06 Kernforschungszentrum Karlsruhe Gmbh Système de manipulation dans des lieux de travail non accessibles
US5800178A (en) * 1995-03-29 1998-09-01 Gillio; Robert G. Virtual surgery input device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3527533A (en) * 1964-08-25 1970-09-08 Trw Inc Method and apparatus for deriving and processing topographical information
US3915061A (en) * 1973-05-07 1975-10-28 John H Stockman Method for engraving graphical representations upon workable materials
US5390125A (en) * 1990-02-05 1995-02-14 Caterpillar Inc. Vehicle position determination system and method
SE468198B (sv) * 1990-12-12 1992-11-23 Nobelpharma Ab Foerfarande och anordning foer framstaellning av individuellt utformade tredimensionella kroppar anvaendbara som tandersaettningar, proteser, etc
SE469158B (sv) * 1991-11-01 1993-05-24 Nobelpharma Ab Dental avkaenningsanordning avsedd att anvaendas i samband med styrning av en verkstadsutrustning
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
US5477459A (en) * 1992-03-06 1995-12-19 Clegg; Philip M. Real time three-dimensional machine locating system
ZA952853B (en) * 1994-04-18 1995-12-21 Caterpillar Inc Method and apparatus for real time monitoring and co-ordination of multiple geography altering machines on a work site

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0411498A2 (fr) * 1989-07-31 1991-02-06 Kernforschungszentrum Karlsruhe Gmbh Système de manipulation dans des lieux de travail non accessibles
US5800178A (en) * 1995-03-29 1998-09-01 Gillio; Robert G. Virtual surgery input device

Also Published As

Publication number Publication date
EP1370188A1 (fr) 2003-12-17
FR2822573B1 (fr) 2003-06-20
ES2271236T3 (es) 2007-04-16
JP2004519340A (ja) 2004-07-02
CN1228031C (zh) 2005-11-23
CA2409369A1 (fr) 2002-09-26
DE60213769D1 (de) 2006-09-21
NO20025571D0 (no) 2002-11-20
FR2822573A1 (fr) 2002-09-27
EP1370188B1 (fr) 2006-08-09
NO20025571L (no) 2003-01-21
DE60213769T2 (de) 2007-08-23
ATE335442T1 (de) 2006-09-15
US20030144768A1 (en) 2003-07-31
CN1458837A (zh) 2003-11-26

Similar Documents

Publication Publication Date Title
EP1370188B1 (fr) Procede et systeme de reconstruction a distance d'une surface
EP1207448B1 (fr) Procédé et système de commande d'un élément à retour d'effort
US10818038B2 (en) Techniques for capturing dynamic appearance of skin
MX2011003854A (es) Dispositivo de salida haptica para uso con medio codificado haptico.
WO2020075622A1 (fr) Dispositif, procédé et programme de traitement d'informations
WO2011032937A2 (fr) Procede de simulation de mouvements propres par retour haptique et dispositif mettant en oeuvre le procede
EP1728182A2 (fr) Procede et dispositif de simulation interactive du contact entre objets
EP1177766A1 (fr) Procédé d'acquisition d'une image d'une zone non dermatoglyphique de la peau ou d'une zone des cheveux au moyen d'un dispositif d'acquisition comprenant un capteur non optique.
EP1463980B1 (fr) Procede et systeme de commande dynamique d un element a reto ur d effort
EP3595787A1 (fr) Procédé de génération de données multimédia associée à un système de sport
EP3707583B1 (fr) Dispositif de retour haptique
FR2840422A1 (fr) Procede et systeme de construction a distance d'une surface tridimensionnelle
Bourbakis et al. A 2D vibration array for sensing dynamic changes and 3D space for Blinds' navigation
WO2007068824A2 (fr) Systeme de visualisation pour la manipulation d'un objet
WO2022201922A1 (fr) Appareil de traitement d'informations, procédé de traitement d'informations et système de traitement d'informations
BE1021360B1 (fr) Simulation de membre virtuel.
Akşit et al. logo Computational Light Laboratory at University College London
FR2778003A1 (fr) Dispositif informatique materiel et logiciel pour utiliser en parallele des cartes graphiques tridimensionnelles conventionnelles
FR3054048A1 (fr) Procede et systeme de commande hierarchique en temps reel d'une structure articulee exploitant un nombre limite de capteurs de mouvement
Hernoux et al. Is a Time-Of-Flight Camera Better than a Mouse for 3D Direct Selection in Virtual Worlds?
WO2015079044A1 (fr) Systeme et procede de preparation d'un patient a un examen dynamique d'imagerie medicale
WO2010103243A1 (fr) Appareil et procede de massage expert
EP1333412A1 (fr) Simulateur de sonde échographique

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN JP NO US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

WWE Wipo information: entry into national phase

Ref document number: 2002716893

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2409369

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 028007735

Country of ref document: CN

Ref document number: 10296298

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002572891

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 2002716893

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 2002716893

Country of ref document: EP