DE102004006596B4

DE102004006596B4 - Manual input of workpiece poses

Info

Publication number: DE102004006596B4
Application number: DE102004006596A
Authority: DE
Original assignee: VISION TOOLS BILDANALYSE SYSTE; VISION TOOLS BILDANALYSE SYSTEME GmbH
Current assignee: VISION TOOLS BILDANALYSE SYSTE; VISION TOOLS BILDANALYSE SYSTEME GmbH
Priority date: 2004-02-10
Filing date: 2004-02-10
Publication date: 2007-02-15
Anticipated expiration: 2024-02-11
Also published as: DE102004006596A1

Abstract

Verfahren zur Handeingabe von Werkstückposen eines Werkstücks (1), das mittels eines Roboters (3) gegriffen oder bearbeitet wird, wobei mit einem aus mindestens einer Kamera (2) bestehenden Sensorsystem das Werkstück (1) erfaßt wird, mit einem Bildauswertesystem (5) die Werkstückpose im Normalfall automatisch berechnet wird, auf einem Bildschirm (4) das mit dem Sensorsystem gewonnene Bild des Werkstücks dargestellt wird, und zur Steuerung die aktuelle Werkstückpose an den Roboter übermittelt wird, dadurch gekennzeichnet, daß, bei Störungen des Normalfalls mittels Handbedienung auf dem Bildschirm eine Schablone (12) so verändert wird, daß die Darstellung der Schablone (12) auf dem Bildschirm mit der Darstellung des Werkstücks (1) korrespondiert, aus dieser Veränderung am Bildschirm die aktuelle Werkstückpose berechnet wird, und an den Roboter zur Steuerung übermittelt wird.method for manual input of workpiece poses a workpiece (1) which is gripped or processed by means of a robot (3), wherein with a sensor system consisting of at least one camera (2) the workpiece (1) is, with a Bildauswertesystem (5) the workpiece pose in Normal case is automatically calculated on a screen (4) represented the image of the workpiece obtained with the sensor system is transmitted to the controller and the current workpiece pose to the robot is, characterized in that, in case of disturbances of the normal case by means of Hand operation on the screen a template (12) is changed so that the Representation of the template (12) on the screen with the representation of the workpiece (1) corresponds, calculates the current workpiece pose from this change on the screen is transmitted to the robot for control.

Description

Die Erfindung betrifft ein Verfahren zur Handeingabe der Pose von Werkstücken, die mittels Roboter gegriffen oder bearbeitet werden, nach dem Oberbegriff des Anspruchs 1.The The invention relates to a method for manual input of the pose of workpieces which gripped or processed by robot, according to the generic term of claim 1.

Handeingaben sind aus den folgenden Druckschriften bekannt:
In JP 11-239989 A handelt es sich um die Kalibrierung der Grafikausgabe in einer Robotersimulation. Aufgrund der Handeingabe werden die Bewegungsparameter des Roboters aktualisiert, und zwar so, daß ein Kamerabild und die Grafikausgabe korrespondieren. Hierbei ist kein automatisches Sensorsystem im Spiel. Die Roboterparameter werden gegenüber dem ursprünglich gegebenen Robotermodell verändert. Anschauliches Beispiel: der Roboter wurde auf der Erde kalibriert und wird im Weltall betrieben. Über die Handeingabe wird eine Kalibrierung des Roboters auf die neuen Verhältnisse realisiert. Die grafische Ausgabe geschieht aufgrund eines (zu kalibrierenden) Simulationsmodells.Manual entries are known from the following publications:
JP 11-239989 A is the calibration of the graphic output in a robot simulation. Due to the manual input, the motion parameters of the robot are updated in such a way that a camera image and the graphic output correspond. No automatic sensor system is involved here. The robot parameters are changed compared to the originally given robot model. An illustrative example: the robot was calibrated on earth and is operated in space. Manual input is used to calibrate the robot to the new conditions. The graphical output is based on a (to be calibrated) simulation model.

Bei einem chirurgischen System für Teleoprationen nach EP 0 776 739 B1 werden Manipulatoren mit End-Wirkungsgliedern, die an einer chirurgischen Behandlungs- bzw. Arbeitsstelle aneordnet sind, durch manuuell betätigte Mittel an einer Fernbedienungsstation gesteuert. Stereografische visuelle Anzeigemittel liefern dem Chirurgen ein Bild des Arbeitsraumes. Durch Anordnung des Bildes des Arbeitsraums neben den manuell betätigten Mitteln erhält der Chirurg das Gefühl, daß die End-Wirkungsglieder und die manuell betätigten Mittel integral sind. Es werden Kameras in Stereoanordnung eingesetzt, d.h. zwei Kameras betrachten gleiche Merkmale aus verschiedenen Winkeln, woraus für den Chirurgen der Eindruch räumlichen Sehens erreicht wird. Ein virtuelles Bild ist ein eingespiegeltes Kamerabild, das von einem Bildspeicher stammen kann; es handelt sich dabei nicht um eine Grafik. Der Chirurg beeinflußt manuell (indirekt) Wirkungslieder.In a surgical system for teleoprations after EP 0 776 739 B1 For example, end-effector manipulators that are located at a surgical treatment or work site are controlled by manually operated means at a remote control station. Stereographic visual display means provide the surgeon with an image of the workspace. By arranging the image of the working space adjacent to the manually operated means, the surgeon has the feeling that the end effector and the manually operated means are integral. Cameras are used in stereo, ie two cameras look at the same features from different angles, which gives the surgeon the impression of spatial vision. A virtual image is a mirrored camera image that can come from an image memory; it is not a graphic. The surgeon manually (indirectly) affects effect songs.

Bei EP 1 020 383 A1 geht es um die Generierung eines Ladeschemas beim Palettieren, indem das Ablademuster interaktiv am Bildschirm eingegeben wird.at EP 1 020 383 A1 is about generating a loading scheme when palletizing, by interactively entering the unload pattern on the screen.

Zum Steuern von Robotern oder sonstigen Handhabungssystemen oder Bearbeitungssystemen (im folgenden einfach Roboter genannt) werden Sensorsysteme eingesetzt, die die Position und Drehlage (kurz Pose) von Werkstücken in mehreren Freiheitsgraden bestimmen und an den Roboter weitergeben. Solche Sensorsysteme können verschiedener Art sein, z.B. Bildverarbeitungssysteme, Laser-Meßsysteme, Ultraschall-Meßsysteme.To the Controlling robots or other handling systems or processing systems (simply called robots in the following) sensor systems are used, the position and rotational position (short pose) of workpieces in determine several degrees of freedom and pass them on to the robot. Such sensor systems can be of various types, e.g. Image processing systems, laser measuring systems, Ultrasonic measurement systems.

Wenn in solchen Anlagen Störungen auftreten, sei es durch Ausfall des Sensorsystems oder eines Teils davon oder aufgrund von Problemen mit dem aktuellen Werkstück, das vorgegebenen Bedingungen nicht genügt, entstehen größere Ausfallzeiten durch die notwendigen Eingriffe (Öffnen der Schutztür, Herausnehmen des Werkstücks, Wiederstarten der Anlage..). Außerdem muß das herausgenommene Werkstück gehandhabt und ggf. verschrottet werden.If in such plants disturbances occur due to failure of the sensor system or a part or because of problems with the current workpiece, the given conditions is not sufficient, resulting in greater downtime through the necessary interventions (opening the protective door, removing it of the workpiece, Restart the system ..). Furthermore that must be removed workpiece handled and if necessary scrapped.

Aufgabe der Erfindung ist es, die bei solchen Störungen unumgänglichen Ausfallzeiten zu minimieren und verarbeitbare Werkstücke nicht verschrotten zu müssen.task The invention is the inevitable in such disorders Minimize downtime and workpieces that can not be processed to scrap.

Das Problem wird durch die Merkmale des Anspruchs 1 gelöst.The Problem is solved by the features of claim 1.

Dabei kann es sich bei dem Sensorsystem um ein Bildverarbeitungssystem handeln, das im Normalfall die Position und Drehlage des Werkstücks automatisch bestimmt, bei bestimmten Problemfällen (Beispiel: Fehlen normalerweise vorhandener Werkstückmerkmale bei Guß-Rohlingen) jedoch Rückweisungen liefern muss. Für die Handeingabe nach Anspruch 1 werden dann vorzugsweise Kamera und Bildschirm des Bildverarbeitungssystems benutzt.there For example, the sensor system may be an image processing system act, which normally the position and rotational position of the workpiece automatically determined, in certain problem cases (example: usually lack existing workpiece features in cast blanks) however, rejections must deliver. For the manual input according to claim 1 are then preferably camera and screen of the image processing system.

Bei Störungen wird nach Anspruch 1 alleine aufgrund der Handbedienung am Bildschirm und automatisch durch geführter Rechnungen, ohne in den Prozeß selbst mechanisch eingreifen zu müssen, die aktuelle Pose des Werkstücks berechnet und an den Roboter übermittelt. Hierzu verändert die Bedienperson eine auf dem Bildschirm dargestellte Schablone derart, daß die Schablone auf dem Bildschirm mit der Darstellung des Werkstücks korrespondiert. Bei einfachen 2D-Systemen (Freiheitsgrade x, y, alpha) genügt als Veränderung eine Verschiebung und Verdrehung einer starren Schablone. Bei 3D-Systemen mit 6 Freiheitsgraden besteht die Schablone vorzugsweise aus mehreren Einzelmerkmalen (z.-B. Ecken, Löcher), die einzeln manuell am Bildschirm verschoben und ggf. verdreht werdne können. In Sonderfällen genügt bei 3D-Systemen (z.B. bei Freiheitsgraden x, y, z, alpha) eine verschiebbare, verdrehbare und größenveränderbare Schablone.at disorders becomes according to claim 1 alone due to the manual control on the screen and automatically guided by Invoices without going into the process itself to have to intervene mechanically the current pose of the workpiece calculated and transmitted to the robot. For this changed the operator a template shown on the screen such that the Template on the screen corresponds to the representation of the workpiece. In simple 2D systems (degrees of freedom x, y, alpha), one change is sufficient Displacement and rotation of a rigid template. For 3D systems with 6 degrees of freedom, the template preferably consists of several Single features (eg corners, holes), individually moved manually on screen and possibly twisted can. In special cases enough in 3D systems (e.g., at degrees of freedom x, y, z, alpha) a displaceable, rotatable and resizable Template.

Die Erfindung wird nun anhand der nachfolgenden Zeichnungen näher erläutert:The The invention will now be explained in more detail with reference to the following drawings:

1 zeigt eine schematische Ansicht des Roboters mit Sensorund Bildauswertesystem, 1 shows a schematic view of the robot with sensor and image evaluation system,

2 und 3 eine Ansicht einer einfachen 2D-Aufgabe. 2 and 3 a view of a simple 2D task.

1 zeigt eine solche Szene, in der ein Bildauswertesystem als Sensorsystem eingesetzt wird, mit einem Werkstück 1, einer Kamera 2, einem Roboter 3, einem Bildschirm 4, und dem Bildauswertesystem 5, das mit Kamera 2 und Bildschirm 4 verbunden ist und ein Mittel zur Übertragung von Posedaten an den Roboter besitzt. 1 shows such a scene in which an image evaluation system is used as a sensor system, with a workpiece 1 , a camera 2 a robot 3 , a screen 4 , and the image evaluation system 5 that with camera 2 and screen 4 is connected and has a means for transmitting Posedaten to the robot.

Die Kamera kann fest montiert sein oder beweglich, z.B. am Roboter selbst.The Camera may be fixed or movable, e.g. on the robot itself.

Die 2 und 3 zeigen eine einfache 2D-Aufgabe (Freiheitsgrade x, y, alpha).The 2 and 3 show a simple 2D task (degrees of freedom x, y, alpha).

2 zeigt eine Bildschirmszene mit der 11 des Werkstückes 1, mit einer Schablone 12, bestehend aus einzelnen Merkmalen, im speziellen Kanten 13 und Ecken 14, optional mit verbindenden (punktierten) Linien 15. 2 shows a screen scene with the 11 of the workpiece 1 , with a template 12 , consisting of individual features, in particular edges 13 and corners 14 , optionally with connecting (dotted) lines 15 ,

3 zeigt die gleiche Werkstückaufnahme, jedoch mit der Schablone per Handeingabe zurechtgeschoben und zurechtgedreht. 3 shows the same workpiece holder, but with the template manually adjusted and adjusted by hand.

Die Veränderung kann allgemein realisiert werden mit bekannten Verfahren wie Betätigen von realen Knöpfen oder Joysticks, oder in den Bildschirm eingeblendeten Bedienelementen oder durch Drag-and-Drop-Technik oder durch Anclicken signifikanter Punkte als Merkmale. (Beispiel: Löcher und Ecken). Die verbindenden Linien 15 zwischen den Merkmalen müssen nicht notwendigerweise realen Kanten entprechen und werden zur besseren Verständlichkeit für den Benutzer eingeblendet.The change can generally be realized with known methods such as operating real buttons or joysticks, or on-screen controls, or drag-and-drop technique or by clicking on significant points as features. (Example: holes and corners). The connecting lines 15 between the features do not necessarily correspond to real edges and are displayed for ease of understanding for the user.

In besonderer Ausgestaltung handelt es sich um einen Touch Screen Monitor, auf dem die Schablone bzw. die Merkmale direkt verschoben und verdreht werden können, wie dies bei CAD-Systemen üblich ist.In special embodiment is a touch screen monitor, on which the template or the characteristics are moved and twisted directly can be as usual with CAD systems is.

Die Schablone kann verschiedenste Ausführungsformen besitzten. Prinzipiell genügen bei 2D-Systemen (Freiheitsgrade x, y, alpha) beispielsweise zwei gerade Kanten, oder zwei Punkte oder ein Punkt und eine Kante, die grafisch als Overlay in das Bild eingeblendet werden. In der Praxis wird man jedoch eine mehr bildhafte Darstellung des Werkstücks wählen, um der Bedienperson die Assoziation zu der Erscheinungsweise des Werkstücks zu erleichtern. Vorteilhaft ist es dabei, signifikante Punkte besonders herausgehoben darzustellen.The Template can have a variety of embodiments. in principle suffice in 2D systems (degrees of freedom x, y, alpha), for example, two straight edges, or two points or a point and an edge that graphically as an overlay in the image. In practice However, you will choose a more pictorial representation of the workpiece to to facilitate the operator's association with the appearance of the workpiece. It is advantageous, significant points outweighed display.

In Sonderfällen genügt es, eine Visualisierung der im Normalfall verwendeten Bildverarbeitungsmerkmale des Bildverarbeitungssystems (Beispiele: Konturen, Löcher, Testpunkte, Templates) als Schablone für die Handeingabe zu verwenden.In special cases enough It is a visualization of the normally used image processing features of the image processing system (examples: contours, holes, test points, Templates) as a template for the Manual input to use.

In besonderer Ausgestaltung wird für 3D-Systeme eine Kamera mit kurzberennweitigem Objektiv eingesetzt und eine Schablone mit mindestens drei punktuellen, im Bild weit auseinder liegenden Merkmalen. In besonderer Ausgestaltung werden für 3D-Systeme mindestens zwei Kameras eingesetzt mit mindestens einer Schablone pro Kamera. Über die Handeingabe ist es auch in diesen Fällen möglich, die Werktückpose automatisch zu berechnen. Dazu werden die bekannten Methoden verwendet, wie sie aus der automatischen 3D-Bildanalyse bekannt sind. Damit können zum Beispiel aufgrund einfacher Handeingabe schwierige, nicht automatisch voll beherrschbare Einzelfälle beim sog. Griff in die Kiste oder durcheinander und übereinander auf einem Förderband liegender Teile gehandhabt werden. Ein spezieller Fall ist dabei der Einsatz von vorzugsweise drei Kameras, die aus verschiedenen Richtungen auf das Werkstück bzw. auf die Werkstücke orientiert sind, wobei bei der Handbedienung pro Kamera je mindestens ein punktuelles Merkmal (z.B. ein Loch, für jede Kamera ein anderes Merkmal) angeclickt wird. Aus den so manuell gewonnenen Daten kann bei kalibrierten Kameras mit Verfahren, die aus der Bildauswertung bekannt sind, die 3D-Werkstückpose berechnet werden.In special embodiment is for 3D systems a camera with kurzberennweitigem lens used and a template with at least three punctiform, in the picture far outlying features. In a special embodiment for 3D systems at least two cameras used with at least one template per camera. About the Manual input, it is also possible in these cases, the work piece pose automatically to calculate. For this purpose, the known methods are used, such as they are known from automatic 3D image analysis. This can be used for Example due to easy manual entry difficult, not automatic fully controllable individual cases in the so-called. Handle in the box or on each other and on top of each other a conveyor belt lying parts are handled. A special case is included the use of preferably three cameras, made up of different Directions on the workpiece or on the workpieces are oriented, with the hand control per camera ever at least a punctiform feature (for example, a hole, a different feature for each camera) is clicked. From the so manually obtained data can be calibrated Cameras with methods known from image analysis, the 3D workpiece pose be calculated.

Notwendige Anzahl der Kameras sowie Art und Anzahl der Schablonenmerkmale ergeben sich generell aus geometrischen Überlegungen, wie aus der automatischen Bildanalyse bekannt (Schablonenmerkmale sind explizit oder implizit Bestandteil der Schablone, z.B. besitzt eine Rechteckschablone 2 Geraden, aus denen sich eine 2D-Pose ergibt, die restlichen Geraden sind redundant).necessary Number of cameras and type and number of stencil features result generally based on geometric considerations, as known from automatic image analysis (template features are explicitly or implicitly part of the template, e.g. owns one Rectangular template 2 lines that give a 2D pose, the remaining lines are redundant).

Beispiele:

Examples:

Natürlich genügt beim Einsatz von mehreren Kameras ein einzelner Bildschirm, auf dem die Werkstückbilder gleichzeitig (nebeneinander) oder zeitlich hintereinander dargestellt werden.Of course, that's enough Use of multiple cameras a single screen on which the Workpiece Images simultaneously (next to each other) or in chronological order become.

Die vorliegende Erfindung besitzt eine besondere Bedeutung für sogenannte Assistenzsysteme, wie sie derzeit intensiv erforscht bzw. entwickelt werden; bei Ihnen befindet sich in der Nähe des Roboters immer eine Bedienperson, die bei Problemen sofort für die Handeingabe zur Verfügung steht.The The present invention has special significance for so-called Assistance systems, as currently being intensively researched or developed become; you always have one near the robot Operator who is immediately available for manual input in case of problems.

Claims

Method for manual input of workpiece poses of a workpiece ( 1 ), which by means of a robot ( 3 ) is gripped or processed, with one of at least one camera ( 2 ) existing sensor system the workpiece ( 1 ) is detected with an image evaluation system ( 5 ) the workpiece pose is normally calculated automatically on a screen ( 4 ) the image of the workpiece obtained with the sensor system is displayed, and the current workpiece pose is transmitted to the robot for control, characterized in that, in the case of disturbances of the normal case by means of manual operation on the screen, a template ( 12 ) is changed so that the representation of the template ( 12 ) on the screen with the representation of the workpiece ( 1 ), the current workpiece pose is calculated from this change on the screen and transmitted to the robot for control.

Method according to claim 1, characterized in that for changing the template ( 12 ) these on the screen ( 4 ) is shifted and / or twisted.

A method according to claim 1, characterized in that for the manual input of a three-dimensional workpiece pose a camera ( 2 ) is used with a short focal length lens and that the template ( 12 ) of at least three characteristics ( 13 . 14 . 15 ), which are changed manually on the screen.

Method according to claim 1, characterized in that at least two cameras are used for the manual input of a three-dimensional workpiece pose and that a template is changed for each camera, that each template has at least one feature and that in total at least three features ( 13 . 14 . 15 ), which are manually changed on the screen.

Method according to claim 1, characterized in that that for manual input a three-dimensional workpiece pose At least three cameras are used for each camera a template is changed and that each template has at least one feature on the screen changed manually becomes.