DE10351669B4

DE10351669B4 - Method and device for controlling a handling device relative to an object

Info

Publication number: DE10351669B4
Application number: DE2003151669
Authority: DE
Inventors: Dr. Keibel Andreas
Original assignee: KUKA Laboratories GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2003-11-05
Filing date: 2003-11-05
Publication date: 2012-09-13
Anticipated expiration: 2023-11-06
Also published as: DE10351669A1

Abstract

Verfahren zum Steuern eines Mehrachs-Industrieroboters (2), aufweisend einen Roboterarm (2.1) und eine am Roboterarm (2.1) befestigte Kamera (2.3) zum Aufnehmen eines Bildes eines realen Objekts (3) in einem den Mehrachs-Industrieroboter (2) umfassenden Arbeitsbereichs, und ein Simulationssystem (5), welches aus einer virtuellen Stellung eines virtuellen Roboters (2'), eines virtuellen Objekts (3') und einer virtuellen Kamera (2.3') in Abhängigkeit von Positionsdaten für eine Soll-Stellung des Roboters (2) ein Bild des virtuellen Objekts (3') erzeugt, wobei zunächst mittels einer Bildverarbeitungseinrichtung (8) das Bild des virtuellen Objekts (3') als ein erwartetes Bild des Objekts (3) in dem Arbeitsbereich des Mehrachs-Industrieroboters (2) mit dem Bild des realen Objekts (3) verglichen wird, anschließend eine Stellungsabweichung (PD) des Mehrachs-Industrieroboters (2) von dem virtuellen Roboter (2') aus einem Unterschied zwischen dem Bild des virtuellen Objekts (3') und dem Bild des realen Objekts (3) mittels der als Vergleichseinrichtung arbeitenden Bildverarbeitungseinrichtung (8) bestimmt wird und dann Bewegungen zur Minimierung der...A method of controlling a multi-axis industrial robot (2), comprising a robot arm (2.1) and a camera (2.3) mounted on the robotic arm (2.1) for taking an image of a real object (3) in a work area comprising the multi-axis industrial robot (2) , and a simulation system (5), which consists of a virtual position of a virtual robot (2 '), a virtual object (3') and a virtual camera (2.3 ') in dependence on position data for a desired position of the robot (2). an image of the virtual object (3 ') is generated, wherein first by means of an image processing device (8) the image of the virtual object (3') as an expected image of the object (3) in the working area of the multi-axis industrial robot (2) with the image of the real object (3), then a positional deviation (PD) of the multi-axis industrial robot (2) from the virtual robot (2 ') from a difference between the image of the virtual object (3') and the image d of the real object (3) is determined by means of the image processing device (8) operating as a comparison device and then movements to minimize

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Steuern eines Handhabungsgeräts, wie eines Mehrachs-Industrieroboters.The invention relates to a method and an apparatus for controlling a handling device, such as a multi-axis industrial robot.

Verfahren und/oder Vorrichtungen zum Steuern von Roboterarmen sind beispielsweise aus der DE 198 14 779 A1 , DE 44 21 699 A1 , DE 198 26 395 A1 , WO 2003/034165 A1 , DE 101 33 624 A1 , US 5,579,444 A , US 5,231,693 A und EP 0 796 704 A1 bekannt.Methods and / or devices for controlling robot arms are for example from DE 198 14 779 A1 . DE 44 21 699 A1 . DE 198 26 395 A1 . WO 2003/034165 A1 . DE 101 33 624 A1 . US 5,579,444 A . US 5,231,693 A and EP 0 796 704 A1 known.

In „IEEE Journal of Robotics and Automation”, Vol. RA-3, No. 5, October 1987, S. 404–417 wird ein sensorbasiertes Robotersteuerungsverfahren mit optischem Feedback beschrieben.In "IEEE Journal of Robotics and Automation", Vol. RA-3, no. 5, October 1987, pages 404-417, a sensor-based robotic control method with optical feedback is described.

Die DE 101 59 574 A1 beschreibt ein Verfahren zur dreidimensionalen Korrektur einer Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist.The DE 101 59 574 A1 describes a method for three-dimensional correction of a relative movement with several degrees of freedom between workpieces on the one hand, and grippers or tools on the other hand, with an image pickup device from one or more cameras, wherein the image pickup device and / or the workpiece is reproducibly movable.

Die DE 102 00 534 A1 beschreibt ein Verfahren zum kollisionsfreien Bewegen wenigstens zweier gegeneinander bewegbarer Gegenstände, insbesondere von Teilen einer medizinischen Untersuchungs- und/oder Behandlungseinrichtung, bei dem an einem Monitor eine dreidimensionale Simulationsdarstellung der Gegenstände in ihrer aktuellen, stehenden Ist-Position angezeigt wird, wobei die Gegenstände im Rahmen der Simulation bezüglich einander unter kontinuierlicher Darstellung der Simulations-Position bis in eine gewünschte Simulations-Soll-Position bewegt werden, wonach die realen Gegenstände nach vorheriger automatischer Bestimmung eines kollisionsfreien Bewegungswegs automatisch in die im Rahmen der Simulation eingenommene Soll-Position bewegt werden.The DE 102 00 534 A1 describes a method for collision-free movement of at least two mutually movable objects, in particular parts of a medical examination and / or treatment device, in which a three-dimensional simulation representation of the objects is displayed in its current, standing actual position on a monitor, the objects in the frame the simulation with respect to each other with continuous display of the simulation position to be moved to a desired simulation target position, after which the real objects are automatically moved to the previously assumed automatic determination of a collision-free movement path in the assumed position in the simulation target position.

Automatisierte Handhabungsgeräte, wie Mehrachs-Industrieroboter, im Folgendem auch kurz als Roboter bezeichnet, werden heutzutage auf vielfältigen Gebieten der Technik zum Handhaben und Bearbeiten von Objekten, wie Werkstücken, eingesetzt. Die erforderliche Programmierung der Roboter verlagert sich dabei immer mehr in die virtuelle Welt, wobei in zunehmendem Maße vollständige Prozessabläufe unter Verwendung von Roboterprogrammen und Positionslisten erzeugt werden. Die hierbei bestimmten Stellungsdaten des (virtuellen) Roboters sind jedoch im Allgemeinen in einer realen Anlage nicht zu gebrauchen, weil das dem Roboterprogramm zugrundeliegende Robotermodell aufgrund der konkreten Montage des Roboters und den physikalischen Gegebenheiten seiner kinematischen Kette (Spiel, Reibungsverluste, Montageungenauigkeiten usw.) nicht genau genug ist. Daher müssen in der Praxis oft sämtliche Positionen (Stellungen des Roboters) manuell korrigiert werden. Ein derartiger Korrekturvorgang ist sehr arbeits- und zeitaufwändig und erfordert für jede einzelne Position durchschnittlich einen Zeitaufwand im Minutenbereich, so dass sich bei gewöhnlichen Prozessaufgaben mit einer Vielzahl von Positionen leicht mehrere Mannstunden an manueller Arbeit ergeben.Automated handling devices, such as multi-axis industrial robots, hereinafter also referred to as robots for short, are now used in a variety of fields of technology for handling and manipulating objects such as workpieces. The required programming of the robots is shifting more and more into the virtual world, with increasingly complete process sequences being generated using robot programs and position lists. However, the positional data of the (virtual) robot determined in this case are generally not useful in a real plant, because the robot model underlying the robot program due to the actual assembly of the robot and the physical conditions of its kinematic chain (game, friction losses, assembly inaccuracies, etc.) not is accurate enough. Therefore, in practice often all positions (positions of the robot) have to be manually corrected. Such a correction process is very laborious and time consuming and requires on average for each individual position a time expenditure in the minute range, so that in ordinary process tasks with a variety of positions easily result in several man hours of manual labor.

Ausgehend von dieser Problematik liegt der Erfindung die Aufgabe zugrunde, die Roboterprogrammierung zu beschleunigen und dabei insbesondere Zeiten zwischen Programmierung und Ausführung des Programms zu verkürzen, indem eine Möglichkeit zur automatischen Positionsanpassung geschaffen wird.Based on this problem, the invention has the object to accelerate the robot programming and in particular to shorten times between programming and execution of the program by a possibility for automatic position adjustment is created.

Diese Aufgabe wird mittels eines Verfahrens zum Steuern eines Mehrachs-Industrieroboters gelöst, aufweisend einen Roboterarm und eine am Roboterarm befestigte Kamera zum Aufnehmen eines Bildes eines realen Objekts in einem den Mehrachs-Industrieroboter umfassenden Arbeitsbereichs, und ein Simulationssystem, welches aus einer virtuellen Stellung eines virtuellen Roboters, eines virtuellen Objekts und einer virtuellen Kamera in Abhängigkeit von Positionsdaten für eine Soll-Stellung des Roboters ein Bild des virtuellen Objekts erzeugt, wobei zunächst mittels einer Bildverarbeitungseinrichtung das Bild des virtuellen Objekts als ein erwartetes Bild des Objekts in dem Arbeitsbereich des Mehrachs-Industrieroboters mit dem Bild des realen Objekts verglichen wird, anschließend eine Stellungsabweichung des Mehrachs-Industrieroboters von dem virtuellen Roboter aus einem Unterschied zwischen dem Bild des virtuellen Objekts und dem Bild des realen Objekts mittels der als Vergleichseinrichtung arbeitenden Bildverarbeitungseinrichtung bestimmt wird und dann Bewegungen zur Minimierung der Stellungsabweichung durchgeführt werden.This object is achieved by a method of controlling a multi-axis industrial robot, comprising a robot arm and a camera mounted on the robot arm for taking an image of a real object in a work area comprising the multi-axis industrial robot, and a simulation system consisting of a virtual position of a virtual machine Robot, a virtual object and a virtual camera in response to position data for a desired position of the robot generates an image of the virtual object, wherein first by means of an image processing device, the image of the virtual object as an expected image of the object in the working area of the multi-axis industrial robot is compared with the image of the real object, then a positional deviation of the multi-axis industrial robot from the virtual robot from a difference between the image of the virtual object and the image of the real object by means of the as a comparison device operating image processing device is determined and then movements are carried out to minimize the position deviation.

Eine Vorrichtung zum Steuern eines Mehrachs-Industrieroboters weist zur Lösung der Aufgabe einen Roboterarm auf und eine am Roboterarm befestigte Kamera zum Bereitstellen eines Bildes eines realen Objekts in Abhängigkeit von einer realen Stellung des Mehrachs-Industrieroboters, ein Simulationssystem zum Bestimmen eines Bildes eines virtuellen Objekts als ein erwartetes Bild des Objekts in Abhängigkeit von einer vorgegebenen Stellung des Mehrachs-Industrieroboters, und eine als Vergleichseinrichtung für das reale Bild und das erwartete Bild arbeitende Bildverarbeitungseinrichtung zum Ermitteln einer Stellungsabweichung des Mehrachs-Industrieroboters, wobei ein Ausgangssignal der Vergleichseinrichtung zum Minimieren der Stellungsabweichung nutzbar ist, und die Vorrichtung zum Steuern des Mehrachs-Industrieroboters außerdem eingerichtet ist, ein erfindungsgemäßes Verfahren durchzuführen.An apparatus for controlling a multi-axis industrial robot has a robot arm for solving the task and a camera mounted on the robot arm for providing an image of a real object depending on a real position of the multi-axis industrial robot, a simulation system for determining an image of a virtual object an expected image of the object as a function of a predetermined position of the multi-axis industrial robot, and an image processing device for detecting a positional deviation of the multi-axis industrial robot which compares the real image and the expected image, wherein an output signal of the comparison device is used to minimize the positional deviation , and the apparatus for controlling the multi-axis industrial robot is also set up to carry out a method according to the invention.

Mit dem erfindungsgemäß möglichen Vergleich von Ist- und Sollbildern (realen bzw. erwarteten Bildern) können beispielsweise folgende Bereiche eine erhebliche Vereinfachung und Praktikabilitätssteigerung erfahren: An- und Abwesenheitskontrolle von Objekten, Erkennung von Relativlagen, wie Verschiebungen, Verdrehungen und Abständen, sowie Qualitätskontrolle.With the present invention possible comparison of actual and target images (real or expected images), for example, the following areas can undergo a considerable simplification and increase in practicality: presence and absence of objects, detection of relative positions, such as shifts, twists and distances, and quality control.

Um im Zuge des erfindungsgemäßen Verfahrens die Vorteile einer realitätsnahen Bilderzeugung moderner 3D-Robotersimulationssysteme zu nutzen, ist vorgesehen, dass das erwartete Bild in Abhängigkeit von einer Stellung des Handhabungsgeräts anhand eines Modells des Handhabungsgeräts virtuell bestimmt wird. Das reale Bild wird vorzugsweise von einer an dem Handhabungsgerät angeordneten Bildgebungseinheit geliefert. Auf diese Weise ist es möglich, Bilddaten virtueller/simulierter Kameras, d. h. Ansichten der virtuellen Welt mit denen realer Kameras zu vergleichen, um daraus (auf einfache Weise) Informationen bezüglich einer Stellungsabweichung des Handhabungsgeräts zu gewinnen.In order to use the advantages of realistic imaging of modern 3D robot simulation systems in the course of the method according to the invention, it is provided that the expected image is determined virtually in dependence on a position of the handling device on the basis of a model of the handling device. The real image is preferably provided by an imaging unit disposed on the manipulator. In this way it is possible to use image data from virtual / simulated cameras, i. H. Compare views of the virtual world with those of real cameras in order to obtain (in a simple way) information regarding a positional deviation of the handling device.

Eine äußerst bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens sieht vor, dass zur Minimierung der Stellungsabweichung eine Stellung des Handhabungsgeräts verändert wird. Alternativ oder zusätzlich hierzu kann zur Minimierung der Stellungsabweichung auch das Objekt und/oder ein Abbild des Objekts bewegt werden. Demgemäß liegt ein besonderer Gesichtspunkt des erfindungsgemäßen Verfahrens in dessen Anwendbarkeit innerhalb eines geschlossenen Kreises, d. h. innerhalb eines Steuerungsablaufs, bei dem sowohl die das erwartete Bild liefernde Bestimmungseinrichtung als auch die das reale Bild liefernde Bildgebungseinrichtung von einer Kinematik des Handhabungsgeräts mitgeführt werden und dabei iterativ der Vergleich von Ist- und Sollbild stattfindet, woraus eine neue Stellung der Bildgebungseinrichtung (entweder der virtuellen oder der realen) zur Minimierung des Bildunterschieds bzw. der Stellungsabweichung berechnet werden kann. Auf diese Weise ergibt sich ein geschlossener Kreis, der z. B. für die Realisierung neuer Verfahren zur automatischen Kalibrierung oder Ausrichtung, also einer Objekt-relativen Selbstjustage von Robotersystemen verwendet werden kann, so dass anschließend Objekte automatisch, ohne manuelle Positionskorrekturen richtig gegriffen und/oder bearbeitet werden können. Da sie aufgrund der hohen Bewegungsgenauigkeit moderner Industrieroboter erwartete und reale Bilder im Allgemeinen nicht sehr stark unterscheiden werden, können beim Vergleich der Bilder relativ einfache, an sich bekannte Verfahren, wie Korrelationsverfahren, zum Einsatz kommen, die gerade aus diesem Grund für einen Einsatz in einem geschlossenen erfindungsgemäßen Regelkreis prädestiniert sind.An extremely preferred development of the method according to the invention provides that a position of the manipulator is changed to minimize the positional deviation. Alternatively or additionally, the object and / or an image of the object can be moved to minimize the positional deviation. Accordingly, a particular aspect of the method according to the invention lies in its applicability within a closed circuit, i. H. within a control sequence in which both the expected image providing determining device and the real image providing imaging device are carried by a kinematics of the manipulator and iteratively takes place the comparison of actual and target image, resulting in a new position of the imaging device (either the virtual or the real one) to minimize the image difference or the positional deviation can be calculated. In this way, a closed circle, the z. B. for the implementation of new methods for automatic calibration or alignment, so an object-relative Selbstjustage of robot systems can be used so that subsequently objects can be gripped and / or edited automatically without manual position corrections. Since they are expected and the real images will not differ very much due to the high accuracy of movement of modern industrial robots, the comparison of the images relatively simple, known per se methods, such as correlation methods are used, just for this reason for use in a closed loop according to the invention are predestined.

Weiterhin kann im Zuge des erfindungsgemäßen Verfahrens vorgesehen sein, dass als Stellungsabweichung eine im wesentlichen exakte sechsdimensionale Stellungsdifferenz des Roboters ermittelt wird, so dass anschließend ein direktes Verfahren des Handhabungsgeräts um die Stellungsdifferenz möglich ist.Furthermore, it can be provided in the course of the method according to the invention that a substantially exact six-dimensional position difference of the robot is determined as a position deviation, so that subsequently a direct method of the manipulator is possible by the position difference.

Um während des Anfahrens einer Zielposition durch das Handhabungsgerät keine zeitlichen Nachteile in Kauf nehmen zu müssen, sieht eine äußerst bevorzugte optionale Ausgestaltung des erfindungsgemäßen Verfahrens vor, dass die Minimierung der Stellungsabweichung im Wesentlichen in Echtzeit während einer übergeordneten Bewegung des Handhabungsgeräts erfolgt. Entsprechend ist bei einer erfindungsgemäßen Vorrichtung durch das Ausgangssignal eine Bewegung des Handhabungsgeräts und/oder des Objekts in Echtzeit beeinflussbar. Alternativ oder zusätzlich hierzu ist es auch möglich, die Minimierung der Stellungsabweichung durch Anpassen zumindest des zugrundeliegenden Modells des Handhabungsgeräts – also dauerhaft – vorzunehmen. Entsprechend kann alternativ und/oder zusätzlich das Modell zumindest des Handhabungsgeräts sowie ggf. einer dieses umfassenden Anlage durch das Ausgangssignal nachhaltig so angepasst werden, dass aufgrund der entsprechenden Modifikation der Modelldaten die Hardware der erfindungsgemäßen Vorrichtung anschließend zur weiteren Verwendung mit anderen Handhabungsgeräten und Arbeitsbereichen (Arbeitszellen) zur Verfügung steht.In order to avoid any disadvantages in terms of time during the start-up of a target position by the handling device, an extremely preferred optional embodiment of the method according to the invention provides that the minimization of the position deviation takes place substantially in real time during a higher-level movement of the handling device. Accordingly, in a device according to the invention by the output signal, a movement of the manipulator and / or the object in real time can be influenced. Alternatively or additionally, it is also possible to minimize the positional deviation by adjusting at least the underlying model of the handling device - ie permanently - make. Accordingly, alternatively and / or additionally, the model of at least the handling device and possibly a system comprising this can be sustainably adjusted by the output signal such that the hardware of the device according to the invention can then be used for further use with other handling devices and work areas (work cells) due to the corresponding modification of the model data ) is available.

Im Rahmen konkreter Ausgestaltungen der erfindungsgemäßen Vorrichtung ist vorgesehen, dass die Bildgebungseinrichtung eine an dem Handhabungsgerät angeordnete Kamera und dass die Bestimmungseinrichtung zum virtuellen Bestimmen des erwarteten Bildes anhand eines Modells zumindest des Handhabungsgeräts und ggf. des dieses umfassenden Arbeitsbereichs (Arbeitszelle) ausgebildet ist.In the context of concrete embodiments of the device according to the invention, it is provided that the imaging device is a camera arranged on the handling device and that the determination device for the virtual determination of the expected image is formed on the basis of a model of at least the handling device and, if applicable, the work area comprising this (work cell).

Um eine möglichst einfache, flexible, kostengünstige und integrierte Ausgestaltung der erfindungsgemäßen Vorrichtung zu erreichen, sieht eine weitere Ausgestaltung der erfindungsgemäßen Vorrichtung vor, dass eine Steuerungseinrichtung des Handhabungsgeräts programmtechnisch zugleich als Vergleichseinrichtung und als Bestimmungseinrichtung ausgebildet ist.In order to achieve a simple, flexible, cost-effective and integrated embodiment of the device according to the invention, a further embodiment of the device according to the invention provides that a control device of the handling device is designed programmatically as a comparison device and as a determination device.

Weitere Eigenschaften und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen anhand der Zeichnungen. Es zeigt:Further features and advantages of the invention will become apparent from the following description of exemplary embodiments with reference to the drawings. It shows:

1 eine schematische Gesamtdarstellung der erfindungsgemäßen Vorrichtung; 1 a schematic overall view of the device according to the invention;

2 eine schematische Darstellung zu erwartender Bildunterschiede zwischen erwartetem und realem Bild; 2 a schematic representation of expected image differences between expected and real image;

3 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens; 3 a flow diagram of the method according to the invention;

4 einen schematisierten Programmablauf zur Einbindung des erfindungsgemäßen Verfahrens in ein Bewegungsprogramm eines Roboters; 4 a schematic program flow for the integration of the method according to the invention in a movement program of a robot;

5 eine schematische Aufsicht auf eine Roboterzelle, in der das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung zum Einsatz kommt; und 5 a schematic plan view of a robot cell in which the inventive method and the device according to the invention is used; and

6 eine schematische Darstellung einer Weiterbildung der im Rahmen des erfindungsgemäßen Verfahrens stattfindenden Positions- und Orientierungsbestimmung; 6 a schematic representation of a development of taking place in the context of the method according to the invention position and orientation determination;

Die 1 zeigt anhand eines Ausführungsbeispiels eine technische Realisierung einer erfindungsgemäßen Vorrichtung 1. Hierbei sind sämtliche erforderliche Komponenten der Vorrichtung als einzelne, getrennte Frunktionseinheiten dargestellt; auf eine Darstellung einer in der Praxis erstrebenswerten Integration der verschiedenen Teilsysteme wurde lediglich aus Gründen der Übersichtlichkeit verzichtet.The 1 shows an exemplary embodiment of a technical realization of a device according to the invention 1 , Here, all required components of the device are shown as a single, separate frictional units; a representation of a desirable in practice integration of the various subsystems was omitted only for reasons of clarity.

Die erfindungsgemäße Vorrichtung 1 weist gemäß der 1 ein Handhabungsgerät in Form eines Mehrachs-Industrieroboters 2 mit Arbeitsbereich A auf. Der Roboter 2 besitzt einen (realen) Roboterarm 2.1, an dessen distalem Ende 2.1a ein Roboterwerkzeug 2.2, wie ein Schneidwerkzeug, Greifwerkzeug oder dergleichen, und eine Bildgebungseinrichtung in Form einer (realen) Kamera 2.3 angeordnet sind. Im Arbeitsbereich A des Roboters 2, in der Nähe des Roboterwerkzeugs 2.2, befindet sich ein Objekt 3, beispielsweise ein Werkstück, das mittels eines geeigneten Fördermittels 4, wie eines Bandförderers, relativ zu dem Roboter 2 bzw. dessen Werkzeug 2.2 beweglich ist. Die Kamera 2.3 ist derart am Roboterarm 2.1 befestigt, dass mit ihrer Hilfe ein reales Bild des Objekts 3 aufgenommen werden kann, was in der 1 durch den schraffierten Bereich B ausgedrückt ist.The device according to the invention 1 according to the 1 a handling device in the form of a multi-axis industrial robot 2 with workspace A on. The robot 2 has a (real) robot arm 2.1 , at its distal end 2.1a a robot tool 2.2 such as a cutting tool, gripping tool or the like, and an imaging device in the form of a (real) camera 2.3 are arranged. In workspace A of the robot 2 , near the robot tool 2.2 , there is an object 3 , For example, a workpiece by means of a suitable conveyor 4 , like a belt conveyor, relative to the robot 2 or its tool 2.2 is mobile. The camera 2.3 is like that on the robot arm 2.1 attached that with their help a real picture of the object 3 What can be included in the 1 is expressed by the hatched area B.

Dargestellt ist in 1 weiterhin ein 3D-Simulationssystem 5 in Form einer Rechnereinheit zum Erzeugen eines virtuellen Abbildes V des realen Roboters 2 mitsamt den weiteren in seinem Arbeitsbereich A befindlichen Gegenständen und Einrichtungen, wie dem Werkzeug 2.2 der Kamera 2.3, dem Objekt 3 und dem Fördermittel 4, zu erzeugen. Das virtuelle Abbild V ist in der 1 zwecks Veranschaulichung des Erfindungsgegenstandes auf einer mit dem Simulationssystem 5 verbundenen Anzeigeeinheit 6 dargestellt.Is shown in 1 continue a 3D simulation system 5 in the form of a computer unit for generating a virtual image V of the real robot 2 together with the other located in his work area A objects and facilities, such as the tool 2.2 the camera 2.3 , the object 3 and the funding 4 , to create. The virtual image V is in the 1 for the purpose of illustrating the subject invention on a with the simulation system 5 connected display unit 6 shown.

Das virtuelle Abbild V umfasst entsprechend der Realität einen virtuellen Roboter 2'' mit virtuellem Roboterarm 2.1', ein virtuelles Werkzeug 2.2', eine virtuelle Kamera 2.3', ein virtuelles Objekt 3' sowie ein virtuelles Fördermittel 4'. Gezeigt sind weiterhin eine Steuerungseinrichtung 7 für den Roboter 2 sowie eine Vergleichseinrichtung 8 in Form einer Bildverarbeitungseinrichtung. Die Steuerungseinrichtung 7 ist über Leitungen 7.1, 7.2, 7.3 mit dem Roboter 2, dem Simulationssystem 5 bzw. der Bildverarbeitungseinrichtung 8 verbunden. Von Letzterer führen weitere Leitungen 8.1, 8.2 zu der realen Kamera 2.3 bzw. der virtuellen Kamera 2.3', wobei die Leitung 8.2 als rein virtuelle Verbindung in 1 lediglich zu Anschauungszwecken konkret dargestellt ist, während in der technischen Realisierung der erfindungsgemäßen Vorrichtung entsprechende Daten der virtuellen Kamera 2.3' in dem Simulationssystem 5 erzeugt und entsprechend über die Leitungen 7.2, 7.3 an die Bildverarbeitungseinrichtung 8 geliefert werden. Entsprechend lässt sich das Simulationssystem 5 zusammen mit der virtuellen Kamera 2.3' und der (virtuellen) Leitung 8.2 als Bestimmungseinrichtung für virtuelle Stellungen bzw. aus derartigen Stellungen des virtuellen Roboters 2' aufgenommenen Bilder verstehen.The virtual image V comprises a virtual robot according to reality 2 '' with virtual robotic arm 2.1 ', a virtual tool 2.2 ' , a virtual camera 2.3 ', a virtual object 3 ' as well as a virtual grant 4 ' , Also shown are a control device 7 for the robot 2 and a comparator 8th in the form of an image processing device. The control device 7 is via lines 7.1 . 7.2 . 7.3 with the robot 2 , the simulation system 5 or the image processing device 8th connected. From the latter lead more lines 8.1 . 8.2 to the real camera 2.3 or the virtual camera 2.3 ', where the line 8.2 as a purely virtual connection in 1 is shown concretely only for illustrative purposes, while in the technical realization of the device according to the invention corresponding data of the virtual camera 2.3 'in the simulation system 5 generated and accordingly over the lines 7.2 . 7.3 to the image processing device 8th to be delivered. Accordingly, the simulation system can be 5 together with the virtual camera 2.3 'and the (virtual) line 8.2 as a determination device for virtual positions or from such positions of the virtual robot 2 ' understand captured pictures.

Die Bildverarbeitungseinrichtung 8 empfängt somit zum einen über die Leitung 8.1 die (realen) Bilddaten der Kamera 2.3, die gemäß der Darstellung der 1 ein reales Bild des Objekts 3 in Abhängigkeit von einer Stellung des Roboters 2 beinhalten. Zugleich empfängt die Bildverarbeitungseinrichtung 8 über die gedachte Leitung 8.2 Bilddaten der virtuellen (simulierten) Kamera 2.3', die durch das Simulationssystem 5 in Abhängigkeit von Positionsdaten für eine Sollstellung (Solldaten) des Roboters 2 erzeugt werden. Diese Solldaten werden von der Steuerungseinheit 7 über die Leitungen 7.1, 7.2 zugleich an den Roboter 2 selbst sowie an das Simulationssystem 5 geliefert. Entsprechend der Solldaten verfährt der Roboter 2, beispielsweise mit der Spitze des Werkzeugs 2.2 (TCP: Tool Center Point), in eine vorbestimmte Stellung, was ihm jedoch aufgrund unvermeidlicher physikalischer Ungenauigkeiten seines Bewegungsablaufs (bedingt durch Fertigungstoleranzen, Reibungseffekte oder dergleichen) nur unvollkommen gelingt. Zugleich erzeugt das Simulationssystem 5 anhand derselben Solldaten und ausgehend von einem in dem Simulationssystem gespeicherten Robotermodell in der virtuellen Welt V dieselbe Sollstellung bei dem virtuellen Roboter 2' und bestimmt die zugeordneten zu erwartenden Bilddaten aus Sicht der virtuellen Kamera 2.3'.The image processing device 8th thus receives on the one hand via the line 8.1 the (real) image data of the camera 2.3 , which, according to the presentation of the 1 a real picture of the object 3 depending on a position of the robot 2 include. At the same time, the image processing device receives 8th about the imaginary line 8.2 Image data of the virtual (simulated) camera 2.3 'by the simulation system 5 depending on position data for a nominal position (nominal data) of the robot 2 be generated. These target data are from the control unit 7 over the wires 7.1 . 7.2 at the same time to the robot 2 itself as well as to the simulation system 5 delivered. The robot moves according to the target data 2 For example, with the tip of the tool 2.2 (TCP: Tool Center Point), in a predetermined position, but what he succeeds only imperfectly due to unavoidable physical inaccuracies of his movement (due to manufacturing tolerances, friction effects or the like). At the same time, the simulation system generates 5 on the basis of the same desired data and based on a robot model stored in the simulation system in the virtual world V the same reference position in the virtual robot 2 ' and determines the associated expected image data from the perspective of the virtual camera 2.3 '.

Die Kamera 2.3 am Ende der kinematischen Kette des Roboters 2 nimmt ein reales Bild im Arbeitsbereich A des Roboters 2 auf, das – wie vorstehend erwähnt – zur Bildverarbeitungseinrichtung 8 weitergeleitet wird. Idealerweise wird der Bildinhalt dieses realen Bildes von einem relevanten Objekt 3 im Vordergrund beherrscht und nicht von der weiteren Umgebung des Arbeitsbereiches A. Vorteilhaft ist es weiterhin, kontrast- bzw. kantenreiche Regionen zu beobachten. Die konkrete Struktur der in der 1 gezeigten erfindungsgemäßen Vorrichtung sorgt durch die Verbindung 7.2 dafür, dass die Stellung des realen Roboters 2 hinsichtlich der verwendeten Steuerungsdaten (Positionsdaten) mit derjenigen innerhalb des 3D-Simulationssystems 5 identisch ist. Hierbei ist es alternativ zu den vorstehend gemachten Aussagen auch möglich, dass die Sollstellung ursprünglich von dem Simulationssystem 5 und nicht von der Robotersteuerung 7 generiert wird. Auf diese Weise stehen der simulierte virtuelle Roboter 2' und die virtuelle Kamera 2.3' bei einer dem realen Roboter 2 und der Kamera 2.3 entsprechenden Ideal-Stellung. Dementsprechend erzeugt die virtuelle Kamera 2.3' in der virtuellen Welt V ein Bild, auf dem der Roboter 2' die Sollstellung in idealer Weise korrekt anfährt bzw. angefahren hat. Dieses (virtuelle) Bild wird – wie vorstehend bereits erläutert – ebenfalls zur Bildverarbeitungseinrichtung 8 übertragen.The camera 2.3 at the end of the kinematic chain of the robot 2 takes a real picture in the Workspace A of the robot 2 which, as mentioned above, the image processing device 8th is forwarded. Ideally, the image content of this real image becomes a relevant object 3 dominated in the foreground and not from the wider environment of the work area A. It is also advantageous to observe contrasting or edge-rich regions. The concrete structure of the in the 1 shown device of the invention provides by the connection 7.2 for being the position of the real robot 2 in terms of the control data (position data) used with that within the 3D simulation system 5 is identical. In this case, as an alternative to the statements made above, it is also possible for the nominal position to be originally derived from the simulation system 5 and not from the robot controller 7 is generated. This is how the simulated virtual robot stands 2 ' and the virtual camera 2.3 'at a the real robot 2 and the camera 2.3 corresponding ideal position. Accordingly, the virtual camera generates 2.3 'in the virtual world V a picture on which the robot 2 ' the target position has approached or approached in an ideal manner. As already explained above, this (virtual) image also becomes the image processing device 8th transfer.

Erfindungsgemäß lassen sich mittels des 3D-Simulationssystems 5, z. B. einem Roboter-Simulationssystem, hochqualitative, virtuelle Ansichten mittels ”virtueller Kameraobjekte” innerhalb einer dynamischen, realitätsnahen Simulation erzeugen. Dabei wird insbesondere auf den Beleuchtungsverhältnissen die in einer realen Anlage vorliegende Rechnung getragen, indem innerhalb der virtuellen Welt entsprechend virtuelle Lichtquellen angeordnet werden, mittels derer die Lichtverhältnisse auf dem simulierten Objekt 3' realitätsnah nachempfunden werden.According to the invention can be by means of the 3D simulation system 5 , z. As a robot simulation system, high-quality, virtual views using "virtual camera objects" within a dynamic, realistic simulation generate. In this case, in particular on the lighting conditions, the bill present in a real system is borne by correspondingly arranged virtual light sources within the virtual world, by means of which the lighting conditions on the simulated object 3 ' be modeled realistically.

Die virtuellen Kamerabilder liefern daher ein Echtzeit-Bild aus der simulierten Welt V und stellen auf diese Weise Sollzustände bzw. die entsprechenden erwarteten Bilder dar, die anschließend in einem zweiten Schritt in, der Vergleichseinrichtung 8 mit Bilddaten der realen Kamera 2.3 verglichen werden können. Die gute Qualität der errechneten Bilder und die gleichzeitige Modellierbarkeit beispielsweise von Kameraverzerrungen ermöglicht auf diese Weise ein einfaches Korrelieren der realen und der erwarteten (virtuellen) Bilder. Somit ist die als Vergleichseinrichtung arbeitende Bildverarbeitungseinrichtung 8 in der Lage, mittels Korrelationsverfahren Ausgangssignale zu erzeugen, die sich aus einer Stellungsabweichung des realen Roboters 2 gegenüber zu einem virtuellen Abbild 2' ergeben und die über die Leitung 7.3 der Steuerungseinrichtung 7 zuführbar und dort entsprechend zu einer Stellungskorrektur des Roboters 2 nutzbar sind. Das Ergebnis der Bildverarbeitung ist im Idealfall direkt eine exakte mehrdimensionale Stellungsabweichung PD des realen Roboters 2, vorzugsweise eine sechsdimensionale Abweichung im Falle eines Sechsachs-Industrieroboters. Die Stellungsabweichung PD kann erfindungsgemäß auf verschiedene Weisen verwendet werden, um die Unterschiede zwischen realen und virtuellen Bilddaten und darüber letztendlich die Stellungsabweichung PD selbst zu minimieren:

1. Bewegen des Roboters 2 um PD;
2. Verschieben des virtuellen Objekts 3' um PD;
3. Verschieben des realen Objekts 3 um PD^–1.

The virtual camera images therefore provide a real-time image from the simulated world V and in this way represent desired states or the corresponding expected images, which are subsequently displayed in a second step in the comparison device 8th with image data of the real camera 2.3 can be compared. The good quality of the calculated images and the simultaneous modeling of, for example, camera distortions in this way allows a simple correlation of the real and the expected (virtual) images. Thus, the image processing device operating as the comparison device is 8th able to generate by means of correlation method output signals resulting from a positional deviation of the real robot 2 opposite to a virtual image 2 ' give and over the line 7.3 the control device 7 be fed and there according to a position correction of the robot 2 are usable. Ideally, the result of the image processing is an exact multidimensional positional deviation PD of the real robot 2 , preferably a six-dimensional deviation in the case of a six-axis industrial robot. The positional deviation PD can be used according to the invention in various ways in order to minimize the differences between real and virtual image data and ultimately the positional deviation PD itself:

1. Move the robot 2 around PD;
2. Move the virtual object 3 ' around PD;
3. Move the real object 3 around PD ^-1 .

Im Falle eines Bewegens des realen Roboters 2 kann eine gewünschte Position bezüglich des Objekts 3 einmalig richtig angefahren werden, wobei jedoch der entsprechende Korrekturvorgang bei jeder neuen Position erneut ausgeführt werden muss. Im Falle eines Bewegens eines realen Objekts 3 wird dessen Zuführung so verändert, dass es stets in einer der Simulation entsprechenden Lage im Arbeitsbereich A des Roboters 2 ankommt; es handelt sich hierbei also um eine nachhaltige Veränderung, durch die Stellungsabweichungen in der Zukunft auch ohne erneute Anwendung des erfindungsgemäßen Verfahrens vernachlässigbar klein werden. Umgekehrt lässt sich auch die Lage des virtuellen simulierten Objekts derart verändern, dass es stets in einer der Realität entsprechenden Lage vorliegt; auch hierbei handelt es sich um eine nachhaltige Veränderung. Entsprechend gilt für zukünftige Stellungsabweichungen das vorstehend Gesagte.In case of moving the real robot 2 can be a desired position relative to the object 3 be properly approached once, but the corresponding correction process must be re-executed at each new position. In case of moving a real object 3 its supply is changed so that it always in a simulation corresponding position in the working area A of the robot 2 arrives; This is therefore a sustainable change, by the positional deviations in the future even without re-application of the method according to the invention are negligibly small. Conversely, the position of the virtual simulated object can also be changed in such a way that it always exists in a position corresponding to reality; Again, this is a sustainable change. Accordingly, the above applies to future positional deviations.

Aufgrund der Tatsache, dass es in den beiden letztgenannten Fällen zu einer nachhaltigen Veränderung der gemäß der 1 in dem Simulationssystem 5 gespeicherten Modelldaten des Roboters 2 selbst sowie dessen Arbeitsbereichs A (Arbeitszelle) kommt, ergibt sich der Vorteil, dass Teile der in 1 gezeigten Hardware, wie die Vergleichseinrichtung 8 und das Simulationssytem 5 – die, wie gesagt, auch zusammen mit der Steuerungseinrichtung 7 integriert und insbesondere als in Letzterer ablaufende Programme ausgebildet sein können – nach einmaliger Durchführung des erfindungsgemäßen Verfahrens wieder verfügbar und entsprechend an anderen Robotern einsetzbar sind.Due to the fact that in the latter two cases, a sustainable change in 1 in the simulation system 5 stored model data of the robot 2 itself and its working area A (work cell) comes, there is the advantage that parts of in 1 shown hardware, such as the comparison device 8th and the simulation system 5 - Which, as I said, together with the controller 7 integrated and in particular can be designed as running in the latter programs - after a single implementation of the method according to the invention again available and can be used according to other robots.

Die 2 stellt schematisch, jedoch deutlich überzeichnet, die zu erwartenden Bildunterschiede zwischen dem Bild 9 der realen Kamera 2.3 und dem Bild 9' der simulierten Kamera 2.3' an einem einfachen Beispiel dar. In der Praxis besitzen Orientierungsunterschiede – in der 2 anhand eines Verdrehens des realen Bilds 9 aus der Zeichenebene heraus – gegenüber translatorischen Verrückungen eine kleinere Relevanz, was die Bildverarbeitung in der Vergleichseinrichtung 8 (1) entlastet, so dass hier schnellere Verfahren zum Einsatz kommen können.The 2 represents schematically, but clearly oversubscribed, the expected image differences between the image 9 the real camera 2.3 and the picture 9 ' the simulated camera 2.3 In a simple example. In practice, orientation differences - in the 2 by twisting the real picture 9 From the drawing level - compared to translational displacements a smaller relevance, what the image processing in the comparator 8th ( 1 ), so that faster procedures can be used here.

Die 3 zeigt anhand eines Ablaufdiagramms detailliert den Ablauf des erfindungsgemäßen Verfahrens zum Steuern eines Handhabungsgeräts, wie es insbesondere bei Verwendung einer erfindungsgemäßen Vorrichtung gemäß der 1 durchführbar ist. Zunächst werden in Schritt S1 und Schritt S2 ein virtuelles Bild bzw. ein reales Bild durch die Kamera 2.3' bzw. 2.3 (1) bereitgestellt. Anschließend erfolgt in Schritt S3 ein Bildvergleich, insbesondere in der Vergleichseinrichtung 8 der 1, dessen Ergebnis die Stellungsabweichung PD ist. Anhand einer konkreten Beschaffenheit von PD erfolgt in Schritt S4 die Abfrage, ob die ermittelte Stellungsabweichung klein genug ist. Ist dies der Fall (j), so wird das erfindungsgemäße Verfahren, das sich auch als Kalibriervorgang bezeichnen lässt, in Schritt S5 beendet. Anderenfalls (n), d. h. im Falle einer zu großen Abweichung erfolgt in Schritt S6 eine weitere Abfrage, auf welche der drei vorstehend angesprochenen Arten eine Minimierung der Stellungsabweichung PD erfolgen soll. Im Falle einer ersten Alternative (1) wird in Schritt S7 eine Stellung des Roboters angepasst, indem die aktuelle Position der realen Kamera 2.3 (1) um PD verändert wird. Im Zuge einer zweiten Alternative (2) wird zunächst aus PD eine inverse Abweichung PD^–1 bestimmt (Schritt S8; z. B. durch Matrix-Inversion) und danach die Lage des realen Objektes 3 (1) um PD^–1 verschoben (Schritt S9). Als dritte Alternative (3) kann das virtuelle Objekt 3' (1) um PD verschoben werden (Schritt S10). In den Fällen der Alternativen (1) und (2) wird nach erfolgtem Verschieben in Schritt S2 erneut ein reales Bild durch die Kamera 2.3 (1) aufgenommen und in Schritt S3 ein erneuter Bildvergleich mit dem virtuellen Bild vorgenommen. Entsprechendes gilt im Falle der Alternative (3) für das virtuelle Bild. Anschließend wird der Verfahrensablauf mit der Abfrage in Schritt S4 so lange iterativ wiederholt, bis die Abfrage S4 bejaht wird (j), d. h. bis eine hinreichend kleine Stellungsabweichung PD für den realen Roboter 2 (1) erreicht ist. Mit anderen Worten: Aus den in den Schritten S7, S9 und/oder S10 durchgeführten Verschiebungen ergeben sich Stellungs- und dadurch bedingt Bildänderungen, die zu einer verbesserten Übereinstimmung von virtuellem und realem Bild führen. Der Vorgang wird so lange wiederholt, bis die Bildunterschiede hinreichend klein sind oder sich nicht mehr substantiell verbessern. The 3 shows with reference to a flowchart in detail the flow of the inventive method for controlling a handling device, as in particular when using a device according to the invention according to the 1 is feasible. First, in step S1 and step S2, a virtual image and a real image, respectively, are taken by the camera 2.3 ' respectively. 2.3 ( 1 ) provided. Subsequently, an image comparison takes place in step S3, in particular in the comparison device 8th of the 1 whose result is the positional deviation PD. Based on a concrete nature of PD is in step S4, the query whether the determined position deviation is small enough. If this is the case (j), then the method according to the invention, which can also be referred to as a calibration process, is ended in step S5. Otherwise (n), ie in the case of too great a deviation in step S6, a further query, to which of the three types mentioned above a minimization of the position deviation PD should be made. In the case of a first alternative (1), in step S7 a position of the robot is adjusted by the current position of the real camera 2.3 ( 1 ) is changed by PD. In the course of a second alternative (2), an inverse deviation PD ^-1 is first determined from PD (step S 8, eg by matrix inversion) and then the position of the real object 3 ( 1 ) is shifted by PD ^-1 (step S9). As a third alternative (3), the virtual object 3 ' ( 1 ) are shifted by PD (step S10). In the cases of alternatives (1) and (2), after a successful shift in step S2, a real image is again taken by the camera 2.3 ( 1 ) and, in step S3, a new image comparison with the virtual image is made. The same applies in the case of the alternative (3) for the virtual image. Subsequently, the method sequence with the query in step S4 is repeated iteratively until the query S4 is answered in the affirmative (j), ie until a sufficiently small positional deviation PD for the real robot 2 ( 1 ) is reached. In other words, the shifts carried out in steps S 7, S 9 and / or S 10 result in position changes and thus in image changes, which lead to an improved match between the virtual and the real image. The process is repeated until the image differences are sufficiently small or no longer substantially improve.

Die 4 stellt einen schematisierten Programmablauf dar, mit dem eine einfache Möglichkeit der Einbindung des erfindungsgemäßen Verfahrens in ein Bewegungsprogramm 10 für den Roboter 2, wie es beispielsweise in der in 1 gezeigten Steuerungseinrichtung 7 abläuft, gezeigt werden soll. Dabei führt der Roboter aufgrund der Anweisungen des Bewegungsprogramms 10 eine bezüglich der erfindungsgemäßer Stellungskorrektur übergeordnete Bewegung, wie zum Ergreifen eines Werkstücks, aus. Während der in 3 als ”calibrate” bezeichneten Anweisung (fett gesetzt), wird das vorstehend anhand der 4 erläuterte erfindungsgemäße Verfahren ausgeführt. Danach ist der Roboter relativ zum Objekt genau ausgerichtet, und die Funktion ”calibrate” liefert als Ausgabe die ermittelte Positionsdifferenz PD bezüglich der ursprünglich geplanten Position in Weltkoordinaten. Dabei werden anschließende Bewegungen des Roboters (”move”) mittels einer homogenen Transformation (Operator ”@”) um PD verschoben. Wird das erfindungsgemäße Verfahren nur einmal zur Justage, wie vorstehend anhand einer Anpassung von Modellparametern-beschrieben, eingesetzt, so wird der vorstehend beschriebene Vorgang nicht innerhalb des Programmablaufs des Bewegungsprogramms 10, sondern offline durchgeführt. Dabei handelt es sich um einen gesonderten Offline-Prozess, bei dem die relevanten Parameter angepasst werden, die anschließend im Programmablauf analog der 4 Verwendung finden.The 4 represents a schematic program flow, with a simple way of integrating the method according to the invention in a movement program 10 for the robot 2 as it is for example in the in 1 shown control device 7 expires, should be shown. The robot guides on the basis of the instructions of the movement program 10 a with respect to the inventive position correction superordinate movement, such as for gripping a workpiece from. While in 3 As a "calibrate" designated statement (bold), the above is based on the 4 explained inventive method executed. Thereafter, the robot is accurately aligned relative to the object, and the function "calibrate" provides as output the detected position difference PD with respect to the originally planned position in world coordinates. In the process, subsequent movements of the robot ("move") are shifted by PD by means of a homogeneous transformation (operator "@"). If the method according to the invention is used only once for adjustment, as described above on the basis of an adaptation of model parameters, the above-described procedure does not become part of the program sequence of the movement program 10 but performed offline. This is a separate offline process in which the relevant parameters are adjusted, which then in the program flow analogous to the 4 Find use.

Die 5 zeigt eine schematische Aufsicht auf einen Arbeitsbereich A des Roboters 2 und beschreibt eine weitere erfindungsgemäße Vorrichtung 1', deren Ausgestaltung im Wesentlichen derjenigen der 1 entspricht. Dementsprechend sind für entsprechende Zeichnungselemente dieselben Bezugszeichen verwendet worden. Die Darstellung der Verbindung 8.2 zwischen Simulationssystem 5 und Vergleichseinrichtung 8 als gestrichelte Linie soll den bereits vorstehend anhand der 1 beschriebenen virtuellen Charakter dieser Verbindung verdeutlichen.The 5 shows a schematic plan view of a working area A of the robot 2 and describes another device according to the invention 1' whose design is essentially that of 1 equivalent. Accordingly, the same reference numerals have been used for corresponding drawing elements. The representation of the connection 8.2 between simulation system 5 and comparator 8th as a dashed line is already the above with reference to the 1 clarify the described virtual character of this connection.

Zusätzlich zu der bereits anhand der 1 detailliert beschriebenen, am distalen Ende 2.1 des Roboters 2 montierten Kamera 2.3 weist die erfindungsgemäße Vorrichtung 1' gemäß der 5 zusätzlich statisch montierte Bildgebungseinrichtungen 11, 11 in Form von Kameras auf, die ebenso wie die Kamera 2.3 über eine Leitung 8.1 mit der Vergleichseinrichtung 8 verbunden sind. Eine der beiden in der 5 gezeigten statisch montierten Kameras 11, 11' ist oberhalb des Fördermittels 4 an einer Halteeinrichtung 12 in Form eines Portalrahmens montiert, während die andere statische Kamera seitlich des Fördermittels 4 angeordnet ist, beispielsweise an einem Pfosten.In addition to the already using the 1 described in detail, at the distal end 2.1 of the robot 2 mounted camera 2.3 has the device according to the invention 1' according to the 5 additionally statically mounted imaging devices 11 . 11 in the form of cameras, as well as the camera 2.3 over a line 8.1 with the comparison device 8th are connected. One of the two in the 5 shown statically mounted cameras 11 . 11 ' is above the conveyor 4 on a holding device 12 mounted in the form of a portal frame, while the other static camera is mounted laterally of the conveyor 4 is arranged, for example, on a post.

Die statisch montierten Kameras 11, 11' nehmen die Objekte 3 dabei nur aus einer konstanten Distanz auf. Die so gewonnen realen Bilder können ergänzend zu dem bereits erläuterten erfindungsgemäßen Verfahren mit in der Vergleichseinrichtung 8 abgelegten erlernten Mustern verglichen werden. Dagegen werden die von der Kamera 2.3 am Roboter 2 gelieferten Bilder mit Ansichten verglichen, die – wie vorstehend anhand der 1 erläutert – aus einer Simulation stammen, wodurch sich der Roboter 2 relativ zu den Objekten 3 passend ausrichten kann. Der ebenfalls vorstehende erläuterte iterative Prozess, der jeweils zum Einsatz kommt, führt zu einer optimalen Übereinstimmung zwischen virtuellem und realem Bild, so dass die relative Stellung des Roboters 2 einer durch eine Offline-Programmierung vorgegebenen Stellung bestmöglich entspricht.The statically mounted cameras 11 . 11 ' take the objects 3 only from a constant distance. The real images obtained in this way can be used in addition to the already explained method according to the invention in the comparison device 8th stored learned patterns. In contrast, those of the camera 2.3 on the robot 2 images compared with views, which - as above based on the 1 explained - come from a simulation, causing the robot 2 relative to the objects 3 can align properly. The also explained above iterative Process, which is used in each case, leads to an optimal match between virtual and real image, so that the relative position of the robot 2 corresponds to a predetermined by an offline programming position as possible.

Das erfindungsgemäße Verfahren zum Steuern eines Handhabungsgeräts verbunden mit einer Minimierung ermittelter Stellungsabweichungen kann auch gemeinsam mit Triangulationsverfahren zur Abstandsbestimmung angewendet werden, mit deren Hilfe sich die Auflösung einer Abstandsbestimmung verbessern lässt. Erfindungsgemäß wird hierbei die ohnehin vorhandene Kamera 2.3, 11, 11' zur Aufnahme des Objekts 3 verwendet, wobei das Objekt 3 mit einem Laserpunkt oder mit strukturiertem Licht beleuchtet wird. Die somit erreichbare verbesserte Abstandsauflösung wird in Schritt S3 der 3 zur genauen Bestimmung der Stellungsabweichung PD benutzt und so in das erfindungsgemäße Verfahren eingebunden. Die 6 stellt schematisch eine solche Entfernungsmessung unter Verwendung von strukturiertem Licht, hier mit einem Linienmuster L, L', dar. Zu diesem Zweck weist eine erfindungsgemäße Vorrichtung 1, 1' zusätzlich eine Lichtquelle 13 auf, die zum Aussenden geeignet strukturiertem Lichts ausgebildet ist und mit deren Hilfe das Objekt 3 bzw. dessen Oberfläche 3a beleuchtet wird. Die Kamera 2.3, 11, 11' ist dabei abseits einer optischen Achse O der Lichtquelle 13 angeordnet.The method according to the invention for controlling a handling device associated with a minimization of determined positional deviations can also be used together with triangulation methods for distance determination with the aid of which the resolution of a distance determination can be improved. According to the invention here is the already existing camera 2.3 . 11 . 11 ' for receiving the object 3 used, where the object 3 illuminated with a laser spot or with structured light. The thus achieved improved distance resolution is in step S3 of 3 used for accurate determination of the position deviation PD and so involved in the inventive method. The 6 schematically illustrates such a distance measurement using structured light, here with a line pattern L, L '. For this purpose, a device according to the invention 1 . 1' in addition a light source 13 on, which is designed to send out structured light and with the help of which the object 3 or its surface 3a is illuminated. The camera 2.3 . 11 . 11 ' is away from an optical axis O of the light source 13 arranged.

Aufgrund der Tatsache, dass die Kamera 2.3, 11, 11' nicht auf der optischen Achse O der Lichtquelle 13 liegt, ergibt sich je nach Betrachtungswinkel α ein Linienmuster L, L' auf dem Objekt 3, aus dem sich in an sich bekannter Weise eine Entfernung und ein Höhenprofil des Objekts 3 bestimmen lässt. Das vorstehend skizzierte Messverfahren kann in die beispielsweise anhand der 3 beschriebene geschlossene erfindungsgemäße Steuerungsschleife eingebunden werden, um so eine ideale Ausrichtung von Roboter 2 und Objekt 3 zu erreichen. Vorteilhafterweise wird hierbei sowohl die Kamera 2.3 als auch die Lichtquelle 13 mitgeführt. Im Unterschied zu direkten Bilddaten, die aus Helligkeits- und Farbwerten bestehen, werden in diesem Falle in der Vergleichseinrichtung 8 (1, 5) Muster ausgewertet, die durch das strukturierte Licht auf der Oberfläche des Objekts erzeugt werden. Entsprechend wird in diesem Fall durch die Simulation ein entsprechendes Höhenprofil des Objekts ermittelt und mit demjenigen realen Höhenprofil verglichen, das sich aus der Beleuchtung des Objekts mit strukturiertem Licht ergibt. Entsprechend der 3 werden anschließend mittels eines iterativen Prozesses die ermittelten Stellungsabweichungen des Roboters relativ zum Objekt bestmöglich ausgeglichen.Due to the fact that the camera 2.3 . 11 . 11 ' not on the optical axis O of the light source 13 is, results depending on the viewing angle α a line pattern L, L 'on the object 3 from which, in a manner known per se, a distance and a height profile of the object 3 determine. The above-outlined measuring method can be in the example using the 3 described closed control loop according to the invention are incorporated, so an ideal orientation of robots 2 and object 3 to reach. Advantageously, both the camera 2.3 as well as the light source 13 carried. In contrast to direct image data, which consists of brightness and color values, in this case, in the comparison device 8th ( 1 . 5 ) Evaluated patterns generated by the structured light on the surface of the object. Accordingly, a corresponding height profile of the object is determined in this case by the simulation and compared with that real height profile that results from the illumination of the object with structured light. According to the 3 Subsequently, the determined positional deviations of the robot relative to the object are compensated in the best possible way by means of an iterative process.

Grundlegendes Merkmal der vorstehend detailliert beschriebenen Erfindung ist demnach das Liefern virtueller erwarteter Bilder an eine Vergleichseinrichtung zum Vergleichen mit von einer am Roboter angeordneten Bildgebungseinrichtung aufgenommenen realen Bildern. Das Anpassen einer realen Stellung des Roboters lässt sich auf diese Weise mit wesentlich weniger Parametrisierungsaufwand sowie dynamischer und universeller als bislang bekannt einsetzen. Es ist somit möglich, flexiblere Aufgaben zu erfüllen, ohne zuvor jeweils ein Bildverarbeitungssystem mittels einer Vielzahl realer Bilder neu im Hinblick auf eine bestimmte Verfahrenssituation trainieren zu müssen. Ein weiterer Vorteil besteht darin, dass erfindungsgemäß eine Vergleichsmöglichkeit gegeben ist, ohne dass hierzu jemals reale Bilder, die als Sollbilder geeignet wären, aufgenommen werden müssten. Letzteres wäre zur Realisierung des vorstehend beschriebenen geschlossen Steuerkreises der Erfindung in der Praxis auch gar nicht bzw. nur angenähert möglich, da hierbei ein fragliches Objekt in Abhängigkeit zu einer konkreten realen Stellung des Roboters aus wahlfreien Richtungen betrachtet werden muss.Thus, the basic feature of the invention described in detail above is to provide virtual expected images to comparison means for comparison with real images taken by an imaging device located on the robot. The adaptation of a real position of the robot can be used in this way with much less parametrization effort and more dynamic and universal than previously known. It is thus possible to fulfill more flexible tasks without having to train each time an image processing system by means of a plurality of real images with respect to a particular process situation. A further advantage consists in that, according to the invention, a comparison possibility is given without ever having to take real images that would be suitable as target images. The latter would not at all or only approximately possible for the implementation of the above-described closed control circuit of the invention in practice, since in this case a questionable object must be considered in dependence on a specific real position of the robot from random directions.

Erfindungsgemäß kann z. B. eine Kamera am Ende der kinematischen Kette eines Roboters dazu verwendet werden, über einen Vergleich mit einer simulierten Sollansicht eine Ausrichtung des Roboters relativ zu einem Objekt abzuleiten. Auf diese Weise lässt sich insbesondere im Rahmen einer Qualitätssicherung eine bislang unerreichte Genauigkeit und Effizienz erzielen, da die Ansichten der Simulation einem fehlerfreien Ideal, beispielsweise den CAD-Daten eines Werkstücks, entsprechen. Ein Roboter kann auf diese Weise ein Objekt (Werkstück) von allen Seiten inspizieren und ständig Ist-Soll-Vergleiche auswerten, um so etwa Verunreinigungen oder Fertigungstoleranzen des Werkstücks zu erkennen, ohne dass hierzu jemals Aufnahmen eines realen Soll-Objektes angefertigt wurden. Zudem wird die Möglichkeit einer automatischen Selbstjustage (Kalibrierung) mit dem erfindungsgemäßen Verfahren erheblich vereinfacht.According to the invention, for. For example, a camera at the end of the kinematic chain of a robot may be used to derive an orientation of the robot relative to an object via a comparison with a simulated target view. In this way, an accuracy and efficiency previously unachieved can be achieved, in particular within the framework of quality assurance, since the views of the simulation correspond to a perfect ideal, for example the CAD data of a workpiece. In this way, a robot can inspect an object from all sides and constantly evaluate actual-target comparisons in order to detect impurities or production tolerances of the workpiece without ever having to take pictures of a real target object. In addition, the possibility of automatic self-adjustment (calibration) is considerably simplified with the method according to the invention.

Schließlich führt die Möglichkeit einer nachhaltigen Annäherung von Modell und Realität – wie vorstehend beschrieben – dazu, dass nach Anwendung des erfindungsgemäßen Verfahrens Ungenauigkeiten einer Robotermodernierung derart klein werden können, dass das erfindungsgemäße Verfahren im Zuge weiterer Offline-Programmierung des Roboters nicht erneut angewendet werden muss und die entsprechende Hardware wieder für andere Aufgaben, wie der erfindungsgemäßen Steuerung weiterer Handhabungsgeräte, zur Verfügung steht.Finally, the possibility of a sustainable approximation of model and reality - as described above - means that after application of the inventive method inaccuracies of a robot modernization can be so small that the inventive method in the course of further offline programming of the robot does not need to be reapplied and the corresponding hardware is again available for other tasks, such as the control according to the invention of further handling devices.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1, 1'1, 1 ': Vorrichtungcontraption
22: realer Roboterreal robot
2'2 ': virtueller Robotervirtual robot
2.12.1: realer Roboterarmreal robot arm
2.1'2.1 ': virtueller Roboterarmvirtual robot arm
2.1a2.1a: distales Endedistal end
2.22.2: reales Werkzeugreal tool
2.2'2.2 ': virtuelles Werkzeugvirtual tool
2.32.3: reale Kamerareal camera
2.3'2.3 ': virtuelle Kameravirtual camera
33: reales Objekt, Werkstückreal object, workpiece
3'3 ': virtuelles Objektvirtual object
3a3a: Oberflächesurface
44: reales Fördermittelreal funding
4'4 ': virtuelles Fördermittelvirtual funding
55: Simulationssystemsimulation system
66: Anzeigeeinrichtungdisplay
77: Steuerungseinrichtungcontrol device
7.1, 7.2, 7.37.1, 7.2, 7.3: Verbindungconnection
88th: Vergleichseinrichtungcomparator
8.1, 8.28.1, 8.2: Verbindungconnection
99: reales Bildreal picture
9'9 ': virtuelles Bildvirtual picture
1010: Roboterprogrammrobot program
11, 11'11, 11 ': statische Kamerastatic camera
1212: Halteeinrichtungholder
1313: Lichtquellelight source
AA: ArbeitsbereichWorkspace
αα: Betrachtungswinkelviewing angle
BB: (Bildaufnahme-)Bereich bejahte Abfrage(Image Capture) area affirmed query
L, L'L, L ': Lichtstreifenlight strips
nn: verneinte Abfragenegative query
OO: Optische AchseOptical axis
PDPD: Stellungsabweichung, StellungsdifferenzPosition deviation, position difference
PD^–1 PD ^-1: inverse Stellungsabweichunginverse positional deviation
S1–S10S1-S10: Verfahrensschrittesteps
VV: virtuelle Weltvirtual world

Claims

Method for controlling a multi-axis industrial robot ( 2 ), comprising a robot arm ( 2.1 ) and one on the robot arm ( 2.1 ) mounted camera ( 2.3 ) for capturing an image of a real object ( 3 ) in a multi-axis industrial robot ( 2 ) and a simulation system ( 5 ), which consists of a virtual position of a virtual robot ( 2 ' ), a virtual object ( 3 ' ) and a virtual camera ( 2.3 ') in dependence on position data for a desired position of the robot ( 2 ) an image of the virtual object ( 3 ' ), wherein first by means of an image processing device ( 8th ) the image of the virtual object ( 3 ' ) as an expected image of the object ( 3 ) in the working area of the multi-axis industrial robot ( 2 ) with the image of the real object ( 3 ), then a positional deviation (PD) of the multi-axis industrial robot ( 2 ) of the virtual robot ( 2 ' ) from a difference between the image of the virtual object ( 3 ' ) and the image of the real object ( 3 ) by means of the image processing device (FIG. 8th ) and then movements to minimize the positional deviation (PD) are performed.

Method according to Claim 1, characterized in that the movement for minimizing the positional deviation (PD) is a correction of the position of the multi-axis industrial robot ( 2 ).

Method according to Claim 1 or 2, characterized in that the movement for minimizing the positional deviation (PD) involves a displacement of the real object ( 3 ).

Method according to one of claims 1 to 3, characterized in that the movement for minimizing the positional deviation (PD) a displacement of the virtual object ( 3 ' ).

Method according to one of claims 1 to 4, characterized in that as positional deviation (PD) a substantially exact multi-dimensional position difference is determined.

Method according to one of claims 1 to 5, characterized in that the minimization of the positional deviation (PD) substantially in real time during a higher-level motion of the multi-axis industrial robot ( 2 ) he follows.

Method according to one of claims 1 to 6, characterized in that the minimization of the positional deviation (PD) by adapting a model of at least the multi-axis industrial robot ( 2 ) he follows.

Device for controlling a multi-axis industrial robot ( 2 ), comprising a robot arm ( 2.1 ) and one on the robot arm ( 2.1 ) mounted camera ( 2.3 ) for providing an image ( 9 ) of a real object ( 3 ) depending on a real position of the multi-axis industrial robot ( 2 ), a simulation system ( 5 ) for determining an image of a virtual object ( 3 ' ) as an expected image ( 9 ' ) of the object ( 3 ) depending on a predetermined position of the multi-axis industrial robot ( 2 ), and one as comparison device for the real image ( 9 ) and the expected image ( 9 ' ) working image processing device ( 8th ) for determining a position deviation (PD) of the multi-axis industrial robot ( 2 ), wherein an output signal of the comparison means for minimizing the positional deviation (PD) is usable, and the device for controlling the Multi-axis industrial robot ( 2 ) is arranged to perform a method according to one of claims 1 to 7.