DE102011122206A1 - Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display - Google Patents

Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display Download PDF

Info

Publication number
DE102011122206A1
DE102011122206A1 DE102011122206A DE102011122206A DE102011122206A1 DE 102011122206 A1 DE102011122206 A1 DE 102011122206A1 DE 102011122206 A DE102011122206 A DE 102011122206A DE 102011122206 A DE102011122206 A DE 102011122206A DE 102011122206 A1 DE102011122206 A1 DE 102011122206A1
Authority
DE
Germany
Prior art keywords
component
transparent display
virtual image
motor vehicle
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102011122206A
Other languages
German (de)
Inventor
Johannes Tümler
Ralf Rabätje
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102011122206A priority Critical patent/DE102011122206A1/en
Publication of DE102011122206A1 publication Critical patent/DE102011122206A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

The method involves producing a transformation module (20) depending on a viewing direction (BTRG) of a user (1) of a transparent display (11). A position (PVIRT') of an augmented reality image (VIRT) is determined by the transformation module based on a position (PVIRT) of a real object i.e. motor car, which is overlaid by the virtual image component. The virtual image component is represented by the transparent display. The viewing direction of the user of the transparent display is determined by a camera (12) aligned to an eye (51) of the user of the transparent display. An independent claim is also included for a method for manufacture of a technical component.

Description

Die Erfindung betrifft ein Verfahren zur Darstellung eines virtuellen Bildbestandteils auf einem transparenten Display.The invention relates to a method for displaying a virtual image component on a transparent display.

Die EP 0 949 513 A2 offenbart ein Augmented-Reality-System mit einem Trackersystem zur Bestimmung der Relativposition zwischen einem Sensor zur Bestimmung eines Musters von Bezugspunkten auf einer Objektoberfläche und der Objektoberfläche, wobei das Augmented-Reality-System einen Prozessor umfasst, der mit dem Sensor verbunden ist.The EP 0 949 513 A2 discloses an augmented reality system having a tracker system for determining the relative position between a sensor for determining a pattern of reference points on an object surface and the object surface, the augmented reality system including a processor connected to the sensor.

Die WO 01/96829 A1 offenbart ein Verfahren zur Automobilproduktion, wobei ein Prüfer bei der Durchführung einer Prüfung im Hinblick auf Qualitätsmängel eines Kraftfahrzeugs oder einer Kraftfahrzeug-Komponente durch ein Augmented-Reality-System (Augmented-Reality = AR) unterstützt wird, welches prüfungsrelevante Daten aufnimmt und/oder an den Prüfer ausgibt, wobei die Prüfung im Rahmen der Fertigung des Kraftfahrzeugs oder der Kraftfahrzeug-Komponente zum Feststellen von Qualitätsmängeln bei dem Kraftfahrzeug oder der Kraftfahrzeug-Komponente in zumindest einem vorbestimmten Fertigungszustand erfolgt, wobei einem Werker bei der Durchführung einzelner, der Prüfung vorgelagerter Fertigungsschritte zur Fertigung weiterer Kraftfahrzeuge oder Kraftfahrzeug-Komponenten über das Augmented-Reality-System ein auf zumindest einem der festgestellten Qualitätsmängel basierender Vorsichtshinweis zugeführt wird, und wobei einem Nachbearbeiter bei der Durchführung einer der Prüfung nachgeschalteten Nachbearbeitung eines mangelbehafteten Kraftfahrzeugs oder einer mangelbehafteten Kraftfahrzeug-Komponente eine auf den jeweils festgestellten Qualitätsmängeln basierende Fehlerinformation über das Augmented-Reality-System zugeführt wird.The WO 01/96829 A1 discloses a method for automobile production wherein an examiner is assisted in performing an inspection for quality defects of a motor vehicle or a motor vehicle component by an Augmented Reality (AR) system which records and / or validates exam relevant data the examiner outputs, the test in the context of the production of the motor vehicle or the motor vehicle component for detecting quality defects in the motor vehicle or the motor vehicle component in at least one predetermined manufacturing state, wherein a worker in the implementation of individual, the test upstream production steps for Manufacture of other motor vehicles or automotive components via the augmented reality system is supplied based on at least one of the identified quality deficiencies caution, and wherein a post-processor in the implementation of a test downstream Na In the case of a faulty motor vehicle or a defective motor vehicle component, error information about the augmented reality system based on the respectively identified quality defects is supplied to the driver.

Gemäß der WO 01/96829 A1 ist der Begriff Augmented-Reality als Überlagerung einer realen Umgebung mit einer rechnergenerierten Umgebung, d. h. einer virtuellen Welt, definiert. Augmented-Reality ist somit eine Art der Mensch-Technik-Interaktion, die dem Anwender Informationen in sein Sichtfeld einblendet und so seine Wahrnehmung erweitert.According to the WO 01/96829 A1 the term augmented reality is defined as a superposition of a real environment with a computer-generated environment, ie a virtual world. Augmented reality is thus a kind of human-technology interaction that fills in the user's information in his field of vision and thus expands his perception.

Die DE 10 2005 045 973 A1 offenbart eine Vorrichtung mit einer Bilderfassungseinheit zur Erfassung einer realen Umgebung und Generierung von Abbildern von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereich und mit Verarbeitungsmitteln zur Bestimmung von Bewegungsinformationen durch Auswertung der Abbilder.The DE 10 2005 045 973 A1 discloses a device having an image capture unit for detecting a real environment and generating images of an environmental region detected within a time interval and having processing means for determining movement information by evaluating the images.

Die EP 1 507 235 A1 offenbart ein Verfahren zum Erzeugen eines kombinierten Bildes oder Videos, das virtuelle Objekte aufweist. Dabei ist vorgesehen, dass ein Marker mit Positionserkennungsmitteln, insbesondere einem GPS, ausgestattet ist.The EP 1 507 235 A1 discloses a method of creating a combined image or video having virtual objects. It is provided that a marker with position detection means, in particular a GPS, is equipped.

Die EP 1 708 139 B1 offenbart ein Kalibrierverfahren zum Erfassen eines Korrekturwerts zwecks Korrigierens einer Positions- und Orientierungsdifferenz zwischen einem physikalischen Objekt und einem virtuellen Objekt, das einem Aufnahmebild des physikalischen Objekts überlagert ist.The EP 1 708 139 B1 discloses a calibration method for detecting a correction value for correcting a position and orientation difference between a physical object and a virtual object superimposed on a captured image of the physical object.

Die DE 10 2009 049 073 A1 offenbart ein Verfahren zur Darstellung von virtuellen Informationen in einer Ansicht einer realen Umgebung, wobei ein virtuelles Objekt bereitgestellt wird, das eine globale Position und Orientierung in Bezug auf ein geografisch globales Koordinatensystem besitzt.The DE 10 2009 049 073 A1 discloses a method for displaying virtual information in a view of a real environment, wherein a virtual object is provided having a global position and orientation with respect to a geographic global coordinate system.

Die DE 10 2004 061 841 A1 offenbart ein System zum markerlosen Tracking von Objekten, wobei ein Mischsystem zur gleichzeitigen Anzeige eines Videobildes und ein dreidimensionales Datenmodell vorgesehen sind.The DE 10 2004 061 841 A1 discloses a system for markerless tracking of objects, wherein a mixing system for simultaneous display of a video image and a three-dimensional data model are provided.

Die DE 11 2004 000 902 D5 offenbart ein Augmented-Reality-System mit einem Realreferenzgenerator zum Anzeigen einer Realdifferenz auf einem Kalibrationsschirm. Zudem ist ein optisches Durchsichtdisplay mit einer fasten Position bezüglich des Realreferenzgenerators vorgesehen.The DE 11 2004 000 902 D5 discloses an augmented reality system with a real reference generator for displaying a real difference on a calibration screen. In addition, an optical transparency display is provided with a fast position with respect to the real reference generator.

Es ist Aufgabe der Erfindung, die Effizienz von Adgmented-Reality-Systemen mit Durchsichtdisplay zu verbessern. Dazu ist es insbesondere wünschenswert, Augmented-Reality-Systeme mit Durchsichtdisplay schneller einsatzbereit zu machen. Dazu soll insbesondere das Kalibrieren eines derartigen Systems beschleunigt werden.It is an object of the invention to improve the efficiency of Adsegmented Reality systems with see-through display. For this purpose, it is particularly desirable to make augmented reality systems with a transparent display faster ready for use. In particular, the calibration of such a system should be accelerated.

Vorgenannte Aufgabe wird durch ein Verfahren zur Darstellung eines virtuellen Bildbestandteils auf einem transparenten Display (Durchsichtdisplay) gelöst, wobei ein Transformationsmodul in Abhängigkeit der Blickrichtung eines Nutzers (Betrachters) des transparenten Displays erzeugt wird, wobei die Position des virtuellen Bildbestandteils mittels des Transformationsmoduls in Abhängigkeit der Position eines mittels des virtuellen Bildbestandteils zu überlagernden realen Objektes (in der Umgebung des transparenten Displays, die ein Nutzer/Betrachter bei Durchsicht durch das transparente Display sieht) bestimmt wird, und wobei der virtuelle Bildbestandteil mittels des transparenten Displays (an der mittels des Transformationsmoduls bestimmten Position des virtuellen Bildbestandteils) dargestellt wird.The above object is achieved by a method for displaying a virtual image component on a transparent display (see-through display), wherein a transformation module depending on the viewing direction of a user (viewer) of the transparent display is generated, wherein the position of the virtual image component by means of the transformation module in dependence Position of a real object to be superimposed by means of the virtual image component (in the vicinity of the transparent display which a user / viewer sees when viewing through the transparent display), and wherein the virtual image component is determined by means of the transparent display (determined by means of the transformation module Position of the virtual image component).

Ein virtueller Bildbestandteil im Sinne der Erfindung kann alphanumerische Zeichen umfassen oder aus solchen bestehen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann alphanumerische Zeichen sowie einen farblichen Hintergrund für diese Zeichen umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann aus alphanumerische Zeichen in Verbindung mit einem farblichen Hintergrund für diese Zeichen bestehen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Zeichnung sein oder eine solche umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Skizze sein oder eine solche umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann ein Icon sein oder ein solches umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Animation sein oder eine solche umfassen.A virtual image component within the meaning of the invention may comprise alphanumeric characters or consist of such. A virtual image component within the meaning of the invention may comprise alphanumeric characters as well as a color background for these characters. A virtual image component within the meaning of the invention can consist of alphanumeric characters in conjunction with a color background for these characters. A virtual image component within the meaning of the invention may be a drawing or include such a drawing. A virtual image component within the meaning of the invention may be a sketch or comprise such a sketch. A virtual image component within the meaning of the invention may be or include an icon. A virtual image component within the meaning of the invention may be or include an animation.

Eine Blickrichtung im Sinne der Erfindung ist insbesondere der Sichtstrahl eines Auges (auf ein reales oder virtuelles (im Durchsichtdisplay dargestelltes) Objekt).A viewing direction in the sense of the invention is in particular the visual beam of an eye (on a real or virtual (shown in the see-through display) object).

In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass zur Erzeugung des Transformationsmoduls bzw. zur Erzeugung einer Transformationsmatrix des Transformationsmoduls ein Nutzer (insbesondere aufgrund von eigener Auswahl [und insbesondere entsprechender Eingabe oder Mitteilung] oder auf Aufforderung), seinen Blick auf einen bestimmten (ausgewählten) realen Punkt, der bei Durchsicht durch das transparente Display sichtbar ist, richtet. Darüber hinaus wird mittels des transparenten Displays in weiterhin vorteilhafter Ausgestaltung der Erfindung eine Markierung erzeugt, die in weiterhin vorteilhafter Ausgestaltung der Erfindung der Blickrichtung des Betrachters folgt (so dass die Markierung und der ausgewählte reale Punkt für den Nutzer in Deckung [auf einem Sichtstrahl] liegen). In weiterhin vorteilhafter Ausgestaltung der Erfindung werden die Koordinaten der Markierung den Koordinaten des ausgewählten realen Punktes zugeordnet, wenn die Blickrichtung des Betrachters einen vorbestimmten Grenzwert lang im Wesentlichen unverändert ist bzw. konstant bleibt. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird das in diesem Absatz beschriebene Verfahren zumindest einmal in vorteilhafter Weise zumindest fünfmal wiederholt (also zumindest zweimal bzw. zumindest sechsmal durchlaufen), wobei der Blick des Betrachters oder Nutzers auf Objekte unterschiedlicher Position (bzw. unterschiedliche ausgewählte reale Punkte) zu richten ist. Eine Markierung im Sinne der Erfindung ist insbesondere ein Fadenkreuz.In an advantageous embodiment of the invention, it is provided that to generate the transformation module or to generate a transformation matrix of the transformation module, a user (in particular due to his own selection [and in particular corresponding input or message] or on request), his view of a particular (selected) real point visible when looking through the transparent display. In addition, by means of the transparent display in a further advantageous embodiment of the invention, a marking is produced which, in a further advantageous embodiment of the invention, follows the viewing direction of the observer (so that the marking and the selected real point are in the user's sight [on a viewing beam] ). In a further advantageous embodiment of the invention, the coordinates of the marking are assigned to the coordinates of the selected real point, if the viewing direction of the observer for a predetermined limit long substantially unchanged or remains constant. In a further advantageous embodiment of the invention, the method described in this paragraph is repeated at least once in an advantageous manner at least five times (ie at least twice or at least six times), the view of the viewer or user on objects of different positions (or different selected real points ). A marker according to the invention is in particular a crosshair.

In weiterhin vorteilhafter Ausgestaltung der Erfindung wird das Transformationsmodul in Abhängigkeit eines Datensatzes erzeugt, in dem zumindest sechs unterschiedlichen realen Positionen, die bei Durchsicht durch das transparente Display sichtbar sind, Positionen einer Markierung zugeordnet sind. In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das Transformationsmodul eine Transformationsmatrix. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird die Transformationsmatrix in Abhängigkeit eines Datensatzes erzeugt, in dem zumindest sechs unterschiedlichen realen Positionen, die bei Durchsicht durch das transparente Display sichtbar sind, Positionen einer Markierung zugeordnet sind.In a further advantageous embodiment of the invention, the transformation module is generated as a function of a data record in which at least six different real positions, which are visible when viewed through the transparent display, are associated with positions of a marking. In a further advantageous embodiment of the invention, the transformation module comprises a transformation matrix. In a further advantageous embodiment of the invention, the transformation matrix is generated as a function of a data record in which at least six different real positions, which are visible when viewed through the transparent display, are assigned to positions of a marking.

In weiterhin vorteilhafter Ausgestaltung der Erfindung wird die Blickrichtung des Nutzers (Betrachters) des transparenten Displays mittels einer auf zumindest ein Auge des Nutzers (Betrachters) des transparenten Displays gerichteten Kamera ermittelt. Eine geeignete Kamera ist auf der Internetseite www.istar-project.org offenbart. In weiterhin vorteilhafter Ausgestaltung der Erfindung sind das transparente Display und die Kamera mechanisch verbunden. In weiterhin vorteilhafter Ausgestaltung der Erfindung sind das transparente Display und die Kamera mechanisch zueinander fixiert. In weiterhin vorteilhafter Ausgestaltung der Erfindung sind das transparente Display und die Kamera gemeinsam an einem Headset angeordnet. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das transparente Display derart an dem Headset angeordnet, dass es nur einem Auge des Nutzers (Betrachters) zugeordnet ist. Dabei ist insbesondere vorgesehen, dass ein zweites Auge nicht dem transparenten Display zugeordnet ist, das heißt, dass mittels des zweiten Auges die Sicht ohne Durchsicht auf das transparente Display freigegeben ist.In a further advantageous embodiment of the invention, the viewing direction of the user (observer) of the transparent display is determined by means of a camera aimed at at least one eye of the user (observer) of the transparent display. A suitable camera is disclosed on the website www.istar-project.org. In a further advantageous embodiment of the invention, the transparent display and the camera are mechanically connected. In a further advantageous embodiment of the invention, the transparent display and the camera are mechanically fixed to each other. In a further advantageous embodiment of the invention, the transparent display and the camera are arranged together on a headset. In a further advantageous embodiment of the invention, the transparent display is arranged on the headset that it is associated with only one eye of the user (viewer). In this case, it is provided in particular that a second eye is not assigned to the transparent display, that is to say that the view is released by the second eye without looking through the transparent display.

In weiterhin vorteilhafter Ausgestaltung der Erfindung ist dem Headset ein Sensor (z. B. Kamera) zugeordnet, die insbesondere an dem Headset fixiert angeordnet ist. Alternativ oder zusätzlich kann ein Sensor vorgesehen sein, die sowohl das reale Objekt, das das Ziel des virtuellen Bildes ist, als auch den Betrachter aufnimmt. Mittels dieser Sensoren erfolgt insbesondere ein Tracking bzw. eine Veränderung des Transformationsmoduls, wenn sich die Ausrichtung des realen Objekts zum Kopf des Nutzers bzw. Betrachters ändert.In a further advantageous embodiment of the invention, the headset is associated with a sensor (eg camera), which is arranged in particular fixed on the headset. Alternatively or additionally, a sensor may be provided which records both the real object that is the target of the virtual image and the viewer. By means of these sensors, in particular tracking or a change of the transformation module takes place when the orientation of the real object to the head of the user or viewer changes.

Es ist eine weitere Aufgabe der Erfindung, die Kosten bei der Produktion von technischen Komponenten, insbesondere die Kosten für die Produktion von Kraftfahrzeugen oder die Kosten für deren Reparatur zu senken.It is a further object of the invention to reduce the cost of the production of technical components, in particular the cost of the production of motor vehicles or the cost of their repair.

Vorgenannte Aufgabe wird – insbesondere in Verbindung mit vorgenannten Merkmalen – durch ein Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, gelöst, wobei ein zu montierendes Bauteil mittels des virtuellen Bildbestandteils gemäß dem vorgehend beschriebenen Verfahren markiert oder gekennzeichnet wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente montiert wird.The aforementioned object is achieved - in particular in connection with the aforementioned features - by a method for producing a technical component, in particular a motor vehicle or a motor vehicle component, wherein a component to be mounted is marked or identified by means of the virtual image component according to the method described above, and that the component to be mounted in the technical Component is mounted in the motor vehicle or in the motor vehicle component.

Vorgenannte Aufgabe wird – insbesondere in Verbindung mit vorgenannten Merkmalen – zudem durch ein Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, gelöst, wobei der Montageort eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils gemäß dem vorgehend beschriebenen Verfahren markiert oder gekennzeichnet wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente am Montageort montiert wird.The aforementioned object is - in particular in connection with the aforementioned features - also solved by a method for producing a technical component, in particular a motor vehicle or a motor vehicle component, wherein the mounting location of a component to be mounted by means of the virtual image component according to the method described above is marked or marked , And that the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted at the mounting location.

Vorgenannte Aufgabe wird – insbesondere in Verbindung mit vorgenannten Merkmalen – zudem durch ein Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, gelöst, wobei ein Montageablauf zum Montieren eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils gemäß dem vorgehend beschriebenen Verfahren ermittelt oder verifiziert wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente entsprechend dem Montageablauf montiert wird.The above object is - in particular in connection with the aforementioned features - also solved by a method for producing a technical component, in particular a motor vehicle or a motor vehicle component, wherein an assembly process for mounting a component to be mounted by means of the virtual image component determined according to the method described above or is verified, and that the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted according to the assembly process.

Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt.Motor vehicle in the sense of the invention is in particular a land vehicle which can be used individually in road traffic. Motor vehicles according to the invention are not limited in particular to land vehicles with internal combustion engine.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:Further advantages and details emerge from the following description of exemplary embodiments. Showing:

1 ein Ausführungsbeispiel eines Systems zur Darstellung eines Augmented-Reality-Bildes, 1 an embodiment of a system for displaying an augmented reality image,

2 ein Ausführungsbeispiel für ein virtuelles Bild, das mittels eines transparenten Displays dargestellt wird, 2 an embodiment for a virtual image, which is represented by means of a transparent display,

3 ein Ausführungsbeispiel für einen beispielhaften Verfahrensablauf zur Herstellung bzw. Korrektur bzw. Instandsetzung eines Kraftfahrzeuges, 3 An exemplary embodiment of an exemplary method sequence for the production or correction or repair of a motor vehicle,

4 ein beispielhaftes Verfahren zur Implementierung des Kalibrierschritts und 5 eine Skizze zur Illustration des Verfahrens gemäß 4. 4 an exemplary method for implementing the calibration step and 5 a sketch illustrating the method according to 4 ,

1 zeigt ein System zur Darstellung eines Augmented-Reality-Bildes VIRT. Das System umfasst ein von einem Benutzer 1 getragenes Headset 10 mit einem transparenten Display 11 (Durchsichtdisplay) zur Darstellung des Augmented-Reality-Bildes VIRT. Das Headset 10 umfasst zudem eine Kamera 12 zur Erfassung der Blickrichtung BTRG des Auges 51. Das transparente Display 11 wird mittels eines Transformationsmoduls 20 angesteuert, das an das transparente Display 11 das virtuelle Bild VIRT sowie dessen Position PVIRT' ausgibt. Die virtuellen Bildbestandteile VIRT können zum Beispiel von einer Datenbasis 22 und/oder einem Netzwerks bereitgestellt und von diesem zum Transformationsmodul 20 übermittelt werden. Dabei ist einem virtuellen Bildbestandteil VIRT dessen gewünschte Position PVIRT zu einem realen Objekt zugeordnet. 1 shows a system for displaying an augmented reality image VIRT. The system includes one by a user 1 worn headset 10 with a transparent display 11 (See-through display) to display the augmented reality image VIRT. The headset 10 also includes a camera 12 for detecting the viewing direction BTRG of the eye 51 , The transparent display 11 is by means of a transformation module 20 which is connected to the transparent display 11 the virtual image VIRT and its position PVIRT 'outputs. The virtual image components VIRT can, for example, from a database 22 and / or a network and from this to the transformation module 20 be transmitted. In this case, a virtual image component VIRT whose desired position PVIRT is assigned to a real object.

2 zeigt ein Ausführungsbeispiel für ein virtuelles Bild VIRT, das mittels des transparenten Displays 11 dargestellt wird. Dabei ist in dem Ausführungsbeispiel das reale Objekt, dem das virtuelle Bild VIRT zugeordnet ist, ein Kraftfahrzeug 25. 2 shows an embodiment of a virtual image VIRT, by means of the transparent display 11 is pictured. In the exemplary embodiment, the real object to which the virtual image VIRT is assigned is a motor vehicle 25 ,

Das in 1 dargestellte System ist insbesondere zur Herstellung und Reparatur von Kraftfahrzeugen bzw. deren Komponenten geeignet. 3 zeigt ein Ausführungsbeispiel für einen beispielhaften Verfahrensablauf zur Herstellung bzw. Korrektur bzw. Instandsetzung eines Kraftfahrzeuges. Dabei erfolgt zunächst ein Kalibrierschritt 31, in dem das Transformationsmodul 20 bzw. eine entsprechende Transformationsmatrix des Transformationsmoduls 20 erzeugt wird. Dem Kalibrierschritt 31 folgt ein Schritt 32, in dem das virtuelle Bild VIRT mittels des transparenten Displays 11 derart angezeigt wird, dass es ein reales Objekt an der gewünschten Position überlagert. Auf der Basis der so eingeblendeten Information erfolgt eine Reparatur oder Montage oder Überprüfung in einem Schritt 33. Dem Schritt 33 folgt eine Abfrage 34, ob der Kalibrierschritt zu wiederholen ist. Ist der Kalibrierschritt zu wiederholen, so folgt der Abfrage 34 der Kalibrierschritt 31. Andernfalls folgt der Abfrage 34 wiederum der Schritt 32, in dem ein weiteres virtuelles Bild mittels des transparenten Displays 11 angezeigt wird.This in 1 System shown is particularly suitable for the manufacture and repair of motor vehicles or their components. 3 shows an exemplary embodiment of an exemplary method sequence for the manufacture or correction or repair of a motor vehicle. At first a calibration step takes place 31 in which the transformation module 20 or a corresponding transformation matrix of the transformation module 20 is produced. The calibration step 31 follows a step 32 in which the virtual image VIRT by means of the transparent display 11 is displayed so as to superimpose a real object at the desired position. On the basis of the information thus displayed, a repair or assembly or inspection takes place in one step 33 , The step 33 follows a query 34 whether the calibration step is to be repeated. If the calibration step is to be repeated, the query follows 34 the calibration step 31 , Otherwise, the query follows 34 turn the step 32 in which another virtual image by means of the transparent display 11 is shown.

4 zeigt ein beispielhaftes Verfahren zur Implementierung des Kalibrierschritts 31 in 3. Das Verfahren beginnt mit einem Schritt 41, in dem eine Position an einem realen Objekt ausgewählt wird. Das Auswählen kann von dem Betrachter 1 oder Nutzer des transparenten Displays 11 erfolgen. Es kann diesem jedoch auch der ausgewählte Punkt mitgeteilt werden. 4 shows an exemplary method for implementing the calibration step 31 in 3 , The process begins with a step 41 in which a position on a real object is selected. The selection may be by the viewer 1 or users of the transparent display 11 respectively. However, this can also be communicated to the selected point.

Dem Schritt 41 folgt ein Schritt 42, in dem der. Nutzer oder Betrachter 1 des transparenten Displays 11 seinen Blick auf den ausgewählten Punkt des realen Bildes richtet. Die Blickrichtung BRTG bzw. der Sichtstrahl 54, wie er beispielhaft in 5 dargestellt ist, wird in einem folgenden Schritt 43 erfasst.The step 41 follows a step 42 in which the. User or viewer 1 of the transparent display 11 his gaze directed to the selected point of the real image. The viewing direction BRTG or the sight beam 54 as he exemplifies in 5 is shown in a following step 43 detected.

Es folgt ein Schritt 44, in dem eine Markierung, die in 5 beispielhaft mit Bezugszeichen 53 bezeichnet ist, so bewegt wird, dass sie den ausgewählten Punkt der in 5 mit Bezugszeichen 55 bezeichnet, für das Auge 51 überdeckt. In 5 ist die mittels des transparenten Displays 11 dargestellte, Markierung als Fadenkreuz in der virtuellen Bildebene 52 des transparenten Displays 11 dargestellt. It follows a step 44 in which a mark in the 5 by way of example with reference numbers 53 is moved so that it is the selected point of in 5 with reference number 55 designated, for the eye 51 covered. In 5 is the means of the transparent display 11 shown, marking as a crosshair in the virtual image plane 52 of the transparent display 11 shown.

Dem Schritt 44 folgt eine Abfrage 45, in der abgefragt wird, ob der Sichtstrahl für eine vorbestimmte Zeit im Wesentlichen nicht verändert wird. Wird der Sichtstrahl 54 für eine vorbestimmte Zeit nicht verändert, folgt der Abfrage 45 ein Schritt 46, in dem die Koordinaten des ausgewählten Punktes 55 und die Koordinaten der Markierung 53 als zwei neue Zeilen in die mit B bezeichnete Matrix in dem Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) eingetragen werden (vgl. Gleichung (9) in dem Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf)). Dabei entsprechen die Koordinaten xM,i, yM,i und zM,i den Koordinaten des ausgewählten Punktes 55 und die Koordinaten xi und yi den Koordinaten der Markierung 53.The step 44 follows a query 45 in which it is queried whether the visual beam is not changed substantially for a predetermined time. Will the sight beam 54 not changed for a predetermined time, follows the query 45 a step 46 in which the coordinates of the selected point 55 and the coordinates of the marker 53 as two new lines into the matrix labeled B in the Article Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) (See equation (9) in the article Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.nl/~robertl/2IV55/papers/ tuceryan.pdf)). The coordinates x M, i , y M, i and z M, i correspond to the coordinates of the selected point 55 and the coordinates x i and y i the coordinates of the mark 53 ,

Dem Schritt 46 folgt eine Abfrage 47, ob das Verfahren für sechs verschiedene reale Punkte 55 durchgeführt worden ist. Wurde das Verfahren für weniger als sechs ausgewählte reale Punkte durchgeführt, so folgt der Abfrage 47 erneut der Schritt 41 in Bezug auf einen neuen ausgewählten realen Punkt 55. Andernfalls folgt der Abfrage 47 ein Schritt 48, in dem mittels der Matrix B die Transformationsmatrix

Figure 00070001
erzeugt wird, die der Matrix Tcamera bzw. der Matrix G in Gleichung (7) in dem Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.n/~robertl/2IV55/papers/tuceryan.pdf) entspricht.The step 46 follows a query 47 whether the procedure for six different real points 55 has been carried out. If the procedure was performed for less than six selected real points, the query follows 47 again the step 41 in relation to a new selected real point 55 , Otherwise, the query follows 47 a step 48 in which by means of matrix B the transformation matrix
Figure 00070001
is generated, that of the matrix T camera or the matrix G in equation (7) in the Article Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.n / ~ robertl / 2IV55 / papers / tuceryan.pdf) equivalent.

Aus der Matrix B wird entsprechend den Zusammenhängen der Gleichungen (7), (8) und (9) in dem Artikel Mihran Tuceryan, Nassir Navab: Single, point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) die Transformationsmatrix Tcamera ermittelt.From the matrix B, according to the relationships of equations (7), (8) and (9) in the Article Mihran Tuceryan, Nassir Navab: Single, point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) the transformation matrix T camera determined.

Zur positionsgenauen Einblendung des virtuellen Bildes VIRT in dem Schritt 32 (vgl. 3), wird mittels des Transformationsmoduls 20 ein Vektor PVIRT'' in Abhängigkeit der Transformationsmatrix Tcamera ermittelt: PVIRT'' = Tcamera·PVIRT mitFor positionally accurate insertion of the virtual image VIRT in the step 32 (see. 3 ), by means of the transformation module 20 a vector PVIRT '' determined as a function of the transformation matrix T camera : PVIRT '' = T camera · PVIRT With

Figure 00080001
Figure 00080001

Aus dem Vektor PVIRT'' ergibt sich die Position PVIRT des virtuellen Bildes VIRT in dem transparenten Display wie folgt:From the vector PVIRT '' the position PVIRT of the virtual image VIRT in the transparent display results as follows:

Figure 00080002
Figure 00080002

In dem in 1 dargestellten System kann eine an dem Headset montierte Kamera 13 zur Aufnahme eines realen Bildes RB1 in Blickrichtung des Nutzers 1 des transparenten Displays vorgesehen sein. Alternativ oder zusätzlich kann eine. Kamera 21 zur Aufnahme eines realen Bildes RB2 vorgesehen sein, das den Benutzer 1 in Relation zum betrachteten Objekt, wie etwa dem Kraftfahrzeug 25, abbildet. Mittels der realen Bilder RB1 bzw. RB2 kann eine Matrix F gemäß Gleichung (3) in dem Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) bestimmt werden, die die Koordinaten der Position PVIRT' des virtuellen Bildes VIRT, das mittels des transparentere Displays 11 dargestellt wird, bei einer Bewegung des Nutzers bzw. Betrachters 1 zum realen Objekt, wie etwa dem Kraftfahrzeug 25, anpasst.In the in 1 The illustrated system may include a camera mounted on the headset 13 for recording a real image RB1 in the direction of the user 1 be provided of the transparent display. Alternatively or additionally, a. camera 21 be provided for receiving a real image RB2 representing the user 1 in relation to the object under consideration, such as the motor vehicle 25 , pictures. By means of the real images RB1 and RB2, a matrix F according to equation (3) in the Article Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) determining the coordinates of the position PVIRT 'of the virtual image VIRT, by means of the more transparent display 11 is shown, with a movement of the user or viewer 1 to the real object, such as the motor vehicle 25 , adapts.

Die Elemente und Winkel in 5 sind unter Berücksichtigung von Einfachheit und Klarheit und nicht notwendigerweise maßstabsgetreu gezeichnet. So sind z. B. die Größenordnungen einiger Elemente übertrieben gegenüber anderen Elementen dargestellt, um das Verständnis der Ausführungsbeispiele der vorliegenden Erfindung zu verbessern.The elements and angles in 5 are drawn in the light of simplicity and clarity and not necessarily to scale. So z. For example, the magnitudes of some elements are exaggerated over other elements to enhance understanding of the embodiments of the present invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 0949513 A2 [0002] EP 0949513 A2 [0002]
  • WO 01/96829 A1 [0003, 0004] WO 01/96829 A1 [0003, 0004]
  • DE 102005045973 A1 [0005] DE 102005045973 A1 [0005]
  • EP 1507235 A1 [0006] EP 1507235 A1 [0006]
  • EP 1708139 B1 [0007] EP 1708139 B1 [0007]
  • DE 102009049073 A1 [0008] DE 102009049073 A1 [0008]
  • DE 102004061841 A1 [0009] DE 102004061841 A1 [0009]
  • DE 112004000902 D5 [0010] DE 112004000902 D5 [0010]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) [0035] Article Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) [0035]
  • Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.n/~robertl/2IV55/papers/tuceryan.pdf) [0036] Article Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.n / ~ robertl / 2IV55 / papers / tuceryan.pdf) [0036]
  • Artikel Mihran Tuceryan, Nassir Navab: Single, point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) [0037] Article Mihran Tuceryan, Nassir Navab: Single, point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) [0037]
  • Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) [0040] Article Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (see homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf) [0040]

Claims (9)

Verfahren zur Darstellung eines virtuellen Bildbestandteils (VIRT) auf einem transparenten Display (11), wobei ein Transformationsmodul (20) in Abhängigkeit der Blickrichtung eines Nutzers des transparenten Displays (11) erzeugt wird, wobei die Position (PVIRT') des virtuellen Bildbestandteils (VIRT) mittels des Transformationsmoduls (20) in Abhängigkeit der Position (PVIRT) eines mittels des virtuellen Bildbestandteils (VIRT) zu überlagernden realen Objektes (55) bestimmt wird, und wobei der virtuelle Bildbestandteil (VIRT) mittels des transparenten Displays (11) dargestellt wird.Method for displaying a virtual image component (VIRT) on a transparent display ( 11 ), whereby a transformation module ( 20 ) depending on the viewing direction of a user of the transparent display ( 11 ), wherein the position (PVIRT ') of the virtual image component (VIRT) by means of the transformation module ( 20 ) as a function of the position (PVIRT) of a real object to be superposed by means of the virtual image constituent (VIRT) ( 55 ), and wherein the virtual image component (VIRT) by means of the transparent display ( 11 ) is pictured. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Blickrichtung des Nutzers des transparenten Displays (11) mittels einer auf zumindest ein Auge (51) des Nutzers des transparenten Displays (11) gerichteten Kamera (12) ermittelt wird.Method according to claim 1, characterized in that the viewing direction of the user of the transparent display ( 11 ) by means of at least one eye ( 51 ) of the user of the transparent display ( 11 ) directed camera ( 12 ) is determined. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das transparente Display (11) und die Kamera (12) mechanisch verbunden sind.Method according to claim 2, characterized in that the transparent display ( 11 ) and the camera ( 12 ) are mechanically connected. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das transparente Display (11) und die Kamera (12) mechanisch zueinander fixiert sind.Method according to claim 2 or 3, characterized in that the transparent display ( 11 ) and the camera ( 12 ) are mechanically fixed to each other. Verfahren nach Anspruch 2, 3 oder 4, dadurch gekennzeichnet, dass das transparente Display (11) und die Kamera (12) gemeinsam an einem Headset (10) angeordnet sind.Method according to claim 2, 3 or 4, characterized in that the transparent display ( 11 ) and the camera ( 12 ) together on a headset ( 10 ) are arranged. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das transparente Display (11) derart an dem Headset (10) angeordnet ist, dass es nur einem Auge (51) des Nutzers zugeordnet ist.Method according to claim 5, characterized in that the transparent display ( 11 ) on the headset ( 10 ) is arranged so that only one eye ( 51 ) is assigned to the user. Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, dadurch gekennzeichnet, dass ein zu montierendes Bauteil mittels des virtuellen Bildbestandteils (VIRT) gemäß einem Verfahren nach einem der vorhergehenden Ansprüche markiert oder gekennzeichnet wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente montiert wird.A method for producing a technical component, in particular a motor vehicle or a motor vehicle component, characterized in that a component to be mounted is marked or marked by means of the virtual image component (VIRT) according to a method according to one of the preceding claims, and that the component to be mounted in the technical component, is mounted in the motor vehicle or in the motor vehicle component. Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, insbesondere Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Montageort eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils (VIRT) gemäß einem Verfahren nach einem der Ansprüche 1 bis 6 markiert oder gekennzeichnet wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente am Montageort montiert wird.Method for producing a technical component, in particular a motor vehicle or a motor vehicle component, in particular method according to claim 7, characterized in that the mounting location of a component to be mounted by means of the virtual image component (VIRT) according to a method according to one of claims 1 to 6 marked or marked is, and that the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted at the mounting location. Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, insbesondere Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass ein Montageablauf zum Montieren eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils (VIRT) gemäß einem Verfahren nach einem der Ansprüche 1 bis 6 ermittelt oder verifiziert wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente entsprechend dem Montageablauf montiert wird.Method for producing a technical component, in particular a motor vehicle or a motor vehicle component, in particular a method according to claim 7 or 8, characterized in that an assembly sequence for mounting a component to be mounted by means of the virtual image component (VIRT) according to a method according to one of claims 1 to 6 is determined or verified, and that the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted according to the assembly process.
DE102011122206A 2011-12-23 2011-12-23 Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display Pending DE102011122206A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011122206A DE102011122206A1 (en) 2011-12-23 2011-12-23 Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011122206A DE102011122206A1 (en) 2011-12-23 2011-12-23 Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display

Publications (1)

Publication Number Publication Date
DE102011122206A1 true DE102011122206A1 (en) 2013-06-27

Family

ID=48575578

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011122206A Pending DE102011122206A1 (en) 2011-12-23 2011-12-23 Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display

Country Status (1)

Country Link
DE (1) DE102011122206A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014213113A1 (en) 2014-07-07 2016-01-07 Volkswagen Aktiengesellschaft Three-dimensional augmented reality process, especially in the automotive sector
DE102014019441A1 (en) 2014-12-22 2016-06-23 Audi Ag Method for mounting at least one component
DE102017107224A1 (en) * 2017-04-04 2018-10-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for displaying a component documentation
WO2022013492A1 (en) * 2020-07-16 2022-01-20 Theoris Computer method, device and programme for assisting in the positioning of extended reality systems
US11758115B2 (en) 2018-03-14 2023-09-12 tooz technologies GmbH Method for the user-specific calibration of a display apparatus, wearable on the head of a user, for an augmented presentation
DE102022123224A1 (en) 2022-09-12 2024-03-14 Bayerische Motoren Werke Aktiengesellschaft Method and device for calibrating data glasses for a user

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0949513A2 (en) 1998-04-08 1999-10-13 Trisen Systems Inc. Virtual reality technology
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
WO2001035178A1 (en) * 1999-11-09 2001-05-17 Siemens Aktiengesellschaft System and method for object-oriented marking and organising of information about selected technological components
WO2001096829A1 (en) 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
US20020075286A1 (en) * 2000-11-17 2002-06-20 Hiroki Yonezawa Image generating system and method and storage medium
US20020105484A1 (en) * 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
DE10215885A1 (en) * 2002-03-20 2003-10-02 Volkswagen Ag Automatic process control
EP1507235A1 (en) 2003-08-15 2005-02-16 Werner G. Lonsing Method and apparatus for producing composite images which contain virtual objects
DE102004061841A1 (en) 2003-12-22 2005-07-14 Augmented Solutions Gmbh Markerless tracking system for augmented reality applications enables search space for features in camera image to be restricted by user by manipulating three-dimensional data model
DE112004000902T5 (en) 2003-06-12 2006-03-09 Siemens Corp. Research, Inc. Calibration of actual and virtual views
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
DE102005045973A1 (en) 2005-09-26 2007-04-05 Siemens Ag Device for camera-based tracking has processing arrangement for determining movement information for evaluating images, whereby information characterizes object position change within time interval
DE102009008039A1 (en) * 2008-12-23 2010-07-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Augmented reality image producing method for manufacturing technical component of land vehicle, involves selecting color and/or texture of virtual image component, and comparing component with part of real image to augmented reality image
EP1708139B1 (en) 2005-04-01 2011-03-16 Canon Kabushiki Kaisha Calibration method and apparatus
DE102009049073A1 (en) 2009-10-12 2011-04-21 Metaio Gmbh Method for presenting virtual information in a view of a real environment

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
EP0949513A2 (en) 1998-04-08 1999-10-13 Trisen Systems Inc. Virtual reality technology
WO2001035178A1 (en) * 1999-11-09 2001-05-17 Siemens Aktiengesellschaft System and method for object-oriented marking and organising of information about selected technological components
WO2001096829A1 (en) 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
US20020105484A1 (en) * 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
US20020075286A1 (en) * 2000-11-17 2002-06-20 Hiroki Yonezawa Image generating system and method and storage medium
DE10215885A1 (en) * 2002-03-20 2003-10-02 Volkswagen Ag Automatic process control
DE112004000902T5 (en) 2003-06-12 2006-03-09 Siemens Corp. Research, Inc. Calibration of actual and virtual views
EP1507235A1 (en) 2003-08-15 2005-02-16 Werner G. Lonsing Method and apparatus for producing composite images which contain virtual objects
DE102004061841A1 (en) 2003-12-22 2005-07-14 Augmented Solutions Gmbh Markerless tracking system for augmented reality applications enables search space for features in camera image to be restricted by user by manipulating three-dimensional data model
EP1708139B1 (en) 2005-04-01 2011-03-16 Canon Kabushiki Kaisha Calibration method and apparatus
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
DE102005045973A1 (en) 2005-09-26 2007-04-05 Siemens Ag Device for camera-based tracking has processing arrangement for determining movement information for evaluating images, whereby information characterizes object position change within time interval
DE102009008039A1 (en) * 2008-12-23 2010-07-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Augmented reality image producing method for manufacturing technical component of land vehicle, involves selecting color and/or texture of virtual image component, and comparing component with part of real image to augmented reality image
DE102009049073A1 (en) 2009-10-12 2011-04-21 Metaio Gmbh Method for presenting virtual information in a view of a real environment

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Artikel Mihran Tuceryan, Nassir Navab: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR (siehe homepages.cwi.nl/~robertl/2IV55/papers/tuceryan.pdf)
Online-Enzyklopädie "Wikipedia", Eintrag zum Begriff "Head mounted display" vom 20.12.2011 [recherchiert am 20.1.2012]. *
TUCERYAN, M. [et al.]: Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR, Proceeding of the IEEE and ACM Symposium on Augmented Reality, 2000, S. 149-158. *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014213113A1 (en) 2014-07-07 2016-01-07 Volkswagen Aktiengesellschaft Three-dimensional augmented reality process, especially in the automotive sector
DE102014019441A1 (en) 2014-12-22 2016-06-23 Audi Ag Method for mounting at least one component
DE102014019441B4 (en) 2014-12-22 2021-09-23 Audi Ag Method for assembling at least one component
DE102017107224A1 (en) * 2017-04-04 2018-10-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for displaying a component documentation
US11758115B2 (en) 2018-03-14 2023-09-12 tooz technologies GmbH Method for the user-specific calibration of a display apparatus, wearable on the head of a user, for an augmented presentation
WO2022013492A1 (en) * 2020-07-16 2022-01-20 Theoris Computer method, device and programme for assisting in the positioning of extended reality systems
FR3112639A1 (en) * 2020-07-16 2022-01-21 Theoris Method, device and computer program for positioning assistance for an extended reality system
DE102022123224A1 (en) 2022-09-12 2024-03-14 Bayerische Motoren Werke Aktiengesellschaft Method and device for calibrating data glasses for a user

Similar Documents

Publication Publication Date Title
DE102011122206A1 (en) Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display
DE102018215185B3 (en) Method, apparatus and computer-readable storage medium with instructions for setting a head-up display in a motor vehicle, adjusting device for use in such a method or with such a device
DE102011075703A1 (en) Method and device for calibrating a projection device of a vehicle
DE102012014995A1 (en) Method for generating augmented reality image and/or representing virtual image component on transparent display, involves producing synthetic image of object from surrounding area to be recorded using CAD data
DE102009008039A1 (en) Augmented reality image producing method for manufacturing technical component of land vehicle, involves selecting color and/or texture of virtual image component, and comparing component with part of real image to augmented reality image
DE102014206623A1 (en) Localization of a head-mounted display (HMD) in the vehicle
DE102009045169A1 (en) Display device i.e. augmented reality head-up-display, for use in motor vehicle, has evaluation unit changing positions of objects so that driver receives impression that objects lie in distance smaller or larger than that of image plane
DE112012001022T5 (en) Alignment control in a head-worn augmented reality device
DE102015216127A1 (en) Method for eye tracking in a vehicle with head-up display
DE102010003850A1 (en) Method for adjusting position of marked object for marking object on display unit of vehicle, involves determining position of marked object corresponding to surrounding information
DE102013210729A1 (en) Method and device for signaling a visually at least partially hidden traffic object for a driver of a vehicle
DE102017216775A1 (en) A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
DE102017215161A1 (en) Method and device for selecting an environment object in the environment of a vehicle
DE102018201769B4 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle
DE102009056013A1 (en) Method for generating augmented-reality image, involves receiving actual image of actual environment by camera
DE102012213132A1 (en) Method for displaying environment of e.g. passenger car by electronic processing unit, involves displaying environment of vehicle based on first and second cameras, and recording first and second positions of camera
DE60305345T2 (en) IMAGE PROCESSING DEVICE WITH DETECTION AND SELECTION OF LIGHT SOURCES
DE102014018419A1 (en) Method for generating a depth image
DE102017201502A1 (en) data glasses
DE102014012625A1 (en) Method and device for displaying environmental information
DE102017200337A1 (en) motor vehicle
WO2021122141A1 (en) Method for displaying an object through a head-up display display system and a head-up display display system
DE102020211298A1 (en) Method for representing a virtual element
DE102008060832B4 (en) Method for manufacturing a motor vehicle or a motor vehicle component
DE102019201134A1 (en) Measurement of augmented reality glasses for use in a motor vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication