WO2017153305A1 - Simulator for training a team of a helicopter crew - Google Patents

Simulator for training a team of a helicopter crew Download PDF

Info

Publication number
WO2017153305A1
WO2017153305A1 PCT/EP2017/055121 EP2017055121W WO2017153305A1 WO 2017153305 A1 WO2017153305 A1 WO 2017153305A1 EP 2017055121 W EP2017055121 W EP 2017055121W WO 2017153305 A1 WO2017153305 A1 WO 2017153305A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
training
images
hand
virtual reality
Prior art date
Application number
PCT/EP2017/055121
Other languages
German (de)
French (fr)
Inventor
Volker GROTELÜSCHEN
Original Assignee
Rheinmetall Defence Electronics Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rheinmetall Defence Electronics Gmbh filed Critical Rheinmetall Defence Electronics Gmbh
Priority to EP17709042.0A priority Critical patent/EP3394847A1/en
Publication of WO2017153305A1 publication Critical patent/WO2017153305A1/en

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft

Definitions

  • the present invention relates to a simulator for training at least one user, in particular a team of a helicopter crew, as well as a method for operating such a simulator.
  • simulators are often used in which the persons to be trained act in a virtual world. This can be done, for example, for Be ⁇ statutes of aircraft, land and sea vehicles.
  • a physical Nachbil ⁇ dung a vehicle cabin for example an aircraft cabin, shown in a virtu ⁇ economic reality on, for example, a spherical projection.
  • the virtual second solution can be at an attractive price realize.
  • an object of the present invention is to improve the simulation for training at least one user, in particular a team of a helicopter crew.
  • a simulator for training at least one user in particular ⁇ sondere a team of a helicopter crew, suggested to at least one Trai ⁇ beginnings object in a training room includes a virtual-reality goggles to display virtual images of training to ⁇ least one arranged on the virtual reality glasses video camera for on ⁇ acceptance of video images of a visual field of virtual reality glasses, a ers ⁇ te unit for providing gesture recognition data from a Gestestener ⁇ recognition of gestures of the user by means of the recorded video images, a second unit for providing hand-tracking data from a hand-tracking of hand movements of at least one hand of the user recorded by means of video images, and an image generator for generating displayed by the virtual reality glasses virtual images by means of the set ⁇ taken video images, the gesture recognition data provided and hand tracking data provided.
  • the simulator can be ⁇ also referred to as simulation system or as a system trainer.
  • the user can also as a trainee or team member designated ⁇ net are.
  • the training-object for example, a reduced on the replica of a haptic device to be trained, for example, a weapon, a Ret ⁇ processing thread or an external load of a helicopter.
  • a virtual scene, formed by the virtual images provided by the image generator, is displayed in the virtual reality glasses, in particular according to the position and viewing direction of the trainee. For example, by means of head tracking and position tracking, the position and direction of the trainee are determined and transferred into the virtual images (hereinafter also: the virtual representation) of the training room.
  • the trainee can move freely in the training room and the virtual scene is ⁇ accordingly representing the changing perspective of the trainee in the virtual reality glasses.
  • the hand tracking the movements and positions of the hands of trainees are recorded and the virtual representation, especially the virtuel ⁇ len hands of the trainee imaging in the training room avatars, worn over ⁇ .
  • the gestures or activities of the trainee he known and also on the virtual representation, in particular the virtual hands of the avatar, transmitted.
  • the avatar now serves the virtual training objects for which, as explained above, simplified haptic physical replicas or mock-ups exist.
  • the trainee can be taught the necessary feel, which allows the trainee to fully immerse himself in the virtual training environment.
  • the Trai- nee operates the training object, namely the simple haptic replica of Ge ⁇ Raets, and looks at the same time the complex representation of the same in the virtu ⁇ economic scene through the virtual reality goggles.
  • the optical illusion and the haptic illusion are thus optimally matched.
  • only the haptics of the mock-ups or replicas of the training objects are replicated, since the details in the virtual scene, formed by the virtual images of the image generator, represented by the virtual mock-up represented in the virtual reality glasses.
  • each team member will be assigned a virtual reality goggle common space is not necessary .
  • the team members can train separately from each other and still see each other through their virtual reality glasses in the same virtual training room.
  • Each team member is this exemplified in particular by an avatar in the virtual scene to which the movements of the desiredge ⁇ impaired team member to be transferred. In this way they can interact with one another, even if they do not physically touch each other, despite a possible physical separation.
  • the training room itself is designed to correlate with the virtual scene, for example, doors are simplified, so that the trainee can open them, for example, or lean on the frame or hold on while he is in the operation, for example, the rescue winch from the helicopter lean out.
  • the team members of a helicopter crew using the simulator should work together so a rescue hoist, an external load method and a weapon in the area of a Bordsi ⁇ cherungssolish (Door gunner), for example, to replicate.
  • Form are then in the simulator at least the safe handling of the (gun and Ret ⁇ processing thread) systems, and the safe and effective use of these systems in use.
  • the individual work areas and training objects can be housed together in the simulator and used, but it can also be trained physically separated from each other.
  • the simulator is suitable for training at least one user or one person, although preferably several users or team members are the same. can train early in the training room. Therefore, the simulator can Wenig ⁇ least include two virtual reality glasses, can be generated on soft-to-date by the imager images for each user. In the present case, visual range is understood in particular as the range that the user can see when looking through the virtual reality glasses.
  • an avatar is in particular an artificial or virtual Nachbil ⁇ dung of the user, for example, a graphic figure, understood that is associated with the user in the virtual scene.
  • the virtual reality glasses for displaying pure virtual images by means of a user in the training room absent ⁇ denden avatar is set up.
  • the virtual scene comprises exclusively virtual images.
  • the image generator is set up to generate the virtual images to be displayed by means of the provided hand-tracking data such that they comprise a position and / or a movement at least one virtual hand of the avatar.
  • the BEWE ⁇ account the hand of the user immediate feedback and impact on the movement of the virtual hand of the avatar.
  • the image generator is configured to generate the virtual images to be displayed using the provided Gestenerken ⁇ planning data such that they comprise at least one virtual gesture of the avatar. This will translate the user's gestures directly to the avatar's virtual gestures.
  • the simulator includes a third input unit for providing finger-tracking data of a finger tracking finger movements of at least a finger of the user by means of the set ⁇ recessed video images.
  • the image generator is configured to generate is ⁇ the delivering virtual images by means of the recorded video images, the be ⁇ riding detected gesture recognition data, the provided hand-tracking data and the finger-tracking data provided.
  • two video cameras arranged on the virtual reality glasses for stereoscopic recording of video images of the field of vision of the virtual reality glasses are provided.
  • the virtual reality glasses comprises two displays for stereoscopic display of the virtual images.
  • the image generator comprises two Rickge ⁇ erator units for generating two image data streams by means of the power consumed by the two video cameras video images, the provided Ges ⁇ tenerkennungswill and hand-tracking data provided and a video Processing unit for processing the two generated image data streams to the virtual images to be displayed by the two displays.
  • the video processing unit is set up especially for the simultaneous mixing of images of the video cameras with projected virtual images in the jewei ⁇ time view of user.
  • the video processing unit thus preferably makes it possible to mix the recordings of the video cameras at the same time with a calculated virtual scenario and to give each user their individual view of the scenario of the training room.
  • the two image generator units allow a different representation for each eye of the user.
  • each team member training receives a head-mounted display as virtual reality glasses, each equipped with two video cameras for stereoscopic images and a head tracker, which determine the direction of the concerned Team member allows.
  • the two image generator units of the image generator then generate a stereoscopic display of each display of the scenario from the individual point of view of the team member.
  • the simulator comprises a head tracking sensor for providing head tracking data for determining a position of the user and a viewing direction of the user.
  • the head tracking sensor is arranged on the virtual reality glasses. According to another embodiment, the head tracking sensor is provided external to the virtual reality glasses.
  • the image generator is set up to display the virtual images to be displayed by means of the recorded video images, the gesture recognition data provided, the hand provided.
  • the exercise room is designed to be movable in the room. Characterized in that the training room been ⁇ leads movable in space, it is advantageously possible that maneuvers, such as the helicopter be able to transmit with a movement system for the training room. The vibrations can also be transmitted to the floor of the training room and thus to the training crew. For example, it may be advantageous to decouple the floor from the side walls of the exercise room.
  • the training object is designed as a haptic-reduced replica (mock-up) of the device to be trained, for example a weapon, a rescue hoist or an outside load of a helicopter.
  • the rope of this rescue winch can be coupled to a moving plate which is movable within a plane in two directions, wherein the moving plate by the Rechenvorrich ⁇ device or host can be controlled. This makes it possible to noticeably simulate the pendulum motion of a load on the rope.
  • the moving plate for example, with a sensor being equipped ⁇ , with which the force transmission of a trainee on the cable of the rescue hoist detected and transmitted to the computing device or host. Transmissions of the trainees can be taken into account by the simulation so, thereby enabling the trainee to influence the oscillation of Ret ⁇ tung overcome by our own power.
  • the rope of the rescue winch can run between two spools, on which the rope can be rolled up and unrolled. These coils can, for example, be located outside the training room and serve to make the unwinding and reeling of the rope on the palms of the trainee perceptible.
  • the virtual reality glasses include an emergency stop device.
  • the emergency stop facility When pressing the emergency stop facility, the video images taken on ⁇ be switched to the virtual reality goggles. The Dar ⁇ position of the virtual images is interrupted or terminated. This is advantageous, in particular, when the user or trainee becomes ill during the training because the user can then return to the physical training room by pressing the emergency stop device.
  • the emergency stop device is designed, for example, as a button or button arranged on the virtual reality goggles.
  • the simulator comprises a haptic feedback device for the user, which is set up to give haptic feedback from the training objects or mock-ups back to the user.
  • the respective unit for example the first unit or the second unit, can be implemented in terms of hardware and / or software technology.
  • the respective unit may be embodied as a device or as part of a device, for example as a computer or as a microprocessor.
  • the respective unit as a computer program product, as a function, as a routine ⁇ be formed as part of a program code or an executable object to be.
  • a method of operating a simulator for training to ⁇ least a user, particularly a team of a helicopter crew proposed to at least one training-object in a training space wherein the simulator is a virtual reality glasses for the display of virtual images of the training and at least includes a angeord- on the virtual reality goggles designated video camera for capturing video images, a visual range of Vir ⁇ tual reality glasses, comprising the steps of: Providing gesture recognition data from gesture recognition of user gestures using the captured video images,
  • a computer program product such as a computer program means, for example, as a storage medium, such as memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file provided by a server in ei ⁇ nem network or delivered. This can be done, for example, in a wireless communication network by the transmission of a ent ⁇ speaking file with the computer program product or computer program means.
  • an implementation of the simulator in embodiments may include the following:
  • H / C cabin H / C Helicopter Rear cabin crew
  • H / C Helicopter Rear cabin crew are required vorteilhafter- as no exact physical replica of the simulated stroke ⁇ helicopter variant.
  • a possible training space for this purpose includes, for example simple Rah ⁇ men for the door sections of the H / C cabin, a simple haptic mock-up of the machine gun (Door gunner) and a model of a rescue hoist (Winchman).
  • the visual system consists in particular of the image generator, the virtual reality glasses and the analysis device.
  • the image generator is independent of the underlying concept.
  • virtual reality glasses a head-mounted display with video-see-through function can be used in combination with hand-tracking and gesture recognition.
  • the cameras of the head-mounted display provide a video with the hands of the wearer as soon as they are moved into the field of view. These movements of the hands, as well as their gestures, are analyzed by means of the analysis device, interpreted in ⁇ and handed over to the image generator for a correlating visual presentation.
  • the image generator in turn encourages a trainee to reflect ⁇ the avatar and allows these virtual systems training room Bedie ⁇ nen.
  • the cameras of the head-mounted display can also be used for head tracking.
  • a separate head-tracking system or a separate head-tracking sensor can be used to determine the position and viewing direction of the trainee.
  • Vibrations at the H / C are preferably transmitted to the floor of the cabin and thus to the crew. Vibrations can be supplemented by the recreational Parts that could pose a potential obstacle in the team members 'or trainees' space of action can be transferred. The transmission of vibrations is optional. Jobs :
  • rescue winch (Winchman), outside load method, on-board security soldier (Doorgunner).
  • Bedie ⁇ voltage (simplified), ballistics, cadence, recoil and weight.
  • This is a simplified haptic mock-up of the weapon the machine gun ⁇ protect is used as Trainingsob ⁇ ject.
  • the virtual representation of the weapon is preferably a photorealistic SD model.
  • This 3D model is superimposed on the mock-up and complements it, for example, with a realistic barrel and the visor.
  • a sight by ei ⁇ nes red laser dot can be also implemented within the simulated virtual scene. This is done inside the image generator, by the WAF is fenausraumraum extended by an imaginary line, a common point of intersection is determined with the terrain and there a light spot Darge ⁇ represents.
  • the mock-up preferably has a Recoil system.
  • the weight and the distribution of the weapon are emulated in particular by an optional control-load system.
  • This control load system can also simulate wind forces and shifting weights within the magazines acting on the barrel of the weapon.
  • the following functions can preferably be simulated ⁇ Operation, pen ⁇ delmony, unrolling / rolling.
  • the pendulum movement of the load is simulated on the cable of the rescue hoist beispielswei ⁇ se by means of an XY moving plate noticeable to the trainee.
  • Currency ⁇ end is the upper end of the rope at a fixed point, the lower end of the rope can be moved.
  • the pendulum motion of a simulated load is converted into a relative XY coordinate and transmitted to the XY plate provided with servomotors at the end of the rope.
  • Sensors preferably detect the force transmission of the trainees on the rope, which in turn is transmitted to the simulator. This makes it possible for the trainee to be able to influence the pendulum movement.
  • the trainee can also feel the unwinding and rolling up of the rope preferably on the palm of his hand.
  • the rope as in a real winch, unrolled from a spool and wound at the same time at the lower end on a second coil. This can also simulate the rope tension, which changes when the load is placed on the ground.
  • the retrieval of the rope simu lated ⁇ is controlled via the Rescue Hoist Remote Control Unit.
  • a correlating 3D model for the cable is preferably used and displayed for this purpose.
  • the oscillation of this model is calculated by its own mathematical model on the computing device or host ⁇ .
  • These simulated movements are ⁇ give albge to the image generator and control the virtual representation, which the haptic perception ⁇ recess serving physical cable is superposed visually.
  • the training environment for the external load method is in particular part of the equipment of the Doorgunner or the Winchman.
  • a machine-gunner, on-board mechanic or on-board attendant equipped with the head-mounted display can observe the external load during the external load procedure both through a simulated floor hatch and through the H / C cabin windows and doors shown. He stands in connection with the instructor, for example, the pilot, and can optionally be passed to him Infor ⁇ mation or commands.
  • Fig. 1 shows a schematic block diagram of a first gameheldsbei ⁇ a simulator for training at least one user on at least one training-object in a training space;
  • Fig. 2 shows a schematic block diagram of a second gameheldsbei ⁇ a simulator for training at least one user on at least one training-object in a training space;
  • FIG. 3 shows a schematic flow diagram of an embodiment of a method for operating a simulator.
  • identical or like elements with the same function Be ⁇ reference numbers have been provided, except where otherwise indicated.
  • Fig. 1 is a schematic block diagram of a first embodiment of a simulator 10 for training at least one user on at least ei ⁇ nem training-object 300, represented in a training locale 400.
  • the simulator 10 can also be referred to as a system trainer or simulation system.
  • the simulator 10 comprises a virtual reality device 100 and a host device 200, which couples the virtual reality device 100 with the training objects 300, 400.
  • the Trai ⁇ beginnings objects 300, 400 of FIG. 1 are formed as a gun 300 and as a rescue hoist 400 in the example.
  • the weapon 300 and the rescue winch 400 are in particular a model of the original or reduced to essential haptic elements of the original dummy (mock-up).
  • the weapon 300 has in particular ⁇ a weapons simulation unit 301 and the rescue winch 400 has a winch simulation unit 401, which are coupled via the computing device 200 with the virtual reality arrangement 100.
  • the virtual reality arrangement 100 comprises a virtual reality goggles 110, an analysis device 120 and an image generator 130.
  • the virtual reality goggles 110 comprise a video camera 111, in particular alignable with the user's left eye , and a video camera 112, in particular alignable to the right eye of the user.
  • the video camera 111 may also be referred to as an L-video camera (L; left eye) and the video camera 112 as an R-video camera (R; right eye).
  • the virtual reality glasses 110 include a display 113, in particular alignable to the left eye of the user, and a display 114, in particular alignable to the right eye of the user.
  • the display 113 may also be referred to as an L display and the display 114 as an R display.
  • the analysis device 120 comprises a first unit 121 and a second unit 122.
  • the first unit 121 and the second unit 122 are in particular formed as a part, in particular as a software part and / or as a hardware part, of the analysis device 120.
  • the image generator 130 preferably comprises a Jardingenerator- unit 131, in particular aligned on the left eye of the groove ⁇ decomp a Jardingenerator- unit 132, in particular, aligned to the right eye of the user, and a video processing unit 133 which both the Jardingenerator- Unit 131 as well as the image generator unit 132 gekop ⁇ pelt is.
  • the virtual reality glasses 110 is set up to display virtual images S1 of the exercise room.
  • the virtual reality glasses 110 are preferably set up to display pure virtual images S1 by means of an avatar depicting the user in the training room.
  • the video cameras 111, 112 arranged on the virtual reality glasses 110 are set up to record video images S2 of a viewing region of the virtual reality glasses 110.
  • the first unit 121 of the analysis device 120 is configured to provide gestures ⁇ recognition data S3 from a gesture recognition of gestures of the user by means of the captured video images S2.
  • the second unit 122 of the analysis device 120 is set up, hand tracking data S4 from a hand-tracking of hand movements of at least one hand of the user by means of the recorded video images S2 deviszustel ⁇ len.
  • the image generator 130 is configured to generate the displayed by the virtual reality goggles 110 virtual images Sl by means of the recorded video images S2, the provided gesture recognition data S3 and the ready rack ⁇ th hand tracking data S4. Functionalities of the image generator 130 may additionally or alternatively also be executed by the computing device 200 (host).
  • the image generator 130 is in particular configured to generate the virtual images Sl to be displayed by means of the provided hand tracking data S4 such that they comprise a position and / or a movement of at least one virtual hand of the avatar.
  • the image generator 130 is in particular configured to generate the virtual images Sl to be represented by means of the provided gesture recognition data S3 in such a way that they comprise at least one virtual gesture of the avatar.
  • the virtual reality goggles 110 are configured as a head-mounted display with integrated video sea-through function.
  • the two are arranged on the virtual reality goggles 110 Vi ⁇ deo cameras 111, 112 adapted to stereoscope recording video images S2 of the view area of the virtual reality goggles 110th
  • the video cameras 111, 112 are integrated in the virtual reality glasses 110.
  • the width ⁇ ren, the two displays 113, 114 of the virtual reality goggles 110 to the stereoscope representation of the virtual images SI are preferably furnished.
  • the two Jardingenerator- units 131, 132 are for generating two image data streams S6 and S7, by means of the taken from the two video cameras 111, 112 ⁇ video images S2, the provided gesture recognition data S3 and the manual provided Tracking data S4 set up.
  • the video processing unit 133 of the image generator 130 is configured to process the two generated image data streams S6, S7 to the virtual images S1 to be represented by the two displays 113, 114.
  • the displayed virtu ⁇ ellen images SI are in particular a virtual scene in the training room in which the user trains with the training object, for example the replica of the weapon 300 or the rescue winch 400.
  • Fig. 2 shows a schematic block diagram of a second exemplary embodiment of a simulator 10 for training at least one user on at least one ⁇ training-object 300, 400 in a training room.
  • the second embodiment of FIG. 2 includes all features of the first embodiment of FIG. 1.
  • the analysis device 120 may include a third unit 123 and a fourth unit 124.
  • the third unit 123 is adapted to provide finger-tracking data S5 from a finger tracking finger movements of at least a finger of the groove ⁇ dec by means of the captured video images S2.
  • the image generator can be set 130 to the provided finger-tracking data S5 also to generate the virtual images to be displayed to nut ⁇ zen Sl.
  • the fourth unit 124 is configured to provide analysis data S10 to the position Determined ⁇ lung and / or position detection in the room.
  • the Schmgene- can rator 130 and / or the computing device 200 be configured to S10 to use the ready ⁇ provided analysis data to generate the displayed virtual images Sl.
  • FIG. 2 shows that the virtual reality arrangement 100 has a head tracking sensor 115, which is integrated in the virtual reality glasses 110, and an external head-tracking system that is different from the virtual reality glasses 110 Sensor 140 includes.
  • both or only one of the head-tracking sensors 115, 140 may be provided.
  • the respective head tracking sensor 115, 140 is configured to provide head tracking data S8 for determining a position of the user and a viewing direction of the user.
  • the virtual reality system 100 may also include a proces ⁇ beitungsstatt 150 for the head tracking sensors 115, 140.
  • the processing unit 150 in particular generates data S9 for the position and / or viewing direction from the provided head tracking data S8.
  • the data S9 to the position and / or gaze direction can from the computing device 200 or the image generator 130 to generate the virtual images Sl USAGE be det ⁇ .
  • FIG. 3 shows a schematic flow diagram of an exemplary embodiment of a method for operating a simulator 10.
  • the simulator 10 comprises a virtual reality glasses 110 for displaying virtual images S1 of the training room and at least one video camera 111, 112 arranged on the virtual reality glasses 110 for capturing video images S2 of a viewing area Virtual reality glasses 110. Examples of the simulator 10 are shown in FIGS. 1 and 2.
  • the method of Figure 3 includes the following process steps 301, 302 and 303:
  • step 301 gesture recognition data S3 from a gesture recognition of gestures of the user are provided by the video camera 111, 112ipponom ⁇ menen video images S2 by means of the.
  • hand tracking data S4 is provided from a hand tracking of hand movements of at least one hand of the user by means of the captured video images S2.
  • step 303 the virtual images S1 to be displayed by the virtual reality glasses 110 are generated by the captured video images S2, the provided gesture recognition data S3, and the provided hand tracking data S4.

Abstract

A simulator (10) for training at least one user, particularly a team of a helicopter crew, on at least one training object (300, 400) in a training room is proposed, with a training room that is designed to move in space and contains the training object (300, 400), the training object (300, 400) being in the form of a replica of a weapon (300), a rescue winch (400) or an external load of a helicopter that is reduced to haptics, a pair of virtual reality goggles (110) for presenting virtual images (S1) for the training, at least one video camera (111, 112), arranged on the virtual reality goggles (110), for recording video images (S2) of a visual range of the virtual reality goggles (110), a first unit (121) for providing gesture recognition data (S3) from gesture recognition of gestures of the user by means of the recorded video images (S2), a second unit (122) for providing hand tracking data (S4) from hand tracking of hand movements of at least one hand of the user by means of the recorded video images (S2), and an image generator (130) for generating virtual images (S1), to be presented by the virtual reality goggles (110), by means of the recorded video images (S2), the provided gesture recognition data (S3) and the provided hand tracking data (S4).

Description

SIMULATOR ZUM TRAINING EINES TEAMS EINER  SIMULATOR FOR TRAINING A TEAM ONE
HUBSCHRAUBERBESATZUNG  HELICOPTER CREW
Die vorliegende Erfindung betrifft einen Simulator für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, sowie ein Verfahren zum Betreiben eines solchen Simulators. The present invention relates to a simulator for training at least one user, in particular a team of a helicopter crew, as well as a method for operating such a simulator.
Bekannterweise werden zum Training und zur Ausbildung von Nutzern oder Personen in Teams oftmals Simulatoren eingesetzt, bei denen die zu trainieren- den Personen in einer virtuellen Welt agieren. Dies kann beispielsweise für Be¬ satzungen von Fluggeräten, Land- und Seefahrzeugen erfolgen. Um die Handha¬ bung eines komplexen Systems zu trainieren, wird eine physikalische Nachbil¬ dung einer Fahrzeugkabine, beispielsweise eine Fluggerätekabine, in einer virtu¬ ellen Realität auf zum Beispiel einer sphärischen Projektion dargestellt. As is known, for the training and training of users or persons in teams, simulators are often used in which the persons to be trained act in a virtual world. This can be done, for example, for Be ¬ statutes of aircraft, land and sea vehicles. In order to train the handle lo ¬ bung of a complex system is a physical Nachbil ¬ dung a vehicle cabin, for example an aircraft cabin, shown in a virtu ¬ economic reality on, for example, a spherical projection.
Die Größe beispielsweise einer Hubschrauber-Kabine und die sich ständig in Be¬ wegung befindenden Augenpunkte der Crew-Mitglieder führen zu der Notwen¬ digkeit, eine große sphärische Projektionsfläche von 100°(+10°/-90°) x 360° zu konstruieren. Der Durchmesser kann dabei 8 Meter betragen und 12 Sicht- Kanäle scheinen notwendig und realistisch zu sein. Zu bedienende Instrumente werden dann als ein dem originalen System entsprechendes MMI (Mensch- Maschinen-lnferface) nachgebildet, beispielsweise eine Waffe inklusive Kraft¬ rückkopplung oder eine Rettungswinde inklusive Seilkräfte. Sollen taktische Operationen trainiert werden, so ist es bekannt, als Display Vir- tual-Reality- Brillen zu verwenden und die Systeme als vereinfachtes MMI nach¬ zubilden. Sowohl die Kabine als auch das zu bedienende Gerät, beispielsweise eine Waffe, werden dann virtuell nachgebildet und in der Virtual-Reality-Brille dargestellt. The size such as a helicopter cabin and the ever-that are available in Be ¬ motion eye points of the crew members lead to the Notwen ¬ speed, a large spherical projection of 100 ° (+ 10 ° / -90 °) to construct x 360 °. The diameter can be 8 meters and 12 viewing channels seem to be necessary and realistic. Than an equivalent to the original system MMI (man-machine lnferface) are then replicated to-use instruments, such as a weapon, including power ¬ feedback or a rescue winch including rope forces. Tactical Operations should be trained, it is known to use as a display vir tual-Reality Glasses and zubilden the systems as a simplified MMI to ¬. Both the cabin and the device to be operated, such as a weapon, are then virtually replicated and displayed in the virtual reality glasses.
Während bei der ersten Lösung vorteilhaft ein reales System physikalisch nach¬ gebildet wird, lässt sich die virtuelle zweite Lösung zu einem attraktiven Preis realisieren. Werden als Virtual-Reality-Brillen Head-Mounted-Displays mit teil¬ transparenten Displays (See-Through-Technologie) genutzt, so können auch die Systeme und die Crew-Mitglieder gesehen werden. Es würde aber auch der Trai¬ ningsraum, d.h. die nachgebildete Kabine, zu sehen sein. Zudem kann es zu visu- eilen Artefakten durch falsche Uberlagerungen der maskierten Fenster bzw. Öff¬ nungen für die Außensicht und den anwesenden Crew-Mitgliedern kommen. While in the first solution advantageously a real system is formed physically after ¬ , the virtual second solution can be at an attractive price realize. Be used as virtual reality glasses head mounted displays with some ¬ transparent displays (See-Through technology), as well as the systems and the crew members can be seen. But it would also be the Trai ¬ ningsraum, ie the modeled cabin to see. In addition, there can be Visu rush artifacts caused by incorrect superpositions of the masked window or Öff ¬ calculations for the outside view and the attending crew members.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, die Simulation für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, zu verbessern. Against this background, an object of the present invention is to improve the simulation for training at least one user, in particular a team of a helicopter crew.
Demgemäß wird ein Simulator für ein Training zumindest eines Nutzers, insbe¬ sondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trai¬ ningsobjekt in einem Trainingsraum vorgeschlagen. Der Simulator umfasst eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings, zu¬ mindest eine an der Virtual-Reality-Brille angeordnete Video-Kamera zur Auf¬ nahme von Video-Bildern eines Sichtbereichs der Virtual-Reality-Brille, eine ers¬ te Einheit zum Bereitstellen von Gestenerkennungsdaten aus einer Gestener¬ kennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder, eine zweite Einheit zum Bereitstellen von Hand-Tracking-Daten aus einem Hand- Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und einen Bildgenerator zum Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufge¬ nommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten. Accordingly, a simulator for training at least one user in particular ¬ sondere a team of a helicopter crew, suggested to at least one Trai ¬ beginnings object in a training room. The simulator includes a virtual-reality goggles to display virtual images of training to ¬ least one arranged on the virtual reality glasses video camera for on ¬ acceptance of video images of a visual field of virtual reality glasses, a ers ¬ te unit for providing gesture recognition data from a Gestestener ¬ recognition of gestures of the user by means of the recorded video images, a second unit for providing hand-tracking data from a hand-tracking of hand movements of at least one hand of the user recorded by means of video images, and an image generator for generating displayed by the virtual reality glasses virtual images by means of the set ¬ taken video images, the gesture recognition data provided and hand tracking data provided.
Der Simulator kann auch als Simulations-System oder als System-Trainer be¬ zeichnet werden. Der Nutzer kann auch als Trainee oder Team-Mitglied bezeich¬ net werden. Das Trainingsobjekt ist beispielsweise ein auf die Haptik reduziertes Replikat eines zu trainierenden Gerätes, beispielsweise einer Waffe, einer Ret¬ tungswinde oder einer Außenlast eines Hubschraubers. Eine virtuelle Szene, gebildet durch die von dem Bildgenerator bereitgestellten virtuellen Bilder, wird in der Virtual-Reality-Brille insbesondere entsprechend der Position und Blickrichtung des Trainees dargestellt. Beispielsweise mittels eines Head-Trackings und Position-Trackings werden die Position und die Blick- richtung des Trainees ermittelt und in die virtuellen Bilder (im Weiteren auch: die virtuelle Darstellung) des Trainingsraums übertragen. So kann sich der Trainee frei in dem Trainingsraum bewegen und die virtuelle Szene wird ent¬ sprechend der sich ändernden Perspektive des Trainees in der Virtual-Reality- Brille dargestellt. The simulator can be ¬ also referred to as simulation system or as a system trainer. The user can also as a trainee or team member designated ¬ net are. The training-object, for example, a reduced on the replica of a haptic device to be trained, for example, a weapon, a Ret ¬ processing thread or an external load of a helicopter. A virtual scene, formed by the virtual images provided by the image generator, is displayed in the virtual reality glasses, in particular according to the position and viewing direction of the trainee. For example, by means of head tracking and position tracking, the position and direction of the trainee are determined and transferred into the virtual images (hereinafter also: the virtual representation) of the training room. Thus, the trainee can move freely in the training room and the virtual scene is ¬ accordingly representing the changing perspective of the trainee in the virtual reality glasses.
Mit dem Hand-Tracking werden die Bewegungen und die Positionen der Hände des Trainees erfasst und auf die virtuelle Darstellung, insbesondere den virtuel¬ len Händen eines den Trainee in dem Trainingsraum abbildenden Avatars, über¬ tragen. The hand tracking the movements and positions of the hands of trainees are recorded and the virtual representation, especially the virtuel ¬ len hands of the trainee imaging in the training room avatars, worn over ¬.
Mit der Gestenerkennung werden die Gesten oder Aktivitäten des Trainees er¬ kannt und ebenfalls auf die virtuelle Darstellung, insbesondere den virtuellen Händen des Avatars, übertragen. Der Avatar bedient nun in der virtuellen Szene die virtuell dargestellten Trainingsobjekte für die es— wie oben erläutert— ver- einfachte haptische physikalische Replikate oder Mock-Ups gibt. With the gesture recognition, the gestures or activities of the trainee he ¬ known and also on the virtual representation, in particular the virtual hands of the avatar, transmitted. In the virtual scene, the avatar now serves the virtual training objects for which, as explained above, simplified haptic physical replicas or mock-ups exist.
Kombiniert mit den physikalischen Nachbildungen der Trainingsobjekte oder Repliken kann dem Trainee die notwendige Haptik vermittelt werden, die den Trainee vollends in die virtuelle Trainingsumgebung eintauchen lässt. Der Trai- nee bedient das Trainingsobjekt, nämlich die einfache haptische Replik des Ge¬ räts, und sieht zugleich die komplexe Darstellung desselben Geräts in der virtu¬ ellen Szene durch die Virtual-Reality-Brille. Die optische Täuschung und die haptische Täuschung sind damit optimal aufeinander abgestimmt. Mit anderen Worten sind in der realen Welt des Trainingsraums nur die Haptik der Mock-Ups oder Replikate der Trainingsobjekte nachzubauen, da die Details in der virtuellen Szene, gebildet durch die virtuellen Bilder des Bildgenerators, durch das virtuelle Mock-Up, dargestellt in der Virtual-Reality-Brille, abgebildet sind. Hierdurch können erhebliche Kosten bei der Nachbildung der Trainingsob¬ jekte eingespart werden. Wenn mehrere Team-Mitglieder oder Crew-Mitglieder, beispielsweise Mitglieder einer Hubschrauberbesatzung, die in einer Kabine agieren (Helicopter Rear Cabin Crew— H/C Crew), gemeinsam trainieren, so wird jedem Team-Mitglied eine Virtual-Reality-Brille zugeordnet und ein gemeinsamer Raum ist nicht not¬ wendig. Die Team-Mitglieder können räumlich getrennt voneinander trainieren und sehen sich über ihre Virtual-Reality-Brillen dennoch in demselben virtuellen Trainingsraum. Ein jedes Team-Mitglied wird hierfür insbesondere durch einen Avatar in der virtuellen Szene dargestellt, auf den die Bewegungen des dazuge¬ hörigen Team-Mitglieds übertragen werden. So können sie trotz einer möglichen physikalischen räumlichen Trennung miteinander interagieren, wenn auch nicht einander berühren. Insbesondere ist der Trainingsraum selbst korrelierend mit der virtuellen Szene gestaltet, zum Beispiel sind Türen vereinfacht aufgebaut, so dass der Trainee diese beispielsweise öffnen kann oder sich an deren Rahmen anlehnen oder festhalten kann, während er sich bei der Bedienung zum Beispiel der Rettungswinde aus dem Helikopter hinaus lehnt. Combined with the physical replicas of the training objects or replicas, the trainee can be taught the necessary feel, which allows the trainee to fully immerse himself in the virtual training environment. The Trai- nee operates the training object, namely the simple haptic replica of Ge ¬ Raets, and looks at the same time the complex representation of the same in the virtu ¬ economic scene through the virtual reality goggles. The optical illusion and the haptic illusion are thus optimally matched. In other words, in the real world of the training room, only the haptics of the mock-ups or replicas of the training objects are replicated, since the details in the virtual scene, formed by the virtual images of the image generator, represented by the virtual mock-up represented in the virtual reality glasses. In this way, considerable costs can be saved in the replica of the Trainingsob ¬ projects. If several team members or crew members, such as Helicopter Rear Cabin Crew H / C crew members, train together, for example, each team member will be assigned a virtual reality goggle common space is not necessary . The team members can train separately from each other and still see each other through their virtual reality glasses in the same virtual training room. Each team member is this exemplified in particular by an avatar in the virtual scene to which the movements of the dazuge ¬ impaired team member to be transferred. In this way they can interact with one another, even if they do not physically touch each other, despite a possible physical separation. In particular, the training room itself is designed to correlate with the virtual scene, for example, doors are simplified, so that the trainee can open them, for example, or lean on the frame or hold on while he is in the operation, for example, the rescue winch from the helicopter lean out.
Wenn, wie oben ausgeführt, die Team-Mitglieder einer Hubschrauberbesatzung mittels des Simulators miteinander trainieren sollen, so sind beispielsweise eine Rettungswinde, ein Außenlastverfahren und eine Waffe im Bereich eines Bordsi¬ cherungssoldaten (Doorgunner) nachzubilden. Auszubilden sind dann in dem Simulator wenigstens die sichere Handhabung der Systeme (Waffe und Ret¬ tungswinde) und die effektive und sichere Nutzung dieser Systeme im Einsatz. Dabei können die einzelnen Arbeitsbereiche und Trainingsobjekte gemeinsam in dem Simulator untergebracht sein und genutzt werden, es kann jedoch auch physikalisch getrennt voneinander trainiert werden. If, as stated above, the team members of a helicopter crew using the simulator should work together so a rescue hoist, an external load method and a weapon in the area of a Bordsi ¬ cherungssoldaten (Door gunner), for example, to replicate. Form are then in the simulator at least the safe handling of the (gun and Ret ¬ processing thread) systems, and the safe and effective use of these systems in use. The individual work areas and training objects can be housed together in the simulator and used, but it can also be trained physically separated from each other.
Der Simulator eignet sich zur Ausbildung wenigstens eines Nutzers oder einer Person, wobei jedoch vorzugsweise mehrere Nutzer oder Team-Mitglieder gleich- zeitig im Trainingsraum trainieren können. Daher kann der Simulator wenigs¬ tens zwei Virtual-Reality-Brillen umfassen, auf weichen von dem Bildgenerator zeitaktuelle Bilder für jeden Nutzer erzeugbar sind. Unter Sichtbereich wird vorliegend insbesondere der Bereich verstanden, den der Nutzer beim Blicken durch die Virtual Reality- Brille sehen kann. The simulator is suitable for training at least one user or one person, although preferably several users or team members are the same. can train early in the training room. Therefore, the simulator can Wenig ¬ least include two virtual reality glasses, can be generated on soft-to-date by the imager images for each user. In the present case, visual range is understood in particular as the range that the user can see when looking through the virtual reality glasses.
Unter einem Avatar wird insbesondere eine künstliche oder virtuelle Nachbil¬ dung des Nutzers, beispielsweise eine Grafikfigur, verstanden, die dem Nutzer in der virtuellen Szene zugeordnet ist. Under an avatar is in particular an artificial or virtual Nachbil ¬ dung of the user, for example, a graphic figure, understood that is associated with the user in the virtual scene.
Gemäß einer Ausführungsform ist die Virtual-Reality-Brille zur Darstellung von reinen virtuellen Bildern mittels eines den Nutzer in dem Trainingsraum abbil¬ denden Avatars eingerichtet. Hierdurch umfasst die virtuelle Szene ausschließ- lieh virtuelle Bilder. According to one embodiment, the virtual reality glasses for displaying pure virtual images by means of a user in the training room abbild ¬ denden avatar is set up. As a result, the virtual scene comprises exclusively virtual images.
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Hand-Tracking- Daten derart zu generieren, dass sie eine Position und/oder eine Bewegung zu- mindest einer virtuellen Hand des Avatars umfassen. According to a further embodiment, the image generator is set up to generate the virtual images to be displayed by means of the provided hand-tracking data such that they comprise a position and / or a movement at least one virtual hand of the avatar.
Damit wird eine Bewegung der Hand des Nutzers auf eine korrespondierende Bewegung der virtuellen Hand des Avatars übertragen. Hierdurch hat die Bewe¬ gung der Hand des Nutzers eine unmittelbare Kopplung und Auswirkung auf die Bewegung der virtuellen Hand des Avatars. This transfers a movement of the user's hand to a corresponding movement of the avatar's virtual hand. In this way has the BEWE ¬ account the hand of the user immediate feedback and impact on the movement of the virtual hand of the avatar.
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Gestenerken¬ nungsdaten derart zu generieren, dass sie zumindest eine virtuelle Geste des Avatars umfassen. Hierdurch werden die Gesten des Nutzers unmittelbar auf virtuelle Gesten des Avatars übertragen. According to a further embodiment of the image generator is configured to generate the virtual images to be displayed using the provided Gestenerken ¬ planning data such that they comprise at least one virtual gesture of the avatar. This will translate the user's gestures directly to the avatar's virtual gestures.
Gemäß einer weiteren Ausführungsform umfasst der Simulator eine dritte Ein- heit zum Bereitstellen von Finger-Tracking-Daten aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nutzers mittels der aufge¬ nommenen Video-Bilder. Dabei ist der Bildgenerator dazu eingerichtet, die dar¬ zustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der be¬ reitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-Tracking- Daten und der bereitgestellten Finger-Tracking-Daten zu generieren. According to a further embodiment of the simulator includes a third input unit for providing finger-tracking data of a finger tracking finger movements of at least a finger of the user by means of the set ¬ recessed video images. Here, the image generator is configured to generate is ¬ the delivering virtual images by means of the recorded video images, the be ¬ riding detected gesture recognition data, the provided hand-tracking data and the finger-tracking data provided.
Gemäß einer weiteren Ausführungsform ist die Virtual-Reality-Brille als ein Head-Mounted-Display mit integrierter Video- See-Through- Funktion ausgebil¬ det. According to a further embodiment, the virtual reality goggles ausgebil ¬ det as a head-mounted display with integrated video See-through feature.
Gemäß einer weiteren Ausführungsform sind zwei an der Virtual-Reality-Brille angeordnete Video-Kameras zur Stereoskopen Aufnahme von Video-Bildern des Sichtbereichs der Virtual-Reality-Brille vorgesehen. Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille zwei Displays zur Stereoskopen Darstellung der virtuellen Bilder. According to a further embodiment, two video cameras arranged on the virtual reality glasses for stereoscopic recording of video images of the field of vision of the virtual reality glasses are provided. According to a further embodiment, the virtual reality glasses comprises two displays for stereoscopic display of the virtual images.
Hiermit wird vorteilhafterweise dem Nutzer ein Eindruck von räumlicher Tiefe vermittelt. This advantageously gives the user an impression of spatial depth.
Gemäß einer weiteren Ausführungsform umfasst der Bildgenerator zwei Bildge¬ nerator-Einheiten zum Generieren von zwei Bilddaten- Strömen mittels der von den zwei Video-Kameras aufgenommenen Video-Bilder, der bereitgestellten Ges¬ tenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten und eine Video-Verarbeitungseinheit zum Verarbeiten der zwei generierten Bilddaten- Ströme zu den durch die beiden Displays darzustellenden virtuellen Bilder. Die Video-Verarbeitungseinheit ist insbesondere zur zeitgleichen Mischung der Aufnahmen der Video-Kameras mit gerechneten virtuellen Bildern in der jewei¬ ligen Blickrichtung des Nutzers eingerichtet. Die Video-Verarbeitungseinheit ermöglicht es somit vorzugsweise, die Aufnahmen der Video-Kameras zeitgleich mit einem errechneten virtuellen Szenario zu mischen und einem jeden Nutzer seine individuelle Sicht auf das Szenario des Trainingsraums zu geben. Dabei ermöglichen die zwei Bildgenerator- Einheiten eine differierende Darstellung für jedes Auge des Nutzers. Beispielsweise erhält bei einem Training eines Teams jedes trainierende Team- Mitglied ein Head-Mounted-Display als Virtual-Reality-Brille, welches jeweils mit zwei Video-Kameras für Stereoskope Aufnahmen und einem Head-Tracker versehen ist, der die Feststellung der Blickrichtung des betreffenden Team- Mitglieds ermöglicht. Die zwei Bildgenerator- Einheiten des Bildgenerators er- zeugen dann für jedes Display eine Stereoskope Darstellung des Szenarios aus dem individuellen Blickwinkel des Team-Mitglieds. According to a further embodiment of the image generator comprises two Bildge ¬ erator units for generating two image data streams by means of the power consumed by the two video cameras video images, the provided Ges ¬ tenerkennungsdaten and hand-tracking data provided and a video Processing unit for processing the two generated image data streams to the virtual images to be displayed by the two displays. The video processing unit is set up especially for the simultaneous mixing of images of the video cameras with projected virtual images in the jewei ¬ time view of user. The video processing unit thus preferably makes it possible to mix the recordings of the video cameras at the same time with a calculated virtual scenario and to give each user their individual view of the scenario of the training room. The two image generator units allow a different representation for each eye of the user. For example, when training a team, each team member training receives a head-mounted display as virtual reality glasses, each equipped with two video cameras for stereoscopic images and a head tracker, which determine the direction of the concerned Team member allows. The two image generator units of the image generator then generate a stereoscopic display of each display of the scenario from the individual point of view of the team member.
Gemäß einer weiteren Ausführungsform umfasst der Simulator einen Head- Tracking-Sensor zum Bereitstellen von Head-Tracking-Daten zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers. According to a further embodiment, the simulator comprises a head tracking sensor for providing head tracking data for determining a position of the user and a viewing direction of the user.
Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor an der Virtual-Reality-Brille angeordnet. Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor extern zu der Virtual-Reality-Brille vorgesehen. According to a further embodiment, the head tracking sensor is arranged on the virtual reality glasses. According to another embodiment, the head tracking sensor is provided external to the virtual reality glasses.
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-In accordance with a further embodiment, the image generator is set up to display the virtual images to be displayed by means of the recorded video images, the gesture recognition data provided, the hand provided.
Tracking-Daten und der bereitgestellten Head-Tracking-Daten zu generieren. Gemäß einer weiteren Ausführungsform ist der Trainingsraum beweglich im Raum ausgeführt. Dadurch, dass der Trainingsraum beweglich im Raum ausge¬ führt ist, ist es vorteilhafterweise möglich, dass Manöver, beispielsweise des Hubschraubers, mit einem Bewegungssystem auf den Trainingsraum übertragen zu können. Die Vibrationen können ebenfalls auf den Boden des Trainingsraums und damit auf die trainierende Besatzung übertragen werden. Beispielsweise kann es vorteilhaft sein, den Boden von den Seitenwänden des Trainingsraums zu entkoppeln. Gemäß einer weiteren Ausführungsform ist das Trainingsobjekt als eine auf die Haptik reduzierte Replik (Mock-Up) des zu trainierenden Geräts, beispielsweise einer Waffe, einer Rettungswinde oder einer Außenlast eines Hubschraubers, ausgebildet. Beispielsweise bei einer Rettungswinde kann das Seil dieser Rettungswinde an eine Bewegungsplatte angekoppelt sein, welche innerhalb einer Ebene in zwei Richtungen bewegbar ist, wobei die Bewegungsplatte durch die Rechenvorrich¬ tung oder Host ansteuerbar ist. So lässt sich die Pendelbewegung einer Last an dem Seil spürbar simulieren. Generate tracking data and the provided head tracking data. According to a further embodiment, the exercise room is designed to be movable in the room. Characterized in that the training room been ¬ leads movable in space, it is advantageously possible that maneuvers, such as the helicopter be able to transmit with a movement system for the training room. The vibrations can also be transmitted to the floor of the training room and thus to the training crew. For example, it may be advantageous to decouple the floor from the side walls of the exercise room. According to a further embodiment, the training object is designed as a haptic-reduced replica (mock-up) of the device to be trained, for example a weapon, a rescue hoist or an outside load of a helicopter. For example, in a rescue winch, the rope of this rescue winch can be coupled to a moving plate which is movable within a plane in two directions, wherein the moving plate by the Rechenvorrich ¬ device or host can be controlled. This makes it possible to noticeably simulate the pendulum motion of a load on the rope.
Des Weiteren kann die Bewegungsplatte beispielsweise mit einem Sensor ausge¬ stattet sein, mit welchem die Kraftübertragung eines Trainees auf das Seil der Rettungswinde erfassbar und an der Rechenvorrichtung oder Host übertragbar ist. Kraftübertragungen des Trainees können so von der Simulation berücksich- tigt werden, wodurch es dem Trainee möglich ist, die Pendelbewegung der Ret¬ tungswinde durch eigene Kraft zu beeinflussen. Furthermore, can be the moving plate, for example, with a sensor being equipped ¬, with which the force transmission of a trainee on the cable of the rescue hoist detected and transmitted to the computing device or host. Transmissions of the trainees can be taken into account by the simulation so, thereby enabling the trainee to influence the oscillation of Ret ¬ tung overcome by our own power.
Beispielsweise kann das Seil der Rettungswinde zwischen zwei Spulen verlaufen, auf welche das Seil aufrollbar und abrollbar ist. Diese Spulen können sich bei- spielsweise außerhalb des Trainingsraums befinden und dienen dazu, das Ab- und Aufspulen des Seils an den Handflächen des Trainees spürbar zu machen. Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille, eine Not- Aus- Einrichtung. Bei Betätigung der Not- Aus- Einrichtung werden die auf¬ genommenen Videobilder auf die Virtual-Reality-Brille durchgeschaltet. Die Dar¬ stellung der virtuellen Bilder wird unterbrochen bzw. beendet. Dies ist insbeson- dere dann vorteilhaft, wenn dem Nutzer oder Trainee während des Trainings übel wird, da dann der Nutzer durch Drücken der Not- Aus- Einrichtung in den physikalischen Trainingsraum zurückkehren kann. Die Not- Aus- Einrichtung ist beispielsweise als ein an der Virtual-Reality-Brille angeordneter Taster oder Knopf ausgebildet. For example, the rope of the rescue winch can run between two spools, on which the rope can be rolled up and unrolled. These coils can, for example, be located outside the training room and serve to make the unwinding and reeling of the rope on the palms of the trainee perceptible. According to another embodiment, the virtual reality glasses include an emergency stop device. When pressing the emergency stop facility, the video images taken on ¬ be switched to the virtual reality goggles. The Dar ¬ position of the virtual images is interrupted or terminated. This is advantageous, in particular, when the user or trainee becomes ill during the training because the user can then return to the physical training room by pressing the emergency stop device. The emergency stop device is designed, for example, as a button or button arranged on the virtual reality goggles.
Gemäß einer weiteren Ausführungsform umfasst der Simulator eine haptische Feedback- Einrichtung für den Nutzer, welche dazu eingerichtet ist, ein hapti- sches Feedback von den Trainingsobjekten oder Mock-Ups zurück an den Nutzer zu geben. According to a further embodiment, the simulator comprises a haptic feedback device for the user, which is set up to give haptic feedback from the training objects or mock-ups back to the user.
Die jeweilige Einheit, zum Beispiel die erste Einheit oder die zweite Einheit, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausge¬ bildet sein. Ferner wird ein Verfahren zum Betreiben eines Simulators für ein Training zu¬ mindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt in einem Trainingsraum vorgeschlagen, wobei der Simulator eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings und zumindest eine an der Virtual-Reality-Brille angeord- nete Video-Kamera zur Aufnahme von Video-Bildern eines Sichtbereichs der Vir¬ tual-Reality-Brille umfasst, mit den Schritten: Bereitstellen von Gestenerkennungsdaten aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder, The respective unit, for example the first unit or the second unit, can be implemented in terms of hardware and / or software technology. In a hardware implementation, the respective unit may be embodied as a device or as part of a device, for example as a computer or as a microprocessor. In a software implementation, the respective unit as a computer program product, as a function, as a routine ¬ be formed as part of a program code or an executable object to be. Further, a method of operating a simulator for training to ¬ least a user, particularly a team of a helicopter crew proposed to at least one training-object in a training space, wherein the simulator is a virtual reality glasses for the display of virtual images of the training and at least includes a angeord- on the virtual reality goggles designated video camera for capturing video images, a visual range of Vir ¬ tual reality glasses, comprising the steps of: Providing gesture recognition data from gesture recognition of user gestures using the captured video images,
Bereitstellen von Hand-Tracking-Daten aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und  Providing hand-tracking data from a hand-tracking of hand movements of at least one user's hand by means of the captured video images, and
Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestener¬ kennungsdaten und der bereitgestellten Hand-Tracking-Daten. Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrichtung die Durchführung des wie oben erläuterten Verfahrens veranlasst. Generating represented by the virtual reality glasses virtual images by means of the recorded video images, which provided Gestener ¬ identification data and the hand-tracking data provided. Furthermore, a computer program product is proposed, which causes the execution of the method as explained above on a program-controlled device.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in ei¬ nem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer ent¬ sprechenden Datei mit dem Computerprogrammprodukt oder dem Computerpro- gramm-Mittel erfolgen. A computer program product, such as a computer program means, for example, as a storage medium, such as memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file provided by a server in ei ¬ nem network or delivered. This can be done, for example, in a wireless communication network by the transmission of a ent ¬ speaking file with the computer program product or computer program means.
Die für die vorgeschlagene Vorrichtung beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend. Für das Beispiel eines Trainings eines Teams einer Hubschrauber-Kabine kann eine Umsetzung des Simulators in Ausführungsformen das Folgende umfassen: The embodiments and features described for the proposed device apply accordingly to the proposed method. For the example of training a team of a helicopter cabin, an implementation of the simulator in embodiments may include the following:
H/C-Kabine: H / C cabin:
Für die H/C-Kabine (H/C; Helicopter Rear Cabin Crew) bedarf es vorteilhafter- weise keinem exakten physikalischen Nachbau der zu simulierenden Hub¬ schrauber-Variante. Es sind lediglich Teile nachzubauen, die ein mögliches Hin¬ dernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen kön- nen. Ein möglicher Trainingsraum hierzu umfasst beispielsweise einfache Rah¬ men für die Türausschnitte der H/C-Kabine, ein einfaches haptisches Mock-Up für das Maschinengewehr (Doorgunner) und ein Modell einer Rettungswinde (Winchman). For the H / C cabin (H / C Helicopter Rear cabin crew) are required vorteilhafter- as no exact physical replica of the simulated stroke ¬ helicopter variant. There are only recreate parts that pose a Hin ¬ obstacle in the action area of the team members or trainees kön- NEN. A possible training space for this purpose includes, for example simple Rah ¬ men for the door sections of the H / C cabin, a simple haptic mock-up of the machine gun (Door gunner) and a model of a rescue hoist (Winchman).
Visuelles System: Visual system:
Das visuelle System besteht insbesondere aus dem Bildgenerator, der Virtual- Reality- Brille und der Analyse-Vorrichtung. Insbesondere ist der Bildgenerator unabhängig von dem zugrundeliegenden Konzept. Als Virtual Reality- Brille kann ein Head-Mounted-Display mit Video- See-Through- Funktion in Kombination mit Hand-Tracking und Gestenerkennung eingesetzt werden.  The visual system consists in particular of the image generator, the virtual reality glasses and the analysis device. In particular, the image generator is independent of the underlying concept. As virtual reality glasses, a head-mounted display with video-see-through function can be used in combination with hand-tracking and gesture recognition.
Die Kameras des Head-Mounted-Displays liefern ein Video mit den Händen des Trägers, sobald diese ins Sichtfeld bewegt werden. Diese Bewegungen der Hände, wie auch deren Gesten, werden mittels der Analyse-Vorrichtung analysiert, in¬ terpretiert und an den Bildgenerator für eine korrelierende visuelle Darstellung übergeben. Der Bildgenerator seinerseits animiert einen den Trainee abbilden¬ den Avatar und lässt diesen die virtuellen Systeme des Trainingsraums bedie¬ nen. The cameras of the head-mounted display provide a video with the hands of the wearer as soon as they are moved into the field of view. These movements of the hands, as well as their gestures, are analyzed by means of the analysis device, interpreted in ¬ and handed over to the image generator for a correlating visual presentation. The image generator in turn encourages a trainee to reflect ¬ the avatar and allows these virtual systems training room Bedie ¬ nen.
Die Kameras des Head-Mounted-Displays können zudem für das Head-Tracking genutzt werden. Alternativ oder zusätzlich kann ein separates Head-Tracking- System oder ein separater Head-Tracking- Sensor zur Ermittlung der Position und Blickrichtung des Trainees eingesetzt werden. The cameras of the head-mounted display can also be used for head tracking. Alternatively or additionally, a separate head-tracking system or a separate head-tracking sensor can be used to determine the position and viewing direction of the trainee.
Motion^ Motion ^
Die Manöver des H/C werden mit einem 6-DoF-Bewegungssystem auf die gesam¬ te Kabine übertragen. Diese Übertragung ist optional. Vibrationen^ The maneuver of the H / C is transferred with a 6-DOF motion system to the GESAM ¬ te cabin. This transfer is optional. vibrations ^
Vibrationen am H/C werden vorzugsweise auf den Boden der Kabine und somit auf die Besatzung übertragen. Vibrationen können ergänzend auf die nachgebil- deten Teile, die ein mögliches Hindernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen können, übertragen werden. Auch die Übertragung der Vibrationen ist optional. Arbeitsplätze : Vibrations at the H / C are preferably transmitted to the floor of the cabin and thus to the crew. Vibrations can be supplemented by the recreational Parts that could pose a potential obstacle in the team members 'or trainees' space of action can be transferred. The transmission of vibrations is optional. Jobs :
Beispielsweise werden die folgenden Arbeitsplätze nachgebildet: Rettungswinde (Winchman), Außenlastverfahren, Bordsicherungssoldat (Doorgunner).  For example, the following workstations are modeled: rescue winch (Winchman), outside load method, on-board security soldier (Doorgunner).
Doorgunner: Door gunner:
Vorzugsweise werden folgende Funktionen und Eigenschaften simuliert: Bedie¬ nung (vereinfacht), Ballistik, Kadenz, Rückstoß und Gewicht. Als Trainingsob¬ jekt wird hierzu ein vereinfachtes haptisches Mock-Up der Waffe des Maschinen¬ gewehrschützen verwendet. Die virtuelle Darstellung der Waffe ist vorzugsweise ein fotorealistisches SD- Modell. Dieses 3D-Modell wird dem Mock-Up überlagert und ergänzt dieses zum Beispiel mit einem realistischen Lauf und dem Visier. Eine Visierung mittels ei¬ nes roten Laserpunkts kann ebenfalls innerhalb der simulierten virtuellen Szene umgesetzt werden. Dies geschieht innerhalb des Bildgenerators, indem die Waf- fenausrichtung mit einer gedachten Linie verlängert wird, ein gemeinsamer Schnittpunkt mit dem Gelände ermittelt wird und dort ein Lichtpunkt darge¬ stellt wird. Preferably, the following functions and characteristics are simulated: Bedie ¬ voltage (simplified), ballistics, cadence, recoil and weight. This is a simplified haptic mock-up of the weapon the machine gun ¬ protect is used as Trainingsob ¬ ject. The virtual representation of the weapon is preferably a photorealistic SD model. This 3D model is superimposed on the mock-up and complements it, for example, with a realistic barrel and the visor. A sight by ei ¬ nes red laser dot can be also implemented within the simulated virtual scene. This is done inside the image generator, by the WAF is fenausrichtung extended by an imaginary line, a common point of intersection is determined with the terrain and there a light spot Darge ¬ represents.
Für die Simulation des Rückstoßes verfügt das Mock-Up vorzugsweise über ein Recoil- System. Das Gewicht und deren Verteilung der Waffe werden insbesonde¬ re durch ein optionales Control-Load-System nachgebildet. Mit diesem Control- Load- System können ebenfalls auf den Lauf der Waffe wirkende Windkräfte und sich verlagernde Gewichte innerhalb der Magazine simuliert werden. Rettungs winde : For the simulation of recoil, the mock-up preferably has a Recoil system. The weight and the distribution of the weapon are emulated in particular by an optional control-load system. This control load system can also simulate wind forces and shifting weights within the magazines acting on the barrel of the weapon. Rescue winch:
Folgende Funktionen können vorzugsweise simuliert werden^ Bedienung, Pen¬ delbewegung, Ab-/Aufrollen. Die Pendelbewegung der Last wird an dem Seil der Rettungswinde beispielswei¬ se mittels einer X-Y- Bewegungsplatte spürbar für den Trainee simuliert. Wäh¬ rend sich das obere Ende des Seils an einem festen Punkt befindet, lässt sich das untere Ende des Seils bewegen. Die Pendelbewegung einer simulierten Last wird dabei in eine relative X-Y- Koordinate umgerechnet und auf die mit Stellmotoren versehene X-Y- Platte an das Seilende übertragen. The following functions can preferably be simulated ^ Operation, pen ¬ delbewegung, unrolling / rolling. The pendulum movement of the load is simulated on the cable of the rescue hoist beispielswei ¬ se by means of an XY moving plate noticeable to the trainee. Currency ¬ end is the upper end of the rope at a fixed point, the lower end of the rope can be moved. The pendulum motion of a simulated load is converted into a relative XY coordinate and transmitted to the XY plate provided with servomotors at the end of the rope.
Sensoren erfassen vorzugsweise die Kraftübertragung des Trainees auf das Seil, welche ihrerseits an den Simulator übertragen wird. Damit wird es dem Trainee möglich, die Pendelbewegung beeinflussen zu können. Sensors preferably detect the force transmission of the trainees on the rope, which in turn is transmitted to the simulator. This makes it possible for the trainee to be able to influence the pendulum movement.
Das Ab- und Aufrollen des Seils kann der Trainee vorzugsweise ebenfalls an der Handfläche spüren. Hierfür wird das Seil, wie bei einer echten Winde, von einer Spule abgerollt und an einem unteren Ende auf einer zweiten Spule zeitgleich aufgerollt. Hiermit lässt sich auch die Seilspannung simulieren, welche sich beim Aufsetzen der Last auf den Boden verändert. The trainee can also feel the unwinding and rolling up of the rope preferably on the palm of his hand. For this purpose, the rope, as in a real winch, unrolled from a spool and wound at the same time at the lower end on a second coil. This can also simulate the rope tension, which changes when the load is placed on the ground.
Auch wird vorzugsweise durch ein asymmetrisches Auf- und Abspulen des Seils, in Momenten, wenn der Trainee an dem Seil zieht, das Einholen des Seils simu¬ liert. Insbesondere wird die Winde über die Rescue-Hoist-Remote-Control-Unit gesteuert. Also, preferably by an asymmetric winding and unwinding of the rope, at moments when the trainee pulls on the rope, the retrieval of the rope simu lated ¬ . In particular, the winch is controlled via the Rescue Hoist Remote Control Unit.
In der virtuellen Szene wird hierzu vorzugsweise ein korrelierendes 3D-Modell für das Seil verwendet und dargestellt. Das Pendeln dieses Modells wird durch ein eigenes mathematisches Modell auf der Rechenvorrichtung oder Host be¬ rechnet. Diese simulierten Bewegungen werden an den Bildgenerator weiterge¬ geben und steuern die virtuelle Darstellung, welche dem der haptischen Wahr¬ nehmung dienenden physikalischen Seil visuell überlagert ist. In the virtual scene, a correlating 3D model for the cable is preferably used and displayed for this purpose. The oscillation of this model is calculated by its own mathematical model on the computing device or host ¬ . These simulated movements are ¬ give weiterge to the image generator and control the virtual representation, which the haptic perception ¬ recess serving physical cable is superposed visually.
Außenlast: Die Trainingsumgebung für das Außenlastverfahren ist insbesondere Bestandteil der Ausrüstung des Doorgunner beziehungsweise des Winchman. External load: The training environment for the external load method is in particular part of the equipment of the Doorgunner or the Winchman.
Ein mit dem Head-Mounted-Display ausgestatteter Maschinengewehrschütze, Bordmechaniker oder Bordwart kann während des Außenlastverfahrens sowohl durch eine simulierte Bodenluke als auch durch die dargestellten Fenster und Türen der H/C-Kabine die Außenlast beobachten. Er steht dabei in Verbindung mit dem Ausbilder, beispielsweise dem Piloten, und kann gegebenenfalls Infor¬ mationen oder Kommandos an ihn geben. A machine-gunner, on-board mechanic or on-board attendant equipped with the head-mounted display can observe the external load during the external load procedure both through a simulated floor hatch and through the H / C cabin windows and doors shown. He stands in connection with the instructor, for example, the pilot, and can optionally be passed to him Infor ¬ mation or commands.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht expli¬ zit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausfüh¬ rungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen. Other possible implementations of the invention include non-expli ¬ zit Combinations of above or below with respect to the exporting approximately ¬ Examples features or embodiments described. The skilled person will also add individual aspects as improvements or additions to the respective basic form of the invention.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegen¬ stand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungs¬ beispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzug- ten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert. Further advantageous embodiments and aspects of the invention are counter ¬ stand of the dependent claims and the embodiment described below ¬ embodiments of the invention. In the following, the invention will be explained in more detail by means of preferred embodiments with reference to the enclosed figures.
Fig. 1 zeigt ein schematisches Blockschaltbild eines ersten Ausführungsbei¬ spiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum; Fig. 1 shows a schematic block diagram of a first game Ausführungsbei ¬ a simulator for training at least one user on at least one training-object in a training space;
Fig. 2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbei¬ spiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum; und Fig. 2 shows a schematic block diagram of a second game Ausführungsbei ¬ a simulator for training at least one user on at least one training-object in a training space; and
Fig. 3 zeigt ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators. In den Figuren sind gleiche oder funktions gleiche Elemente mit denselben Be¬ zugszeichen versehen worden, sofern nichts anderes angegeben ist. In Fig. 1 ist ein schematisches Blockschaltbild eines ersten Ausführungsbeispiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumindest ei¬ nem Trainingsobjekt 300, 400 in einem Trainingsraum dargestellt. 3 shows a schematic flow diagram of an embodiment of a method for operating a simulator. In the figures, identical or like elements with the same function Be ¬ reference numbers have been provided, except where otherwise indicated. In Fig. 1 is a schematic block diagram of a first embodiment of a simulator 10 for training at least one user on at least ei ¬ nem training-object 300, represented in a training locale 400.
Der Simulator 10 kann auch als System-Trainer oder Simulationssystem be- zeichnet werden. Der Simulator 10 umfasst eine Virtual-Reality- Anordnung 100 und eine als Host ausgebildete Rechenvorrichtung 200, welche die Virtual- Reality- Anordnung 100 mit den Trainingsobjekten 300, 400 koppelt. Die Trai¬ ningsobjekte 300, 400 sind in dem Beispiel der Fig. 1 als eine Waffe 300 und als eine Rettungswinde 400 ausgebildet. Die Waffe 300 und die Rettungswinde 400 sind insbesondere ein Modell des Originals oder eine auf wesentliche haptische Elemente des Originals reduzierte Attrappe (Mock-Up). Die Waffe 300 weist ins¬ besondere eine Waffen- Simulationseinheit 301 und die Rettungswinde 400 weist eine Winden- Simulationseinheit 401 auf, welche über die Rechenvorrichtung 200 mit der Virtual-Reality- Anordnung 100 gekoppelt sind. The simulator 10 can also be referred to as a system trainer or simulation system. The simulator 10 comprises a virtual reality device 100 and a host device 200, which couples the virtual reality device 100 with the training objects 300, 400. The Trai ¬ beginnings objects 300, 400 of FIG. 1 are formed as a gun 300 and as a rescue hoist 400 in the example. The weapon 300 and the rescue winch 400 are in particular a model of the original or reduced to essential haptic elements of the original dummy (mock-up). The weapon 300 has in particular ¬ a weapons simulation unit 301 and the rescue winch 400 has a winch simulation unit 401, which are coupled via the computing device 200 with the virtual reality arrangement 100.
Die Virtual-Reality- Anordnung 100 umfasst eine Virtual-Reality-Brille 110, eine Analyse-Vorrichtung 120 und einen Bildgenerator 130. Die Virtual-Reality-Brille 110 umfasst eine Video-Kamera 111, insbesondere ausrichtbar auf das linke Au¬ ge des Nutzers, und eine Video-Kamera 112, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann die Video-Kamera 111 auch als L- Video-Kamera (L; linkes Auge) und die Video-Kamera 112 als R- Video- Kamera (R; rechtes Auge) bezeichnet werden. Des Weiteren umfasst die Virtual- Reality-Brille 110 ein Display 113, insbesondere ausrichtbar auf das linke Auge des Nutzers, und ein Display 114, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann das Display 113 auch als L-Display und das Display 114 auch als R-Display bezeichnet werden. Die Analyse- Vorrichtung 120 umfasst eine erste Einheit 121 und eine zweite Einheit 122. Die erste Einheit 121 und die zweite Einheit 122 sind insbesondere als Teil, insbesondere als Software-Teil und/oder als Hardware-Teil, der Analyse- Vorrichtung 120 ausgebildet. Der Bildgenerator 130 umfasst vorzugsweise eine Bildgenerator- Einheit 131, insbesondere ausrichtbar auf das linke Auge des Nut¬ zers, eine Bildgenerator- Einheit 132, insbesondere ausrichtbar auf das rechte Auge des Nutzers, und eine Video- Verarbeitungseinheit 133, welche sowohl mit der Bildgenerator- Einheit 131 als auch mit der Bildgenerator- Einheit 132 gekop¬ pelt ist. The virtual reality arrangement 100 comprises a virtual reality goggles 110, an analysis device 120 and an image generator 130. The virtual reality goggles 110 comprise a video camera 111, in particular alignable with the user's left eye , and a video camera 112, in particular alignable to the right eye of the user. For this reason, the video camera 111 may also be referred to as an L-video camera (L; left eye) and the video camera 112 as an R-video camera (R; right eye). Furthermore, the virtual reality glasses 110 include a display 113, in particular alignable to the left eye of the user, and a display 114, in particular alignable to the right eye of the user. For this reason, the display 113 may also be referred to as an L display and the display 114 as an R display. The analysis device 120 comprises a first unit 121 and a second unit 122. The first unit 121 and the second unit 122 are in particular formed as a part, in particular as a software part and / or as a hardware part, of the analysis device 120. The image generator 130 preferably comprises a Bildgenerator- unit 131, in particular aligned on the left eye of the groove ¬ decomp a Bildgenerator- unit 132, in particular, aligned to the right eye of the user, and a video processing unit 133 which both the Bildgenerator- Unit 131 as well as the image generator unit 132 gekop ¬ pelt is.
Die Virtual-Reality-Brille 110 ist zur Darstellung von virtuellen Bildern Sl des Trainingsraums eingerichtet. Vorzugsweise ist die Virtual-Reality-Brille 110 zur Darstellung von reinen virtuellen Bildern Sl mittels eines den Nutzer in dem Trainingsraum abbildenden Avatars eingerichtet. The virtual reality glasses 110 is set up to display virtual images S1 of the exercise room. The virtual reality glasses 110 are preferably set up to display pure virtual images S1 by means of an avatar depicting the user in the training room.
Die an der Virtual-Reality-Brille 110 angeordneten Video-Kameras 111, 112 sind zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality- Brille 110 eingerichtet. Die erste Einheit 121 der Analyse- Vorrichtung 120 ist dazu eingerichtet, Gesten¬ erkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder S2 bereitzustellen. The video cameras 111, 112 arranged on the virtual reality glasses 110 are set up to record video images S2 of a viewing region of the virtual reality glasses 110. The first unit 121 of the analysis device 120 is configured to provide gestures ¬ recognition data S3 from a gesture recognition of gestures of the user by means of the captured video images S2.
Die zweite Einheit 122 der Analyse- Vorrichtung 120 ist dazu eingerichtet, Hand- Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitzustel¬ len. The second unit 122 of the analysis device 120 is set up, hand tracking data S4 from a hand-tracking of hand movements of at least one hand of the user by means of the recorded video images S2 bereitzustel ¬ len.
Der Bildgenerator 130 ist dazu eingerichtet, die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder Sl mittels der aufgenommenen Video- Bilder S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestell¬ ten Hand-Tracking-Daten S4 zu generieren. Funktionalitäten des Bildgenerators 130 können zusätzlich oder alternativ auch von der Rechenvorrichtung 200 (Host) ausgeführt werden. The image generator 130 is configured to generate the displayed by the virtual reality goggles 110 virtual images Sl by means of the recorded video images S2, the provided gesture recognition data S3 and the ready rack ¬ th hand tracking data S4. Functionalities of the image generator 130 may additionally or alternatively also be executed by the computing device 200 (host).
Dabei ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustellen- den virtuellen Bilder Sl mittels der bereitgestellten Hand-Tracking-Daten S4 derart zu generieren, dass diese eine Position und/oder eine Bewegung zumindest einer virtuellen Hand des Avatars umfassen. In this case, the image generator 130 is in particular configured to generate the virtual images Sl to be displayed by means of the provided hand tracking data S4 such that they comprise a position and / or a movement of at least one virtual hand of the avatar.
Ferner ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustel- lenden virtuellen Bilder Sl mittels der bereitgestellten Gestenerkennungsdaten S3 derart zu generieren, dass diese zumindest eine virtuelle Geste des Avatars umfassen. Furthermore, the image generator 130 is in particular configured to generate the virtual images Sl to be represented by means of the provided gesture recognition data S3 in such a way that they comprise at least one virtual gesture of the avatar.
Beispielsweise ist die Virtual-Reality-Brille 110 als ein Head-Mounted-Display mit integrierter Video- See-Through- Funktion ausgebildet. For example, the virtual reality goggles 110 are configured as a head-mounted display with integrated video sea-through function.
Vorzugsweise sind die beiden an der Virtual-Reality-Brille 110 angeordneten Vi¬ deo-Kameras 111, 112 zur Stereoskopen Aufnahme von Video-Bildern S2 des Sichtbereichs der Virtual-Reality-Brille 110 eingerichtet. Insbesondere sind die Video-Kameras 111, 112 in der Virtual-Reality-Brille 110 integriert. Des Weite¬ ren sind vorzugsweise auch die beiden Displays 113, 114 der Virtual-Reality- Brille 110 zur Stereoskopen Darstellung der virtuellen Bilder Sl eingerichtet. Preferably, the two are arranged on the virtual reality goggles 110 Vi ¬ deo cameras 111, 112 adapted to stereoscope recording video images S2 of the view area of the virtual reality goggles 110th In particular, the video cameras 111, 112 are integrated in the virtual reality glasses 110. The width ¬ ren, the two displays 113, 114 of the virtual reality goggles 110 to the stereoscope representation of the virtual images SI are preferably furnished.
Die beiden Bildgenerator- Einheiten 131, 132 sind zum Generieren von zwei Bild- daten-Strömen S6 und S7, mittels der von den zwei Video-Kameras 111, 112 auf¬ genommenen Video-Bildern S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking-Daten S4 eingerichtet. Dabei ist die Vi¬ deo-Verarbeitungseinheit 133 des Bildgenerators 130 dazu eingerichtet, die zwei generierten Bilddaten-Ströme S6, S7 zu den durch die beiden Displays 113, 114 darzustellenden virtuellen Bildern Sl zu verarbeiten. Die darzustellenden virtu¬ ellen Bilder Sl stellen insbesondere eine virtuelle Szene in dem Trainingsraum dar, in welcher der Nutzer mit dem Trainingsobjekt, beispielsweise der Replik der Waffe 300 oder der Rettungswinde 400, trainiert. The two Bildgenerator- units 131, 132 are for generating two image data streams S6 and S7, by means of the taken from the two video cameras 111, 112 ¬ video images S2, the provided gesture recognition data S3 and the manual provided Tracking data S4 set up. In this case, the video processing unit 133 of the image generator 130 is configured to process the two generated image data streams S6, S7 to the virtual images S1 to be represented by the two displays 113, 114. The displayed virtu ¬ ellen images SI are in particular a virtual scene in the training room in which the user trains with the training object, for example the replica of the weapon 300 or the rescue winch 400.
Fig. 2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbei- Spiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumin¬ dest einem Trainingsobjekt 300, 400 in einem Trainingsraum. Fig. 2 shows a schematic block diagram of a second exemplary embodiment of a simulator 10 for training at least one user on at least one ¬ training-object 300, 400 in a training room.
Das zweite Ausführungsbeispiel der Fig. 2 umfasst alle Merkmale des ersten Ausführungsbeispiels der Fig. 1. Darüber hinaus zeigt die Fig. 2, dass die Analy- se-Vorrichtung 120 eine dritte Einheit 123 und eine vierte Einheit 124 umfassen kann. Die dritte Einheit 123 ist dazu eingerichtet, Finger-Tracking-Daten S5 aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nut¬ zers mittels der aufgenommenen Video-Bilder S2 bereitzustellen. Dabei kann der Bildgenerator 130 dazu eingerichtet sein, die bereitgestellten Finger-Tracking- Daten S5 auch zur Generierung der darzustellenden virtuellen Bilder Sl zu nut¬ zen. The second embodiment of FIG. 2 includes all features of the first embodiment of FIG. 1. In addition, FIG. 2 shows that the analysis device 120 may include a third unit 123 and a fourth unit 124. The third unit 123 is adapted to provide finger-tracking data S5 from a finger tracking finger movements of at least a finger of the groove ¬ dec by means of the captured video images S2. Here, the image generator can be set 130 to the provided finger-tracking data S5 also to generate the virtual images to be displayed to nut ¬ zen Sl.
Die vierte Einheit 124 ist eingerichtet, Analyse-Daten S10 zur Positionsermitt¬ lung und/oder Lageerfassung im Raum bereitzustellen. Dabei kann der Bildgene- rator 130 und/oder die Rechenvorrichtung 200 dazu eingerichtet sein, die bereit¬ gestellten Analyse-Daten S10 zur Generierung der darzustellenden virtuellen Bilder Sl zu nutzen. The fourth unit 124 is configured to provide analysis data S10 to the position Determined ¬ lung and / or position detection in the room. Here, the Bildgene- can rator 130 and / or the computing device 200 be configured to S10 to use the ready ¬ provided analysis data to generate the displayed virtual images Sl.
Des Weiteren zeigt die Fig. 2, dass die Virtual-Reality- Anordnung 100 einen Head-Tracking-Sensor 115, der in der Virtual-Reality-Brille 110 integriert ist, und einen zu der Virtual-Reality-Brille 110 externen Head-Tracking-Sensor 140 umfasst. Insbesondere können beide oder nur einer der Head-Tracking-Sensoren 115, 140 vorgesehen sein. Der jeweilige Head-Tracking-Sensor 115, 140 ist dazu eingerichtet, Head-Tracking-Daten S8 zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers bereitzustellen. Ferner zeigt die Fig. 2, dass die Virtual-Reality- Anordnung 100 auch eine Verar¬ beitungseinheit 150 für die Head-Tracking-Sensoren 115, 140 umfassen kann. Die Verarbeitungseinheit 150 generiert insbesondere Daten S9 zur Position und/oder Blickrichtung aus den bereitgestellten Head-Tracking-Daten S8. Die Daten S9 zur Position und/oder Blickrichtung können von der Rechenvorrichtung 200 oder dem Bildgenerator 130 zur Erstellung der virtuellen Bilder Sl verwen¬ det werden. Furthermore, FIG. 2 shows that the virtual reality arrangement 100 has a head tracking sensor 115, which is integrated in the virtual reality glasses 110, and an external head-tracking system that is different from the virtual reality glasses 110 Sensor 140 includes. In particular, both or only one of the head-tracking sensors 115, 140 may be provided. The respective head tracking sensor 115, 140 is configured to provide head tracking data S8 for determining a position of the user and a viewing direction of the user. Furthermore, FIG. 2 that the virtual reality system 100 may also include a proces ¬ beitungseinheit 150 for the head tracking sensors 115, 140. The processing unit 150 in particular generates data S9 for the position and / or viewing direction from the provided head tracking data S8. The data S9 to the position and / or gaze direction can from the computing device 200 or the image generator 130 to generate the virtual images Sl USAGE be det ¬.
In Fig. 3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators 10 dargestellt. Der Simulator 10 um- fasst insbesondere eine Virtual-Reality-Brille 110 zur Darstellung von virtuellen Bildern Sl des Trainingsraums und zumindest eine an der Virtual-Reality-Brille 110 angeordnete Video-Kamera 111, 112 zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality-Brille 110. Beispiele für den Simulator 10 sind in den Fig. 1 und 2 dargestellt. FIG. 3 shows a schematic flow diagram of an exemplary embodiment of a method for operating a simulator 10. In particular, the simulator 10 comprises a virtual reality glasses 110 for displaying virtual images S1 of the training room and at least one video camera 111, 112 arranged on the virtual reality glasses 110 for capturing video images S2 of a viewing area Virtual reality glasses 110. Examples of the simulator 10 are shown in FIGS. 1 and 2.
Das Verfahren der Fig. 3 umfasst die folgenden Verfahrens schritte 301, 302 und 303: In Schritt 301 werden Gestenerkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der durch die Video-Kamera 111, 112 aufgenom¬ menen Video-Bilder S2 bereitgestellt. ., The method of Figure 3 includes the following process steps 301, 302 and 303: In step 301, gesture recognition data S3 from a gesture recognition of gestures of the user are provided by the video camera 111, 112 aufgenom ¬ menen video images S2 by means of the.
In Schritt 302 werden Hand-Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitgestellt. In step 302, hand tracking data S4 is provided from a hand tracking of hand movements of at least one hand of the user by means of the captured video images S2.
In Schritt 303 werden die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder Sl mittels der aufgenommenen Video-Bilder S2, der bereitge- stellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking- Daten S4 generiert. Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrie¬ ben wurde, ist sie vielfältig modifizierbar. In step 303, the virtual images S1 to be displayed by the virtual reality glasses 110 are generated by the captured video images S2, the provided gesture recognition data S3, and the provided hand tracking data S4. Although the present invention has been described on the basis of exemplary embodiments, it can be varied in many ways.
BEZUGSZEICHENLISTE LIST OF REFERENCE NUMBERS
10 Simulator 10 simulator
100 Virtual-Reality- Anordnung  100 virtual reality arrangement
110 Virtual-Reality-Brille  110 virtual reality glasses
111 Video-Kamera  111 video camera
112 Video-Kamera  112 video camera
113 Display  113 Display
114 Display  114 display
115 Head-Tracking-Sensor  115 head tracking sensor
120 Analyse-Vorrichtung  120 analysis device
121 erste Einheit  121 first unit
122 zweite Einheit  122 second unit
123 dritte Einheit  123 third unit
124 vierte Einheit  124 fourth unit
130 Bildgenerator  130 image generator
131 Bildgenerator- Einheit  131 Image generator unit
132 Bildgenerator- Einheit  132 Image generator unit
133 Video-Verarbeitungseinheit  133 video processing unit
140 Head-Tracking-Sensor  140 head tracking sensor
150 Verarbeitungseinheit  150 processing unit
200 Rechenvorrichtung  200 computing device
300 Waffe  300 weapon
301 Waffen- Simulationseinheit  301 Weapon Simulation Unit
400 Rettungswinde  400 rescue winch
401 Winden- Simulationseinheit  401 winch simulation unit
Sl virtuelle Bilder  Sl virtual pictures
S2 Video-Bilder  S2 video pictures
S3 Gestenerkennungsdaten  S3 gesture recognition data
S4 Hand-Tracking-Daten  S4 hand tracking data
S5 Finger-Tracking-Daten  S5 finger tracking data
S6 Bilddaten- Strom Bilddaten- Strom S6 image data stream Image data stream
Head-Tracking-Daten Head-tracking data
Daten zur Position und/oder Blickrichtung Analyse-Daten Data on position and / or line of sight analysis data
Verfahrensschritt step
Verfahrensschritt step
Verfahrensschritt step

Claims

PATENTANSPRÜCHE
1. Simulator (10) für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt (300, 400) in einem Trainingsraum, mit: A simulator (10) for training at least one user, in particular a team of a helicopter crew, on at least one training object (300, 400) in an exercise room, comprising:
einem im Raum beweglich ausgeführten Trainingsraum aufweisend das Trainingsobjekt (300, 400), wobei das Trainingsobjekt (300, 400) als eine auf die Haptik reduzierte Replik einer Waffe (300), einer Rettungswinde (400) oder einer Außenlast eines Hubschraubers ausgebildet ist,  a training space (300, 400) movably constructed in space, wherein the training object (300, 400) is designed as a haptic reduced replica of a weapon (300), a rescue winch (400) or an outside load of a helicopter,
einer Virtual-Reality-Brille (110) zur Darstellung von virtuellen Bildern a virtual reality glasses (110) for displaying virtual images
(Sl) des Trainingsraums zum Training, (Sl) of the training room for training,
zumindest einer an der Virtual-Reality-Brille (110) angeordneten Video- Kamera (111, 112) zur Aufnahme von Video-Bildern (S2) eines Sichtbereichs der Virtual-Reality-Brille (110),  at least one video camera (111, 112) arranged on the virtual reality glasses (110) for taking video pictures (S2) of a viewing area of the virtual reality glasses (110),
einer ersten Einheit (121) zum Bereitstellen von Gestenerkennungsdaten a first unit (121) for providing gesture recognition data
(53) aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenom¬ menen Video-Bilder (S2), (53) from a gesture recognition of gestures of the user by means of the aufgenom ¬ menen video images (S2),
einer zweiten Einheit (122) zum Bereitstellen von Hand-Tracking-Daten a second unit (122) for providing hand-tracking data
(54) aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder (S2), und (54) from a hand-tracking of hand movements of at least one hand of the user by means of the recorded video images (S2), and
einem Bildgenerator (130) zum Generieren von durch die Virtual-Reality- Brille (110) darzustellenden virtuellen Bildern (Sl) mittels der aufgenommenen Video-Bilder (S2), der bereitgestellten Gestenerkennungsdaten (S3) und der be¬ reitgestellten Hand-Tracking-Daten (S4). an image generator (130) to be displayed to generate through the virtual reality goggles (110) virtual images (SI) by means of the recorded video images (S2), the supplied gesture recognition data (S3) and be ¬ riding provided hand-tracking data (S4).
2. Simulator nach Anspruch 1, 2. Simulator according to claim 1,
dadurch gekennzeichnet, characterized,
dass die Virtual-Reality-Brille (110) zur Darstellung von reinen virtuellen Bil¬ dern (Sl) mittels eines den Nutzer in dem Trainingsraum abbildenden Avatars eingerichtet ist. that the virtual-reality goggles (110) to display pure virtual Bil ¬ springs (Sl) is arranged by means of the user imaging in the training room avatar.
3. Simulator nach Anspruch 2, dadurch gekennzeichnet, 3. simulator according to claim 2, characterized,
dass der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der bereitgestellten Hand-Tracking-Daten (S4) derart zu ge¬ nerieren, dass sie eine Position und/oder eine Bewegung zumindest einer virtuel- len Hand des Avatars umfassen. that the image generator (130) is adapted to the displayed virtual images (SI) using the provided hand-tracking data (S4) in such a way to ge ¬ nerieren that it comprises a position and / or movement of at least a virtual hand of the Include avatars.
4. Simulator nach Anspruch 2 oder 3, 4. simulator according to claim 2 or 3,
dadurch gekennzeichnet, characterized,
dass der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der bereitgestellten Gestenerkennungsdaten (S3) derart zu generieren, dass sie zumindest eine virtuelle Geste des Avatars umfassen. in that the image generator (130) is set up to generate the virtual images (S1) to be displayed by means of the provided gesture recognition data (S3) such that they comprise at least one virtual gesture of the avatar.
5. Simulator nach einem der Ansprüche 1 bis 4, 5. simulator according to one of claims 1 to 4,
gekennzeichnet durch marked by
eine dritte Einheit (123) zum Bereitstellen von Finger-Tracking-Daten (S5) aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nut¬ zers mittels der aufgenommenen Video-Bilder (S2), wobei der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der auf¬ genommenen Video-Bilder (S2), der bereitgestellten Gestenerkennungsdaten (S3), der bereitgestellten Hand-Tracking-Daten (S4) und der bereitgestellten Finger-Tracking-Daten (S5) zu generieren. a third unit (123) for providing finger tracking data (S5) from a finger tracking of finger movements of at least one finger of the groove ¬ by means of the recorded video images (S2), wherein the image generator (130) is adapted thereto to generate the displayed virtual images (SI) by means of the taken on ¬ video images (S2), the supplied gesture recognition data (S3), the provided hand-tracking data (S4) and the provided finger-tracking data (S5) ,
6. Simulator nach einem der Ansprüche 1 bis 5, 6. Simulator according to one of claims 1 to 5,
dadurch gekennzeichnet, characterized,
dass die Virtual-Reality-Brille (110) als ein Head-Mounted-Display mit integrier¬ ter Video- See-Through- Funktion ausgebildet ist. that the virtual reality goggles (110) is designed as a head-mounted display with integrated ¬ ter video See-through feature.
7. Simulator nach einem der Ansprüche 1 bis 6, 7. Simulator according to one of claims 1 to 6,
gekennzeichnet durch marked by
zwei an der Virtual-Reality-Brille (110) angeordnete Video-Kameras (111, 112) zur Stereoskopen Aufnahme von Video-Bildern (S2) des Sichtbereichs der Virtu¬ al-Reality-Brille (110). two on the virtual reality glasses (110) arranged video cameras (111, 112) for stereoscopic recording of video images (S2) of the field of view of Virtu ¬ al reality glasses (110).
8. Simulator nach Anspruch 7, 8. simulator according to claim 7,
dadurch gekennzeichnet, characterized,
dass die Virtual-Reality-Brille (110) zwei Displays (113, 114) zur Stereoskopen Darstellung der virtuellen Bilder (Sl) umfasst. in that the virtual reality glasses (110) comprise two displays (113, 114) for the stereoscopic display of the virtual images (S1).
9. Simulator nach Anspruch 8, 9. simulator according to claim 8,
dadurch gekennzeichnet, characterized,
dass der Bildgenerator (130) zwei Bildgenerator- Einheiten (131, 132) zum Gene- rieren von zwei Bilddaten-Strömen (S6, S7) mittels der von den zwei Video- Kameras (111, 112) aufgenommenen Video-Bilder (S2), der bereitgestellten Ges¬ tenerkennungsdaten (S3) und der bereitgestellten Hand-Tracking-Daten (S4) und eine Video-Verarbeitungseinheit (133) zum Verarbeiten der zwei generierten Bilddaten- Ströme (S6, S7) zu den durch die beiden Displays (113, 114) darzustel- lenden virtuellen Bilder (Sl) umfasst. in that the image generator (130) has two image generator units (131, 132) for generating two image data streams (S6, S7) by means of the video images (S2) recorded by the two video cameras (111, 112), the provided Ges ¬ tenerkennungsdaten (S3) and the provided hand-tracking data (S4) and a video processing unit (133) for processing the two generated image data streams (S6, S7) to the by the two displays (113, 114 ) comprises virtual images (Sl) to be represented.
10. Simulator nach einem der Ansprüche 1 bis 9, 10. Simulator according to one of claims 1 to 9,
gekennzeichnet durch marked by
einen Head-Tracking- Sensor (115, 140) zum Bereitstellen von Head-Tracking- Daten (S8) zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers. a head tracking sensor (115, 140) for providing head tracking data (S8) for detecting a position of the user and a viewing direction of the user.
11. Simulator nach Anspruch 10, 11. simulator according to claim 10,
dadurch gekennzeichnet, characterized,
dass der Head-Tracking- Sensor (115) an der Virtual-Reality-Brille (110) ange¬ ordnet ist oder dass der Head-Tracking-Sensor (140) extern zu der Virtual- Reality-Brille (110) vorgesehen ist. that the head-tracking sensor (115) is integrally ¬ arranges the virtual reality glasses (110) or that the head tracking sensor (140) is provided external to the virtual reality goggles (110).
12. Simulator nach Anspruch 10 oder 11, 12. A simulator according to claim 10 or 11,
dadurch gekennzeichnet, characterized,
dass der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der aufgenommenen Video-Bilder (S2), der bereitgestellten Gestenerkennungsdaten (S3), der bereitgestellten Hand-Tracking-Daten (S4) und der bereitgestellten Head-Tracking-Daten (S8) zu generieren. in that the image generator (130) is set up to display the virtual images (Sl) to be displayed by means of the recorded video images (S2) provided Generate gesture recognition data (S3), the provided hand tracking data (S4), and the provided head tracking data (S8).
13. Verfahren zum Betreiben eines Simulators (10) für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zu¬ mindest einem Trainingsobjekt in einem Trainingsraum, wobei der Simulator (10) einen im Raum beweglich ausgeführten Trainingsraum aufweisend das Trai¬ ningsobjekt (300, 400), wobei das Trainingsobjekt (300, 400) als eine auf die Hap- tik reduzierte Replik einer Waffe (300), einer Rettungswinde (400) oder einer Au- ßenlast eines Hubschraubers ausgebildet ist, und eine Virtual-Reality-Brille13. A method of operating a simulator (10) for training at least one user, particularly a team of a helicopter crew, to be ¬ least one training-object in a training space, said simulator (10), an exercise room movably carried in the space comprising the Trai ¬ beginnings object (300, 400), whereby the training object (300, 400) is designed as a hapten-reduced replica of a weapon (300), a rescue winch (400) or an outside load of a helicopter, and a virtual reality glasses
(110) zur Darstellung von virtuellen Bildern (Sl) des Trainingsraums zum Trai¬ ning und zumindest eine an der Virtual-Reality-Brille (110) angeordnete Video- Kamera (111, 112) zur Aufnahme von Video-Bildern (S2) eines Sichtbereichs der Virtual-Reality-Brille (110) umfasst, mit den Schritten: (110) arranged to display virtual images (SI) of the training space for Trai ¬ ning and at least one of the virtual-reality goggles (110) video camera (111, 112) for receiving video images (S2) of a viewing area The virtual reality glasses (110) includes, with the steps:
Bereitstellen (301) von Gestenerkennungsdaten (S3) aus einer Gestener¬ kennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder (S2),Providing (301) of gesture recognition data (S3) from a Gestener ¬ recognition of gestures of the user by means of the recorded video images (S2),
Bereitstellen (302) von Hand-Tracking-Daten (S4) aus einem Hand- Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder (S2), und Providing (302) hand tracking data (S4) from a hand tracking of hand movements of at least one hand of the user by means of the captured video pictures (S2), and
Generieren (303) von durch die Virtual-Reality-Brille (110) darzustellenden virtuellen Bildern (Sl) mittels der aufgenommenen Video-Bilder (S2), der bereit¬ gestellten Gestenerkennungsdaten (S3) und der bereitgestellten Hand-Tracking- Daten (S4). Generating (303) by said virtual reality goggles (110) to be displayed virtual images (SI) by means of the recorded video images (S2), the gesture recognition data ready ¬ detected (S3) and the provided hand-tracking data (S4) ,
PCT/EP2017/055121 2016-03-08 2017-03-06 Simulator for training a team of a helicopter crew WO2017153305A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP17709042.0A EP3394847A1 (en) 2016-03-08 2017-03-06 Simulator for training a team of a helicopter crew

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016104186.6A DE102016104186A1 (en) 2016-03-08 2016-03-08 Simulator for training a team of a helicopter crew
DE102016104186.6 2016-03-08

Publications (1)

Publication Number Publication Date
WO2017153305A1 true WO2017153305A1 (en) 2017-09-14

Family

ID=58231608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/055121 WO2017153305A1 (en) 2016-03-08 2017-03-06 Simulator for training a team of a helicopter crew

Country Status (3)

Country Link
EP (1) EP3394847A1 (en)
DE (1) DE102016104186A1 (en)
WO (1) WO2017153305A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141056A1 (en) * 2017-02-01 2018-08-09 Adga Group Consultants Inc System and method for virtual reality vehicle training field
CN115547135A (en) * 2022-07-25 2022-12-30 北方工业大学 Aviation medical emergency rescue training guiding device based on vision

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019132277A1 (en) * 2019-11-28 2021-06-02 Krauss-Maffei Wegmann Gmbh & Co. Kg Virtual training with a real operator panel
JP7429613B2 (en) * 2020-06-26 2024-02-08 川崎重工業株式会社 Aircraft VR training system, aircraft VR training method, and aircraft VR training program
JP2022007791A (en) * 2020-06-26 2022-01-13 川崎重工業株式会社 System, method, and program for vr training of aircraft
JP2022007790A (en) * 2020-06-26 2022-01-13 川崎重工業株式会社 System, method, and program for vr training of aircraft
DE102020129255A1 (en) 2020-11-06 2022-05-12 Meritis AG Training device with a weapon

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050255434A1 (en) * 2004-02-27 2005-11-17 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
KR100721713B1 (en) * 2005-08-25 2007-05-25 명지대학교 산학협력단 Immersive training system for live-line workers
WO2012113686A1 (en) * 2011-02-22 2012-08-30 Rheinmetall Defence Electronics Gmbh Simulator for training a team, in particular for training a helicopter crew
KR101389894B1 (en) * 2012-07-18 2014-04-29 주식회사 도담시스템스 Virtual reality simulation apparatus and method using motion capture technology and
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
EUNJIN KOH ET AL: "Vision-based Virtual Touch Screen Interface", CONSUMER ELECTRONICS, 2008. ICCE 2008. DIGEST OF TECHNICAL PAPERS. INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 9 January 2008 (2008-01-09), pages 1 - 2, XP031297457, ISBN: 978-1-4244-1458-1 *
KOLSCH M ET AL: "Vision-based interfaces for mobility", MOBILE AND UBIQUITOUS SYSTEMS: NETWORKING AND SERVICES, 2004. MOBIQUIT OUS 2004. THE FIRST ANNUAL INTERNATIONAL CONFERENCE ON BOSTON, MA, USA AUG. 22-26, 2004, PISCATAWAY, NJ, USA,IEEE, 22 August 2004 (2004-08-22), pages 86 - 94, XP010721021, ISBN: 978-0-7695-2208-1, DOI: 10.1109/MOBIQ.2004.1331713 *
PATRICK SALAMIN ET AL: "The benefits of third-person perspective in virtual and augmented reality?", VRST'06. ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE & TECHNOLOGY. LIMASSOL, CYPRUS, NOV. 1 - 3, 2006; [ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY], NEW YORK, NY : ACM, US, 1 November 2006 (2006-11-01), pages 27 - 30, XP058290768, ISBN: 978-1-59593-321-8, DOI: 10.1145/1180495.1180502 *
PING-HSUAN HAN ET AL: "AR-Arm", 20160225; 20160225 - 20160227, 25 February 2016 (2016-02-25), pages 1 - 4, XP058080059, ISBN: 978-1-4503-3680-2, DOI: 10.1145/2875194.2875237 *
SEUNG-TAK NOH ET AL: "An HMD-based Mixed Reality System for Avatar-Mediated Remote Collaboration with Bare-hand Interaction", INTERNATIONAL CONFERENCE ON ARTIFICIAL REALITY AND TELEXISTENCE EUROGRAPHICS SYMPOSIUM ON VIRTUAL ENVIRONMENTS THE EUROGRAPHICS ASSOCIATION, 1 January 2015 (2015-01-01), XP055369981, Retrieved from the Internet <URL:https://c5fdd746-a-62cb3a1a-s-sites.googlegroups.com/site/seungtaknoh/projects/HMD-basedMR-ICAT15.pdf?attachauth=ANoY7cq0fAR2B9oEXlaHH9RsERXnOhf7y6vkvrdlzvh0FNZmF5W4m5pW4ibm31KEt6K3j3BIe4sn7QHBLeqQKrnzpB5f0MV--2pFzIIsMgBth5UVsZCBWgeeOsjBCRHoD8Ys4azkBKwhzb9m9WzENCZPL32BecxTnQFXihMVspiYtTb2c3v_jBlhfCr> *
T. KURATA ET AL: "The Hand Mouse: GMM hand-color classification and mean shift tracking", PROCEEDINGS IEEE ICCV WORKSHOP ON RECOGNITION, ANALYSIS, AND TRACKING OF FACES AND GESTURES IN REAL-TIME SYSTEMS 13 JULY 2001 VANCOUVER, BC, CANADA, 1 January 2001 (2001-01-01), Proceedings IEEE ICCV Workshop on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time Systems IEEE Comput. Soc Los Alamitos, CA, USA, pages 119 - 124, XP055369959, ISBN: 978-0-7695-1074-3, DOI: 10.1109/RATFG.2001.938920 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141056A1 (en) * 2017-02-01 2018-08-09 Adga Group Consultants Inc System and method for virtual reality vehicle training field
GB2574526A (en) * 2017-02-01 2019-12-11 Adga Group Consultants Inc System and method for virtual reality vehicle training field
GB2574526B (en) * 2017-02-01 2022-07-06 Adga Group Consultants Inc System and method for virtual reality vehicle training field
US11749129B2 (en) 2017-02-01 2023-09-05 Adga Group Consultants Inc. System and method for virtual reality vehicle training field
CN115547135A (en) * 2022-07-25 2022-12-30 北方工业大学 Aviation medical emergency rescue training guiding device based on vision

Also Published As

Publication number Publication date
DE102016104186A1 (en) 2017-09-14
EP3394847A1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
WO2017153305A1 (en) Simulator for training a team of a helicopter crew
EP2678849B1 (en) Simulator for training a team, in particular for training a helicopter crew
DE102015103735A1 (en) Method and device for testing a device to be operated in an aircraft
EP2462577B1 (en) Method for training a crew member of, in particular, a military vehicle
KR102097180B1 (en) Training simulator and method for special vehicles using argmented reality technology
DE102019002898A1 (en) ROBOTORSIMULATIONSVORRICHTUNG
DE102017116558B4 (en) Method for guiding motion sequences and training device for guiding motion sequences
EP2929519A2 (en) Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system
EP1047014A2 (en) Method and input device for controlling the position of a graphically displayed object in a virtual reality space
KR102188313B1 (en) Multi-model flight training simulator using VR
EP1393286A2 (en) Reality simulation system (rss)
EP3420539B1 (en) Method for operating a display device and system for displaying actual image contents of an actual environment overlayed with virtual image contents
KR101483106B1 (en) Flight Simulator having a Displaying Point Changing Function of Display Video Picture and Controlling Method for the sames
DE102012008813A1 (en) Device for visualizing military operations
DE102017120779A1 (en) System for representing a virtual environment for a user
DE102015212253A1 (en) Alignment sensor system and alignment sensor method
DE102020204495A1 (en) METHOD AND SYSTEM FOR REMOTE OBSERVATION USING VIRTUAL AND EXTENDED REALITY IN MEDICAL EDUCATION
DE102018106731A1 (en) Military device and method for operating a military device
DE10142916A1 (en) Reality Simulation System (RSS)
DE19906244A1 (en) Virtual reality transmission system, relaying scene perceived by e.g. robot or telechir to operator, includes stereoscopic camera pair turning in sympathy with operators head movement
AT525369B1 (en) Test environment for urban human-machine interaction
DE102021120629B3 (en) Method and device for controlling the movement of a virtually embodied, real-physical avatar, computer program for carrying out such a method
DE102016106993A1 (en) Control and configuration unit and method for controlling and configuring a microscope
DE102015120929A1 (en) Method for the preliminary simulation of a military mission in a field of operation
DE10307827A1 (en) Remote control system for a moving object, e.g. a radio-controlled aircraft, whereby the operator has a head up display which is supplied with real time images from a camera mounted in the model and linked to a control computer

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017709042

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017709042

Country of ref document: EP

Effective date: 20180726

NENP Non-entry into the national phase

Ref country code: DE