EP2674926A1 - Device for aiding communication in the aeronautical domain. - Google Patents

Device for aiding communication in the aeronautical domain. Download PDF

Info

Publication number
EP2674926A1
EP2674926A1 EP13170919.8A EP13170919A EP2674926A1 EP 2674926 A1 EP2674926 A1 EP 2674926A1 EP 13170919 A EP13170919 A EP 13170919A EP 2674926 A1 EP2674926 A1 EP 2674926A1
Authority
EP
European Patent Office
Prior art keywords
audio
message
messages
text message
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP13170919.8A
Other languages
German (de)
French (fr)
Other versions
EP2674926B1 (en
Inventor
Vincent Loubiere
Netra Gowda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus SAS
Original Assignee
Airbus SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus SAS filed Critical Airbus SAS
Publication of EP2674926A1 publication Critical patent/EP2674926A1/en
Application granted granted Critical
Publication of EP2674926B1 publication Critical patent/EP2674926B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

The device (1) has a data processing and transmission unit (4) connected to a microphone (2) and a loudspeaker (3) for emitting outgoing audio communications and receiving incoming audio communications. A recording unit (11) records audio messages corresponding to all the communications. A transcription unit (13) transcribes each one of the messages into a text message in real-time. A display unit (15) displays each text message on a screen (17) while indicating source e.g. air traffic control and pilots of aircrafts, at an origin of the message. An independent claim is also included for a system for assisting to audio communication in aeronautical field.

Description

La présente invention concerne un dispositif d'aide à la communication dans le domaine aéronautique, en particulier pour un aéronef et notamment pour un avion de transport, ainsi qu'un système de communication comprenant une pluralité de dispositifs de ce type qui sont reliés ensemble par liaison radio.The present invention relates to a device for aiding communication in the aeronautical field, in particular for an aircraft and in particular for a transport aircraft, as well as a communication system comprising a plurality of devices of this type which are connected together by radio link.

Un tel dispositif de communication est destiné, plus particulièrement bien que non exclusivement, aux communications audio (de type sol/vol ou de type vol/vol) du poste de pilotage d'un aéronef. Un tel dispositif de communication audio comprend notamment :

  • au moins un microphone ;
  • au moins un haut-parleur ; et
  • des moyens de traitement et de transmission de données relatives à une communication audio, qui sont reliés audit microphone et audit haut-parleur et qui sont susceptibles d'émettre des communications sortantes et de recevoir des communications entrantes.
Such a communication device is intended, more particularly, although not exclusively, for audio communications (ground / flight or flight / flight type) of the cockpit of an aircraft. Such an audio communication device comprises in particular:
  • at least one microphone;
  • at least one speaker; and
  • means for processing and transmitting data relating to an audio communication, which are connected to said microphone and to said loudspeaker and which are capable of transmitting outgoing communications and receiving incoming communications.

Plus précisément, la présente invention concerne la communication audio entre un pilote d'un aéronef, notamment d'un avion de transport, et le contrôle aérien ATC (« Air Traffic Control » en anglais), ou entre les pilotes de deux aéronefs, et a pour objet de faciliter leurs échanges et la compréhension mutuelle.More specifically, the present invention relates to audio communication between a pilot of an aircraft, including a transport aircraft, and ATC ("Air Traffic Control"), or between pilots of two aircraft, and is intended to facilitate their exchange and mutual understanding.

On sait que, lors d'un vol, les pilotes d'un aéronef doivent souvent réaliser en parallèle de nombreuses tâches, ce qui entraîne une charge de travail importante. La communication audio est l'une de ces tâches. Elle est donc généralement réalisée avec le contrôle aérien ou avec des aéronefs environnants.It is known that, during a flight, the pilots of an aircraft often have to carry out numerous tasks in parallel, which entails a large workload. Audio communication is one of those tasks. It is therefore generally performed with air traffic control or with surrounding aircraft.

La communication audio est, en général, relativement intense dans les phases les plus critiques, telles que l'approche et le décollage, pour lesquelles le trafic est plus dense qu'en vol de croisière et le nombre de tâches à réaliser en parallèle est élevé. En outre, bien que l'anglais soit la langue communément utilisée dans tous les aéroports et sur tous les avions, le niveau d'expression orale et de compréhension orale de l'anglais, ainsi que les accents varient fortement.The audio communication is, in general, relatively intense in the most critical phases, such as approach and takeoff, for which traffic is more dense than in cruise flight and the number of tasks to be performed in parallel is high. In addition, although English is the language commonly used at all airports and on all aircraft, the level of speaking and listening comprehension in English, as well as accents, vary widely.

Tous ces facteurs peuvent amener à de mauvaises compréhensions lors d'une communication audio, qui peuvent entraîner des retards ou être à l'origine de problèmes plus importants.All of these factors can lead to misunderstandings during audio communication, which can lead to delays or cause greater problems.

La présente invention concerne un dispositif d'aide à la communication dans le domaine aéronautique, notamment sur un aéronef, qui permet de remédier aux inconvénients précités.The present invention relates to a device for aiding communication in the aeronautical field, particularly on an aircraft, which overcomes the aforementioned drawbacks.

A cet effet, selon l'invention, ledit dispositif d'aide à la communication, du type comprenant :

  • au moins un microphone ;
  • au moins un haut-parleur ; et
  • des moyens de traitement et de transmission de données relatives à une communication audio, qui sont reliés audit microphone et audit haut-parleur et qui sont susceptibles d'émettre des communications sortantes et de recevoir des communications entrantes,
est remarquable en ce qu'il comporte de plus :
  • des moyens d'enregistrement pour enregistrer des messages audio correspondant à toutes les communications audio entrantes et sortantes, transmises par lesdits moyens de traitement et de transmission de données ;
  • des moyens de transcription pour transcrire, en temps réel, chacun desdits messages audio en un message textuel ; et
  • des moyens d'affichage pour afficher, sur au moins un écran, chaque message textuel généré par lesdits moyens de transcription, en indiquant de plus la source à l'origine de ce message.
For this purpose, according to the invention, said communication assistance device, of the type comprising:
  • at least one microphone;
  • at least one speaker; and
  • means for processing and transmitting data relating to an audio communication, which are connected to said microphone and to said loudspeaker and which are capable of transmitting outgoing communications and receiving incoming communications,
is remarkable in that it furthermore comprises:
  • recording means for recording audio messages corresponding to all incoming and outgoing audio communications transmitted by said data processing and transmission means;
  • transcription means for transcribing, in real time, each of said audio messages into a text message; and
  • display means for displaying, on at least one screen, each text message generated by said transcription means, indicating further the source at the origin of this message.

Ainsi, grâce à l'invention, chaque message audio communiqué est transcrit en un message textuel qui est affiché.Thus, thanks to the invention, each audio message communicated is transcribed into a text message that is displayed.

Par conséquent, un utilisateur du dispositif conforme à l'invention, notamment un pilote d'un aéronef, dispose d'une transcription en temps réel de toutes les communications audio réalisées. Il est ainsi en mesure d'accéder (par la lecture) à chaque message qui a été communiqué précédemment de manière vocale. Ceci lui permet notamment de lire un message qu'il n'a pas bien compris oralement, quelle que soit la raison (compréhension imparfaite de l'anglais, accent difficile à comprendre ou problème de transmission sonore). Cette lecture est facilitée par l'adjonction de la source (pilote, contrôle aérien,...) au message textuel affiché.Consequently, a user of the device according to the invention, in particular a pilot of an aircraft, has a real-time transcription of all the audio communications made. It is thus able to access (by reading) each message that has been previously communicated in a voice. This allows him to read a message that he did not understand orally, whatever the reason (imperfect understanding of English, difficult to understand accent or sound transmission problem). This reading is facilitated by the addition of the source (pilot, air traffic control, ...) to the displayed text message.

Cette transcription permet également aux pilotes, lors d'une situation critique, en particulier lorsque plusieurs tâches sont à réaliser en parallèle, de mettre en oeuvre en premier les tâches qu'ils jugent prioritaires, en portant une attention réduite aux informations communiquées par radio (si elles ne sont pas jugées prioritaires), et de prendre connaissance et de traiter ces informations ultérieurement.This transcription also enables pilots, in a critical situation, particularly when several tasks are to be performed in parallel, to first implement the tasks they consider to be priorities, paying less attention to the information communicated by radio ( if they are not considered priorities), and to take notice and process this information later.

Par ailleurs, on connaît, par le document FR-2 773 414 , un système de communication qui est destiné, en particulier, à des personnes présentant des déficiences auditives et qui réalise une transcription directe d'un message audio en un message textuel qui est affiché. Ce système prévoit de ne plus tenir compte du message audio dès que le message textuel est affiché. Ce système ne concerne pas le domaine aéronautique, et il n'enseigne donc pas d'enregistrer également le message audio, en plus de sa transcription textuelle. Or, un tel enregistrement présente des avantages importants, en permettant en particulier une analyse ultérieure dudit message audio ou une restitution ultérieure de ce message, en particulier en relation avec le message textuel correspondant.Moreover, we know, by the document FR-2 773 414 , a communication system that is intended, in particular, for persons with hearing impairments and performs a direct transcription of an audio message into a text message that is displayed. This system plans to ignore the audio message once the text message is displayed. This system does not concern the aeronautical field, and it does not teach to record the audio message, in addition to its textual transcription. However, such a recording has significant advantages, allowing in particular a subsequent analysis of said audio message or a subsequent retrieval of this message, in particular in relation to the corresponding text message.

Par ailleurs, dans un mode de réalisation préféré, le dispositif d'aide à la communication conforme à l'invention comporte de plus :

  • des moyens de restitution qui sont susceptibles de réaliser une restitution audio de tout message audio enregistré ; et
  • des moyens d'activation qui sont susceptibles d'être commandés par un opérateur pour identifier et déclencher la restitution par les moyens de restitution d'un message audio enregistré.
Furthermore, in a preferred embodiment, the communication aid device according to the invention furthermore comprises:
  • playback means which is capable of rendering audio of any recorded audio message; and
  • activation means that can be controlled by an operator to identify and trigger playback by the playback means of a recorded audio message.

Ce mode de réalisation préféré permet à un utilisateur du dispositif de réécouter un message au lieu (ou en plus) de le lire.This preferred embodiment allows a user of the device to listen to a message instead (or in addition) to read it.

Dans une variante de réalisation particulière, lesdits moyens d'activation comprennent, pour chaque message textuel affiché sur l'écran, une zone sensible associée qui est affichée conjointement avec le message textuel auquel elle est associée, et qui est susceptible d'être activée pour déclencher la restitution du message audio correspondant audit message textuel.In a particular variant embodiment, said activation means comprise, for each text message displayed on the screen, an associated sensitive zone which is displayed together with the textual message with which it is associated, and which can be activated for trigger the playback of the audio message corresponding to said text message.

En outre, avantageusement, le dispositif conforme à l'invention comporte également :

  • des moyens permettant à un opérateur de copier au moins une partie d'un message textuel affiché, et notamment la valeur d'un paramètre, et de le transmettre à un système de l'aéronef, ce qui évite au pilote dans le cas d'un paramètre d'avoir à entrer sa valeur et réduit la charge de travail et les risques d'erreur ; et/ou
  • des moyens pour déterminer l'heure d'émission de chaque message audio, cette heure d'émission étant affichée par lesdits moyens d'affichage sur ledit écran conjointement avec le message textuel auquel elle est associée.
In addition, advantageously, the device according to the invention also comprises:
  • means enabling an operator to copy at least a portion of a displayed text message, and in particular the value of a parameter, and to transmit it to a system of the aircraft, which avoids the pilot in the case of a parameter to have to enter its value and reduces the workload and the risks of error; and or
  • means for determining the transmission time of each audio message, said transmission time being displayed by said display means on said screen together with the text message with which it is associated.

Par ailleurs, dans un mode de réalisation particulier, ledit dispositif d'aide à la communication comporte, de plus, des moyens permettant d'accéder à un service automatique d'information de terminal, de type ATIS (« Automatic Terminal Information Service » en anglais). Dans ce mode de réalisation, l'utilisateur (pilote) peut lancer la récupération du message ATIS par le dispositif d'aide. Le dispositif, de manière autonome et en tâche de fond, va enregistrer le message ATIS. L'enregistrement est traité par le dispositif pour réordonner le message audio, et produire la transcription. Une fois le traitement complet, un signal sonore indique la fin de l'opération à l'utilisateur, et l'ensemble du message audio et textuel est mis à la disposition de l'utilisateur, suite à une demande au travers de l'interface affichée sur l'écran.Moreover, in a particular embodiment, said communication aid device furthermore comprises means making it possible to access an automatic terminal information service, such as: ATIS (Automatic Terminal Information Service). In this embodiment, the (pilot) user can initiate the retrieval of the ATIS message by the help device. The device, autonomously and in the background, will record the ATIS message. The recording is processed by the device to reorder the audio message, and produce the transcript. Once the treatment is complete, an audible signal indicates the end of the operation to the user, and the entire audio and text message is made available to the user, following a request through the interface. displayed on the screen.

En outre, avantageusement, ledit dispositif peut comporter l'une ou plusieurs des caractéristiques suivantes :

  • ledit écran des moyens d'affichage représente une interface graphique unique dédiée ;
  • ledit dispositif comporte des moyens configurés pour extraire d'un message audio ou textuel des données particulières, et des moyens configurés pour utiliser les données ainsi extraites, de la manière précisée ci-dessous ;
  • ledit dispositif comporte des moyens configurés pour comparer entre eux au moins deux messages issus d'une même source, respectivement à des moments différents, et pour mettre en évidence d'éventuelles différences entre ces deux messages ;
  • ledit dispositif comporte, de plus une unité de reconnaissance vocale, qui est configurée pour recevoir une demande d'information de type vocal et pour rechercher dans un message textuel l'information demandée, qui est ensuite mise en évidence sur l'écran ; et
  • ladite unité de reconnaissance vocale comporte une unité d'apprentissage vocal.
In addition, advantageously, said device may comprise one or more of the following characteristics:
  • said display means screen represents a dedicated single graphical interface;
  • said device comprises means configured to extract from an audio or text message particular data, and means configured to use the data thus extracted, in the manner specified below;
  • said device comprises means configured to compare with each other at least two messages from the same source, respectively at different times, and to highlight any differences between these two messages;
  • said device further comprises a voice recognition unit, which is configured to receive a request for voice-type information and to search in a text message for the requested information, which is then highlighted on the screen; and
  • said voice recognition unit comprises a voice training unit.

Dans le cadre de la présente invention, le dispositif d'aide à la communication conforme à l'invention peut :

  • être monté à poste fixe sur un aéronef ; ou
  • être intégré, au moins en partie, dans un moyen de type monde ouvert qui est susceptible d'être relié à au moins un système d'un aéronef, en particulier dans un ordinateur portable usuel ou une tablette électronique usuelle d'un pilote comprenant notamment des instructions ; ou bien
  • être installé au sol dans un poste de contrôle aérien.
In the context of the present invention, the communication aid device according to the invention can:
  • be mounted stationary on an aircraft; or
  • be integrated, at least in part, in an open-world type of means which is capable of being connected to at least one aircraft system, in particular in a usual laptop or a standard electronic tablet of a pilot including in particular instructions ; or
  • be installed on the ground in an air traffic control station.

Par conséquent, lorsqu'il est prévu sur un aéronef, en particulier sur un avion de transport, ledit dispositif peut, soit être intégré dans un système avionique, soit faire partie d'un système de type monde ouvert, tel qu'un ordinateur portable par exemple ou tout moyen informatique portable usuel.Therefore, when it is provided on an aircraft, in particular on a transport aircraft, said device can either be integrated in an avionics system or be part of an open-world type system, such as a laptop. for example, or any usual portable computing means.

La présente invention concerne également un système d'aide à la communication pour des communications audio dans le domaine aéronautique, comprenant une pluralité d'unités de communication qui sont prévues à des postes (ou endroits) différents (contrôle aérien au sol, aéronef) et qui sont susceptibles d'échanger des messages entre elles, via par exemple des ondes radio ou toute autre solution existante.The present invention also relates to a communication aid system for audio communications in the aeronautical field, comprising a plurality of communication units that are provided at different stations (or locations) (airborne control on the ground, aircraft) and which are likely to exchange messages with each other, for example via radio waves or any other existing solution.

Selon l'invention, ce système est remarquable en ce qu'au moins l'une desdites unités de communication est telle que le dispositif précité conforme à l'invention. Dans le cadre de la présente invention, il est envisageable que l'ensemble des unités du système correspondent à un dispositif conforme à l'invention, ou uniquement une partie d'entre elles.According to the invention, this system is remarkable in that at least one of said communication units is such that the aforementioned device according to the invention. In the context of the present invention, it is conceivable that all the units of the system correspond to a device according to the invention, or only a part of them.

Un dispositif présentant les caractéristiques conformes à l'invention est donc en mesure de communiquer avec un autre dispositif présentant ces caractéristiques et/ou avec un dispositif (ou unité de communication) usuel.A device having the features according to the invention is therefore able to communicate with another device having these characteristics and / or with a device (or communication unit) customary.

La présente invention concerne, en outre, un aéronef et en particulier un avion de transport, qui est équipé d'un dispositif de communication tel que précité.The present invention further relates to an aircraft and in particular a transport aircraft, which is equipped with a communication device as mentioned above.

Les figures du dessin annexé feront bien comprendre comment l'invention peut être réalisée. Sur ces figures, des références identiques désignent des éléments semblables.

  • La figure 1 est le schéma synoptique d'un dispositif de communication conforme à l'invention.
  • La figure 2 montre schématiquement un exemple d'affichage illustrant à l'invention.
  • La figure 3 montre schématiquement un autre exemple d'affichage illustrant l'invention.
  • La figure 4 est le schéma synoptique d'un système de communication conforme à l'invention.
The figures of the appended drawing will make it clear how the invention can be realized. In these figures, identical references designate similar elements.
  • The figure 1 is the block diagram of a communication device according to the invention.
  • The figure 2 schematically shows an exemplary display illustrating the invention.
  • The figure 3 schematically shows another example of display illustrating the invention.
  • The figure 4 is the block diagram of a communication system according to the invention.

Le dispositif d'aide à la communication 1 conforme à l'invention et représenté schématiquement sur la figure 1 est destiné aux communications audio de type sol/vol et/ou de type vol/vol, notamment à partir du poste de pilotage d'un aéronef (non représenté), en particulier d'un avion de transport.The communication aid device 1 according to the invention and schematically represented on the figure 1 is intended for ground / flight type and / or flight / flight type audio communications, in particular from the cockpit of an aircraft (not shown), in particular from a transport aircraft.

De façon usuelle, un tel dispositif 1 qui peut être embarqué sur un aéronef, comporte notamment :

  • au moins un microphone 2 ;
  • au moins un haut-parleur 3 ; et
  • des moyens usuels 4 de traitement et de transmission de données relatives à une communication audio, qui sont reliés par l'intermédiaire de liaisons 5 et 6 respectivement audit microphone 2 et audit haut-parleur 3 et qui sont susceptibles d'émettre des communications sortantes (vers l'extérieur du poste (aéronef,...) où est installé le dispositif 1), et de recevoir des communications entrantes (de l'extérieur), sous forme d'ondes radio OR.
In the usual way, such a device 1 which can be embarked on an aircraft, comprises in particular:
  • at least one microphone 2;
  • at least one speaker 3; and
  • conventional means 4 for processing and transmitting data relating to an audio communication, which are connected via links 5 and 6 respectively to said microphone 2 and to said loudspeaker 3 and which are capable of transmitting outgoing communications ( to the outside of the station (aircraft, ...) where the device 1) is installed, and to receive incoming communications (from outside), in the form of OR radio waves.

Ces moyens 4 comprennent, de façon usuelle, notamment les moyens suivants :

  • des antennes 7 pour recevoir et émettre des messages sous forme d'ondes radio OR ;
  • des moyens 8 de réception et de transmission des messages qui sont reliés auxdites antennes 7 ; et
  • des moyens 9 de traitement des messages.
These means 4 include, in the usual way, in particular the following means:
  • antennas 7 for receiving and transmitting messages in the form of OR radio waves;
  • means 8 for receiving and transmitting messages which are connected to said antennas 7; and
  • means 9 for processing messages.

De plus, ledit microphone 2 et ledit haut-parleur 3 peuvent être montés sur un casque, en particulier d'un pilote, et être reliés par un câble (intégrant les liaisons 5 et 6) auxdits moyens 4.In addition, said microphone 2 and said loudspeaker 3 can be mounted on a helmet, in particular a pilot, and be connected by a cable (integrating the links 5 and 6) to said means 4.

Ce dispositif 1 est donc un dispositif de radiocommunication (utilisant des ondes radio OR pour la communication), et les moyens usuels précités sont bien connus et ne sont pas décrits davantage dans la description suivante.This device 1 is therefore a radiocommunication device (using OR radio waves for communication), and the aforementioned conventional means are well known and are not described further in the following description.

Selon l'invention, ledit dispositif 1 comporte de plus :

  • des moyens d'enregistrement 11 qui enregistrent des messages audio correspondant à toutes les communications audio entrantes et sortantes, qui sont transmises par lesdits moyens 4 de traitement et de transmission de données ;
  • des moyens de transcription 13 usuels, qui sont reliés par l'intermédiaire d'une liaison 14 aux moyens 11 et qui sont formés de manière à transcrire, en temps réel, de façon usuelle, chacun desdits messages audio en un message textuel correspondant ; et
  • des moyens d'affichage 15 qui sont reliés par l'intermédiaire d'une liaison 16 aux moyens de transcription 13 et qui sont formés de manière à afficher, sur au moins un écran 17, chaque message textuel (M1, M2, M3, M4,...) généré par lesdits moyens de transcription 13, en indiquant de plus la source (contrôle aérien ATC, pilote P1 d'un premier aéronef, pilote P2 d'un second aéronef,...) à l'origine de ce message, comme représenté à titre d'illustration sur la figure 2.
According to the invention, said device 1 furthermore comprises:
  • recording means 11 which records audio messages corresponding to all incoming and outgoing audio communications, which are transmitted by said data processing and transmission means 4;
  • conventional transcription means 13, which are connected via a link 14 to the means 11 and which are formed to transcribe, in real time, in the usual way, each of said audio messages into a corresponding text message; and
  • display means 15 which are connected via a link 16 to the transcription means 13 and which are formed so as to display, on at least one screen 17, each text message (M1, M2, M3, M4 , ...) generated by said transcription means 13, further indicating the source (ATC air traffic control, pilot P1 of a first aircraft, pilot P2 of a second aircraft, ...) at the origin of this message, as shown for illustration on the figure 2 .

De préférence, lesdits moyens 11 et 13 font partie d'un ensemble 18 qui est par exemple relié par l'intermédiaire de liaisons 10 et 12 respectivement auxdites liaisons 5 et 6.Preferably, said means 11 and 13 are part of an assembly 18 which is for example connected via links 10 and 12 respectively to said links 5 and 6.

Ainsi, grâce à l'invention, chaque message audio communiqué est transcrit en un message textuel qui est affiché.Thus, thanks to the invention, each audio message communicated is transcribed into a text message that is displayed.

Par conséquent, un utilisateur du dispositif 1 conforme à l'invention, notamment un pilote d'un aéronef, dispose d'une transcription de toutes les communications audio réalisées (aussi bien entrantes que sortantes). Il est ainsi en mesure d'accéder (par la lecture de l'écran 17) à chaque message qui est communiqué à l'instant présent (ou qui a été communiqué précédemment) de façon vocale. Ceci lui permet notamment de lire un message qu'il n'a pas bien compris oralement, quelle que soit la raison (compréhension imparfaite de l'anglais, accent difficile à comprendre ou problème de transmission sonore) ou qu'il aimerait simplement relire. Cette lecture est facilitée par l'adjonction de la source (ATC, P1, P2,...) au message textuel affiché.Consequently, a user of the device 1 according to the invention, in particular a pilot of an aircraft, has a transcription of all the audio communications made (both incoming and outgoing). It is thus able to access (by reading the screen 17) to each message that is communicated at the present moment (or that has been previously communicated) in a voice. This allows him to read a message that he did not understand orally, regardless of the reason (imperfect understanding of English, difficult to understand accent or sound transmission problem) or that he would simply like to re-read. This reading is facilitated by the addition of the source (ATC, P1, P2, ...) to the textual message displayed.

La transcription et l'affichage conformes à l'invention permettent également aux pilotes, lors d'une situation critique, en particulier lorsque plusieurs tâches sont à réaliser en parallèle, de mettre en oeuvre en premier les tâches qu'ils jugent prioritaires, en portant une attention réduite aux informations communiquées par radio (si elles ne sont pas jugées prioritaires), et puis de ne prendre connaissance (et de traiter) ces informations non prioritaires qu'ultérieurement.Transcription and display in accordance with the invention also enable pilots, during a critical situation, particularly when several tasks are to be performed in parallel, to first implement the tasks they consider to be priorities, by carrying reduced attention to radio-reported information (if not considered a priority), and then noting (and processing) this non-priority information until later.

En outre, ledit dispositif 1 comporte également des moyens usuels pour déterminer l'heure d'émission (exprimée de préférence en heures, minutes et secondes) de chaque message audio. De plus, lesdits moyens d'affichage 15 affichent également, sur ledit écran 17, conjointement avec le message textuel M1, M2, M3, M4 auquel elle est associée, l'heure d'émission T1, T2, T3, T4 correspondante, comme représenté sur la figure 2.In addition, said device 1 also comprises usual means for determining the transmission time (expressed preferably in hours, minutes and seconds) of each audio message. In addition, said display means 15 also display, on said screen 17, together with the text message M1, M2, M3, M4 with which it is associated, the time the corresponding T1, T2, T3, T4 transmission, as shown in FIG. figure 2 .

Par ailleurs, dans un mode de réalisation préféré, le dispositif 1 conforme à l'invention comporte de plus :

  • des moyens de restitution qui comprennent de préférence lesdits moyens 11, qui sont par exemple reliés au haut-parleur 3 (ou comprennent un haut-parleur dédié), et qui sont susceptibles de réaliser une restitution audio de tout message audio enregistré par les moyens 11 ; et
  • des moyens d'activation 19 qui sont susceptibles d'être commandés par un opérateur pour identifier et déclencher la restitution par les moyens de restitution d'un message audio enregistré.
Moreover, in a preferred embodiment, the device 1 according to the invention furthermore comprises:
  • playback means which preferably comprises said means 11, which are for example connected to the loudspeaker 3 (or include a dedicated loudspeaker), and which are capable of producing an audio reproduction of any audio message recorded by the means 11 ; and
  • activation means 19 which can be controlled by an operator to identify and trigger the restitution by the playback means of a recorded audio message.

Ce mode de réalisation préféré permet à l'utilisateur du dispositif 1 de réécouter un message au lieu (ou en plus) de le lire.This preferred embodiment allows the user of the device 1 to listen to a message instead (or in addition) to read it.

Dans une variante de réalisation particulière, lesdits moyens d'activation 19 comprennent :

  • pour chaque message textuel affiché sur l'écran 17, une zone sensible associée Z1, Z2, Z3, Z4 qui est affichée conjointement avec le message textuel M1, M2, M3, M4 auquel elle est associée, et qui est susceptible d'être activée pour déclencher la restitution du message audio correspondant audit message textuel ; et
  • des moyens 20, par exemple une souris d'ordinateur ou une boule de commande ou tout autre moyen usuel, qui sont reliés par une liaison 21 aux moyens 15, et qui permettent à un opérateur d'amener un curseur sur une zone Z1, Z2, Z3, Z4 à activer afin de la désigner et l'activer.
In a particular variant embodiment, said activation means 19 comprise:
  • for each textual message displayed on the screen 17, an associated sensitive zone Z1, Z2, Z3, Z4 which is displayed together with the text message M1, M2, M3, M4 with which it is associated, and which can be activated to trigger the playback of the audio message corresponding to said text message; and
  • means 20, for example a computer mouse or a trackball or any other usual means, which are connected by a link 21 to the means 15, and which allow an operator to bring a cursor to a zone Z1, Z2 , Z3, Z4 to activate to designate and activate.

A titre d'illustration, l'activation de la zone Z4 par les moyens 19 déclenche ainsi la restitution audio (par les moyens de restitution) du message M4 qui a été communiqué à un instant T4 par un contrôleur aérien ATC.By way of illustration, the activation of the zone Z4 by the means 19 thus triggers the audio restitution (by the rendering means) of the message M4 which has been communicated at a time T4 by an ATC air controller.

La figure 2 montre donc un exemple d'affichage susceptible d'être réalisé sur l'écran 17, qui indique pour chaque message (M1, M2, M3, M4) d'une liste M de messages :

  • la liste S de sources correspondantes : ATC, P1, P2, ATC ;
  • la liste T d'heures d'émission correspondantes : T1, T2, T3, T4 ; et
  • la liste Z de zones d'activation correspondantes : Z1, Z2, Z3, Z4.
The figure 2 shows therefore an example of a display that can be made on the screen 17, which indicates for each message (M1, M2, M3, M4) of a list M of messages:
  • List S of corresponding sources: ATC, P1, P2, ATC;
  • the list T of corresponding transmission hours: T1, T2, T3, T4; and
  • the list Z of corresponding activation zones: Z1, Z2, Z3, Z4.

Chaque liste est présentée en colonne, et les informations pour un même message sont donc affichées sur une ligne.Each list is presented in a column, and information for the same message is displayed on a line.

En outre, dans le cas d'un dispositif de communication 1 embarqué sur un aéronef, ledit dispositif 1 comporte également des moyens, par exemple les moyens 20, qui permettent à un pilote de copier au moins une partie d'un message textuel affiché, et notamment la valeur d'un paramètre de vol, et de le transmettre à un système utilisateur (non représenté) de l'aéronef, tel qu'un calculateur par exemple, évitant ainsi au pilote dans le cas d'un paramètre de vol d'avoir à entrer sa valeur, ce qui réduit la charge de travail ainsi que les risques d'erreur.In addition, in the case of a communication device 1 embarked on an aircraft, said device 1 also comprises means, for example the means 20, which allow a pilot to copy at least a portion of a text message displayed, and in particular the value of a flight parameter, and to transmit it to a user system (not shown) of the aircraft, such as a computer for example, thus avoiding to the pilot in the case of a flight parameter d have to enter its value, which reduces the workload as well as the risks of error.

Par ailleurs, dans un mode de réalisation particulier, le dispositif de communication 1 comporte également des moyens, notamment les moyens 4, qui permettent d'accéder à un service automatique d'information de terminal, de type ATIS (« Automatic Terminal Information Service » en anglais), qui émet de façon usuelle en boucle des informations sur un aéroport (problème de congestion, état de piste,...). Dans ce cas, les moyens de transcription 13 transcrivent en messages textuels, tous les messages audio émis (en boucle) par ce service et reçus et enregistrés par le dispositif 1, et les moyens d'affichage 15 affichent ces messages textuels sur l'écran 17.Moreover, in a particular embodiment, the communication device 1 also comprises means, in particular the means 4, which make it possible to access an automatic terminal information service, of the ATIS ("Automatic Terminal Information Service") type. in English), which usually transmits information about an airport in a loop (congestion problem, track condition, ...). In this case, the transcription means 13 transcribe into text messages, all the audio messages transmitted (looped) by this service and received and recorded by the device 1, and the display means 15 display these text messages on the screen 17.

Dans un mode de réalisation préféré, lesdits moyens d'affichage 15 comprennent une interface graphique unique dédiée correspondant à l'écran 17. Cette interface graphique peut comporter une page d'affichage 27, telle que représentée à titre d'illustration sur la figure 3.In a preferred embodiment, said display means 15 comprise a dedicated single graphic interface corresponding to 17. This graphical interface may comprise a display page 27, as represented by way of illustration on the figure 3 .

Cette interface graphique permet notamment de mettre en oeuvre les fonctions suivantes :

  • présentation sous forme de tableau de valeurs numériques, comme illustré schématiquement par une fenêtre 22 sur la figure 3 ;
  • affichage distinct du message textuel en cours, par exemple dans une fenêtre 23 ;
  • affichage séparé dans des fenêtres 24A, 24B et 24C dédiées d'un nombre N de derniers messages reçus. Chacune des fenêtres 24A, 24B et 24C affiche un seul message, N étant par exemple égal à 3 ; et
  • présentation d'un élément graphique 25 apte à afficher une liste déroulante permettant de rappeler des messages précédemment transcrits, en plus des trois derniers, et leur affichage dans une fenêtre particulière, par exemple dans l'une des fenêtres 24A à 24C.
This graphic interface makes it possible in particular to implement the following functions:
  • presentation as a table of numerical values, as schematically illustrated by a window 22 on the figure 3 ;
  • distinct display of the current text message, for example in a window 23;
  • separate display in dedicated windows 24A, 24B and 24C of a number N of last received messages. Each of the windows 24A, 24B and 24C displays a single message, N being for example equal to 3; and
  • presentation of a graphic element 25 capable of displaying a drop-down list making it possible to recall previously transcribed messages, in addition to the last three, and their display in a particular window, for example in one of the windows 24A to 24C.

Ledit dispositif de communication 1 comporte également des moyens 28 qui font par exemple partie de l'ensemble 18, comme représenté sur la figure 1, et qui sont formés de manière à extraire (au moyen d'un programme informatique) d'un message audio ou d'un message textuel des données particulières précisées ci-dessous.Said communication device 1 also comprises means 28 which for example form part of the assembly 18, as shown in FIG. figure 1 , and which are shaped to extract (by means of a computer program) an audio message or a text message of the particular data specified below.

Dans une première variante de réalisation, lesdits moyens 28 sont configurés pour pouvoir extraire, de chaque message audio ou textuel, certaines valeurs dans le but de les fournir à des moyens de calcul (non représentés et intégrés par exemple dans l'ensemble 18) pour calculer des paramètres particuliers. A titre d'illustration, on peut citer une extraction (d'un message audio ou textuel) des valeurs de la direction et de la vitesse du vent à la piste d'atterrissage, pour calculer la composante transversale du vent (« crosswind » en anglais), par la multiplication de la vitesse du vent par le sinus de l'angle entre le vent et la direction de la piste.In a first embodiment, said means 28 are configured to be able to extract, from each audio or text message, certain values in order to provide them to computing means (not shown and integrated for example in the set 18) for calculate particular parameters. As an illustration, we can quote an extraction (of an audio or text message) of the values of the direction and the wind speed at the airstrip, to calculate the transverse component of the wind ("crosswind" in English), by the multiplication of the wind speed by the sine of the angle between the wind and the direction of the track.

Dans une seconde variante de réalisation (en complément ou non de ladite première variante), lesdits moyens 28 (ou d'autres moyens appropriés) sont configurés pour pouvoir extraire, de chaque message audio ou textuel, des valeurs numériques et les transmettre au dispositif d'affichage 15 pour qu'il les présente sur l'écran 17 sous forme d'un tableau conformément à un affichage usuel, par exemple sur le tableau de la fenêtre 22 de la figure 3.In a second variant embodiment (in addition or not to said first variant), said means 28 (or other appropriate means) are configured to be able to extract, from each audio or text message, digital values and transmit them to the device. display 15 so that it presents them on the screen 17 in the form of a table according to a usual display, for example on the table of the window 22 of the figure 3 .

En outre, dans une troisième variante de réalisation (en complément ou non desdites première et/ou seconde variantes précitées), lesdits moyens 28 (ou d'autres moyens appropriés) sont configurés pour pouvoir extraire, de chaque message audio ou textuel, des informations spécifiques pour les pilotes et les transmettre au dispositif d'affichage 15 pour qu'il les présente sur l'écran 17 dans un champ dédié 26, par exemple un champ de type NOTAM (pour « Note to Airmen »).Furthermore, in a third variant embodiment (in addition or not to said first and / or second variants mentioned above), said means 28 (or other appropriate means) are configured to be able to extract, from each audio or text message, information specific to the drivers and transmit them to the display device 15 so that it presents them on the screen 17 in a dedicated field 26, for example a field of the type NOTAM (for "Note to Airmen").

Par ailleurs, ledit dispositif de communication 1 comporte également des moyens 29 qui font par exemple partie de l'ensemble 18, comme représenté sur la figure 1 , et qui sont formés de manière à comparer entre eux au moins deux messages issus d'une même source, par exemple du contrôle aérien ATC, respectivement à des moments différents, et à transmettre au dispositif d'affichage 15 les éventuelles différences entre ces deux messages, pour qu'il les mette en évidence sur l'écran 17, par exemple sur les messages textuels affichés dans les fenêtres 24B et 24C de la figure 3 s'il s'agit de la comparaison des deux derniers messages reçus par le dispositif 1.Furthermore, said communication device 1 also comprises means 29 which are part of the assembly 18, for example, as shown in FIG. figure 1 , and which are formed so as to compare with each other at least two messages from the same source, for example ATC air control, respectively at different times, and to transmit to the display device 15 any differences between these two messages, so that it highlights them on the screen 17, for example on the text messages displayed in the windows 24B and 24C of the figure 3 if it is the comparison of the last two messages received by the device 1.

Ledit dispositif de communication 1 comporte, de plus, une unité de reconnaissance vocale 30 (comprenant un microphone 31 et un logiciel 32 reliés entre eux), comme représenté sur la figure 1. Cette unité de reconnaissance vocale 30 reçoit d'un utilisateur un message vocal via le microphone 31 et elle reconnaît le mot ou l'expression prononcée dans le microphone 31, puis le retrouve dans un message textuel particulier, notamment le dernier message reçu. A titre d'illustration, le pilote peut prononcer le message de demande d'information suivant dans le micro 31 : « quelle est la température ? » ou « je désire connaître la température », et l'unité de reconnaissance vocale 30 cherche dans le texte correspondant le mot « température » et le met en évidence. Le pilote peut alors voir ce terme sur le message textuel affiché et retrouver facilement la valeur numérique directement associée à ce terme (et qui vient souvent juste après ce terme dans le texte).Said communication device 1 further comprises a voice recognition unit 30 (comprising a microphone 31 and a software 32 interconnected), as shown in FIG. figure 1 . This voice recognition unit 30 receives from a user a voice message via the microphone 31 and recognizes the word or expression uttered in the voice. microphone 31, then found in a particular text message, including the last message received. By way of illustration, the pilot can pronounce the following information request message in the microphone 31: "what is the temperature? Or "I want to know the temperature", and the voice recognition unit 30 looks in the corresponding text for the word "temperature" and highlights it. The pilot can then see this term on the displayed text message and easily find the numerical value directly associated with this term (and which often comes right after this term in the text).

Le microphone de l'unité de reconnaissance vocale 30 peut être un microphone 31 spécialement dédié à la reconnaissance vocale ou ledit microphone 2 du dispositif 1 qui est alors relié par des liaisons appropriées (non représentées) audit moyen 32.The microphone of the voice recognition unit 30 may be a microphone 31 specially dedicated to voice recognition or said microphone 2 of the device 1 which is then connected by appropriate links (not shown) to said means 32.

De plus, ladite unité de reconnaissance vocale 30 comporte une unité d'apprentissage vocal usuelle 34 qui permet à ladite unité 30 d'apprendre de nouvelles voix. Cette fonctionnalité garantit une fiabilité généralement à plus de 98% de la fonctionnalité de reconnaissance vocale.In addition, said speech recognition unit 30 includes a usual speech training unit 34 which allows said unit 30 to learn new voices. This feature ensures that more than 98 percent of the speech recognition functionality is generally reliable.

Dans le cadre de la présente invention, ledit dispositif 1 peut :

  1. a) être monté à poste fixe sur un aéronef et donc représenter un dispositif avionique ; ou
  2. b) être intégré, au moins en partie, dans un moyen de type monde ouvert qui est susceptible d'être relié à au moins un système d'un aéronef ; ou bien
  3. c) être installé au sol dans un poste de contrôle aérien notamment.
In the context of the present invention, said device 1 can:
  1. a) be stationary mounted on an aircraft and therefore represent an avionic device; or
  2. (b) be integrated, at least in part, in an open-world means that is likely to be connected to at least one aircraft system; or
  3. (c) be installed on the ground at an air traffic control point, in particular.

Dans le mode de réalisation b), une partie du dispositif 1 peut être installée dans un ordinateur portable (par exemple de type « Electronic Flight Bag » en anglais) ou une tablette électronique qu'utilise un pilote et qui comprend notamment des instructions usuelles. Dans ce cas, les moyens 11, 13, 15 et 20 notamment de la figure 1 sont par exemple intégrés dans cet ordinateur ou cette tablette, alors que les moyens 2, 3 et 4 font partie d'une unité de communication usuelle de l'aéronef. De plus, ledit ordinateur est susceptible d'être relié à cette unité de communication, et notamment au casque d'un pilote comprenant les moyens 2 et 3 (via les liaisons 10 et 12).In embodiment b), a part of the device 1 can be installed in a laptop (for example of the "Electronic Flight Bag" type) or an electronic tablet that a pilot uses and which includes in particular usual instructions. In this case, means 11, 13, 15 and 20 in particular of the figure 1 are for example integrated in this computer or tablet, while the means 2, 3 and 4 are part of a usual communication unit of the aircraft. In addition, said computer is capable of being connected to this communication unit, and in particular to the helmet of a pilot comprising the means 2 and 3 (via the links 10 and 12).

Dans le cadre de la présente invention, il est également envisageable que la répartition des moyens du dispositif 1 entre l'ordinateur portable (ou la tablette) et l'avionique soit différente, l'ordinateur intégrant par exemple uniquement les moyens de transcription 13.In the context of the present invention, it is also conceivable that the distribution of the means of the device 1 between the laptop (or the tablet) and the avionics is different, the computer integrating for example only the transcription means 13.

Par conséquent, lorsqu'il est prévu sur un aéronef, en particulier sur un avion de transport, ledit dispositif 1 peut être intégré dans un système avionique ou faire partie d'un système monde ouvert.Therefore, when provided on an aircraft, in particular on a transport aircraft, said device 1 can be integrated in an avionics system or be part of an open world system.

Un dispositif de communication 1 conforme à l'invention tel que décrit précédemment peut faire partie d'un système de communication 35 qui comprend une pluralité d'unités de communication U1, U2, U3 qui sont susceptibles de communiquer entre elles par l'intermédiaire d'ondes radio OR, comme représenté sur la figure 4.A communication device 1 according to the invention as described above can be part of a communication system 35 which comprises a plurality of communication units U1, U2, U3 which are able to communicate with each other via a communication device. radio waves OR, as shown on the figure 4 .

Dans le cadre de la présente invention, au moins l'une des unités du système 35 est un dispositif 1 conforme à l'invention. Bien entendu, cela peut être le cas pour toutes les unités du système 35.In the context of the present invention, at least one of the units of the system 35 is a device 1 according to the invention. Of course, this can be the case for all the units of the system 35.

Dans l'exemple représenté sur la figure 4 :

  • l'unité U1 qui est, par exemple, montée sur un premier aéronef est un dispositif 1 ;
  • l'unité U2 qui est, par exemple, installée au sol dans un poste de contrôle aérien, est également un dispositif 1 ; et
  • l'unité U3 qui est, par exemple, montée sur un second aéronef, correspond à une unité usuelle comprenant par exemple uniquement les moyens 2, 3 et 4 de la figure 1.
In the example shown on the figure 4 :
  • the unit U1 which is, for example, mounted on a first aircraft is a device 1;
  • the unit U2 which is, for example, installed on the ground in an air traffic control station, is also a device 1; and
  • the unit U3 which is, for example, mounted on a second aircraft, corresponds to a usual unit comprising for example only the means 2, 3 and 4 of the figure 1 .

Le système 35 de la figure 4 comporte donc des unités U3 usuelles et des dispositifs 1 conformes à l'invention. Ceci montre les capacités d'intégration d'un dispositif 1 conforme à l'invention qui est en mesure de communiquer soit avec un autre dispositif 1, soit avec une unité de communication usuelle.The system 35 of the figure 4 therefore comprises usual U3 units and devices 1 according to the invention. This shows the integration capabilities of a device 1 according to the invention that is able to communicate with another device 1 or with a usual communication unit.

Claims (15)

Dispositif d'aide à la communication dans le domaine aéronautique, ledit dispositif (1) comprenant : - au moins un microphone (2) ; - au moins un haut-parleur (3) ; - des moyens (4) de traitement et de transmission de données relatives à une communication audio, qui sont reliés audit microphone et audit haut-parleur et qui sont susceptibles d'émettre des communications sortantes et de recevoir des communications entrantes ; - des moyens de transcription (13) pour transcrire, en temps réel, chacun desdits messages audio en un message textuel ; et - des moyens d'affichage (15) pour afficher, sur au moins un écran (17), chaque message textuel (M1, M2, M3, M4) généré par lesdits moyens de transcription (13), en indiquant de plus la source (ATC, P1 P2) à l'origine de ce message,
caractérisé en ce qu'il comporte, de plus, des moyens d'enregistrement (11) pour enregistrer des messages audio correspondant à toutes les communications audio entrantes et sortantes, transmises par lesdits moyens (4) de traitement et de transmission de données. Device for aiding communication in the aeronautical field, said device (1) comprising: at least one microphone (2); at least one loudspeaker (3); means (4) for processing and transmitting data relating to an audio communication, which are connected to said microphone and to said loudspeaker and which are capable of transmitting outgoing communications and receiving incoming communications; transcription means (13) for transcribing, in real time, each of said audio messages into a text message; and display means (15) for displaying, on at least one screen (17), each text message (M1, M2, M3, M4) generated by said transcription means (13), indicating further the source ( ATC, P1 P2) at the origin of this message,
characterized in that it further comprises recording means (11) for recording audio messages corresponding to all incoming and outgoing audio communications transmitted by said data processing and transmission means (4). Dispositif selon la revendication 1,
caractérisé en ce qu'il comporte de plus : - des moyens de restitution qui sont susceptibles de réaliser une restitution audio de tout message audio enregistré ; et - des moyens d'activation (19) susceptibles d'être activés par un opérateur pour identifier et déclencher la restitution par les moyens de restitution d'un message audio enregistré. Device according to claim 1,
characterized in that it further comprises: - Restitution means which are capable of producing an audio reproduction of any recorded audio message; and - Activation means (19) capable of being activated by an operator to identify and trigger the restitution by the playback means of a recorded audio message. Dispositif selon la revendication 2,
caractérisé en ce que lesdits moyens d'activation (19) comprennent, pour chaque message textuel (M1, M2, M3, M4) affiché sur l'écran (17), une zone sensible (Z1, Z2, Z3, Z4) associée qui est affichée conjointement avec le message textuel auquel elle est associée, et qui est susceptible d'être activée pour déclencher la restitution du message audio correspondant audit message textuel.Device according to claim 2,
characterized in that said activation means (19) comprises, for each text message (M1, M2, M3, M4) displayed on the screen (17), an associated sensitive area (Z1, Z2, Z3, Z4) which is displayed together with the text message with which it is associated, and which may be activated to trigger the playback of the audio message corresponding to said text message. Dispositif selon l'une des revendications 1 à 3,
caractérisé en ce qu'il comporte des moyens (20) permettant à un opérateur de copier au moins une partie d'un message textuel affiché et de le transmettre à un système de l'aéronef.Device according to one of claims 1 to 3,
characterized in that it comprises means (20) enabling an operator to copy at least a portion of a displayed text message and to transmit it to a system of the aircraft. Dispositif selon l'une quelconque des revendications précédentes,
caractérisé en ce qu'il comporte de plus des moyens pour déterminer l'heure d'émission de chaque message audio, et en ce que lesdits moyens d'affichage (15) affichent de plus sur ledit écran (17), conjointement avec le message textuel (M1, M2, M3, M4) auquel elle est associée, l'heure d'émission (T1, T2, T3, T4) correspondante.Device according to any one of the preceding claims,
characterized in that it further comprises means for determining the transmission time of each audio message, and in that said display means (15) further displays on said screen (17) together with the message the text (M1, M2, M3, M4) with which it is associated, the corresponding transmission time (T1, T2, T3, T4). Dispositif selon l'une quelconque des revendications précédentes,
caractérisé en ce qu'il comporte des moyens permettant d'accéder à un service automatique d'information de terminal, de transcrire en messages textuels tous les messages audio émis par ce service, d'afficher lesdits messages textuels sur ledit écran (17), et de restituer tout message audio réordonné pouvant être écouté à la demande.Device according to any one of the preceding claims,
characterized in that it comprises means making it possible to access an automatic terminal information service, to transcribe into text messages all the audio messages sent by this service, to display said text messages on said screen (17), and render any reordered audio message that can be listened to on demand. Dispositif selon l'une quelconque des revendications précédentes,
caractérisé en ce qu'il comporte des moyens (28) configurés pour extraire d'un message audio ou textuel des données particulières et des moyens (15) configurés pour utiliser les données ainsi extraites.Device according to any one of the preceding claims,
characterized in that it comprises means (28) configured to extract from an audio or text message particular data and means (15) configured to use the data thus extracted. Dispositif selon l'une quelconque des revendications précédentes,
caractérisé en ce qu'il comporte des moyens (29) configurés pour comparer entre eux au moins deux messages issus d'une même source, respectivement à des moments différents, et pour mettre en évidence d'éventuelles différences entre ces deux messages.Device according to any one of the preceding claims,
characterized in that it comprises means (29) configured to compare between them at least two messages from the same source, respectively at different times, and to highlight any differences between these two messages. Dispositif selon l'une quelconque des revendications précédentes,
caractérisé en ce qu'il comporte, de plus une unité de reconnaissance vocale (30), qui est configurée pour recevoir une demande d'information de type vocal et pour rechercher dans un message textuel l'information demandée, qui est ensuite mise en évidence sur l'écran (17).Device according to any one of the preceding claims,
characterized in that it further comprises a voice recognition unit (30), which is configured to receive a request for voice-type information and to search in a text message for the requested information, which is then highlighted on the screen (17). Dispositif selon la revendication 9,
caractérisé en ce que ladite unité de reconnaissance vocale (30) comporte une unité d'apprentissage vocal (32).Device according to claim 9,
characterized in that said voice recognition unit (30) includes a voice training unit (32). Dispositif selon l'une quelconque des revendications 1 à 10, caractérisé en ce qu'il est monté à poste fixe sur un aéronef.Device according to any one of claims 1 to 10, characterized in that it is mounted stationary on an aircraft. Dispositif selon l'une quelconque des revendications 1 à 10, caractérisé en ce qu'il est intégré, au moins en partie, dans un moyen de type monde ouvert qui est susceptible d'être relié à au moins un système d'un aéronef.Device according to any one of claims 1 to 10, characterized in that it is integrated, at least in part, in an open world-type means which is capable of being connected to at least one system of an aircraft. Dispositif selon l'une quelconque des revendications 1 à 10, caractérisé en ce qu'il est installé au sol dans un poste de contrôle aérien.Device according to any one of claims 1 to 10, characterized in that it is installed on the ground in an air traffic control station. Système d'aide à la communication pour des communications audio dans le domaine aéronautique, comprenant une pluralité d'unités de communication (U1 U2, U3) qui sont prévues à des postes différents et sont susceptibles d'échanger des messages entre elles, au moyen d'ondes radio (OR),
caractérisé en ce qu'au moins l'une (U1, U2) desdites unités de communication (U1, U2, U3) est telle que le dispositif (1) spécifié sous l'une quelconque des revendications 1 à 14.Communication aid system for audio communications in the aeronautical field, comprising a plurality of communication units (U1 U2, U3) which are provided at different stations and are able to exchange messages with each other, by means of radio waves (OR),
characterized in that at least one (U1, U2) of said communication units (U1, U2, U3) is such that the device (1) specified in any one of claims 1 to 14. Aéronef,
caractérisé en ce qu'il comporte un dispositif (1) tel que celui spécifié sous l'une quelconque des revendications 1 à 13.Aircraft,
characterized in that it comprises a device (1) such as that specified in any one of claims 1 to 13.
EP13170919.8A 2012-06-11 2013-06-06 Device for aiding communication in the aeronautical domain. Active EP2674926B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1255418A FR2991805B1 (en) 2012-06-11 2012-06-11 DEVICE FOR AIDING COMMUNICATION IN THE AERONAUTICAL FIELD.

Publications (2)

Publication Number Publication Date
EP2674926A1 true EP2674926A1 (en) 2013-12-18
EP2674926B1 EP2674926B1 (en) 2016-05-25

Family

ID=47002980

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13170919.8A Active EP2674926B1 (en) 2012-06-11 2013-06-06 Device for aiding communication in the aeronautical domain.

Country Status (4)

Country Link
US (1) US9666178B2 (en)
EP (1) EP2674926B1 (en)
CN (1) CN103489334B (en)
FR (1) FR2991805B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2874133A1 (en) * 2013-11-14 2015-05-20 Honeywell International Inc. Aircraft systems and methods for reducing and detecting read-back and hear-back errors
US9446852B2 (en) 2013-09-18 2016-09-20 Honeywell International Inc. Aircraft systems and methods for detecting non-compliant pilot action
FR3034594A1 (en) * 2015-03-31 2016-10-07 Thales Sa METHOD AND ELECTRONIC DEVICE FOR MANAGING MESSAGES EXCHANGED BETWEEN AN AIRCRAFT AND A GROUND STATION, COMPUTER PROGRAM PRODUCT
US9620020B2 (en) 2015-08-06 2017-04-11 Honeywell International Inc. Communication-based monitoring of compliance with aviation regulations and operating procedures
EP3171240A1 (en) 2015-11-19 2017-05-24 Airbus (S.A.S.) Method for automatically piloting an aircraft on the ground and device for implementing same
EP3261081A1 (en) * 2016-06-22 2017-12-27 GE Aviation Systems Limited Natural travel mode description system

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483755B2 (en) 2008-03-04 2016-11-01 Apple Inc. Portable multifunction device, method, and graphical user interface for an email client
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
EP3047359B1 (en) 2013-09-03 2020-01-01 Apple Inc. User interface for manipulating user interface objects
FR3010809B1 (en) * 2013-09-18 2017-05-19 Airbus Operations Sas METHOD AND DEVICE FOR AUTOMATIC MANAGEMENT ON BOARD AN AIRCRAFT AUDIO MESSAGE AIRCRAFT.
US9614800B1 (en) * 2014-01-17 2017-04-04 Rockwell Collins, Inc. Threaded datalink message display
CN116243841A (en) 2014-06-27 2023-06-09 苹果公司 Reduced size user interface
US9665345B2 (en) * 2014-07-29 2017-05-30 Honeywell International Inc. Flight deck multifunction control display unit with voice commands
CN106716523A (en) 2014-08-27 2017-05-24 湾流航空航天公司 Aircraft and instrumentation system for voice transcription of radio communications
WO2016036509A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
CN110072131A (en) 2014-09-02 2019-07-30 苹果公司 Music user interface
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
WO2016036416A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
US9665645B2 (en) * 2015-01-09 2017-05-30 Garmin International, Inc. System for managing an avionic communications log
FR3032575B1 (en) * 2015-02-10 2018-02-16 Airbus Operations METHOD FOR COMMUNICATING A VOICE MESSAGE INCLUDING A VOCAL MESSAGE TRANSCRIPTION DISPLAY STEP AND A PRIOR DETERMINED CALLER IDENTIFIER AND DEVICE FOR IMPLEMENTING THE SAME
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US9430949B1 (en) 2015-03-25 2016-08-30 Honeywell International Inc. Verbal taxi clearance system
US10665111B2 (en) * 2016-08-01 2020-05-26 Honeywell International Inc. Portable datalink equipment for overhearing data or voice communications
US10275427B2 (en) 2016-11-09 2019-04-30 Honeywell International Inc. Systems and methods for contextual tagging of data on vehicle display
US10347136B2 (en) * 2016-12-23 2019-07-09 Wing Aviation Llc Air traffic communication
US10297159B2 (en) * 2017-03-17 2019-05-21 Honeywell International Inc. Systems and methods for graphical visualization of communication transmissions received onboard an aircraft
US10543931B2 (en) * 2017-10-23 2020-01-28 Honeywell International Inc. Method and system for contextually concatenating display, aural, and voice alerts
FR3078524B1 (en) 2018-03-02 2020-03-27 Airbus Operations REMOTE ASSISTANCE EQUIPMENT FOR AIRCRAFT
FR3080941B1 (en) * 2018-05-04 2020-04-17 Thales VOICE RECOGNITION SYSTEM AND METHOD FOR AIRCRAFT
FR3080942B1 (en) * 2018-05-04 2020-04-17 Thales METHOD AND SYSTEM FOR ASSISTING AIRCRAFT PILOTAGE
CN108694862B (en) * 2018-07-19 2021-06-04 王立泽 Method and system for emergency alarm voice notification of air traffic control information automation system
CN109255981B (en) * 2018-08-31 2022-09-13 温州云航信息科技有限公司 Enhanced control instruction support system and method based on attention focus perception
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
EP3664065A1 (en) * 2018-12-07 2020-06-10 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Device, method and computer program for handling speech radio signals
US11495221B2 (en) 2020-01-17 2022-11-08 Lockheed Martin Corporation Verification of wireless communications between a vehicle user and a remote entity
CN112185390B (en) * 2020-09-27 2023-10-03 中国商用飞机有限责任公司北京民用飞机技术研究中心 On-board information auxiliary method and device
US11790785B2 (en) 2021-03-02 2023-10-17 Honeywell International Inc. System and method of producing relative active flight voice tags on a graphical display unit
US11961524B2 (en) * 2021-05-27 2024-04-16 Honeywell International Inc. System and method for extracting and displaying speaker information in an ATC transcription
US11955012B2 (en) 2021-07-12 2024-04-09 Honeywell International Inc. Transcription systems and message fusion methods
US11605370B2 (en) 2021-08-12 2023-03-14 Honeywell International Inc. Systems and methods for providing audible flight information
EP4145421A1 (en) * 2021-09-06 2023-03-08 Honeywell International Inc. Systems and methods for transcribing and analyzing broadcast messages in an aircraft
US11908330B2 (en) 2021-09-16 2024-02-20 Honeywell International Inc. Systems and methods for analyzing air traffic control messages and generating associated flight performance parameters
EP4152294A1 (en) * 2021-09-16 2023-03-22 Honeywell International Inc. Systems and methods for analyzing air traffic control messages and generating associated flight performance parameters
US20230215278A1 (en) * 2022-01-06 2023-07-06 Honeywell International Inc. Systems and methods for adding relevant data to atc transcription messages
EP4210021A1 (en) * 2022-01-06 2023-07-12 Honeywell International Inc. Systems and methods for adding relevant data to atc transcription messages
US20230385323A1 (en) * 2022-05-31 2023-11-30 Honeywell International Inc. System and method for merging and splitting of messages with user input in air traffic communication (atc) transcription
EP4290498A1 (en) * 2022-06-06 2023-12-13 Honeywell International Inc. Vehicle systems and related message prioritization methods
CN115188225A (en) * 2022-07-07 2022-10-14 中国商用飞机有限责任公司 Method, system and computer readable medium for air traffic control

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2773414A1 (en) * 1998-01-06 1999-07-02 Clainche Alice Le DEVICE FOR TRANSCRIBING AND DISPLAYING A VOICE MESSAGE
US6044322A (en) * 1996-05-10 2000-03-28 Deutsche Forschungsantalt Fur Luftund Raumfahrt E.V. Method and arrangement for traffic monitoring
US6356209B1 (en) * 1999-12-20 2002-03-12 Robert P. Mitchell System and method for visually indicating receipt of a radio communication directed to a uniquely identified vehicle
US20020049589A1 (en) * 2000-06-28 2002-04-25 Poirier Darrell A. Simultaneous multi-user real-time voice recognition system
US7809405B1 (en) * 2007-01-31 2010-10-05 Rockwell Collins, Inc. System and method for reducing aviation voice communication confusion
EP2341494A1 (en) * 2009-12-23 2011-07-06 Thales System and process to identify aircraft which are present in an air space sector to be observed

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1035017A (en) * 1988-02-13 1989-08-23 余国利 Display-sound converting method and device thereof
FR2780701B1 (en) * 1998-07-06 2000-09-08 Onera (Off Nat Aerospatiale) DEVICE FOR IMPROVING THE SAFETY OF AIRCRAFT IN VIEW AIRCRAFT
US20020087319A1 (en) * 2001-01-04 2002-07-04 Stephenson Marc C. Portable electronic voice recognition device capable of executing various voice activated commands and calculations associated with aircraft operation by means of synthesized voice response
JP4829477B2 (en) * 2004-03-18 2011-12-07 日本電気株式会社 Voice quality conversion device, voice quality conversion method, and voice quality conversion program
FR2882439B1 (en) * 2005-02-18 2007-04-20 Thales Sa ONBOARD DEVICE FOR MANAGING DATA EXCHANGED BY AN AIRCRAFT WITH THE SOIL OR OTHER AIRCRAFT
FR2889391B1 (en) * 2005-07-27 2007-10-05 Airbus France Sas AIRCRAFT DATA TRANSMISSION SYSTEM, WHICH IS INTENDED FOR DATA TRANSMISSION BETWEEN THE AIRCRAFT AND A TRANSMISSION STATION LOCATED OUTSIDE THE AIRCRAFT
CN1858806A (en) * 2005-09-06 2006-11-08 上海中策工贸有限公司 Multifunction electric device safety system
CN2927522Y (en) * 2006-07-05 2007-07-25 北京东方波泰无线电频谱技术研究所 Civil aviation radio monitoring system
US7733903B2 (en) * 2006-08-04 2010-06-08 International Business Machines Corporation Text transcriptions for voice communications
WO2008060605A2 (en) * 2006-11-17 2008-05-22 Raytheon Company Methods and apparatus to contact aircraft
WO2008066166A1 (en) * 2006-11-30 2008-06-05 National Institute Of Advanced Industrial Science And Technology Web site system for voice data search
EP2124443A4 (en) * 2006-12-25 2010-02-24 Ptp Inc Program data management server, identifier allocation device, program data management method and computer program
CN201051272Y (en) * 2007-05-09 2008-04-23 深圳市多尼卡电子技术有限公司 An aviation carrying recorder for quickly obtaining drive cabin
CN101359473A (en) * 2007-07-30 2009-02-04 国际商业机器公司 Auto speech conversion method and apparatus
US20090290698A1 (en) * 2008-05-23 2009-11-26 Sony Ericsson Mobile Communications Ab Method and device for transmitting voice data in a communication network
CN101527085A (en) * 2009-04-21 2009-09-09 中国民航大学 Flight information instant informing device and processing method thereof
US9020681B2 (en) * 2010-06-08 2015-04-28 Honeywell International Inc. Display of navigation limits on an onboard display element of a vehicle
US8704701B2 (en) * 2011-10-18 2014-04-22 The Boeing Company Automatic monitoring of flight related radio communications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044322A (en) * 1996-05-10 2000-03-28 Deutsche Forschungsantalt Fur Luftund Raumfahrt E.V. Method and arrangement for traffic monitoring
FR2773414A1 (en) * 1998-01-06 1999-07-02 Clainche Alice Le DEVICE FOR TRANSCRIBING AND DISPLAYING A VOICE MESSAGE
US6356209B1 (en) * 1999-12-20 2002-03-12 Robert P. Mitchell System and method for visually indicating receipt of a radio communication directed to a uniquely identified vehicle
US20020049589A1 (en) * 2000-06-28 2002-04-25 Poirier Darrell A. Simultaneous multi-user real-time voice recognition system
US7809405B1 (en) * 2007-01-31 2010-10-05 Rockwell Collins, Inc. System and method for reducing aviation voice communication confusion
EP2341494A1 (en) * 2009-12-23 2011-07-06 Thales System and process to identify aircraft which are present in an air space sector to be observed

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9446852B2 (en) 2013-09-18 2016-09-20 Honeywell International Inc. Aircraft systems and methods for detecting non-compliant pilot action
EP2874133A1 (en) * 2013-11-14 2015-05-20 Honeywell International Inc. Aircraft systems and methods for reducing and detecting read-back and hear-back errors
FR3034594A1 (en) * 2015-03-31 2016-10-07 Thales Sa METHOD AND ELECTRONIC DEVICE FOR MANAGING MESSAGES EXCHANGED BETWEEN AN AIRCRAFT AND A GROUND STATION, COMPUTER PROGRAM PRODUCT
US9881505B2 (en) 2015-03-31 2018-01-30 Thales Method and electronic device of control of messages exchanged between an aircraft and a ground station, associated computer program product
US9620020B2 (en) 2015-08-06 2017-04-11 Honeywell International Inc. Communication-based monitoring of compliance with aviation regulations and operating procedures
EP3171240A1 (en) 2015-11-19 2017-05-24 Airbus (S.A.S.) Method for automatically piloting an aircraft on the ground and device for implementing same
EP3261081A1 (en) * 2016-06-22 2017-12-27 GE Aviation Systems Limited Natural travel mode description system
US10825468B2 (en) 2016-06-22 2020-11-03 Ge Aviation Systems Limited Natural travel mode description system

Also Published As

Publication number Publication date
EP2674926B1 (en) 2016-05-25
US9666178B2 (en) 2017-05-30
FR2991805B1 (en) 2016-12-09
FR2991805A1 (en) 2013-12-13
US20130346081A1 (en) 2013-12-26
CN103489334B (en) 2018-10-02
CN103489334A (en) 2014-01-01

Similar Documents

Publication Publication Date Title
EP2674926B1 (en) Device for aiding communication in the aeronautical domain.
US11170779B2 (en) Visualization of audio announcements using augmented reality
US11024295B2 (en) Filtering data in an audio stream
FR3010809A1 (en) METHOD AND DEVICE FOR AUTOMATIC MANAGEMENT ON BOARD AN AIRCRAFT AUDIO MESSAGE AIRCRAFT.
CA2729094A1 (en) Systeme et procede de gestion des messages d'alerte sonores dans un aeronef
US20120135714A1 (en) Information system for motor vehicle
US10062385B2 (en) Automatic speech-to-text engine selection
FR2913279A1 (en) Flight information e.g. radio channel frequency, input assisting system for aircraft, has voice recognition device detecting flight information emitted by crew, and transcription and analyzing unit transcripting and analyzing information
FR2960723A1 (en) DEVICE FOR THE COMMUNICATION OF AN AIRCRAFT
US20180018961A1 (en) Audio slicer and transcription generator
US11783808B2 (en) Audio content recognition method and apparatus, and device and computer-readable medium
EP3465649B1 (en) Systems comprising a drone and an entity for controlling this drone
FR3009759A1 (en) METHOD AND DEVICE FOR AUTOMATICALLY MANAGING ATIS MESSAGES
GB2531238A (en) Procedure to automate/simplify internet search based on audio content from a vehicle radio
FR3096487A1 (en) Method and device for automatic management on board an aircraft of air traffic control audio messages
CN112185390A (en) Onboard information assisting method and device
US20220398929A1 (en) Systems, methods, and apparatus for collaborative aircraft checklists
FR3032575A1 (en) METHOD FOR COMMUNICATING A VOICE MESSAGE INCLUDING A VOCAL MESSAGE TRANSCRIPTION DISPLAY STEP AND A PRIOR DETERMINED CALLER IDENTIFIER AND DEVICE FOR IMPLEMENTING THE SAME
FR2918206A1 (en) METHOD AND SYSTEM FOR MANAGING AN INTERRUPTION OF A TRANSMISSION OF A SOUND MESSAGE IN AN AIRCRAFT
EP0734555A1 (en) Method and device for converting a first voice message in a first language into a second message in a predetermined second language
KR101704250B1 (en) System and method for transmitting atis message
FR2973924A1 (en) METHOD AND DEVICE FOR PREPARING A VOICE SIGNAL RELATING TO A PATH
US20160357970A1 (en) Electronic personal assistant privacy
FR3108999A1 (en) ON-BOARD AVIONIC FUNCTIONS SIMULATION system
WO2021108813A2 (en) System and method of communications using parallel data paths

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20140528

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G08G 5/00 20060101AFI20160211BHEP

Ipc: G10L 15/26 20060101ALI20160211BHEP

INTG Intention to grant announced

Effective date: 20160225

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

Ref country code: AT

Ref legal event code: REF

Ref document number: 802884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160615

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602013007806

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160825

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 802884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160826

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160926

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602013007806

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160630

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160630

26N No opposition filed

Effective date: 20170228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160606

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20170606

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170606

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20130606

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160606

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230627

Year of fee payment: 11

Ref country code: DE

Payment date: 20230620

Year of fee payment: 11