DE10222795B4

DE10222795B4 - Method and device for detecting the vigilance of a motor vehicle driver while driving with a motor vehicle

Info

Publication number: DE10222795B4
Application number: DE10222795.0A
Authority: DE
Inventors: Torsten Karnahl; Dr. Zobel Robert
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2002-05-23
Filing date: 2002-05-23
Publication date: 2017-03-16
Anticipated expiration: 2022-05-24
Also published as: DE10222795A1

Abstract

Verfahren zur Erfassung der Vigilanz eines Kraftfahrzeugführers, während der Fahrt eines Kraftfahrzeuges mittels einer Videokamera (1) mit nachfolgender Musterauswertung und einer Auswerteeinheit (2), wobei das Kraftfahrzeug eine Telefonanlage (5) mit einer Freisprechanlage umfasst, dadurch gekennzeichnet, dass bei Erkennen einer abfallenden Vigilanz des Kraftfahrzeugführers automatisch ein Telefonat mit einer von zuvor wahlweise eingebbaren Personen generiert wird, wobei so lange eine Anwahl generiert wird, bis eine der eingegebenen Personen erreichbar ist.Method for detecting the vigilance of a motor vehicle driver while driving a motor vehicle by means of a video camera (1) with subsequent pattern evaluation and an evaluation unit (2), wherein the motor vehicle comprises a telephone system (5) with a hands-free system, characterized in that when detecting a falling Vigilance of the motor vehicle driver automatically a phone call with one of previously optionally inputable persons is generated, as long as a dial is generated until one of the entered persons can be reached.

Description

Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur Erfassung der Vigilanz eines Fahrzeugführers während der Fahrt mit einem Kraftfahrzeug. The invention relates to a method and a device for detecting the vigilance of a vehicle driver while driving with a motor vehicle.

Die Vigilanz eines Kraftfahrzeugführers ist eine zunehmend wichtige Überwachungsgröße, da die Unfallstatistiken oftmals den sog. Sekundenschlaf von Kraftfahrzeugführern als Unfallursache für verheerende Verkehrskatastrophen herbeiführen. The vigilance of a motor vehicle driver is an increasingly important monitoring parameter, since the accident statistics often bring about the so-called microsleep of motor vehicle drivers as an accident cause for devastating traffic disasters.

Fahrerzustandsuntersuchungen sind durch die wachsenden Anforderungen im Straßenverkehr in den Fokus der Entwickler gerückt. Hierbei sind Systeme bekannt, die beispielsweise die Augenbewegungen oder die Augenlidbewegungen, das heißt die Art des sog. Lidschlages optisch elektronisch überwachen und daraus ggf. eine Übermüdung des Fahrers feststellen können. Die wachsenden Anforderungen ergeben sich zum einen aus der stetig steigenden Verkehrsdichte und zum anderen auch aus der wachsenden Anzahl von Assistenzsystemen im Fahrzeug selbst. Driver status surveys have become the focus of developers due to the growing demands of road traffic. In this case, systems are known which optically electronically monitor, for example, the eye movements or the eyelid movements, that is to say the type of so-called eyelid impact and, if necessary, determine an overtiredness of the driver. The growing demands arise, on the one hand, from the steadily increasing traffic density and, on the other hand, from the growing number of assistance systems in the vehicle itself.

Um den Fahrer durch Assistenzsysteme bei der Erfüllung seiner Fahraufgabe sinnvoll zu unterstützen und nicht zu überlasten, ist eine Adaption an den momentanen Fahrerzustand und die aktuelle Fahraufgabe notwendig. Bei der Detektion des Fahrerzustandes interessiert insbesondere der aktuelle Grad der Aufmerksamkeit. Die Aufmerksamkeit ist neben möglicher Ablenkung auch von psychologischen Parametern, wie der Müdigkeit des Fahrers abhängig. Nicht zuletzt stellt der Aufmerksamkeitsverlust bzw. die Müdigkeit die oben genannte häufige Verkehrsunfallursache dar. In order to support the driver sensibly by assistance systems in the performance of his driving task and not to overload, an adaptation to the current driver state and the current driving task is necessary. In particular, the current level of attention is of interest in detecting the condition of the driver. The attention is beside possible distraction also of psychological parameters, like the fatigue of the driver dependent. Last but not least, the loss of attention or tiredness is the above-mentioned common cause of traffic accident.

Die JP 2000-315287 A offenbart ein Schläfrigkeitswarnsystem, das ein Änderungssignal des Gesichts des Fahrers ermittelt und dieses Signal analysiert. Wenn ein Analysewert einen Grenzwert überschreitet, wird ein Alarmsignal erzeugt. Aufgrund dieses Alarmsignals wird ein akustisches Signal von einem externen Telefon empfangen. The JP 2000-315287 A discloses a drowsiness warning system which detects a change signal of the driver's face and analyzes this signal. If an analysis value exceeds a threshold, an alarm signal is generated. Due to this alarm signal, an acoustic signal is received from an external telephone.

Die US 6 236 968 B1 offenbart ein Fahrzeug-Dialogsystem mit einem Spracherkennungsmodul, das Wörter bzw. Laute eines Fahrers empfängt und Sprache für den Fahrer derart generiert, dass es ein Dialog mit dem Fahrer führt. Das System analysiert die Worte des Fahrers und ermittelt, ob der Fahrer einzuschlafen droht. The US Pat. No. 6,236,968 B1 discloses a vehicle dialogue system having a voice recognition module that receives a driver's words and generates speech for the driver to engage in dialogue with the driver. The system analyzes the words of the driver and determines whether the driver threatens to fall asleep.

Die JP 2000-118260 A offenbart eine Sprachanalyse um Sprache aus Geräuschen aus dem Fahrzeuginnenraum zu extrahieren. Die Sprache wird aufgezeichnet und der Zustand des Fahrers anhand des Sprachsignals ermittelt. Es wird ein Dialogsatz auf der Basis des aufgezeichneten Sprachsignals erzeugt, wobei der Dialog dem Schläfrigkeitszustand des Fahrers angepasst wird. The JP 2000-118260A discloses a speech analysis to extract speech from noise from the vehicle interior. The speech is recorded and the condition of the driver is determined based on the speech signal. A dialogue set is generated based on the recorded speech signal, the dialogue being adjusted to the drowsiness state of the driver.

Die DE 197 15 519 A1 offenbart eine Vorrichtung zum Schätzen eines Schläfrigkeitsgrades eines Fahrers eines Fahrzeug, das ein Bildaufzeichnungsmittel zum Aufzeichnen von Bildern eines Gesichtsbereichs des Fahrers einschließlich eines Auges des Fahrers und ein Schätzungsmittel zum Erfassen des Blinzelns des Auges des Fahrers aus mittels des Bildaufzeichnungsmittels erhaltenen Bilddaten und zum Schätzen des Schläfrigkeitsgrades des Fahrers auf der Grundlage des erfassten Blinzelns umfasst, wobei eine verstrichene Zeit während eines Augenblinzelns als Blinzeldauer in Übereinstimmung mit den Bilddaten für den Gesichtsbereich ermittelt wird. Es wird eine Häufigkeitsverteilung der Blinzeldauer ermittelt und in Abhängigkeit eines Schwellenwertes eines langsames Blinzeln des Auges extrahiert. In Abhängigkeit des Auftrittsverhältnisses des langsamen Blinzelns wird ein Schläfrigkeitsgrad des Fahrers ermittelt. The DE 197 15 519 A1 discloses an apparatus for estimating a degree of drowsiness of a driver of a vehicle, comprising an image recording means for recording images of a driver's face including an eye of the driver and estimating means for detecting the driver's eye blinking from image data obtained by the image recording means and estimating the degree of drowsiness of the driver on the basis of the detected blinking, wherein an elapsed time during blinking is determined as the blink duration in accordance with the image data for the face area. A frequency distribution of the blink duration is determined and extracted as a function of a threshold value of a slow blinking of the eye. Depending on the occurrence ratio of the slow blinking, a drowsiness level of the driver is determined.

Der Erfindung liegt somit die Aufgabe zugrunde, bei einem Verfahren und einer Vorrichtung der gattungsgemäßen Art eine Verbesserung dahingehend zu erzielen, dass die beschriebenen Gefahren und somit das Sicherheitsrisiko der Fahrermüdigkeit zuverlässiger bekämpft wird. The invention is therefore based on the object, in a method and a device of the generic type to achieve an improvement in that the dangers described and thus the safety risk of driver fatigue is more reliably controlled.

Im Hinblick auf ein Verfahren der gattungsgemäßen Art ist die gestellte Aufgabe durch die Merkmale des Patentanspruches 1 gelöst. Im Hinblick auf eine Einrichtung der gattungsgemäßen Art ist die gestellte Aufgabe durch die Merkmale des Patentanspruches 2 gelöst. With regard to a method of the generic type, the object is achieved by the features of claim 1. With regard to a device of the generic type, the object is achieved by the features of claim 2.

Bei dem hier beschriebenen Verfahren bzw. der hier beschriebenen Vorrichtung bzw. Einrichtung wird darauf aufgebaut, dass nach der Detektion eines kritischen Vigilanzzustandes über das fahrzeugeigene Telematiksystem ein automatischer Anruf im Fahrzeug initiiert wird. Vom Fahrzeug können mehrere Telefonnummern von Personen nach Wahl des Fahrzeugführers hinterlegt werden, diese Personen werden dann automatisch per Telematiksystem über den kritischen Zustand des Fahrzeuglenkers informiert und aufgefordert ihn anzurufen und in ein Gespräch zu verwickeln. Dadurch wird die Aufmerksamkeit des Fahrers zumindest zeitweise wieder gesteigert und er hat die Möglichkeit, sein Fahrzeug zumindest auf einen naheliegenden Park- oder Rastplatz zu steuern. In the method described here or the device or device described here, it is based on the fact that after the detection of a critical Vigilanzzustandes via the vehicle's telematics system, an automatic call is initiated in the vehicle. From the vehicle several telephone numbers of persons can be deposited at the choice of the driver, these persons are then automatically informed by telematics system about the critical condition of the driver and asked him to call and engage in a conversation. As a result, the driver's attention is at least temporarily increased again and he has the opportunity to control his vehicle at least on a nearby parking or rest area.

Die Erfindung ist in der Zeichnung dargestellt und nachfolgend kurz beschrieben. The invention is illustrated in the drawing and briefly described below.

Die Abbildung bzw. die Zeichnung zeigt als Ausgangspunkt eine Kamera 1, mit der der Fahrzeugführer insbesondere in seinem Gesichtsfeld der Augen beobachtbar ist. Die Bilddaten werden einer Auswerteeinheit 2 zugeführt, die eine Auswertung nach Mustern vornimmt. Entsprechend den Mustern werden dann die Zustände abfallender Vigilanz signifikant erfasst. Sodann wird von der Auswerteeinheit 2 ausgehend, eine Ansteuereinheit 3 angesteuert, mit der entweder ein Lautsprechersystem 4 innerhalb des Fahrzeuges ansteuerbar ist, über welche dann synthetische Sprachinformationen ausgegeben werden, die den Fahrzeugführer in eine mentale Nebenaufgabe, die jedoch nicht ablenkend, sondern eher aufmerksamkeitssteigernd ist, verbal verwickeln sollen. Hierzu ist innerhalb der Ansteuereinheit 3 oder im Lautsprechersystem ein entsprechendes synthetisches Sprachmodul vorgesehen, welches hier nicht weiter dargestellt ist. The illustration or the drawing shows a camera as a starting point 1 with which the driver is observable especially in his visual field of the eyes. The image data becomes an evaluation unit 2 supplied, which makes an evaluation according to patterns. According to the patterns, the states of decreasing vigilance are then significantly detected. Then the evaluation unit 2 starting, a drive unit 3 driven, with either a speaker system 4 can be controlled within the vehicle through which then synthetic speech information is output, which should engage the driver in a mental secondary task, which is not distracting, but rather attention-increasing verbally. This is within the control unit 3 or provided in the speaker system, a corresponding synthetic speech module, which is not shown here.

Die Ansteuereinheit 3 ist zusätzlich mit der Telefonanlage 5 des Fahrzeuges verbunden sein. Wird über die Kamera und die nachfolgende Musterauswertung über die Auswerteeinheit 2 eine abfallende Vigilanz des Fahrers beobachtet und an die entsprechende Ansteuereinheit gemeldet, so wird automatisch in der Ansteuereinheit 3 ein Telefonat generiert. Dieses Telefonat wird dann mit zuvor wahlweise eingebbaren Personen eingeleitet, wobei das System dahingehend ausgebildet ist, dass so lange eine Anwahl generiert wird, bis eine der eingegebenen Personen erreichbar ist. Sodann wird ein Gespräch initiiert, welches den Fahrer in diese Nebenaufgabe verwickelt und die Aufmerksamkeit steigert. Die Telefonanlage 5 fungiert natürlich in Verbindung mit der gesetzlich vorgegebenen Freisprechanlage des Kraftfahrzeuges. The drive unit 3 is in addition to the telephone system 5 be connected to the vehicle. Is transmitted via the camera and the subsequent sample evaluation via the evaluation unit 2 A falling vigilance of the driver observed and reported to the appropriate control unit, so is automatically in the control unit 3 a phone call is generated. This call is then initiated with previously selectable persons, the system is designed so that as long as a dial is generated until one of the entered persons can be reached. Then a conversation is initiated, which involves the driver in this secondary task and increases the attention. The telephone system 5 naturally acts in conjunction with the legally prescribed hands-free system of the motor vehicle.

Claims

Method for detecting the vigilance of a motor vehicle driver while driving a motor vehicle by means of a video camera ( 1 ) followed by a sample evaluation and an evaluation unit ( 2 ), wherein the motor vehicle is a telephone system ( 5 ) with a hands-free system, characterized in that upon detection of a declining vigilance of the motor vehicle driver automatically a call is generated with one of previously optionally inputable persons, as long as a dial is generated until one of the entered persons can be reached.

Device for automatically detecting the vigilance of a motor vehicle driver while driving in a motor vehicle by means of a video camera ( 1 ) followed by a sample evaluation and an evaluation unit ( 2 ), wherein the motor vehicle is a telephone system ( 5 ) comprising a hands-free system, characterized in that a drive unit ( 3 ) so with the telephone system ( 5 ) of the motor vehicle, that when the evaluation unit ( 2 ) detects a falling vigilance of the motor vehicle driver, in the control unit ( 3 ) a telephone call is automatically generated with one of previously selectable persons such that as long as a dial is generated until one of the entered persons can be reached.