WO2003008995A1 - Verfahren und vorrichtung zum austausch und zur verarbeitung von daten - Google Patents

Verfahren und vorrichtung zum austausch und zur verarbeitung von daten Download PDF

Info

Publication number
WO2003008995A1
WO2003008995A1 PCT/DE2002/001930 DE0201930W WO03008995A1 WO 2003008995 A1 WO2003008995 A1 WO 2003008995A1 DE 0201930 W DE0201930 W DE 0201930W WO 03008995 A1 WO03008995 A1 WO 03008995A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
fusion
data
objects
sensors
Prior art date
Application number
PCT/DE2002/001930
Other languages
English (en)
French (fr)
Inventor
Albrecht Klotz
Werner Uhler
Martin Staempfle
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP02735078A priority Critical patent/EP1412773A1/de
Priority to US10/484,602 priority patent/US7340380B2/en
Publication of WO2003008995A1 publication Critical patent/WO2003008995A1/de

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • Vehicle guidance systems or vehicle safety systems are made available.
  • FIG. 5 shows a first example of a measurement situation
  • Figure 6 shows the representation of the data association for the first
  • Figure 12 shows the merging for the second
  • Figure 16 shows a sub-algorithm for determining a
  • the sensors 100, 200, 300 that detect the first object 10 would each send a sensor object to the processing unit 400 that belongs to the first object 10 or represents it.
  • this information ie sensor objects, supplied by various sensors, would now be related to the first object 10 addressed list of sensor objects summarized in a fusion object z.
  • the identification 211 for the third sensor object 210 becomes sent to the second sensor 200 and in a function block 405 the decision is made as to whether the third sensor object 210 or the third fusion object 430 will penetrate into the detection range of the first sensor 100 or not.
  • an identification 131 for a (not shown) sixth sensor object is therefore sent to the first sensor 100 together with the coordinate data of the sixth sensor object in the event of intrusion into the detection range of the first sensor 100.
  • FIG. 6 which represents the association matrix 422 for the first example, a line is provided for the fusion object, which is assumed at the position denoted by the reference symbol 476 in the second time step.
  • the one with the reference symbol is assumed at the position denoted by the reference symbol 476 in the second time step.
  • an entry is made in the association matrix.
  • the rows in the association matrix correspond, for example, to the index of the fusion object in the fusion object list and the columns correspond, for example, to sensors 100, 200, 300 and the sensor type.
  • An entry in the association matrix consists, for example, of the distance d, a value for the quality of the association, the object number of the sensor object, a cross reference to the point at which the sensor object can be found in the sensor-specific object list, and a "occupied" -Brand. If a position in the association matrix is already occupied, the sensor object is appended to the fusion object list and the counter is incremented for the number of current fusion objects.
  • the described method deliberately includes a multiple assignment of sensor objects to existing fusion objects (multi-hypotheses).
  • sorted fusion object lists or sensor object lists can be used, the processing of which can be interrupted (a kind of "gating") if a threshold is exceeded (for example with regard to the distance), after which no more assignment will certainly take place.
  • interrupted a kind of "gating"
  • the first sensor 100 "sees" an object - for example the first object 10 - at a first (not shown) time step at a first position, which is identified by the reference symbol 111.
  • the object recognized by the first sensor 100 at 101 in the first time step is expected in a subsequent second time step (likewise not shown) at a position designated by the reference symbol 112 (prediction).
  • an object from the second sensor 200 becomes the first Time step recognized at the position designated by reference number 211 and expected at the second time step at the position designated by reference number 212.
  • FIG. 14 shows the system for processing sensor data in a modified representation.
  • the system again comprises the first sensor 100, the second sensor 200 and the third sensor 300.
  • Each of the sensors 100, 200, 300 is connected to the bus system B, which is also connected to the processing unit 400.
  • FIG. 14 also shows the first object 10 and the second object 20 in the outer environment of the motor vehicle 1 (not shown in FIG. 14), in which the first sensor 100, the second sensor 200, the third sensor 300, the processing unit 400 and the bus system B are installed.
  • One aspect of the present invention is to determine the object size of objects 10, 20.
  • FIG. 14 shows the length with the reference symbol "L” as examples of object sizes for the first object 10 and the width with the reference symbol "W" for the second object 20.
  • the objects 10, 20 - and thus also their extent - are detected by the sensors 100, 200, 300, as described in principle in FIG. 2.
  • the arrows provided with the reference numerals 30, 31 have been omitted in FIG. 14 for the sake of simplicity.
  • the sensor objects 110, 120, 210, 220 and fusion objects 410, 420 shown in FIG. 2 are omitted in FIG. 14 for the sake of simplicity.
  • the system according to FIG. 14 also works in an analogous manner to the system according to FIG. 2.
  • Another arrow further connects the reference numerals 116, 216 and 226 collectively with a second evaluation algorithm, the is provided with the reference number 640.
  • the outputs of the first evaluation algorithms 610, 620, 630 and the second evaluation algorithm 640 are connected to the input of a so-called coordinator provided with the reference number 660.
  • the fusion object 445 which represents a fusion object - for example the first fusion object 410 - at a first time step.
  • the fusion object 445 for the first time step comprises three reference symbols 446, 447, 448, each of which represents measured values of the fusion object 445 for the first time step.
  • the increment can e.g. proportional to the number of individual objects.
  • the information supplied by the sensors 100, 200, 300 and processed and processed in the method steps provided with the reference number 670 is made available to a method step identified with the reference number 671, which is indicated by an arrow pointing to the reference number 671, starting from the reference number 670 in FIG 17 is shown.
  • the one designated by reference number 671 In the method step, the sensor data originating from the individual sensors 100, 200, 300 are weighted and the result is made available to the method step identified by reference number 673, as has already been described above and is shown in FIG. 17 by an arrow from reference number 671 to reference number 673 ,

Abstract

Es wird ein Verfahren und eine Vorrichtung zum Austausch und zur gemeinsamen Verarbeitung von Objektdaten zwischen Sensoren (100, 200, 300) und einer Verarbeitungseinheit (400) vorgeschlagen, wobei Positionsinformationen und/oder Geschwindigkeitsinformationen und/oder weitere Objektattribute (Grösse, Identifikation, Marken) von Sensorobjekten (110, 120, 210, 220) und Fusionsobjekten (410, 420, 430) übertragen und verarbeitet werden.

Description

Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
Stand der Technik
Gegenwärtige Fahrzeugführungsfunktionen, wie beispielsweise ACC (Adaptive Cruise Control) basieren auf der Aufbereitung und Verarbeitung der Informationen von nur einem Umfeldsensor, beispielsweise eines 77 GHz-FMC -Radars . Ein Austausch von Informationen zwischen verschiedenen Umfeldsensoren sowie eine gemeinsame Verarbeitung von h Sensordaten unterschiedlichen Ursprungs ist nicht möglich. Der bidirektionale Austausch von Informationen zwischen verschiedenen Umfeldsensoren und einer zentralen Einheit ist bislang nicht bekannt.
Vorteile der Erfindung
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung mit den Merkmalen der nebengeordneten Ansprüche hat demgegenüber den Vorteil, daß die Detektionsleistung, d.h. die Qualität der Sensorsignale, die Detektionsrate und das Ansprechverhalten, von Einzelsensoren bzw. von Sensorclustern verbessert wird, die Falschalarmrate reduziert wird und die Fälle von Sensorausfall bzw. von Sensorblindheit einfacher und verlässlicher diagnostizierbar sind. Dazu werden gezielt aus einer zentralen Verarbeitungseinheit, beispielsweise einer Informationsplattform IP bzw. einer Sensordatenfusionseinheit SDF Objektinformationen von den Einzelsensoren verarbeitet und aufbereitet und an die Einzelsensoren verteilt.
Es ist erfindungsgemäß insbesondere von Vorteil, daß Informationen gezielt aus der zentralen Verarbeitungseinheit zurück an die Einzelsensoren bzw. an die Sensorcluster verteilt wird. Dies beinhaltet beispielsweise die zeitliche Zuordnung der Daten der Fusionsobjekte zu den Sensorobjekten und umgekehrt die Identifikation gleicher Objekte in der Verarbeitungseinheit und in den Einzelsensoren sowie eine Prädiktion der Objektbewegungen. Wird die an die Einzelsensoren zurück geflossene Information, beispielsweise die Information darüber, daß ein Objekt in den Erfassungsbereich eines anderen Sensors einzudringen droht, von den Sensoren zur Präkonditionierung - beispielsweise zur Absenkung von Detektionsschwellen und/oder zur Initialisierung von Filterparametern - verwendet, wird insgesamt eine höhere Detektionsleistung und Dektektionssicherheit sowie ein verbessertes Ansprechverhalten der Obj ektdetektion erreicht. Bei der Überlappung der Detektionsbereiche verschiedener Sensoren kann von der unterschiedlichen Güte einzelner, kompatibler Sensorsignale Gebrauch gemacht werden, in dem beispielsweise die im allgemeinen genauere Auflösung der Querablage bei der Obj ektdetektion eines Videosensors zur Stützung der Winkellage desselben, von einem 77GHz-Radar detektierten Objekts verwendet wird. Darüberhinaus kann der höhere Grad des vernetzten Datenaustausches dazu genutzt werden, die Falschalarmrate von Einzelsensoren zu vermindern und zu helfen, Sensorausfälle oder Sensorblindheit zu diagnostizieren und zu interpretieren.
Weiterhin ist es erfindungsgemäß vorteilhaft möglich, dass Informationen von verschiedenen Umfeldsensoren, wie zum Beispiel Radar, Lidar und Video, gemeinsam verarbeitet werden und verdichtet werden. Hierdurch wird eine umfassendere, zuverlässigere, schnellere und im zeitlichen Mittel qualitativ hochwertigere Objektinformation möglich, ausgehend von den von den Sensoren gelieferten Meßdaten, als dies mit einem einzelnen Sensor möglich wäre.
Darüberhinaus ist die Verfolgung und Identifizierung von Objekten durch die unterschiedlichen Erfassungsbereiche der Sensoren durchgängig möglich. Die aufbereiteten und verdichteten Informationen über Objekte des Fahrzeugumfeldes können Fahrfunktionen, wie zum Beispiel
Fahrzeugführungssystemen oder Fahrzeugsicherheitssystemen, zur Verfügung gestellt werden.
Vorteilhaft ist insbesondere die Verwendung eines algorithmischen Verfahrens, welches es erlaubt, aktuelle Objekte, wie zum Beispiel Sensorobjekte, historischen Objekten, beispielsweise Fusionsobjekte oder sogenannte "Tracks", d.h. Historien von Meßwerten, zuzuordnen. Diese Zuordnung wird erfindungsgemäß als Datenassoziation bezeichnet. Weitere Verarbeitungsschritte des erfindungsgemäßen algorithmischen Verfahrens umfassen die Schritte, Fusionsobjekte zu verschmelzen, was im folgenden auch als Merging bezeichnet wird, und neue Fusionsobjekte, insbesondere zur Berücksichtigung von Objekthypothesen, zu generieren. Diese Aufgaben werden mit dem beschriebenen Verfahren mit hoher Effizienz durchgeführt. Für die Assoziation ist beispielsweise ein Rechenaufwand notwendig, der proportional zu dem Produkt n*m ist, wobei n die Anzahl der Fusionsobjekte bezeichnet und wobei m die Anzahl von Sensorobjekten bezeichnet. Der Rechenaufwand für den Merging-Schritt ist erfindungsgemäß proportional zu n*n. Weiterhin ist es erfindungsgemäß vorteilhaft, dass das erfindungsgemäße Verfahren mit einer verzögerten Entscheidungslogik durchgeführt wird, welche es erlaubt, im Konfliktfall die Entscheidung, welches Meßobjekt, d.h. Sensorobjekt, welcher Objekthypothese zugeordnet wird, erst in nachfolgenden Meßzyklen endgültig zu entscheiden. Durch die Verarbeitungsschritte des erfindungsgemäßen Verfahrens werden die oben genannten Ziele einer umfassenderen, zuverlässigeren, schnelleren und im zeitlichen Mittel qualitativ hochwertigeren Objektinformation und die Verfolgung und Identifizierung von Objekten durch die unterschiedlichen Erfassungsbereiche der Sensoren hinweg möglich. '
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des in den nebengeordneten Ansprüchen angegebenen Verfahrens bzw. der Vorrichtung möglich.
Zeichnung
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
Figur 1 ein System zur Verarbeitung von Sensordaten,
Figur 2 einen Teilaspekt der Objektrepräsentierung in einem erfindungsgemäßen System,
Figur 3 ein Ablaufdiagramm für den Datenaustausch zwischen einer erfindungsgemäßen Verarbeitungseinheit und erfindungsgemäßen Sensoren,
Figur 4 ein Struktogramm des erfindungsgemäßen
Verarbeitungsalgorithmus ,
Figur 5 ein erstes Beispiel einer Meßsituation,
Figur 6 die Darstellung der Datenassoziation für das erste
Beispiel,
Figur 7 die Darstellung der Fusion für das erste Beispiel,
Figur 8 die Darstellung des Merging für das erste Beispiel,
Figur 9 ein zweites Beispiel einer Meßsituation,
ERSATZBLATT Figur 10 die Darstellung der Datenassoziation für das zweite
Beispiel,
Figur 11 die Darstellung der Fusion für das zweite Beispiel,
Figur 12 die Darstellung des Merging für das zweite
Beispiel ,
Figur 13 die Darstellung der Überbrückung einer
Detektionslücke zwischen zwei Detektionsbereichen,
Figur 14 das System zur Verarbeitung von Sensordaten in einer abgewandelten Darstellung,
Figur 15 ein Verarbeitungsdiagramm zur Bestimmung einer
Obj ektgröße ,
Figur 16 einen Teilalgorithmus zur Bestimmung einer
Objektgröße und
Figur 17 ein Schema zu einer Plausibilitätsverwaltung.
Beschreibung des Ausführungsbeispiels
In Figur 1 ist ein System zur Verarbeitung von Sensorinformationen dargestellt. Das System umfaßt in der Regel eine Mehrzahl von Sensoren, beispielsweise einen in der Figur 1 dargestellten ersten Sensor 100, einen zweiten Sensor 200 und einen dritten Sensor 300. Jeder der Sensoren 100, 200, 300 ist mit einem Bussystem verbunden, welches mit dem Bezugszeichen B gekennzeichnet ist. Das Bussystem B ist weiterhin an einer Verarbeitungseinheit 400 angeschlossen. Das Bussystem B soll sicherstellen, daß der Austausch von Daten zwischen jedem der Sensoren 100, 200, 300 und der Verarbeitungseinheit 400 sichergestellt ist bzw. einfach und schnell durchführbar ist und daß eine gewisse Bandbreite zum Datenaustausch bidirektional zur Verfügung steht.
Das Bussystem B ist erfindungsgemäß insbesondere als CA -Bus (Controller area network-Bus) vorgesehen. Erfindungsgemäß ist es jedoch auch möglich, eine beliebige andere Busarchitektur zu verwenden.
ERSATZBLATT Die Verarbeitungseinheit 400 wird erfindungsgemäß insbesondere als Sensordatenfusionseinheit 400 bzw. als Informationsplattform 400 bezeichnet. Bei den Sensoren 100, 200 , 300 handelt es sich erfindungsgemäß insbesondere um Einzelsensoren oder auch um ganze Sensorcluster .
In Figur 2 ist ein erfindungsgemäßes System mit beispielshaf zwei Sensoren, nämlich dem ersten Sensor 100 und dem zweiten Sensor 200 sowie mit der Verarbeitungseinheit 400 und dem diese Einheiten verbindenden Bus B dargestellt .
Das erfindungsgemäße System bzw. die erfindungsgemäße Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens dient insbesondere dazu, in ein Kraftfahrzeug eingebaut zu werden, um das Fahrzeugumfeld des Kraftfahrzeugs möglichst gut zu beschreiben, so daß automatisierte Fahrf nktionen bzw. Sicherheitsfunktionen ausführbar sind. Hierzu ist in Figur 2 ein erstes Objekt 10 und ein zweites Objekt 20 im Außenumfeld des (nicht dargestellten) Kraftfahrzeugs dargestellt, in welches der erste Sensor 100 und der zweite Sensor 200, wie auch die Verarbeitungseinheit 400 und das Bussystem B eingebaut ist.
Erfindungsgemäß ist es insbesondere vorgesehen, dass als Sensoren Videosensoren, Radarsensoren - beispielsweise 77- GHz-Long-Range-Sensoren, 77-GHz-Medium-Range-Sensoren, 24- GHz-Short-Range-Sensoren - , Lidarsensoren, Lasersensoren oder Ultraschallsensoren Verwendung finden. In jedem Fall gibt es eine Wechselwirkung zwischen den Sensoren 100, 200, 300 und den Objekten 10, 20. Bei Videosensoren besteht die Wechselwirkung beispielsweise darin, daß ein solcher Videosensor das optische Bild des Fahrzeugsumfelds aufzeichnet und derart analysiert, daß Objekte 10, 20 im Umfeld des Kraftfahrzeugs erkennbar sind. Bei Radarsensoren ist es erfindungsgemäß beispielsweise so, daß der Radarsensor eine Radarwelle aussendet und die von der Umwelt zurückgeworfene Reflexionswelle sensiert und daraus die Objekte 10, 20 erkennbar sind. Weiterhin ist es erfindungsgemäß vorgesehen, als Sensoren 100, 200 beispielsweise Ultraschallsensoren zu verwenden. Die verschiedenen Ankopplungen der Sensoren 100, 200 an die Umwelt des Fahrzeugs sind in Figur 2 mit den mit den Bezugszeichen 30 bzw. 31 versehenen Pfeilen dargestellt, wobei die mit dem Bezugszeichen 30 versehenen Pfeile vom ersten Sensor 100 zum ersten Objekt 10 und zum zweiten Objekt 20 hin bzw. zurückweisen und wobei die Pfeile 31 vom zweiten Sensor 200 ebenfalls zum ersten Objekt 10 und zum zweiten Objekt 20 hin und zurückweisen. Hierdurch soll beispielsweise veranschaulicht werden, dass sich das erste und das zweite Objekt 10, 20 im Erfassungsbereich jeweils des ersten Sensors 100 und des zweiten Sensors 200 befindet.
Erfindungsgemäß ist es vorgesehen, daß in den Sensoren 100, 200 bereits eine gewisse Vorverarbeitung des Datenstroms durchgeführt wird, welcher der kontinuierlichen bzw. gepulsten Messung oder Sensierung des Fahrzeugumfelds entspricht. Dies ist in der Regel technisch notwendig, weil dadurch eine Datenreduktion möglich ist und somit Übertragungsbandbreite auf dem Bussystem B eingespart werden kann. Die Vorverarbeitung in den Sensoren 100, 200 besteht erfindungsgemäß insbesondere darin, daß ausgehend von den Objekten 10, 20 in der realen physikalischen Umwelt des mit dem erfindungsgemäßen System ausgestatteten Fahrzeugs sogenannte Datenobjekte von den Sensoren 100, 200 erzeugt werden. In Figur 2 ist beispielhaft links neben dem den ersten Sensor 100 darstellenden Kasten eine geschweifte Klammer dargestellt, die die Bezugszeichen 110 und 120 umfaßt. Die Bezugszeichen 110, 120 stehen dabei für solche von dem ersten Sensor 100 generierten Datenobjekte, die ausgehend von den Objekten, beispielsweise dem ersten Objekt 10 und dem zweiten Objekt 20 in der realen Umwelt des Fahrzeugs, erzeugt wurden. Solche Datenobjekte, die von einem der Sensoren 100, 200 erzeugt werden, sind als ein Satz von Informationen auffassbar, die zu der Repräsenta ion eines realen, in der Umwelt des Fahrzeugs befindlichen Objekts - oder auch lediglich eines vom Sensor fälschlicherweise erkannten, aber nicht vorhandenen Objekts - gehören. Da die Sensoren 100, 200 solche Datenobjekte generieren und an die Verarbeitungseinheit 400 weiterleiten, werden die von den Sensoren 100, 200, 300 erzeugten Datenobjekte auch vereinfachend Sensorobjekte genannt. Im folgenden werden Sensorobjekte auch verallgemeinernd Sensordaten genannt. In der Figur 2 ist daher mit einem zweiseitigen Pfeil neben dem ersten Sensor 100 in der bereits angesprochenen geschweiften Klammer ein erstes Sensorobjekt 110 und ein zweites Sensorobjekt 120 dargestellt. Ebenso ist innerhalb einer weiteren geschweiften Klammer neben dem zweiten Sensor 200 ein drittes Sensorobjekt 210 und ein viertes Sensorobjekt 220 dargestellt. Das erste und zweite Sensorobjekt 110, 120 wurde im Beispiel von dem ersten Sensor 100 erzeugt und das dritte und vierte Sensorobjekt 210, 220 wurde im Beispiel von dem zweiten Sensor 200 erzeugt. Die Sensorobjekte 110, 120, 210, 220 können auch Teile von realen Objekten umfassen (z.B. beim Videosensor Kanten, oder Teile von Objektumrissen) .
Die Informationen über die Sensorobjekte 110, 120, 210, 220 werden in der Folge der Verarbeitung der von den Sensoren 100, 200 gemessenen Daten über das Bussystem B zu der Verarbeitungseinheit 400 weitergeleitet. Die Verarbeitungseinheit 400 nimmt eine weitere Datenreduktion vor und generiert in ähnlicher Weise wie die Sensoren 100, 200 ebenfalls sogenannte Datenobjekte, welche jedoch zur Differenzierung von den Sensorobjekten nachfolgend Fusionsobjekte oder auch verallgemeinernd Fusiondaten genannt werden. In ähnlicher Weise wie bei den Sensoren 100, 200 ist in Figur 2 neben der Verarbeitungseinheit 400 eine geschweifte Klammer mit einem ersten Fusionsobjekt 410 und einem zweiten Fusionsobjekt 420 dargestellt.
In Figur 2 ist weiterhin ein Regler 500 dargestellt, welcher mit der Verarbeitungseinheit 400 verbunden ist. Erfindungsgemäß macht es keinen Unterschied, ob der Regler 500 direkt mit der Verarbeitungseinheit 400 verbunden ist oder ob der Regler 500 über das Bussystem B mit der Verarbeitungseinheit 400 verbunden ist. In Figur 3 ist beispielhaft die erste dieser beiden Alternativen dargestellt .
Die Begriffsbildung für den Begriff "Fusionsobjekt" leitet sich insbesondere aus der synonymen Bezeichnung der Verarbeitungseinheit 400 als Sensordatenfusionseinheit SDF 400 ab. Dies rührt daher, daß die von den Sensoren 100, 200 gelieferten Sensorobjekte in der Verarbeitungseinheit 400 "fusioniert" werden.
In Figur 3 ist ein Ablaufdiagramm für den Datenaustausch zwischen der Sensordatenfusion bzw. der Verarbeitungseinheit 400 und einem beispielhaft dargestellten Sensorsystem, bestehend aus einem ersten Sensor 100 als FMCW-Radar und einem zweiten Sensor 200 als Videosensor, dargestellt. Das Ablaufdiagramm in Figur 3 stellt einen sich wiederholenden Ablauf der Umfelderkennung durch die Sensoren 100, 200 dar. Dargestellt ist der Zustand nach einer möglicherweise vorgesehenen Initialisierung, d.h. es ist der "eingeschwungene" Zustand dargestellt. Die Erläuterung der Figur 3 beginnt daher willkürlich an einer Stelle der Regelschleife.
Der erste Sensor 100 ist im Beispiel als Radarsensor vorgesehen und liefert an die Verarbeitungseinheit 400 ein erstes Sensorobjekt 110 und ein zweites Sensorobjekt 120. Dies ist in Figur 3 derart dargestellt, daß ein von dem ersten Sensor 100 zu der Verarbeitungseinheit 400 weisender Pfeil ein Kästchen mit (unter anderem) der Beschriftung 110 und 120 umfaßt. Weiterhin überträgt der erste Sensor 100 an die Verarbeitungseinheit 400 eine erste Zeitinfor ation, welche mit dem Bezugszeichen 99 versehen ist. Da die erste Zeitinformation 99 ebenfalls an die Verarbeitungseinheit 400 übertragen wird, befindet sich auch das Bezugszeichen 99 in dem Kästchen welches von dem Pfeil zwischen dem ersten Sensor 100 und der Verarbeitungseinheit 400 umfaßt ist. In entsprechender Weise sendet der zweite Sensor 200, welcher im Beispiel als ein Videosensor ausgeführt ist, ein drittes Sensorobjekt 210 und ein viertes Sensorobjekt 220 zusammen mit einer zweiten Zeitinformation 199 an die
Verarbeitungseinheit 400. Dies ist analog zum Pfeil zwischen dem ersten Sensor 100 und der Verarbeitungseinheit 400 durch einen Pfeil zwischen dem zweiten Sensor 200 und der Verarbeitungseinheit 400 dargestellt, welcher ein Kästchen umfaßt, das mit den Bezugszeichen 210, 220 und 199 beschriftet ist.
Die erste Zeitinformation 99 und die zweite Zeitinformation 199 sind erfindungsgemäß insbesondere als Zeitstempel vorgesehen, die von den Sensoren 100, 200 erzeugt werden, und an die Verarbeitungseinheit 400 übertragen werden. Es ist erfindungsgemäß für eine erste Variante der Erfindung vorgesehen, daß solche Zeitstempel entweder von den Sensoren 100, 200 in "absoluter Weise" generiert werden, so daß sie sich nicht auf einen Bezugspunkt beziehen. Es ist jedoch erfindungsgemäß für eine zweite Variante der Erfindung ebenfalls vorgesehen, daß die Verarbeitungseinheit 400 in regelmäßigen oder in unregelmäßigen zeitlichen Abständen eine "zentrale Zeitinformatiσn" an die Sensoren 100, 200 sendet, so daß die erste und die zweite Zeitinformation 99, 199 als "relativer Zeitwert" in Bezug auf die zentrale Zeitinformation der Verarbeitungseinheit 400 zu verstehen sind. Die zentralen ZeitInformationen von der Verarbeitungseinheit 400 an die Sensoren 100, 200 sind in Figur 3 als Kästchen mit dem Bezugszeichen 399 dargestellt.
Ausgehend von den Sensorobjekten 110, 120, 210, 220 werden in der Verarbeitungseinheit 400 die Fusionsobjekte erzeugt. Hierzu sind in der Figur 3 beispielhaft ein erstes Fusionsobjekt 410, ein zweites Fusionsobjekt 420 und ein drittes Fusionsobjekt 430 dargestellt. Die Verarbeitungseinheit 400 verfügt über Ressourcen zur Verwaltung einer Mehrzahl von Fusionsobjekten 410, 420, 430. Ein wesentlicher Aspekt eines FusionsObjektes 410, 420, 430 ist eine Liste, bzw. eine Menge, die die Liste bzw. die Menge der Sensorobjekte ist, die in dem Fusionsobjekt enthalten sind bzw. die dem Fusionsob ekt zugeordnet sind. Dies ist so zu verstehen, daß ein und dasselbe im Fahrzeugumfeld befindliche Objekt 10, 20 - beispielsweise das erste Objekt 10 - erfindungsgemäß beispielsweise von mehreren Sensoren 100, 200, 300 erfaßt wird. Die das erste Objekt 10 erfassenden Sensoren 100, 200, 300 würden erfindungsgemäß jeweils ein Sensorobjekt an die Verarbeitungseinheit 400 senden, welches zu dem ersten Objekt 10 gehört bzw. dieses repräsentiert. In der Verarbeitungseinheit 400 würde nun zur Bildung eines Fusionsobjektes zum ersten Objekt 10 diese, von verschiedenen Sensoren gelieferten Informationen, d.h. Sensorobjekten, bezüglich des ersten Objektes 10 zu der eben angesprochenen Liste der in einem Fusionsobjekt z sammengefassten Sensorobjekte zusammengefaßt.
So umfaßt das erste Fusionsobjekt 410 beispielsweise das erste Sensorobjekt 110 und das vierte Sensorobjekt 220, d.h. das vom Radarsensor 100 erfaßte erste Sensorobjekt 110 entspricht aufgrund seiner Koordinaten und seiner Geschwindigkeit dem vom Videosensor erfaßten vierten Sensorobjekt 220 und wird daher in der Verarbeitungseinheit 400 zum ersten Fusionsobjekt 410 zusammengefaßt.
Im Beispiel umfaßt das zweite Fusionsobjekt 420 lediglich das zweite Sensorobjekt 120 und das dritte Fusionsobjekt 430 umfaßt im Beispiel das dritte Sensorobjekt 210.
Ausgehend von dieser Konstellation werden nun die verschiedenen erfindungsgemäßen Merkmale des Austausche von Daten zwischen den Sensoren 100, 200, 300 und der Verarbeitungseinheit 400 anhand des in Figur 3 dargestellten Beispiels näher erläutert.
Die Fusionsobjekte 410, 420, 430 umfassen sogenannte Attribute, wobei die Attribute der FusionsObjekte 410, 420, 430 unter anderem die physikalischen Eigenschaften und zugehörigen Qualitätsmaße der fusionierten Objektdaten sowie einen Zeitstempel umfassen, der die Daten bzw. Attribute einem Fusionstakt zuordnet. Einem Fusionstakt entspricht in diesem Zusammenhang der Zeittakt, der in der Verarbeitungseinheit 400 vorgesehen ist, die Daten konsistent zu halten und zu aktualisieren. Eine weitere Gruppe von Attributen der Fusionsobjekte 410, 420, 430 beschreibt die Zuordnung der Sensorobjekte zu den Fusionsobjekten, beispielsweise über eine Sensorobjekt- Identifikation (beispielsweise eine Nummer bzw. ein Name) und einem relativen Zeitstempel, der den Zeitpunkt der Originalmessung relativ zum zentralen Zei Stempel bzw. der zentralen Zeitinformation 399 aus der Verarbeitungseinheit 400 beinhaltet. Erfindungsgemäß ist es insbesondere vorgesehen, daß die Zeitinformationen 99, 199 und die zentrale Zeitinformation 399 in jedem Meß- bzw. Fusionszyklus oder auch Fusionstakt unabhängig davon ausgetauscht werden, ob mit den Zeitinformationen 99, 199 bzw. der zentralen Zeitinformation 399 auch Objektdaten, d.h. Informationen, die sich auf ein Sensorobjekt bzw. ein Fusionsobjekt beziehen, verbunden sind. Auf diese Weise ist eine bestmögliche Synchronisation zwischen der Verarbeitungseinheit 400 und den Einzelsensoren 100, 200, 300 auf den Sensordatenfusionstakt gewährleistet. Die Ungenauigkeiten liegen im Bereich der Übertragungszeiten des Bussystems B und der Wartezeiten bei der Bearbeitung der Daten.
In der Verarbeitungseinheit 400 wird nun ausgehend von den Inhalten der Fusionsobjekte 410, 420, 430 entschieden, welche Informationen und Daten zu welchem Sensor 100, 200, 300 zurückfließen. Die Basis hierfür bietet einerseits das a priori Wissen, beispielsweise über die Güte der jeweiligen Sensordaten und die Erfassungsbereiche der Sensoren, andererseits die aktuelle Güteinformation, die sich auf eine Messung in einem Sensor 100, 200 bezieht und von dem Sensor mit dem Datensatz des Sensorobjekts an die
Verarbeitungseinheit 400 übertragen wird. Weiterhin ist die Historie der Fusionsobjektdaten eine Entscheidungsgrundlage dafür, welche Informationen und Daten zu welchem Sensor 100, 200, 300 zurückfließen. Die Berücksichtigung der Signalgüten setzt die Kompatibilität der Daten und die Transformation auf ein einheitliches Koordinatensystem voraus.
Im Beispiel der Figur 3 ist es nun erfindungsgemäß so, daß im ersten Fusionsobjekt 410 die Informationen des ersten Sensorobjektes 110 und die Informationen des vierten Sensorobjektes 220 vorliegen. Daher ist es erfindungsgemäß in einer solchen Situation vorgesehen, daß von der Verarbeitungseinheit 400 eine Qualitätsüberprüfung durchgeführt wird. Dies wird in der Figur 3 durch die mit den Bezugszeichen 402 und 403 bezeichneten Kästchen dargestellt, zu denen jeweils ausgehend vom mit dem Bezugszeichen 410 bezeichneten Kästchen Pfeile weisen. In der Qualitätsüberprüfung mit dem Bezugszeichen 402 wird beispielsweise festgestellt, daß die y-Koordinate des realen, in der Fahrzeugumgebung befindlichen Objekts, welche durch das erste Fusionsobjekt 410 repräsentiert wird, durch den zweiten Sensor, d.h. ein Videosensor, besser gemessen wird, als durch den ersten Sensor, d.h. den Radarsensor. Von daher wird der von dem zweiten Sensor 200 gemessene Wert für die y-Koordinate des ersten Fusionsobjekts 410 an den ersten Sensor 100 weitergeleitet, um den ersten Sensor 100 zu einer genaueren bzw. allgemein einer weiteren Messung der y- Koordinate seines dem ersten Fusionsobjekt 410 zugeordneten ersten Sensorobjekts 110 zu bewegen. Damit der erste Sensor 100 erkennen kann, auf welches Sensorobjekt sich die von der Verarbeitungseinheit 400 gesendete Information über die y- Komponente bezieht, wird von der Verarbeitungseinheit erfindungsgemäß zusätzlich zu dem Wert der y-Komponente noch die Identifikation des betreffenden Sensorobjektes, d.h. in dem im Beispiel betrachteten Fall des ersten Sensorobjektes 110 übermittelt. In ähnlicher Weise wird nach dem durch das Bezugszeichen 403 repräsentierten Qualitätscheck bzw. der Qualitätsüberprüfung die Geschwindigkeitskomponente in x- Richtung an den zweiten Sensor 200, d.h. den Videosensor übermittelt, weil der Wert für die
Geschwindigkeitskomponente in x-Richtung, der von dem Radar- Sensor, d.h. dem ersten Sensor 100 geliefert wird, in der Regel (a priori Wissen) besser ist, als der Wert für die x- Komponente der Geschwindigkeit, die vom zweiten Sensor 200, d.h. dem Videosensor, gemessen wird. Die Übermittlung der x- Komponente der Geschwindigkeit an den zweiten Sensor 200 wird wiederum zusammen mit der Übermittlung einer Identifikation für das entsprechende Sensorobjekt, d.h. in dem im Beispiel betrachteten Fall für das vierte Sensorobjekt 220 durchgeführt. In der Figur 3 steht das Bezugszeichen 111 für die Identifikation des ersten Sensorobjekts 110, das Bezugszeichen 221 für die Identifikation des vierten Sensorobjekts 220 und der Pfeil ausgehend von der Qualitätsüberprüfung 402 über das Kästchen mit dem Bezugszeichen 111 zum Kästchen mit dem Bezugszeichen 406 dient der Darstellung der Übertragung der Identifikation 111 des ersten Sensorobjekts 110 an den ersten Sensor 100. Ebenso dient der Pfeil, ausgehend von der
Qualitätsüberprüfung im Kästchen mit dem Bezugszeichen 403 zum Kästchen mit dem Bezugszeichen 407, welcher das Kästchen mit dem Bezugzeichen 221, d.h. die Identifikation für das vierte Sensorobjekt 220 trägt, der Darstellung der Übertragung der Identifikation 221 für das vierte Sensorobjekt 220 an den zweiten Sensor 200. Die Übertragung des Wertes der zuvor diskutierten y-Koordinate an den ersten Sensor 100 wurde in Figur 3 nicht gesondert dargestellt, sondern ist als Übertragung zusammen mit der Identifikation 111 des ersten Sensorobjekts 111 zu verstehen. Ensprechend ist die Übertragung der x-Komponente der Geschwindigkeit zusammen mit der Übertragung der Identifikation 221 des vierten Sensorobjekts 220 zu verstehen.
Das zweite Fusionsobjekt 420 umfaßt lediglich das zweite Sensorobjekt 120. Daher wird die Identifikation 121 des zweiten Sensorobjekts 120 an den ersten Sensor 100 zurückgegeben, welches durch einen Pfeil von dem mit dem Bezugszeichen 420 versehenen Kästchen zum mit dem Bezugszeichen 406 versehenen Kästchen dargestellt ist, welcher ein Kästchen mit dem Bezugszeichen 121 für die Identifikation des zweiten Sensorobjektes 120 umfaßt. Ausgehend von der Zuordnung des zweiten Sensorobjekts 120 zum zweiten Fusionsobjekt 420 wird weiterhin in einem Verfahrensschritt, welcher durch ein mit dem Bezugszeichen 404 versehenen Kästchen dargestellt ist, festgestellt, ob das zweite Fusionsobjekt 420 in den Erfassungsbereich des zweiten Sensors 200 eindringt bzw. einzudringen droht oder nicht. Für diese beiden Alternativen hat das Kästchen mit dem Bezugszeichen 404 in der Figur 3 einen ersten Ausgang, welcher durch einen Pfeil symbolisiert ist, der mit einem Querstrich endet, um zu symbolisieren, daß die Verarbeitung an dieser Stelle abbrechen kann. Die Verarbeitung bricht dann ab, wenn festgestellt wird, daß das zweite Fusionsobjekt 420 nicht in den Erfassungsbereich des zweiten Sensors 200 eindringt. Wenn dies andernfalls jedoch der Fall ist (d.h. das zweite Fusionsobjekt 420 dringt in den Erfassungsbereich des zweiten Sensors 200 ein bzw. droht einzudringen) , wird an den zweiten Sensor 200 eine Identifikation für ein weiteres zu erzeugendes Sensorobjekt gesendet. Diese Identifikation für ein weiteres Sensorobjekt, welches in der Sensorobjektliste, die vom zweiten Sensors 200 an die Verarbeitungseinheit gesendet wird, noch nicht enthalten ist, ist in der Figur 3 mit dem Bezugszeichen 231 dargestellt. Zusammen mit der Identifikation 231 für ein weiteres Sensorobjekt, welches im folgenden auch als (nicht dargestelltes) fünftes Sensorobjekt bezeichnet wird, werden die zum zweiten Fusionsobjekt 420 gehörenden Koordinatendaten an den zweiten Sensor 200 gesendet. Diese Koordinatendaten umfassen insbesondere die x- und die y-Komponente der Distanz und die x- und die y-Komponente der Geschwindigkeit des zweiten Fusionsobjekts 420.
In gleicher Weise wird ausgehend vom dritten Fusionsobjekt 430 die Identifikation 211 für das dritte Sensorobjekt 210 an den zweiten Sensor 200 gesendet und in einem Funktionsblock 405 die Entscheidung getroffen, ob das dritte Sensorobjekt 210 bzw. das dritte Fusionsobjekt 430 in den Erfassungsbereich des ersten Sensors 100 eindringen wird oder nicht. Analog zum zweiten Fusionsobjekt 420 wird daher im Falle des Eindringens in den Erfassungsbereich des ersten Sensors 100 eine Identifikation 131 für ein (nicht dargestelltes) sechstes Sensorobjekt zusammen mit den Koordinatendaten des sechsten Sensorobjektes an den ersten Sensor 100 gesendet.
Der Datenaustausch zwischen den Sensoren 100, 200, 300 und der Verarbeitungseinheit 400 findet grundsätzlich unter folgenden Gesichtspunkten statt:
Es wird eine Wiederfindung von Objekten im Sensor durchgeführt, was durch den Austausch von Identifikationen 111, 221, 121, 211 von Sensorobjekten - diese Identifikationen werden auch tracking-Nummern genannt - geschieht, wenn keine Überlappung von Sensorbereichen stattfindet .
Es wird eine Verbesserung der Genauigkeit der Erfassung der Fahrzeugumwelt dadurch herbeigeführt, daß Einzelsignale, die als zu einem Objekt zugehörig identifiziert wurden und eine höhere Qualität als die Ursprungsdaten aufweisen, zur sensorinternen Verwertung gezielt an den Sensor zurückgeschickt werden, der dieses Objekt ebenfalls identifiziert hat. Dazu wird ein Qualitätscheck bzw. eine Qualitätsüberprüfung durchgeführt, vgl. die Beschreibung zu den mit den Bezugszeichen 402 und 403 versehenen Kästchen in Figur 3.
Erfindungsgemäß wird weiterhin eine Verbesserung des Ansprechverhaltens von Sensoren dadurch herbeigeführt, daß dann ObjektInformationen an einen Sensor - beispielsweise der erste Sensor 100 -, der ein Objekt - beispielsweise das erste Objekt 10 - noch nicht detektiert, weitergeleitet werden, wenn das erste Objekt 10 von einem anderen Sensor - beispielsweise der zweite Sensor 200 - detektiert wurde und die prädizierte Bewegung des ersten Objekts 10 auf ein bereits vorliegendes oder aber ein baldiges Eindringen des ersten Objekts 10 in den Erfassungsbereich des ersten Sensors 100 nahelegt. Der erste Sensor 100 kann dann das in seinen Erfassungsbereich eindringende erste Objekt 10 schneller erkennen und interne Parameter, wie z.B. die Filtereinstellungen, zielgerichtet initialisieren. Dies bezeichnet man als Präkonditionierung des ersten Sensors 100. Dies ist in Figur 3 für das zweite und dritte Fusionsobjekt 420, 430 durch die Entscheidungsfindung in den mit den Bezugszeichen 404 bzw. 405 bezeichneten Kästchen dargestellt .
Erfindungsgemäß wird weiterhin eine Erhöhung der Detektionsleistung dadurch bewirkt, daß Objekte, die im gemeinsamen Erfassungsbereich von mehreren Sensoren liegen und nicht von allen Sensoren detektiert werden, an solche Sensoren gemeldet werden, die diese Objekte nicht detektieren. Dies wird mit dem Ziel getan, die Sensoraufmerksamkeit eines solchen, das Objekt nicht detektierenden Sensors gezielt zu beinflussen und zu steuern (Aufmerksamkeitssteuerung) , beispielsweise durch Absenkung von Schwellenwerten, durch die Verfeinerung der Diskretisierung usw. Damit kann die Detektionsleistung der Einzelsensoren erhöht werden.
Weiterhin ist erfindungsgemäß vorgesehen, das erfindungsgemäße Verfahren zum Austausch von Daten zwischen Sensoren 100, 200, 300 und der Verarbeitungseinheit 400 zur Erkennung von Falschalarmen, von Sensorausfällen und/oder von Abschattungen heranzuziehen. Objekte, die im gemeinsamen Erfassungsbereich von mehreren Sensoren liegen und nicht von allen Sensoren detektiert wurden, werden an die Sensoren gemeldet, die sie nicht detektieren. Kann von einem Sensor das Objekt dennoch nicht detektiert werden, ist diese Information auf die Möglichkeiten einer Fehldetektion der anderen Sensoren (Falschalarm) , eines Sensorausf lls oder einer Abschattung des Sensors gezielt zu untersuchen.
Die von der Zentrale 400 zu den Sensoren zu übertragenden Informationen können erfindungsgemäß insbesondere mit einer Priorisierung versehen werden, so daß bei einer Begrenzung der Bandbreite, die über das Bussystem B übertragen werden kann, der Datenumfang derart reduziert wird, daß lediglich die am höchsten priorisierten, von der Verarbeitungseinheit 400 zu den Sensoren 100, 200, 300 zu übertragenden Informationen über das Bussystem B übertragen werden. Daher ist in der Figur 3 vorgesehen, die an die Sensoren 100, 200 fließenden Informationen mit einer Priorisierungseinheit zu versehen, die bezüglich der an den ersten Sensor 100 zu übertragenden Informationen mit den Bezugszeichen 406 versehen ist und die hinsichtlich der an den zweiten Sensor 200 zu übertragenden Informationen mit dem Bezugszeichen 407 versehen ist.
In Figur 4 ist ein Struktogramm des Auswertungsalgorithmus von Sensorobjekten dargestellt. Der Algorithmus wird erfindungsgemäß insbesondere in der Verarbeitungseinheit 400 durchgeführt. Es ist jedoch erfindungsgemäß auch vorgesehen, verschiedene Verarbeitungsschritte des Auswertealgorithmus in verteilten Systemen durchzuführen. In Figur 4 sind weiterhin die Sensoren 100, 200, 300 dargestellt. Die Sensoren 100, 200, 300 liefern erste Daten, die in Figur 4 durch einen Pfeil mit dem Bezugszeichen 409 dargestellt sind, an die Verarbeitungseinheit 400. Die ersten Daten 409 werden in dem ersten Verarbeitungsschritt 408 synchronisiert. Beim ersten Verarbeitungsschritt 408 wird eine Synchronisierung der ersten Daten 409 auf einen Basistakt der Verarbeitungseinheit 400 durchgeführt. Die Details dieses Synchronisierungsschrittes sind insbesondere in der gleichzeitig eingereichten deutschen Patentanmeldung der gleichen Anmelderin , die den Titel "Verfahren zur Synchronisation und Vorrichtung" trägt, dargestellt. Der erste Verarbeitungsschritt 408, d.h. die Synchronisierung, liefert, ausgehend von den insbesondere als Sensorobjekten 110, 120, 210, 220 vorliegenden ersten Daten 409, zeitlich synchronisierte zweite Daten 411. Dies ist durch einen mit dem Bezugszeichen 411 versehenen Pfeil ausgehend von dem ersten Verarbeitungsschritt 408 dargestellt. Erfindungsgemäß werden Daten verschiedener Umfeldsesoren 100, 200, 300 - insbesondere in der Verarbeitungseinheit - im ersten Verarbeitungsschritt 408 zunächst auf ein einheitliches Koordinatensystem transformiert (Data-Alignment) und zeitlich synchronisiert. Für jeden Sensor wird eine aktuelle Sensorobjektliste mit Messobjekten erstellt.
Die zweiten Daten 411 werden zu einem zweiten Verarbeitungsschritt 419 gesendet bzw. diesem zur Verfügung gestellt. Der zweite Verarbeitungsschritt 419 wird im folgenden auch als Assoziationsschritt 419 bezeichnet. Beim zweiten Verarbeitungsschritt 419 wird die sogenannte Datenassoziation durchgeführt, d.h. es wird versucht, die Messobjekte einem oder mehreren bestehenden Fusionsobjekten zuzuordnen. Erfolgt keine Zuordnung, wird ein neues Fusionsobjekt generiert. Das Ergebnis der Zuordnung oder Assoziation kann beispielsweise in einer (weiter unten beschriebenen) Assoziationsmatrix 422 festgehalten werden, in der alle möglichen Objekthypothesen (Zuordnung von gemessenen zu vorhandenen Objekten bzw. Objekthypothesen) registriert sind. Für jeden Sensortyp bzw. für jeden Sensor existiert eine Spalte in der Assoziationsmatrix 422. Beim zweiten Verarbeitungsschritt 419 werden dritte Daten 421 produziert, die einem dritten Verarbeitungsschritt 429 zur Verfügung gestellt werden. Der dritte Verarbeitungsschritt 429 wird im folgenden auch als Fusionsschritt 429 bezeichnet. Die dritten Daten 421 umfassen insbesondere die sogenannte Assoziationsmatrix 422. Beim dritten Verarbeitungsschritt 429, bei dem die sogenannte Fusion durchgeführt wird, werden vierte Daten 431 und fünfte Daten 432 erzeugt. Bei der Fusion, d.h. dem dritten Verarbeitungsschritt 429 wird die Assoziationsmatrix zeilenweise abgearbeitet und neue Fusionsobjekte bzw. Fusiondaten durch Bildung von gewichteten Mittelwerten der relevanten Objektattribute gebildet. Objekte bzw. Objekthypothesen, die über einen bestimmten Zeitraum von keinem Sensor mehr gemessen werden, werden verworfen. Die vierten Daten 431 umfassen insbesondere eine sogenannte Fusionsobjektliste 431 und werden dem zweiten Verarbeitungsschritt 419 zur Verfügung gestellt. Die weiterhin vom dritten Verarbeitungsschritt 429, d.h. der Datenfusion 429, produzierten fünften Daten 432, welche insbesondere sogenannte Trackingdaten 432 umfassen, werden sowohl dem zweiten Verarbeitungsschritt 419 als auch einem fünften Verarbeitungsschritt 450 zur Verfügung gestellt. Die vierten Daten 431, d.h. die Fusionsobjektliste 431 wird, ausgehend vom dritten Verarbeitungsschritt 429 auch einem vierten Verarbeitungsschritt 440, einem sogenannten Merging- Verarbeitungsschritt 440, der im folgenden auch als Mergingschritt 440 bezeichnet wird, zur Verfügung gestellt. Beim vierten Verarbeitungsschritt 440 werden die neu berechneten Fusionsobjekte, die innerhalb eines (erst bei Figur 5 dargestellten) Fangbereichs liegen, zu einem Objekt verschmolzen. Basis dafür ist - ähnlich wie bei der Assoziation - ein Gating-Verfahren. Der vierte Verarbeitungsschritt 440 produziert sechste Daten 441, welche dem fünften Verarbeitungsschritt 450 zur Verfügung gestellt werden, wobei der fünfte Verarbeitungsschritt 450 eine zeitliche Filterung der Objektdaten durchführt, beispielsweise mit Tiefpass- oder Kaiman-Filtern, wobei eine Glättung in der Zeitdimension durchgeführt wird. Weiterhin wird beim fünften Verarbeitungsschritt 450 eine Pradizierung auf einen weiteren Zeitschritt vorgenommen. Die sechsten Daten 441 umfassen insbesondere eine sogenannte verdichtete Fusionsobjektliste. Beim fünften Verarbeitungsschritt 450, d.h. der Filterung 450, werden siebte Daten 451 erzeugt, die einem sechsten Verarbeitungsschritt 460 zur Verfügung gestellt werden. Der sechste Verarbeitungsschritt 460 wird im folgenden auch als Bewertungsschritt 460 bezeichnet. Die siebten Daten 451 umfassen insbesondere eine gefilterte und prädizierte Fusionsobjektliste. Beim sechsten Verarbeitungsschritt 460 wird eine Plausibilisierung der Objekte und eine Objektauswahl durchgeführt. Die Plausibilisierung ist erfindungsgemäß insbesondere funktionsspezifisch vorgesehen. Weiterhin werden beim sechsten Verarbeitungsschritt 460 achte Daten 461 zur Weiterleitung an die Sensoren 100, 200, 300 generiert bzw. ausgewählt. Die achten Daten 461 werden im folgenden auch als Rückmeldedaten 461 bezeichnet. Weiterhin findet erfindungsgemäß beim sechsten Verarbeitungsschritt 460 ein optionaler Datenaustausch mit wenigstens einer nachgeschalteteten Infor ations- , Komfort- oder Sicherheitsfunktion 500 statt, die die Umfeldinformationen als Eingangsgrößen nutzt. Diese nachgeschaltete Funktion entspricht dem Regler 500 bzw. ist im Regler 500 lokalisiert. Erfindungsgemäß ist es bei einer besonders vorteilhaften Ausführungsform insbesondere vorgesehen, beim sechsten Verarbeitungsschritt 460 eine Priorisierung der Fusionsobjekte durchzuführen, wie sie nachfolgend beschrieben wird. In Figur 5 ist ein erstes Beispiel einer Meßsituation dargestellt. Es ist ein Koordinatensystem mit einer x-Achse und einer y-Achse dargestellt, welches ein für mehrere Sensoren gemeinsames Koordinatensystem des Fahrzeugumfeldes darstellt. Hierbei stellen die x-Koordinate und die y- Koordinate beispielsweise Ortskoordinaten oder Winkelkoordinaten oder Geschwindigkeitskoordinaten dar.
Der erste Sensor 100 "sieht" ein Objekt - beispielsweise das erste Objekt 10 - zu einem ersten (nicht dargestellten) Zeitschritt an einer ersten Position, die mit dem Bezugszeichen 101 bezeichnet ist. Das beim ersten Zeitschritt vom ersten Sensor 100 bei 101 erkannte Objekt wird in einem darauffolgenden zweiten (ebenfalls nicht dargestellten) Zeitschritt an einer mit dem Bezugszeichen 102 bezeichneten Position erwartet (Prädiktion) . In gleicher Weise wird ein Objekt vom zweiten Sensor 200 beim ersten Zeitschritt an der mit dem Bezugszeichen 201 bezeichneten Position 201 erkannt und beim zweiten Zeitschritt an der mit dem Bezugszeichen 202 bezeichneten Position erwartet. Der dritte Sensor 300 erkennt zwei Objekte: ein Objekt wird zum ersten Zeitpunkt an der mit dem Bezugszeichen 301 bezeichneten Position erkannt und zum zweiten Zeitpunkt an der mit dem Bezugszeichen 302 bezeichneten Position erwartet und ein weiteres Objekt wird zum ersten Zeitpunkt an der mit dem Bezugszeichen 303 bezeichneten Position erkannt und zum zweiten Zeitpunkt an der mit dem Bezugszeichen 304 bezeichneten Position erwartet .
Ausgehend von den - mittels Sensorobjekten 110, 120, 210, 220 - von den Sensoren 100, 200, 300 an die Verarbeitungseinheit 400 übertragenen Daten, werden die Fusionsobjekte durch Assoziation von Sensorobjekten ausgehend von den präzidierten Daten für die Positionen (102, 202, 302, 304) der gemessenen Objekte der einzelnen Sensoren definiert . Hierbei finden sogenannte Assoziationsgates Verwendung. In Figur 5 ist ein erstes Assoziationsgate mit dem Bezugszeichen 423 und ein zweites Assoziationεgate mit dem Bezugszeichen 424 dargestellt.
In Figur 6 ist die Assoziationsmatrix für das erste Beispiel dargestellt, in Figur 7 die Darstellung der Matrix nach der Fusion für das erste Beispiel dargestellt und in Figur 8 die Darstellung der Matrix nach dem Merging für das erste Beispiel dargestellt. Da die mit den Bezugzeichen 102, 202 und 304 versehenen erwarteten Positionen für den zweiten Zeitschritt innerhalb des ersten Assoziationsgates 423 liegen, führt deren Auswertung zu der Hypothese, dass nur ein einziges Objekt (aufgrund von Meßfehlern) an (geringfügig) unterschiedlichen Positionen von unterschiedlichen Sensoren erkannt wurde. Daher werden die mit den Bezugszeichen 102, 202, 304 versehenen Positionen bzw. die entsprechenden Sensorobjekte einem Fusionsobjekt zugeordnet, welches zum ersten Zeitschritt an der mit dem Bezugszeichen 474 bezeichneten Position gemessen wurde, für welches zum zweiten Zeitschritt die mit dem Bezugszeichen
475 bezeichnete Position erwartet wird (Prädiktion) und für welches zum zweiten Zeitschritt die mit dem Bezugszeichen
476 bezeichnete Position "gemessen" bzw. berechnet wird. Daher ist in der Figur 6, die die Assoziationsmatrix 422 für das erste Beispiel darstellt, eine Zeile für das Fusionsobjekt vorgesehen, welches beim zweiten Zeitschritt an der mit dem Bezugszeichen 476 bezeichneten Position vermutet wird. Entsprechend wird die mit dem Bezugszeichen
302 versehene Position bzw. das entsprechende Sensorobjekt einem Fusionsobjekt zugeordnet, welches zum ersten Zeitschritt an der mit dem Bezugszeichen 471 bezeichneten Position gemessen wurde, für welches zum zweiten Zeitschritt die mit dem Bezugszeichen 472 bezeichnete Position erwartet wird (Prädiktion) und für welches zum zweiten Zeitschritt die mit dem Bezugszeichen 473 bezeichnete Position "gemessen" bzw. berechnet wird. Daher ist in- der Figur 6, eine Zeile für das Fusionsobjekt vorgesehen, welches beim zweiten Zeitschritt an der mit dem Bezugszeichen 473 bezeichneten Position vermutet wird. Die Assoziationsmatrix 422 stellt erfindungsgemäß eine Verbindung zwischen einem Fusionsobjekt und einem oder mehreren Sensorobjekten her. In der Figur 6 sind zur Darstellung dieser Verbindung lediglich die Bezugszeichen angegeben, die den Positionen der entsprechenden Objekten entsprechen. In der Praxis ist erfindungsgemäß insbesondere vorgesehen, dass zur Herstellung der durch die Assoziationsmatrix repräsentierten Verbindungen zwischen Sensorobjekten und Fusionsobjekten deren Identifikationen herangezogen werden. Zur Erstellung der Assoziationsmatrix 422 wird ein globales, statistisches Abstandsmaß, beispielsweise die Mahalanobis-Norm, oder auch signalspezifische Abstandsmaße d zwischen jedem Sensorobjekt und jedem Fusionsobjekt berechnet, beispielsweise mittels des Euklidischen Abstands . Die Abstandsmaße sind in der Regel im Phasenraum definiert, d.h. sie können neben den Positionsdaten auch Geschwindigkeitsdaten beinhalten. Die in der Figur 5 und der (weiter unten beschriebenen) Figur 9 dargestellten Beispiele umfassen der Einfachheit halber nur Positionsdaten. Eine mögliche Zuordnung (d.h. eine Objekthypothese) zwischen dem Sensorobjekt und dem Fusionsobjekt wird angenommen, sofern der Abstand d kleiner als ein Schwellwert (Gate oder Assoziationsgate 423, 424) ist bzw. durch einen statistischen Test dem Objekt mit einer Konfidenz zugeordnet werden kann bzw. alle Abstände d kleiner als die Schwellenwerte sind. Zusätzlich kann ein Qualitätsmaß für die Güte der Assoziation vergeben werden, das beispielsweise angibt, wieviel kleiner der Abstand d als der Schwellwert ist. Die Schwellwerte können für jedes Signal bzw. für jedes Objekt verschieden sein. Darüber hinaus können die Schwellenwerte abhängig von Größen wie dem Meßfehler der Einzelmessung und des Fusionsobjekts, der Entfernung der Objekte vom eigenen Fahrzeug, der Relativgeschwindigkeit der Objekte, der Zuordnung zum Fahrschlauch des eigenen Fahrzeugs etc. sein. Wird eine Zuordnung gefunden, erfolgt ein Eintrag in die Assoziationsmatrix. Die Zeilen in der Assoziationsmatrix entsprechen beispielsweise dem Index des Fusionsobjektes in der Fusionsobjektliste und die Spalten entsprechen beispielsweise den Sensoren 100, 200, 300 bzw. dem Sensortyp. Ein Eintrag in der Assoziationsmatrix besteht zum Beispiel aus dem Abstand d, aus einem Wert für die Güte der Assoziation, der Objektnummer des Sensorobjektes, einer Querreferenz auf die Stelle, an der das Sensorobjekt in der sensorspezifischen Objektliste zu finden ist, und einer "belegt" -Marke . Ist eine Position in der Aεsoziationsmatrix bereits belegt, wird das Sensorobjekt an die Fusionsobjektliste angehängt und der -Zähler für die Anzahl aktueller Fusionsobjekte inkrementiert . Das beschriebene Verfahren schließt bewußt eine Mehrfachzuordnung von Sensorobjekten zu bestehenden Fusionsobjekten ein (Multihypothesen) . Zur Effizienzsteigerung können (beispielsweise nach Abstand) sortierte Fusionsobjektlisten bzw. Sensorobjektlisten verwendet werden, deren Bearbeitung bei Überschreitung einer Schwelle (z.B. bzgl . des Abstands), nach der sicher keine Zuordnung mehr stattfinden wird, abgebrochen werden kann (eine Art "Gating") . Dasselbe gilt auch für die nachfolgend beschriebene Verschmelzung (Merging) von Fusionsobjekten.
Bsp. für eine Ausprägung des Datenassoziationsalgorithmus:
Für alle Sensorobjekte (SOk) eines Sensors ( S± ) : Für alle Fusionsobjekte (F0n) :
Berechne Abstandsmaße zwischen SOk und F0n
Wenn alle Abstandsmaße kleiner als eine Schwelle sind (wobei die Schwelle von der Sensorqualität, dem Abstand, dem Querversatz, der Geschwindigkeit, dem Fahrschlauch abhängt) : Match : = TRUE
Bestimme Qualität der Assoziation
Wenn Zelle (n,i) der Assoziationsmatrix unbesetzt ist :
Fülle diese Zelle mit dem Abstand, den Sensorobjektdaten und markiere diese Zelle als "besetzt" sonst : n := n+1
FOn umfaßt SO
Vergebe neue Identifikation für F0n
Fülle die Zelle (n,i) der Assoziationsmatrix mit dem Abstand, den Sensorobjektdaten und markiere diese Zelle als "besetzt" sonst :
Nächstes Fusionsobjekt
Ende (Fusionsobjekte)
Wenn Match = FALSE (d.h. neues Objekt, weil außerhalb des Assoziationsgates) : n := n+1
F0n umfaßt SOk
Vergebe neue Identifikation für FOn
Fülle die Zelle (n,i) der Assoziationsmatrix mit dem Abstand, den Sensorobjektdaten und markiere diese Zelle als "besetzt"
Ende (Sensorobjekte)
In Figur 5 ist außer den Assoziationsgates 423, 424 ein Merging-Gate 442 dargestellt, welches im folgenden auch als Fangbereich 442 bezeichnet wird. In dem Fusionsmodul, d.h. dem dritten Verarbeitungsschritt 429, werden neue Fusionsobjektattribute für die Objekte in der Fusionsliste berechnet. Dies geschieht durch zeilenweise Abarbeitung der Assoziationsmatrix 422, in der alle nötigen Attribute vorhanden sind, die die Gewichtung der neuen Fusionsobjekte und den Zugriff auf die Originalmessdaten gewährleisten. Tragen mehrere Sensoren zu einem Fusionsobjekt bei, wird eine Gewichtung der Einzelsignale der Sensoren herangezogen. Die Gewichte werden aus der Güte der Assoziation und der Sensordatenqualität bestimmt. Trägt nur ein Sensor zum Fusionsobjekt bei, erfolgt keine explizite Gewichtung, eine indirekte Gewichtung findet im anschließenden Verschmelzungsschritt (d.h. der vierte Verarbeitungsschritt 440) bzw. im Filterungsschritt (d.h. der fünfte Verarbeitungsschritt 450) statt. Im Fusionsmodul, d.h. dem dritten Verarbeitungsschritt wird ein weiteres Fusionsobjekt-Attribut , die Objektplausibilität , bestimmt. Die Objektplausibilität wird zum Beispiel inkrementiert, sobald ein Fusionsobjekt durch mindestens ein Sensorobjekt bestätigt wurde. Das Inkrement hängt dabei von der Anzahl assoziierter Sensorobjekte sowie vom Verhältnis der Zykluszeit der Sensorfusion zu der Zykluszeit eines Sensortaktes (d.h. der Aktualität der Sensorobjekt-Daten) ab. Wird ein Fusionsobjekt im aktuellen Fusionszyklus nicht bestätigt, wird die Objektplausibilität dekrementiert . Das Inkrement und Dekrement der Objektplausibilität kann darüberhinaus auch vom aktuellen Wert der Objektplausibilität abhängen.
Nach dem dritten Verarbeitungsschritt 429, d.h. der Fusion, wird die Fusionsobjektliste nochmals abgearbeitet, um Objekte zu finden und zu fusionieren, die innerhalb eines Fangbereichs liegen. Damit werden implizit Zuordnungen von Sensorobjekten des gleichen Sensortyps zu einem Fusionsobjekt berücksichtigt, sowie Objekthypothesen, die sich aufgrund der fusionierten Daten nur noch wenig unterscheiden, zu einem Fusionsobjekt zusammengefaßt. Die Vorgehensweise ist ähnlich wie die bei der Assoziation beschrieben. Allerdings sind die Merging-Gates 442 im allgemeinen kleiner als die Assoziationsgates 423, 424 und jeweils zwei Objekte, die innerhalb eines Fangbereichs 442 liegen, werden sofort zu einem neuen Objekt verschmolzen (fusioniert bzw. "gemergt"). Bei Verschmelzung der Objekte kann die jeweilige Signalgüte zur Gewichtung der Einzelsignale herangezogen werden.
Entsprechend umfaßt die (um die Sensorobjekte verkleinerte) Assoziationsmatrix 422, die in Figur 7 und Figur 8 dargestellt ist, die gleiche Anzahl von Objekten, nämlich zwei, weil die erkannten Objekte an den mit den Bezugszeichehn 476 und 473 bezeichneten Positionen sich nicht nahe genug kommen, um in einen Fangbereich 442 hineinzupassen. Eine Zusammenfassung der Objekte im vierten Verarbeitungsschritt 440 fand daher im ersten Beispiel nicht statt .
Anders sieht die Situation im in den Figuren 9 bis 12 dargestellten zweiten Beispiel aus. In Figur 9 ist ein zweites Beispiel einer Meßsituation dargestellt. Es ist wieder ein Koordinatensystem mit einer x-Achse und einer y- Achse dargestellt. Die x-Koordinate und die y-Koordinate stellen wiederum beispielsweise Ortskoordinaten oder Winkelkoordinaten oder Geschwindigkeitskoordinaten dar.
Der erste Sensor 100 "sieht" ein Objekt - beispielsweise das erste Objekt 10 - zu einem ersten (nicht dargestellten) Zeitschritt an einer ersten Position, die mit dem Bezugszeichen 111 bezeichnet ist. Das beim ersten Zeitschritt vom ersten Sensor 100 bei 101 erkannte Objekt wird in einem darauffolgenden zweiten (ebenfalls nicht dargestellten) Zeitschritt an einer mit dem Bezugszeichen 112 bezeichneten Position erwartet (Prädiktion) . In gleicher Weise wird ein Objekt vom zweiten Sensor 200 beim ersten Zeitschritt an der mit dem Bezugszeichen 211 bezeichneten Position erkannt und beim zweiten Zeitschritt an der mit dem Bezugszeichen 212 bezeichneten Position erwartet. Der dritte Sensor 300 erkennt wiederum zwei Objekte: ein Objekt wird zum ersten Zeitpunkt an der mit dem Bezugszeichen 311 bezeichneten Position erkannt und zum zweiten Zeitpunkt an der mit dem Bezugszeichen 312 bezeichneten Position erwartet und ein weiteres Objekt wird zum ersten Zeitpunkt an der mit dem Bezugszeichen 313 bezeichneten Position erkannt und zum zweiten Zeitpunkt an der mit dem Bezugszeichen 314 bezeichneten Position erwartet. Das erste Assoziationsgate ist wiederum mit dem Bezugszeichen 423 und ein zweites Assoziationsgate mit dem Bezugszeichen 424 bezeichnet.
In Figur 10 ist die Assoziationsmatrix 422 für das zweite Beispiel dargestellt, in Figur 11 die Darstellung der Matrix nach der Fusion für das zweite Beispiel dargestellt und in Figur 12 die Darstellung der Matrix nach dem Merging für das zweite Beispiel dargestellt. Da die mit den Bezugzeichen 112, 212 und 314 versehenen erwarteten Positionen für den zweiten Zeitschritt innerhalb des ersten Assoziationsgates 423 liegen, führt deren Auswertung zu der Hypothese, dass nur ein einziges Objekt (aufgrund von Meßfehlern) an (geringfügig) unterschiedlichen Positionen von unterschiedlichen Sensoren erkannt wurde. Daher werden die mit den Bezugszeichen 112, 212, 314 versehenen Positionen bzw. die entsprechenden Sensorobjekte einem Fusionsobjekt zugeordnet, welches zum ersten Zeitschritt an der mit dem Bezugszeichen 484 bezeichneten Position gemessen wurde, für welches zum zweiten Zeitschritt die mit dem Bezugszeichen
485 bezeichnete Position erwartet wird (Prädiktion) und für welches zum zweiten Zeitschritt die mit dem Bezugszeichen
486 bezeichnete Position "gemessen" bzw. berechnet wird. Daher ist in der Figur 10, die die Assoziationsmatrix 422 für das zweite Beispiel darstellt, eine Zeile für das Fusionsobjekt vorgesehen, welches beim zweiten Zeitschritt an der mit dem Bezugszeichen 485 bezeichneten Position vermutet wird. Entsprechend wird die mit dem Bezugszeichen 312 versehene Position bzw. das entsprechende Sensorobjekt einem Fusionsobjekt zugeordnet, welches zum ersten Zeitschritt an der mit dem Bezugszeichen 481 bezeichneten Position gemessen wurde, für welches zum zweiten Zeitschritt die mit dem Bezugszeichen 482 bezeichnete Position erwartet wird (Prädiktion) und für welches zum zweiten Zeitschritt die mit dem Bezugszeichen 483 bezeichnete Position "gemessen" bzw. berechnet wird. Daher ist in der Figur 10, eine Zeile für das Fusionsobjekt vorgesehen, welches beim zweiten Zeitschritt an der mit dem Bezugszeichen 482 bezeichneten Position vermutet wird. In der Figur 10 sind wiederum lediglich die Bezugszeichen angegeben, die den Positionen der entsprechenden Objekten entsprechen, obwohl die Assoziationsmatrix 422 noch weitere Informationen umfaßt. Im zweiten Beispiel ist es nun so, dass bei dem Assoziationsschritt 419 weitere Zeilen (zweite und dritte Zeile der in Figur 10 abgebildeten Assoziationsmatrix) eingefügt wurden, weil nicht klar entschieden werden konnte, ob es sich bei den durch die mit den Bezugszeichen 112 und 312 bezeichneten Positionen repräsentierten Objekte um ein einziges Objekt handelt, oder um zwei. Hierdurch wurde es notwendig, eine Zeile, die in Figur 10 mit dem Bezugszeichen 489 versehen ist, einzufügen und so eine "hypothetisches" Fusionsobjekt zur Repräsentation der zusätzlichen Objekthypothese "zwei getrennte Objekte" zu generieren. In Figur 11 und 12 sind die (wiederum verkleinerten) Assoziationsmatrizen nach dem Fusionsschritt bzw. nach dem Merging-Schritt dargestellt. Erkennbar ist, dass der Merging-Schritt zu einer Zusammenfassung der drei noch nach dem Fusionsschritt vorhandenen Fusionsobjekte führt, weil alle Positionen der Objekte zum zweiten Zeitschritt (Positionen, die mit den Bezugszeichen 486 und 483 bezeichnet sind) innerhalb des auch in Figur 10 dargestellten Merging-Gates 442 liegen. Damit werden diese Fusionsobjekte zum einzigen Fusionsobjekt zusammengefaßt, welches zum zweiten Zeitpunkt an der mit dem Bezugszeichen 487 bezeichneten Position vermutet wird.
In Figur 13 ist eine typische Situation dargestellt, die auftritt, wenn mehrere Umfeldsensoren bzw. Sensoren unterschiedliche Erfassungsbereiche aufweisen. In Figur 13 ist mit dem Bezugszeichen 1 das Gerät bezeichnet, welches verschiedene Sensoren, beispielsweise den ersten (in Figur 13 nicht dargestellten) Sensor 100 und den zweiten (in Figur 13 ebenfalls nicht dargestellten) Sensor 200, aufweist. Das Gerät 1 ist erfindungsgemäß insbesondere als ein Kraftfahrzeug 1 vorgesehen, welches die Sensoren 100, 200 aufweist. Dargestellt ist ausgehend vom Fahrzeug 1 ein erster Erfassungsbereich 150 eines Sensors, beispielsweise des ersten Sensors 100, und ein zweiter Erfassungsbereich 250 eines Sensors, beispielsweise des zweiten Sensors 200. Weiterhin ist in Figur 13 ein erstes Objekt 10 und ein zweites Objekt 20 dargestellt, wobei es sich bei den Objekten insbesondere um weitere Kraftfahrzeuge handelt. Zwischen den Erfassungsbereichen 150, 250, die im folgenden auch Detektionsbereiche 150, 250 genannt werden, ist (beidseitig) eine Detektionslücke 160 dargestellt, d.h. ein Bereich für den keiner der Sensoren 100, 200 ein Signal liefern würde, falls sich in der Detektionslücke 160 ein Objekt 10, 20 befinden würde. In Figur 13 ist die Situation dargestellt, dass sich das erste Objekt 10 im ersten Erfassungsbereich 150 befindet und dabei ist, diesen zu verlassen, währenddem das zweite Objekt 20 sich im zweiten Erfassungsbereich 250 befindet und ebenfalls dabei ist, diesen zu verlassen. In Figur 13 ist daher ein erster Austrittsbereich 152 und ein zweiter Austrittsbereich 252 dargestellt, wobei der erste Austrittsbereich 152 die Stelle bzw. den Bereich darstellt, an der bzw. an dem das erste Objekt 10 aus dem ersten Detektionsbereich 150 austritt und wobei der zweite Austrittsbereich 252 die Stelle bzw. den Bereich darstellt, an der bzw. an dem das zweite Objekt 20 aus dem zweiten Detektionsbereich 252 austritt. Erfindungsgemäß sind die Objekte 10, 20 in der Verarbeitungseinheit 400 als Fusionsobjekte, beispielsweise als das erste und das zweite Fusionsobjekt 410, 420 repräsentiert. Es ist damit erfindungsgemäß möglich, die Detektionslücke 160 derart zu "überbrücken", dass die Bewegungen der Objekte 10, 20 relativ zu den Erfassungsbereichen 150, 250 geschätzt (prädiziert) werden und somit auch abschätzbar ist, ob und wenn ja wann und wo eines der Objekte 10, 20, welches einen Erfassungsbereich 150, 250 gerade verläßt wieder in einen (anderen) Erfassungsbereich 150, 250 eintritt. Daher sind in der Figur 13 ein erster Eintrittsbereich 251, der die geschätzte Stelle angibt, wo das erste Objekt 10 in den zweiten Detektionsbereich 250 eintritt, und ein zweiter Eintrittsbereich 151, der die geschätzte Stelle angibt, wo das zweite Objekt 20 in den ersten Detektionsbereich 150 eintritt, dargestellt.
Erfindungsgemäß werden in den verschiedenen Verarbeitungsschritten 408 bis 460 in der
Verarbeitungseinheit 400 die Sensorobjekte von verschiedenen Sensoren gemeinsam verarbeitet und als Fusionsobjekte verwaltet. Ein Datensatz eines getrackten Fusionsobjekts bzw. einer Objekthypothese besteht unter anderem aus der Position, der Geschwindigkeit, der Beschleunigung sowie einer Objektplausibilität. Darüber hinaus wird angenommen, dass das Fusionsobjekt schon über etliche Detektionszyklen verfolgt wurde und die Historie des Fusionsobjekts, d.h. seine "Tracking-Daten" , in parametrischer, modellgestützter Form, zum Beispiel über Kaiman-Filter-Koeffizienten, vorliegt. Außerdem wird vorausgesetzt, dass die Detektionsbereiche 150, 250 der Einzelsensoren bekannt sind und in mathematischer Form beschrieben sind. Die Ränder der Detektionsbereiche 150, 250 müssen dabei nicht scharf begrenzt sein, sondern können durch Toleranzbänder beschrieben sein. Die Plausibilität ist ein Maß für die Zuverlässigkeit der Objekthypothese, wobei beispielsweise eine Zahl zwischen null und eins die Plausibilität angibt und wobei der Wert null für die Plausibilität einer unwahrscheinlichen (und zu verwerfenden) Objekthypothese entspricht und wobei der Wert eins für die Plausibilität einer sehr wahrscheinlichen Objekthypothese entspricht. Die Plausibilität einer Objekthypothese, d.h. eines Fusionsobjekts, wird durch Inkrementieren bzw. Dekrementieren in jedem Zyklus des Algorithmus neu berechnet. Die Größe des Inkrements bzw. des Dekrements ist variabel und bestimmt wesentlich den Lebenszyklus einer Objekthypothese. Die Tatsache, dass beispielsweise das erste Objekt 10 in Figur 13 den ersten Detektionsbereich 150 verläßt, ist in der Fusionsobjekt-Repräsentation innerhalb der Verarbeitungseinheit 400 derart repräsentiert, dass beispielsweise die Objektbewegung des ersten Fusionsobjekts 410 aus seiner Historie, d.h. seinen Tracking-Daten, bis zum nächsten oder einem späteren erwarteten Meßwert prädiziert wird und ein Überschreiten der Begrenzung des ersten Detektionsbereichs 150 festgestellt wird. Liegt die vorausbestimmte Position außerhalb der Bereichsgrenzen des ersten Detektionsbereichs 150, wird das Objekt 10 bzw. dessen Datenrepräsentation in Form des ersten Fusionsobjekts 410 den ersten Detektionsbereich 150 verlassen. Das mögliche Wiedereintreten in den benachbarten zweiten Detektionsbereich 250 wird dadurch bestimmt, dass ausgehend vom berechneten ersten Austrittsbereich 152 die erwartete Trajektorie soweit in die Zukunft prädiziert wird, bis ein Eintritt in den zweiten Detektionsbereich 250 zu erwarten ist. Dies ist beispielsweise durch den Schnittbereich der erwarteten Trajektorie mit der Bereichsgrenze des zweiten Detektionsbereichs 250 definiert. Durch die Unsicherheit der Prädiktion un der zugrundeliegenden Fusionsobjekt-Daten sowie durch eventuell vorliegende Informationen über die Objektdimensionen wird stets ein Bereich und nicht ein genau definierter Punkt berechnet, in dem der Austritt aus dem ersten Detektionsbereichs 150 (erster Austrittsbereich 152) bzw. der Eintritt in den zweiten Detektionsbereich 250 (erster Eintrittsbereich 251) stattfindet bzw. erwartet wird. Gibt es keinen solchen Schnittbereich, d.h. solche Eintrittsbereiche 251, 151 bzw. Austrittsbereiche 152, 252, oder liegt der erwartete Wiedereintrittszeitpunkt außerhalb vorbestimmter zeitlicher Grenzen (was bedeutet, dass ein Wiedereintritt in einen anderen Detektionsbereich nicht zu erwarten ist) , wird das erste Objekt 10 mit einem Standarddekrement "deplausibilisiert " , d.h. der Wert seiner Plausibilität wird auf vorbestimmte Weise verringert. Dieser Fall ist in Figur 13 nicht dargestellt. Im anderen (in Figur 13 dargestellten) Fall wird die maximale Zeitdauer bestimmt, die bis zu einem möglichen Eintritt in den zweiten Detektionsbereich voraussichtlich verstreichen wird, was beispielsweise durch Division der längsten möglichen Strecke in der Detektionslücke 160 durch die Relativgeschwindigkeit geschieht. Ausgehend vom Wert der aktuellen Plausibilität, der bekannten Sensorzykluszeit, d.h. die Taktzeit mit der die beteiligten Sensoren arbeiten, und der maximalen Zeitdauer des Objekts 10 in der Detektionslücke 160 kann das Plausibilitätsdekrement dergestalt verringert werden, dass das Objekt bzw. die Objekthypothese nicht verworfen wird, solange es sich voraussichtlich in der Detektionslücke 160 befindet. Die Berechnung des erwarteten Eintrittsbereichs und des Plausibilitätsdekrements wird bei jeder Wiederholung des Algorithmus unter Berücksichtigung der Geschwindigkeit und Gierbewegung des Fahrzeugs 1 neu durchgeführt. Wird das erste Objekt 10 nicht an der vorausbestimmten Stelle und zur vorausbestimmten Zeit im zweiten Detektionsbereich 250 detektiert, so wird die Objekthypothese verworfen. Wird das erste Objekt 10 an der vorausbestimmten Stelle und zu vorausbestimmten Zeit im zweiten Detektionsbereich 250 detektiert, so wird es mit dem alten Objekt identifiziert. Insbesondere für Sensoren, die Geschwindigkeit und Beschleunigung von Objekten nicht direkt messen, ist damit eine verbesserte und schnellere Signaldynamik des Fusionsobjekts beim Wiedereintritt in den zweiten Detektionsbereich 250 möglich, da keine ungenauen Schätzungen zur Filterinitialisierung durchgeführt werden müssen, sondern auf bessere, prädizierte Schätzwerte zurückgegriffen werden kann. Dies kommt daher, weil die Signalgüten von Fusionsobjekten (die auch die Information der Historie des Objekts umfassen) in der Regel größer sind als die Signalgüten von Sensorobjekten. Die nachgeschaltete Fahrfunktion, die in der Regel in dem Regler 500 lokalisiert ist, kann die verbesserten Signalgüten des Fusionsobjekts beim Wiedereintritt in den zweiten Detektionsbereich 250 nutzen, indem schneller und zuverlässiger reagiert wird. Dadurch wird die Datenqualität erhöht, was zu einer Verbesserung der Robustheit und Zuverlässigkeit der nachgeschalteten Fahrfunktionen beiträgt. Erfindungsgemäß ist bei einer vorteilhaften Ausführungsform der Erfindung insbesondere (vgl. die Erklärungen zu Figur 3) vorgesehen, dass zwischen der Verarbeitungseinheit 400 und den Sensoren 100, 200, 300 ein Austausch von Objektinformationen derart vorgesehen ist, dass solche Objektinformationen an die Sensoren 100, 200, 300 gesendet werden. Wenn in diesem Zusammenhang dem zweiten Sensor 200 Informationen über den Eintritt des ersten Objekts 10 in den zweiten Detektionsbereich 250 zugeführt werden, so kann dieser Sensor das erste Objekt schneller, sicherer und genauer detektieren. Der beschriebene Algorithmus zur Überbrückung von Detektionslücken 160 kann mit kleinen Modifikationen auch auf Probleme der Objektverfolgung bei temporären Verdeckungen ausgedehnt werden.
In Figur 14 ist das System zur Verarbeitung von Sensordaten in einer abgewandelten Darstellung dargestellt. Das System umfaßt wieder den ersten Sensor 100, den zweiten Sensor 200 und den dritten Sensor 300. Jeder der Sensoren 100, 200, 300 ist mit dem Bussystem B verbunden, welches auch an der Verarbeitungseinheit 400 angeschlossen ist. Ähnlich wie in Figur 2 ist auch in Figur 14 das erste Objekt 10 und das zweite Objekt 20 im Außenumfeld des (in Figur 14 nicht dargestellten) Kraftfahrzeugs 1 dargestellt, in welches der erste Sensor 100, der zweite Sensor 200, der dritte Sensor 300, die Verarbeitungseinheit 400 und das Bussystem B eingebaut sind. Ein Aspekt der vorliegenden Erfindung ist es, die Objektgröße der Objekte 10, 20 zu bestimmen. Hierzu sind in Figur 14 als Beispiele für Objektgrößen beim ersten Objekt 10 die Länge mit dem Bezugszeichen "L" und beim zweiten Objekt 20 die Breite mit dem Bezugszeichen "W" angegeben. Die Objekte 10, 20 - und damit auch ihre Ausdehnung - werden von den Sensoren 100, 200, 300, wie prinzipiell bei Figur 2 beschrieben, erfaßt. Hier sind in Figur 14 die mit den Bezugszeichen 30, 31 versehenen Pfeile der Einfachheit halber weggelassen. Ebenso sind die in Figur 2 aufgeführten Sensorobjekte 110, 120, 210, 220 und FusionsObjekte 410, 420 in Figur 14 der Einfachheit halber weggelassen. Prinzipiell arbeitet jedoch auch das System gemäß Figur 14 in analoger Weise wie das System gemäß Figur 2.
Einer der Aspekte der vorliegenden Erfindung bezieht sich auf die Messung der Objektgröße der Objekten 10, 20. Die Verarbeitungseinheit 400 verarbeitet die verschiedenen, von den Sensoren 100, 200, 300 gelieferten Informationen, wobei Objekthypothesen als Fusionsobjekte generiert werden. -Zur Bestimmung der Objektgröße von Objekten 10, 20 wird erfindungsgemäß die gesamte zur Verfügung stehende Sensorinformation herangezogen werden. Ziel ist die räumliche und zeitliche Akkumulation von potentieller Größeninformation. Ermittelte Objektgrößen können zur Auswertung und Interpretation der Fahrumgebung herangezogen werden. Die Objektgröße ist ein zuverlässiges Attribut eines Fusionsobjekts, wobei die Objektgröße bei einer Klassifikation von detektierten Objekten verwendet wird. Die Objektgröße kann an FahrzeugführungsSysteme oder Fahrerassistenzsysteme weitergeleitet werden und erhöht maßgeblich den Detaillierungsgrad einer durch Sensoren erfassten Fahrumgebung.
In Figur 15 ist ein erfindungsgemäßes Gesamtverfahren zur Bestimmung der Objektgröße dargestellt. Exemplarisch ist die Berechnung der Breite eines Objekts dargestellt. In Figur 15 ist beispielhaft folgende Situation dargestellt: Der erste Sensor 100 liefert das erste Sensorobjekt 110 und der zweite Sensor 200 liefert das dritte Sensorobjekt 210 und das vierte Sensorobjekt 220. Dies ist in Figur 15 durch Pfeile dargestellt, wobei ein Pfeil vom mit dem Bezugszeichen 100 bezeichneten Kästchen zum mit dem Bezugszeichen 110 bezeichneten Kästchen und wobei jeweils ein Pfeil vom mit dem Bezugszeichen 200 bezeichneten Kästchen zum den mit den Bezugszeichen 210 und 220 bezeichneten Kästchen dargestellt sind. Beim ersten Sensorobjekt 110, d.h. dem mit dem Bezugszeichen 110 versehenen Kästchen, sind in Figur 15 drei Bezugszeichen 116, 117, 118 dargestellt, die jeweils Meßwerte des ersten Sensorobjekts 110 darstellen. Hierbei stellt im Beispiel das Bezugszeichen 116 sowohl die Querablage des durch das erste Sensorobjekt 110 repräsentierten Objekts, d.h. seine Ausdehnung in y- Richtung, als auch die Güte der Ermittlung der Querablage des durch das erste Sensorobjekt 110 repräsentierten Objekts dar. Das Bezugszeichen 117 stellt im Beispiel sowohl die gemessene Breite des durch das erste Sensorobjekt 110 repräsentierten Objekts als auch die Güte der Ermittlung der Breite des durch das erste Sensorobjekt 110 repräsentierten Objekts dar, währenddem das Bezugszeichen 118 für weitere vom ersten Sensor 100 gelieferte Meßwerte und Attribute bezüglich des ersten Sensorobjekts 110 steht. Entsprechend sind beim dritten Sensorobjekt 210, d.h. dem mit dem Bezugszeichen 210 versehenen Kästchen, in Figur 15 drei Bezugszeichen 216, 217, 218 dargestellt, die jeweils Meßwerte des dritten Sensorobjekts 210 darstellen. Hierbei stellt im Beispiel das Bezugszeichen 216 sowohl die Querablage des durch das dritte Sensorobjekt 210 repräsentierten Objekts, d.h. seine Ausdehnung in y- Richtung, als auch die Güte der Ermittlung der Querablage des durch das dritte Sensorobjekt 210 repräsentierten Objekts dar. Das Bezugszeichen 217 stellt im Beispiel sowohl die gemessene Breite des durch das dritte Sensorobjekt 210 repräsentierten Objekts als auch die Güte der Ermittlung der Breite des durch das dritte Sensorobjekt 210 repräsentierten Objekts dar, währenddem das Bezugszeichen 218 für weitere vom zweiten Sensor 200 gelieferte Meßwerte und Attribute bezüglich des dritten Sensorobjekts 210 steht. Entsprechend sind beim vierten Sensorobjekt 220, d.h. dem mit dem Bezugszeichen 220 versehenen Kästchen, in Figur 15 drei Bezugszeichen 226, 227, 228 dargestellt, die jeweils Meßwerte des vierten Sensorobjekts 220 darstellen. Hierbei stellt im Beispiel das Bezugszeichen 226 sowohl die Querablage des durch das vierte Sensorobjekt 220 repräsentierten Objekts, d.h. seine Ausdehnung in y- Richtung, als auch die Güte der Ermittlung der Querablage des durch das vierte Sensorobjekt 220 repräsentierten Objekts dar. Das Bezugszeichen 227 stellt im Beispiel sowohl die gemessene Breite des durch das vierte Sensorobjekt 220 repräsentierten Objekts als auch die Güte der Ermittlung der Breite des durch das vierte Sensorobjekt 220 repräsentierten Objekts dar, währenddem das Bezugszeichen 228 für weitere vom zweiten Sensor 200 gelieferte Meßwerte und Attribute bezüglich des vierten Sensorobjekts 220 steht. Es ist bei den in den Sensorobjekten 110, 210, 220 gespeicherten Informationen zu beachten, dass aufgrund der Tatsache, dass bei manchen Sensorarten keine Breiteninformation zur Verfügung steht, bei den diesen Sensoren entsprechenden Sensorobjekten auch keine - oder nur ungenaue - Breiteninformationen an den entsprechenden Stellen der Sensorobjekte vorhanden sind.
In Figur 15 weist jeweils ein Pfeil von den mit den Bezugszeichen 116 und 117 repräsentierten Daten zu einem mit dem Bezugszeichen 610 versehenen Kästchen. Ebenso weist in Figur 15 jeweils ein Pfeil von den mit den Bezugszeichen 216 und 217 repräsentierten Daten zu einem mit dem Bezugszeichen 620 versehenen Kästchen. Ebenso weist in Figur 15 jeweils ein Pfeil von den mit den Bezugszeichen 226 und 227 repräsentierten Daten zu einem mit dem Bezugszeichen 630 versehenen Kästchen. Die Bezugszeichen 610, 620 und 630 stehen jeweils in identischer Weise für einen ersten Auswertealgorithmus, der die entsprechenden Daten des ersten, dritten und vierten Sensorobjektes 110, 210, 220 auswertet. Der erste Auswertealgorithmus ist in Figur 16 als mit dem Bezugszeichen 600 gekennzeichnet dargestellt und umfaßt wenigstens einen ersten Eingang 601 und einen zweiten Eingang 602 sowie wenigstens einen ersten Ausgang 607. Der erste Eingang 601 bei der mit dem Bezugszeichen 610 bezeichneten "Kopie" des ersten Auswertealgorithmus 600 wird durch den Pfeil zwischen den Daten 116 und dem Kästchen 610 dargestellt und der zweite Eingang 602 bei der mit dem Bezugszeichen 610 bezeichneten "Kopie" des ersten Auswertealgorithmus 600 wird durch den Pfeil zwischen den Daten 117 und dem Kästchen 610 dargestellt. Analog entspricht 216 dem ersten Eingang von 620 und 217 dem zweiten Eingang von 620 bzw. 226 dem ersten Eingang von 630 und 227 dem zweiten Eingang von 630. Ein weiterer Pfeil verbindet weiterhin die Bezugszeichen 116, 216 und 226 gesammelt mit einem zweiten Auswertealgorithmus, der mit dem Bezugszeichen 640 versehen ist. Die Ausgänge der ersten Auswertealgorithmen 610, 620, 630 und des zweiten Auswertealgorithmus 640 sind mit dem Eingang eines mit dem Bezugszeichen 660 versehenen sogenannten Koordinators verbunden.
Auf der linken Seite der Figur 15 ist ein mit dem Bezugszeichen 445 versehenes Kästchen dargestellt, welches ein Fusionsobjekt - beispielsweise das erste Fusionsobjekt 410 - zu einem ersten Zeitschritt repräsentiert. Das Fusionobjekt 445 zum ersten Zeitschritt umfaßt, ähnlich wie die Sensorobjekte 110, 210, 220 drei Bezugszeichen 446, 447, 448, die jeweils Meßwerte des Fusionsobjekt 445 zum ersten Zeitschritt darstellen. Hierbei stellt im Beispiel das Bezugszeichen 446 sowohl die Querablage des durch das Fusionsobjekt 445 zum ersten Zeitschritt repräsentierten Objekts, d.h. seine Ausdehnung in y-Richtung, als auch die Güte der Ermittlung der Querablage des durch das Fusionsobjekt 445 zum ersten Zeitschritt repräsentierten Objekts dar. Das Bezugszeichen 447 stellt im Beispiel sowohl die gemessene Breite des durch das Fusionsobjekt 445 zum ersten Zeitschritt repräsentierten Objekts als auch die Güte der Ermittlung der Breite des durch das Fusionsobjekt 445 zum ersten Zeitschritt repräsentierten Objekts dar, währenddem das Bezugszeichen 448 für weitere Meßwerte und Attribute bezüglich des Fusionsobjekts 445 zum ersten Zeitschritt steht . Auf der linken Seite der Figur 15 ist weiterhin ein mit dem Bezugszeichen 455 versehenes Kästchen dargestellt, welches das Fusionsobjekt 445 zu einem zweiten Zeitschritt repräsentiert. Das Fusionobjekt 455 zum zweiten Zeitschritt umfaßt, ähnlich wie das Fusionsobjekt 445 zum ersten Zeitschritt drei Bezugszeichen 456, 457, 458, die jeweils Meßwerte des Fusionsobjekts 455 zum zweiten Zeitschritt darstellen. Hierbei stellt im Beispiel das Bezugszeichen 456 sowohl die Querablage des durch das Fusionsobjekt 455 zum zweiten Zeitschritt repräsentierten Objekts, d.h. seine Ausdehnung in y-Richtung, als auch die Güte der Ermittlung der Querablage des durch das Fusionsobjekt 455 zum zweiten Zeitschritt repräsentierten Objekts dar. Das Bezugszeichen 457 stellt im Beispiel sowohl die gemessene Breite des durch das Fusionsobjekt 455 zum zweiten Zeitschritt repräsentierten Objekts als auch die Güte der Ermittlung der Breite des durch das Fusionsobjekt 455 zum zweiten Zeitschritt repräsentierten Objekts dar, währenddem das Bezugszeichen 458 für weitere Meßwerte und Attribute bezüglich des Fusionsobjekts 455 zum zweiten Zeitschritt steht. Es wird im in der Figur 15 dargestellten Beispiel angenommen, dass die Sensorobjekte 110, 210, 220 durch die Verarbeitungseinheit - beispielsweise in einer Assoziationsmatrix - den Fusionobjekten 445 bzw. 455 zugeordnet sind und ein Objekt 10, 20 repräsentieren. Ziel der dargestellten Auswertung ist es beispielsweise, die Breite dieses Objekts zu ermitteln. Alternativ könnte selbstverständlich auch eine andere Ausdehnung ermittelt werden.
Der Ausgang des Koordinators 660 ist in Figur 15 mit einem Pfeil mit dem Bezugszeichen 457 verbunden, was ausdrücken soll, dass durch die Verarbeitung in den ersten Auswertealgorithmen 610, 620, 630, dem zweiten Auswertealogrithmus 640 und dem Koordinator 660 der Meßwert bzw. der Schätzwert bezüglich der Breite des durch die Fusionsobjekte 445 und 455 dargestellten Objekts vom ersten Zeitschritt (Fusionsobjekt 445) zum zweiten Zeitschritt (Fusionsobjekt 455) aktualisiert bzw. verbessert wurde.
Im folgenden wird der erste Auswertealgorithmus 600, wie er in Figur 16 dargestellt ist, näher beschrieben. Am ersten Eingang 601 steht dem ersten Auswertealgorithmus 600 ein Wert für die Querablage und ein Gütewert für die Querablage zur Verfügung. Am zweiten Eingang steht dem ersten Auswertealgorithmus 600 - zumindest potentiell - ein Wert für die Breite und ein Gütewert für die Breite zur Verfügung. Bei einem mit dem Bezugszeichen 603 versehenen Verfahrensschritt wird abgefragt, ob eine Breiteinformation am zweiten Eingang 602 zur Verfügung steht . Ist dies der Fall wird zu einem mit dem Bezugszeichen 605 versehenen Verfahrensschritt verzweigt, der die am zweiten Eingang 602 zur Verfügung stehende Breite und deren Güteinformation als Ausgabegrößen des ersten Auswertealgorithmus 600 an den Ausgang 607 des ersten Auswertealgorithmus 600 weiterleitet. Steht eine Breiteinformation am zweiten Eingang 602 nicht zur Verfügung wird beim Schritt 603 zu einem mit dem Bezugszeichen 609 versehenen Verfahrensschritt verzweigt, bei dem aus der Historie der Meßdaten zur Querablage (die am ersten Eingang 601 ausgehend vom entsprechenden Sensorbjekt bzw. ausgehend vom Zentralspeicher der Verarbeitungseinheit 400, in welchem die Trackingdaten der einzelnen Sensorobjekte zur Verfügung stehen) ein Mittelwert der Querablage berechnet wird. Die Information über den Mittelwert wird anschließend an einen mit dem Bezugszeichen 604 versehenen Verfahrensschritt weitergeleitet, bei dem entschieden wird, ob die Querablage um ihren Mittelwert schwankt. Ist dies der Fall wird zu einem weiteren und mit dem Bezugszeichen 606 versehenen Verfahrensschritt verzweigt, bei dem aus den Schwankungen der Querablage eine Schätzung für die Breite des betreffenden Objekts erzeugt wird, welche anschließend an den Ausgang 607 des ersten Auswertealgorithmus 600 weitergegeben wird. Schwankt die Querablage beim Schritt 604 nicht um ihren Mittelwert, wird der erste Auswertealgorithmus 600 entweder durch einen in der Figur 16 dargestellten weiteren und mit dem Bezugszeichen 608 versehenen Verfahrensschritt abgebrochen oder aber es wird (in Figur 16 nicht dargestellt) an den Ausgang 607 der Wert "null" als geschätzte bzw. berechnete Breite des betreffenden Objekts weitergeleitet bzw. das Nichtvorhandensein einer Breite im zugehörigen Gütewert codiert .
Der zweite Auswertealgorithmus 640 erzeugt aus den ihm ausgehend von den mit den Bezugszeichen 116, 216, 226 versehenen Werten und Güten für die Querablage zur Verfügung stehenden Informationen durch eine "Min-Max-Auswertung" an seinem Ausgang einen Schätzwert für die Gesamtbreite des durch die Sensorobjekte 110, 210, 220 repräsentierten Objekts.
Der Koordinator 660 erzeugt aus den Breiteninformationen und den Güteinformationen zu den Breiteninformationen, die von den ersten und zweiten Auswertealgorithmen 610, 620, 630, 640 geliefert werden, eine Breiteninformation, die - wie in Figur 15 dargestellt - dem Fusionsobjekt 455 zum zweiten Zeitschritt zugeführt wird.
Zusammenfassend versucht das Verfahren zur Bestimmung der Objektgröße von Objekten durch die Durchsuchung der von den Sensoren eintreffenden Sensorobjekten bzw. der Objektlisten nach direkter und indirekter Information über die Ausdehnung von detektierten Objekten einen Schätzwert für die Ausdehnung zu liefern. Ein Vorteil der Größenbestimmung auf der Ebene der Fusionsobjekte liegt in der oftmals vorhandenen Redundanz der eingehenden Daten. Aus Mehrfachmessungen ein und desselben Objekts über mehrere Meßzyklen kann Größeninformation gewonnen werden. Ein weiterer Vorteil besteht in der Möglichkeit, inhomogene Größeninformationen zu verarbeiten. Durch die Kombination verschiedener Methoden ist es möglich, sowohl gemessene Objektausdehnungen als auch aus Positionsmessungen gewonnene Größen zu fusionieren, d.h. auf der Ebene von Fusionsobjekten zu verarbeiten. Zur Ermittlung der Objektgröße werden mehrere Objektattribute berücksichtigt, beispielsweise die longitudinale Distanz, die laterale Querablage, gegebenenfalls Objektbreite, Objekthöhe, Objektlänge. Zu unterscheiden sind Teilverfahren, die aus Positionsdaten Objektausdehnungen aufbauen, wie beispielsweise der erste Auswertungsalgorithmus 600. Die Resultate aller Teilverfahren werden schließlich in einem Koordinator 660 kombiniert.
Bei dem erfindungsgemäßen Verfahren zur Bestimmung von Objektgrößen werden insbesondere folgende Verfahrensschritte durchgeführt :
Objektgrößenaufbau aus einer zeitlichen Reflexbeobachtung: Die Reflexwanderung eines Radarsensors kann ausgenutzt werden. Dazu ist eine stabile Detektion eines Objekts über einen längeren Zeitraum hinweg notwendig. Zur Bewertung der Stabilität und Dauer wird die Objektplausibilität verwendet. Ab einen festzulegenden Schwellwert der Objektplausibilität ist ein Objekt hinreichend plausibel, um Informationen über die Breite und Länge zu liefern. Von den gemessenen Minimal- und Maximalwerten der Distanz und der Querablage werden mindestens die Standardabweichungen der Messfehler subtrahiert, um eine statistisch gesicherte Ausdehnung zu generieren. Geeignete Reflexwanderungen treten u.a. in weiten Kurven oder bei Ein- und Ausschervorgängen, beispielsweise auf Autobahnen, auf. Um zu verhindern, dass zwei getrennte reale Objekte fälschlicherweise zur Breitenerzeugung herangezogen werden, sind Sprünge in den Daten nicht zugelassen. Nur bei hinreichend glatten Meßdaten wird dieses Teilverfahren angewandt.
Objektgrößenaufbau aus einer räumlichen Reflexbeobachtung: Die punktförmigen Reflexzentren von mehreren Einzelsensoren können verarbeitet werden. Wird ein einzelnes reales Objekt von mehreren Sensoren an verschiedenen Reflexpunkten detektiert, so läßt sich eine Ausdehnung bereits nach wenigen Messzyklen aufbauen. Aus den Minimal- und Maximalwerten werden Objektbreite und Objektlänge bestimmt. Die Zuordnung der Sensormessungen zu ein und demselben realen Objekt 10, 20 erfolgt im Assoziationsschritt in der Verarbeitungseinheit 400.
Objektgrößenaufbau aus einer räumlichen Größenfusion: Werden mehrere Einzelsensoren verwendet, die Breiten- und/oder Höhen- und/oder Längeninformationen liefern, so können beim Verarbeitungsschritt des Merging, also beim Verschmelzen der Einzelobjekte, erweiterte Objektbreiten, - höhen und -längen bestimmt werden. Die Einzelausdehnungen werden vereinigt. Die so entstehenden Größen sind somit stets größer als die Einzelausdehnungen.
Objektgrößenaufbau durch kombinierte Verfahren: Wird eine Punktmessung (z.B. durch Radarsensoren) einem bereits bestehenden, getrackten und mit Größeninformation (z.B. durch Videosensoren) versehenen Fusionsobjekt zugeordnet, so kann bei hinreichender Plausibilität die Größe erweitert werden, etwa dadurch, dass plausible Messungen am Rand und außerhalb des bisherigen Objektrandes erfolgen.
Einer der Aspekte der vorliegenden Erfindung bezieht sich auf Strategien zur Gewichtung von Objektdaten bei der Erzeugung bzw. Aktualisierung von Fusionsobjekten. Die Gewichtung von Einzelsensordaten innerhalb der Fusionsobjekte soll erfindungsgemäß intelligent vorgenommen werden. Die von verschiedenen Sensoren gelieferten und durch einen Assoziationsschritt ein und demselben Fusionsobjekt zugeordneten Daten (welche in ihrer Gesamtheit ein reales Objekt 10, 20 repräsentieren) werden zu einem einzigen Datensatz des Fusionsobjekts fusioniert bzw. assoziiert. Ziel ist dabei das Erreichen einer größtmöglichen Genauigkeit in den Daten der Fusionsbojekte . Bedingt durch unterschiedliche physikalische Messprinzipien besitzen die Einzelsensoren unterschiedliche Detektionseigenschaften. Hinzu kommen gegebenenfalls auch Exemplarstreuungen. Das erfindungsgemäße Verfahren benutzt insbesondere Zusatzinformationen über die Güte der von dem Verfahren gelieferten Daten. Der Hauptvorteil bei der intelligenten Gewichtung von verschiedenen Sensordaten besteht in der bestmöglichen Ausnutzung der Information über die Genauigkeit der einzelnen Daten. Liegen zu einem einzigen realen Objekt mehrere Datensätze vor, so entsteht eine redundante Datenmenge. Durch Ausnutzen dieser Redundanz kann eine im Vergleich zu den Einzelgenauigkeiten höhere Genauigkeit in den Fusionsdaten erzielt werden. Die Eingangsdaten können aus Sensormessdaten oder aus bereits bestehenden und getrackten Fusionsobjekten oder aus einer Mischung aus beiden bestehen. So besteht ein weiterer Vorteil des erfindungsgemäßen Verfahrens in der Möglichkeit, Fusionsobjekte und Einzelsensorobjekte in beliebiger Zusammensetzung zu verschmelzen.
Zur konkreten Implementierung des erfindungsgemäßen Verfahrens zur Gewichtung von Objektdaten wird vorausgesetzt, dass zu jedem Objektdatum ein Gütemaß existiert. Dieses Gütemaß kann statisch festgelegt sein oder dynamisch mit jeder Messung mitgeliefert werden. Ein Hauptschritt bei der Verarbeitung der Sensordaten ist die Datenassoziation, bei der die vorliegenden Daten den bestehenden Fusionsobjekten zugeordnet werden. Die Gewichtung geschieht unter Verwendung des Gütemaßes der Einzelsensoren. Je schlechter die Güte eines Datums ist, desto geringer ist seine Gewichtung. Liegt eine Anzahl n von Daten a.1 , . . . , an zur Fusion vor, so berechnet sich das
Fusionsdatum a durch: a = Summe von w.j_ * a^_ über den Index i von i = 1 bis i = n, wobei w-j_,..., wn die Gewichte sind mit den Eigenschaften:
Wj^ ist größer oder gleich null für alle i und die Summe über alle Wj_ ist gleich eins.
Alle Attribute mit kontinuierlichen Werten, beispielsweise Abstand, Geschwindigkeit, Beschleunigung, Breite, Höhe, Länge, sind Objektdaten und können auf diese Weise verschmolzen werden. Durch Runden auf den nächstliegenden Wert können auch Attribute mit diskreten Werten (beispielsweise die Anzahl der Trackingzyklen, die Plausibilität) gewichtet fusioniert werden. Messfehler von Messgrößen besitzen typischerweise statistische Verteilungen. Die Varianzen solcher Verteilungen können zum Beispiel als Genauigkeitsmaße verwendet werden. Alternativ sind aber auch andere skalare Gütemaße möglich. Bezüglich eines einzelnen Objektattributs muss allerdings eine einheitliche Definition des Gütemaßes verwendet werden.
Bei einer ersten, besonders effizient implementierbaren Variante des erfindungsgemäßen Verfahrens zur Gewichtung von Objektdaten werden die Gewichte w.j_ der Einzelsensoren entsprechend den Kehrwerten der Einzelgütemaße in normierter Form benutzt. Für den Fall von zwei Einzeldaten a. unc^ a 2 mit den Varianzen σ-^σ- und σ22 lauten die Gewichte:
wι = σ2 / (σι + σ2' und w = O-L / ( σ1 + σ- Bei einer zweiten Variante des erfindungsgemäßen Verfahrens zur Gewichtung von Objektdaten wird angenommen, dass als Gütemaß die Varianz der Verteilungsfunktion der Messfehler verwendet wird. Die Gewichte w.j_ der Einzelsensoren werden so gewählt, dass die Varianz des Fusionsdatums minimal wird. Hierzu wird ein mehrdimensionales, quadratisches Optimierungsproblem gelöst. Die Gewichte hängen von der Anzahl und den Werten der Einzelvarianzen ab. Sie sind in einer geschlossenen Formel angebbar. Für den Fall von zwei Einzeldaten ax und a2 mit den Varianzen σ11 und σ11 lauten die Gewichte:
W-L = σ22 / (02*0! + σ22) und w2 = σι*σι / <σι*σι + σ2*σ2>
Der Rechenaufwand ist im Vergleich zur ersten Variante nur geringfügig größer. Im Sinne der Varianz des Fusionsdatums ist diese Vorgehensweise gemäß der zweiten Variante bestmöglich.
Einer der Aspekte der vorliegenden Erfindung bezieht sich auf eine optimierte Verwaltung eines Plausibilitätsmaßes für Fusionsobjekte. Die Plausibilität beschreibt, wie sicher und zuverlässig ein Objekt detektiert wird. Sie begleitet ein Fusionsobjekt während seiner gesamten Lebensdauer. Bei der Beurteilung der Relevanz eines Objekts für eine bestimmte Applikation spielt die Objektplausibilität eine wichtige Rolle. Als wesentliches Objektattribut, insbesondere eines Fusionsobjektes, kann die Plausibilität an Fahrzeugführungssysteme oder Fahrerassistenzsysteme weitergeleitet werden. Damit wird der Detaillierungsgrad einer durch Sensoren erfassten Fahrumgebung erhöht. Insbesondere profitieren Klassifikation und Interpretation einer erfassten Fahrumgebung vom Gütemaß der Plausibilität. Bei dem erfindungsgemäßen Verfahren zur optimierten Verwaltung eines Plausibilitätsmaßes für Fusionsobjekte wird insbesondere die Plausibilität als Attribut eines Objekts, d.h. insbesondere eines Fusionsobjekts, angelegt. Sie enthält in gewissem Sinn die Objekthistorie und gibt an, wie sicher ein Objekt detektiert wird. Die Inkrementierung und Dekrementierung der Plausibilität hängt von verschiedenen Einflussgrößen ab.
Die Plausibilität kann als skalares Maß definiert werden. Wird ein Fusionsobjekt neu angelegt, so wird die Plausibilität auf null oder auf einen Wert, der der Anzahl der detektierenden Sensoren entspricht, gesetzt. Wird das Fusionsobjekt weiterhin detektiert, so wird die Plausibilität fortlaufend erhöht. Oberhalb eines Schwellwerts gilt ein Objekt als plausibel. Treten Messaussetzer auf, so wird die Plausibilität entsprechend verringert. Wird das Objekt über mehrere Zyklen nicht detektiert, weil es nicht mehr existiert oder sich aus dem Erfassungsbereich aller eingesetzten Einzelsensoren entfernt hat, wird die Plausibilität sukzessive verringert. Fällt sie unter eine festgelegten Schwellwert, so gilt das Fusionsobjekt als nicht mehr plausibel. Bei hinreichend geringer Plausibilität wird ein Fusionsobjekt gelöscht.
Im folgenden werden einige wesentliche Mechanismen zur Plausibilitätsfindung aufgelistet :
Normierung der Plausibilität
Die Plausibilität kann auf das Intervall [0,1] normiert werden. In diesem Fall wird ein kompakter Wertebereich festgelegt. Über eine geeignete Diskretisierung kann somit der notwendige Speicherplatz zeitunabhängig festgelegt werden. Wird eine Änderung eines Plausibilitätswerts berechnet, die ein Verlassen des Intervalls [0,1] zur Folge hätte, so wird der geänderte Wert durch einen Limiter nach unten durch null und nach oben durch eins begrenzt. Ergeben sich bei einer Inkrementierung bzw. Dekrementierung rechnerisch Werte, die zwischen den Diskretisierungsstufen liegen, so kann zum nächstliegenden Diskretisierungswert gerundet werden.
Festlegung des Basisinkrements
Das Basisinkrement bezeichnet die kleinste Einheit einer Plausibilitätsänderung . Dieses Inkrement kann konstant oder variabel sein. Es sind verschiedene Varianten möglich:
- Als Basisinkrement kann ein konstanter Wert, etwa 0.1, eingesetzt werden.
- Als Basisinkrement kann ein exponentieller Wert gewählt werden. Liegt die Plausibilität etwa im Intervall [0,1], so finden in der Nähe von 0 und 1 nur kleine Änderungen statt. Bei 0.5 sind die Änderungen am stärksten. Die Werte 0 und 1 werden nur asymptotisch erreicht.
Bestimmung der Inkremente und Dekremente
Die Inkremente und Dekremente des Plausibilitätsmaßes werden in Abhängigkeit der Anzahl und Güte der Objekte der Einzelsensoren festgelegt.
- Je mehr Sensoren ein Fusionsobjekt gleichzeitig detektieren, desto größer wird das Inkrement festgelegt. Das Inkrement kann z.B. proportional zur Anzahl der Einzelobjekte gewählt werden.
- Je besser die Sensorgüte ist, desto höher kann das Basisinkrement eines Einzelsensors gewichtet werden. Diese Gewichtung kann vom charakterisierten Sensorexemplar und dessen Detektionsbereich abhängen. Damit fließt ein a - priori Wissen in die Gewichtung ein.
Timing der Plausibilitätsverwaltung Die Plausibilität wird im Takt der Sensordatenfusion neu berechnet. Die Zyklen der Sensordatenfusion können von gleicher oder von unterschiedlicher Taktlänge sein.
- Liefert ein Sensor beispielsweise nur in jedem zweiten Fusionszyklus Daten, so kann dessen Plausibilitätsgewicht verdoppelt werden, um gleichberechtigte
Plausibilitätsanteile zwischen den Sensoren sicherzustellen. Durch eine Berücksichtigung der Plausibilitätsanteile kann erreicht werden, dass verschiedene Einzelsensoren ein Objekt innerhalb derselben Zeitspanne auf denselben Plausibilitätswert bringen.
- Alternativ können die Plausibilitäten der Einzelsensoren gleich gewichtet werden. In diesem Fall erreicht man eine Gleichbehandlung der Sensoren über das Alter der von den Sensoren gelieferten Daten und der charakteristischen Sensorzykluszeit . Wenn innerhalb eines Takts der Sensordatenfusion, d.h. innerhalb der Zeitspanne in der der Verarbeitungsalgorithmus wiederholt wird, aufgrund der Sensorzykluszeit ein Objekt gemessen werden könnte, tatsächlich aber nicht gemessen wird, so erfolgt eine Dekrementierung, ansonsten nicht.
Hysterese der Plausibilität
Für Applikationen gilt ein Fusionsobjekt als plausibel, falls sein Plausibilitätsmaß oberhalb eines festgelegten Schwellwerts liegt. Zur Erhöhung der Stabilität und Dominanz von bestehenden Fusionsobjekten kann in diesen Schwellwert eine Hysterese eingebaut werden. Liegt die Plausibilität im Intervall [0,1], so ist z.B. 0.3 ein solcher Schwellwert. Mit Hysterese kann dieser Wert bei wachsender Plausibilität auf 0.4 und bei fallender Plausibilität auf 0.2 gesetzt werden.
In Figur 17 ist ein Schema zu einer Plausibilitätsverwaltung dargestellt. Es wird wiederum - ähnlich wie in Figur 15 - von einem Fusionsobjekt 445 zu einem ersten Zeitschritt ausgegangen. Ein solches Fusionsobjekt umfaßt als Attribut ein Plausibilitätsmaß, welches in Figur 17 für das Fusionsobjekt 445 zu dem ersten Zeitschritt mit dem Bezugszeichen 449 gekennzeichnet ist. Es wird in dem in Figur 17 dargestellten Beispiel davon ausgegangen, dass bei dem Assoziationεschritt Sensorobjekte, die von den Sensoren 100, 200, 300 geliefert werden, dem Fusionsobjekt 445 beim ersten Zeitschritt zugeordnet wurden. Das Plausibilitätsmaß für das Fusionsobjekt 445 zum ersten Zeitschritt soll nun für den zweiten Zeitschritt aktualisiert werden. Diese Aktualisierung stellt das in Figur 17 ebenfalls dargestellte Fusionsobjekt 455 zum zweiten Zeitschritt dar, welches ebenfalls ein Plausibilitätsmaß umfaßt, welches mit dem Bezugszeichen 459 gekennzeichnet ist. Zur Aktualisierung des Plausibilitätsmaßes werden verschiedene Verfahrensschritte durchgeführt. Zunächst wird ein mit dem Bezugszeichen 672 bezeichneter Verfahrensschritt ausgeführt, zu dem, ausgehend vom Fusionsobjekt 445 zum ersten Zeitpunkt und ausgehend vom Plausibilitätsmaß 449, jeweils ein Pfeil weist und der das Basisinkrement, ausgehend vom Plausibilitätsmaß 449, berechnet. Anschließend wird, ausgehend vom mit dem Bezugszeichen 672 gekennzeichneten Verfahrensschritt ein weiterer und mit dem Bezugszeichen 673 bezeichneter Verfahrensschritt ausgeführt. Hierzu weist ein Pfeil vom Bezugszeichen 672 zum Bezugszeichen 673. Beim mit dem Bezugszeichen 673 bezeichneten Verfahrensschritt wird die Plausibilität inkrementiert oder dekrementiert und zwar in Abhängigkeit von Informationen die im mit dem Bezugszeichen 673 bezeichneten Verfahrensschritt - direkt oder indirekt - ausgehend von den in Figur 17 ebenfalls dargestellten Sensoren 100, 200, 300 vorliegen. Ausgehend vom mit dem Bezugszeichen 673 bezeichneten Verfahrensschritt wird in einem weiteren und mit dem Bezugszeichen 674 bezeichneten Verfahrensschritt in Abhängigekeit von einem vorgegebenen und mit dem Bezugszeichen 675 bezeichneten Plausibilitätsintervall darauf geachtet, dass die Grenzen des Pausibilitätsintervalls durch die vorgeschlagene Inkrementierung bzw. Dekrementierung nicht überschritten werden, was in Figur 17 durch jeweils einen Pfeil vom Bezugszeichen 673 und 675 zum Bezugszeichen 674 gekennzeichnet ist. Der beim mit dem Bezugszeichen 674 versehenen Verfahrensschritt geprüfte Wert für die Plausibilität wird anschließend dem Fusionsobjekt 455 beim zweiten Zeitschritt zur Verfügung gestellt, was durch Pfeile vom Bezugszeichen 674 jeweils zum Fusionsobjekt 455 zum zweiten Zeitschritt als auch dessen Plausibilitätsattribut 459 in Figur 17 gekennzeichnet ist.
In dem in Figur 17 dargestellten Beispiel wird angenommen, dass die Sensoren 100, 200, 300 jeweils Sensorobjekte liefern, die mit den Fusionsobjekten 445, 455 zum ersten und zum zweiten Zeitschritt assoziiert sind. Die Sensoren 100, 200, 300 liefern erfindungsgemäß Informationen, die in einem für alle Sensoren getrennt, aber in einheitlicher Weise durchlaufenen und mit dem Bezugszeichen 670 versehenen Verfahrensschritt verarbeitet werden, was in Figur 17 mit jeweils einem Pfeil von jedem der Sensoren 100, 200, 300 zu den in entsprechender Mehrzahl vorhandenen Bezugszeichen 670 dargestellt ist. Die Verarbeitung beim mit dem Bezugszeichen 670 bezeichneten Verfahrensschritt umfaßt insbesondere die Bestimmung der Sensorgüte und die Bestimmung des Datenalters. Die von den Sensoren 100, 200, 300 gelieferten und im mit den Bezugszeichen 670 versehenen Verfahrensschritten bearbeiteten und aufbereiteten Informationen werden einem mit dem Bezugszeichen 671 gekennzeichneten Verfahrensschritt zur Verfügung gestellt, was durch jeweils einen zum Bezugszeichen 671 weisenden Pfeil ausgehend von den Bezugszeichen 670 in Figur 17 dargestellt ist. Beim mit dem Bezugszeichen 671 bezeichneten Verfahrensschritt werden die von den einzelnen Sensoren 100, 200, 300 stammenden Sensordaten gewichtet und das Ergebnis wird dem mit dem Bezugszeichen 673 gekennzeichneten Verfahrensschritt zur Verfügung gestellt, wie oben bereits beschrieben wurde und in Figur 17 durch einen Pfeil vom Bezugszeichen 671 zum Bezugszeichen 673 dargestellt ist.
Einer der Aspekte der vorliegenden Erfindung bezieht sich auf ein Verfahren zur Priorisierung von Fusionsobjekten. Bei einer Mehrzahl von zu verwaltenden Fusionsobjekten stellt sich die Aufgabe, eine optimierte Auswahl von relevanten Fusionsobjekten durchzuführen. Die Beschränkung der Anzahl der Fusionsobjekte hat im wesentlichen zwei Ursachen: Erstens ist üblicherweise ein fester und begrenzter Speicherbereich für die Fusionsobjektliste vorgesehen. Zweitens bedeutet das Weiterleiten der Information aus den Fusionsobjekten über das Bussystem B, etwa auf einen CAN-Bus des Fahrzeugs, weiteren Aufwand, der ebenfalls innerhalb der Grenzen der verfügbaren Ressourcen liegen muss. Bei der Verwendung von mehreren Einzelsensoren und bei der Berücksichtigung aller Objekte der Einzelsensoren kann die Liste der Fusionsobjekte deutlich länger als die Listen der Einzelsensoren sein. Ist die Anzahl der Fusionsobjekte begrenzt, so muss eine Auswahl getroffen werden. Eine solche Priorisierung von Fusionsobjekten erfolgt applikationsspezifisch. Besonders vorteilhaft bei dem erfindungsgemäßen Verfahren ist es, dass ein Verfahren bzw. eine Einrichtung zur Priorisierung von Fusionsobjekten Verwendung findet, bei der bzw. bei dem eine Konzentration auf die bezüglich einer festgelegten Applikation relevante Sensorinformation stattfindet. Wird ausschließlich relevante Information verarbeitet und weitergeleitet, so schont dies zum einen die Ressourcen und erhöht zum anderen die Geschwindigkeit der Informationsweiterverarbeitung. Vorteilhaft ist dies in hochdynamischen Situationen oder Gefahrensituationen (z.B. bei Aktivität einer automatischen Notbremsfunktion) , in denen dann die Taktrate der Sensordatenfusion erhöht werden kann. In solchen Situationen kann eine reduzierte Datenfusion lediglich auf den Daten der wesentlichen - d.h. priorisierten - Objekte erfolgen. Aus allen potentiellen Fusionsobjekten wird eine Auswahl getroffen. Die Auswahl erfolgt derart, dass die Fusionsobjektliste stets die relevantesten Objekte enthält.
Die Priorisierung wird durch ein internes Ranking, d.h. der Erstellung einer Prioritätenliste, realisiert. Das Ranking erfolgt über ein Prioritätsmaß. Fusionsobjekte werden gemäß ihrer Relevanz sortiert und verwaltet. Die Fusionsobjekte mit der höchsten Priorität sind am relevantesten und verbleiben in der Liste der Fusionsobjekte. Entstehen neue Fusionsobjekte, so werden deren Prioritätsmaße mit denjenigen der bereits bestehenden Fusionsobjekte verglichen. Sind mehr potentielle Fusionsobjekte als Listenplätze vorhanden, werden die am wenigsten relevanten Objekte aus der Fusionsobjektliste entfernt bzw. gar nicht erst aufgenommen.
Maß für die Priorität
Zur Beschreibung der Priorität kann erfindungsgemäß ein skalares Maß verwendet werden. Um eine hinreichend detaillierte Quantifizierung zu erreichen, ist möglichst eine feine Diskretisierung des Prioritätsmaßes zu verwenden. Eine Normierung, etwa auf das Intervall [0,1], ist möglich. Es muss dann allerdings sichergestellt werden, dass eine Sättigung der Priorität auf den Wert 1 praktisch nicht erreicht wird. Andernfalls lässt sich kein eindeutiges Ranking aufstellen.
Applikationsabhängige Auswahl von Einflüssen auf die Priorität Zur Berechnung des Prioritätsmaßes wird funktionsabhängige Information herangezogen. Diese Information wird von der Applikation bereitgestellt. Mögliche Daten sind die Fahrspur und der Fahrschlauch des eigenen Fahrzeugs oder der Abstand und die Relativgeschwindigkeit zu einem vorausfahrenden Fahrzeug in der eigenen oder einer benachbarten Fahrspur. Auch die Fahrzeugeigengeschwindigkeit kann je nach Applikation die Relevanz von Objekten beeinflussen. Weitere priorisierungsrelevante Information ist etwa der Lenkwinkel, die Gierrate oder die Raddrehzahl .
Dynamische Bestimmung des Prioritätsmaßes durch Ereignisauswertung
Die Priorität wird im Takt der Sensordatenfusion neu berechnet. Zur Bestimmung der Priorität wird Information aus der Applikation ausgewertet. Möglich ist die Verwendung von festen Prioritätskonstanten für Ereignisse. Für ein auf das Intervall [0,1] normiertes Prioritätsmaß können solche Konstanten im Prozent- oder Promillebereich liegen. Für jedes eingetretene Ereignis wird die zugehörige Konstante zum Prioritätsmaß hinzuaddiert. Die Höhe der Konstante legt ihre Wichtigkeit fest. Mehrere Ereignisse können überlagert werden. Ereignisse eines Objekts sind z.B. der Aufenthalt des Objekts in der eigenen Fahrspur, ein hoher Verzögerungswert eines einscherenden Fahrzeugs oder die Verwendung des Objekts als Zielobjekt durch einen Regler (z.B. ACC-Regler) .

Claims

Ansprüche
1. Verfahren zur Verarbeitung von Sensordaten (110, 120, 210, 220) zu Fusionsdaten (410, 420, 430), wobei die Sensordaten (110,120,210,220) von Sensoren (100,200,300) generiert werden, wobei die Fusionsdaten (410 , 20 , 430) in einem Assoziationsschritt (419) generiert werden und wobei die Sensordaten (110,120,210,220) entweder mit bestehenden Fusionsdaten (410,420,430) assoziiert oder zu neu generierten Fusionsdaten (410, 420, 430) assoziiert werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in einem Fusionsschritt (429) eine Gewichtung der Sensordaten (110, 120, 210, 220) in Abhängigkeit eines Gütemaßes der Sensordaten (110, 120, 210, 220) vorgenommen wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für die Gewichtung der Sensordaten (110, 120, 210, 220) ihre statistische Standardabweichung oder ihre statistische Varianz herangezogen wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einem Mergingschritt (440) eine Verschmelzung eines ersten Fusionsobjekts (410) mit einem zweiten Fusionsobjekt (420) durchgeführt wird, wenn deren Unterschiede einen oder mehrere Schwellenwerte (Merging-Gates, 442) unterschreiten.
5. Verfahren nach ' einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass in einem Bewertungsschritt (460) einem Fusionsobjekt (410, 420) ein Plausibilitätsmaß zugeordnet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einem Bewertungsschritt (460) einem Fusionsobjekt (410, 420) ein Prioritätsmaß zugeordnet wird.
7. Verfahren nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass in einem der
Verarbeitungsschritte (408-460) für ein Fusionsobjekt (410) ein Objektgrößen-Attribut berechnet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einem der
Verarbeitungsschritte (408-460) erkannt wird, dass sich ein Objekt (10, 20) aus dem Detektionsbereich (150, 250) eines Sensors (100, 200) hinaus in eine Detektionslücke (160) bewegt und/oder dass sich ein Objekt (10, 20) in einer Detektionslücke (160) eines Sensors (100, 200) befindet und/oder dass sich ein Objekt (10, 20) aus einer Detektionslücke (160) in den Detektionsbereich (150, 250) eines Sensors (100, 200) hineinbewegt.
9. Verfahren zum Austausch von Daten zwischen einem ersten Sensor (100) und einer Verarbeitungseinheit (400) und zwischen einem zweiten Sensor (200) und der Verarbeitungseinheit (400), wobei Sensordaten (110, 120, 210, 220) vom ersten Sensor (100) bzw. vom zweiten Sensor (200) zur Verarbeitungseinheit (400) übertragen werden, wobei Rückmeldedaten (461) von der Verarbeitungseinheit (400) zum ersten Sensor (100) und/oder zum zweiten Sensor (200) übertragen werden, wobei die Sensordaten (110, 120,
210, 220) Positionsinformationen und/oder
Geschwindigkeitsinformationen von Objekten (10, 20) relativ zu den Sensoren (100, 200) umfassen.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die Sensordaten (110, 120, 210, 220) Ξensorobjekte (110, 120, 210, 220) und Zeitinformationen (99, 199) umfassen.
11. Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, daß die Rückmeldedaten (461) Informationsanteile der Sensordaten (110, 120, 210, 220) und/oder Fusionsdaten (410, 420, 430) umfassen.
12. Verfahren nach einem der Ansprüche 9-11, dadurch gekennzeichnet, dass die Rückmeldedaten (461) zur
AufmerksamkeitsSteuerung und/oder Präkonditionierung von Sensoren (100, 200, 300), insbesondere nach einer Verarbeitung nach einem Verfahren gemäß einem der Ansprüche 1-8, verwendet werden.
13. Vorrichtung zur Durchführung eines Verf hrens nach einem der vorhergehenden Ansprüche .
PCT/DE2002/001930 2001-07-17 2002-06-07 Verfahren und vorrichtung zum austausch und zur verarbeitung von daten WO2003008995A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02735078A EP1412773A1 (de) 2001-07-17 2002-06-07 Verfahren und vorrichtung zum austausch und zur verarbeitung von daten
US10/484,602 US7340380B2 (en) 2001-07-17 2002-06-07 Method and device for the exchange and processing of data into fusion data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10133945.3 2001-07-17
DE10133945A DE10133945A1 (de) 2001-07-17 2001-07-17 Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten

Publications (1)

Publication Number Publication Date
WO2003008995A1 true WO2003008995A1 (de) 2003-01-30

Family

ID=7691567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2002/001930 WO2003008995A1 (de) 2001-07-17 2002-06-07 Verfahren und vorrichtung zum austausch und zur verarbeitung von daten

Country Status (4)

Country Link
US (1) US7340380B2 (de)
EP (1) EP1412773A1 (de)
DE (1) DE10133945A1 (de)
WO (1) WO2003008995A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2933221A1 (fr) * 2008-06-26 2010-01-01 Renault Sas Procede de fonctionnement d'un systeme de detection d'obstacles destine a etre embarque sur un vehicule automobile.
EP2201534A1 (de) * 2007-09-06 2010-06-30 WABCO GmbH Fahrzeugsteuersystem für einen kraftwagen
CN110596653A (zh) * 2019-09-24 2019-12-20 江苏集萃智能传感技术研究所有限公司 一种多雷达数据融合方法及装置
EP3497476B1 (de) * 2016-10-14 2020-07-22 Audi AG Kraftfahrzeug und verfahren zur 360°-umfelderfassung
WO2020160797A1 (de) * 2019-02-06 2020-08-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug
WO2020178311A1 (de) * 2019-03-05 2020-09-10 Zf Friedrichshafen Ag Verteilte verarbeitung von radarsignalen

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE519803C2 (sv) * 2001-08-06 2003-04-08 Ericsson Telefon Ab L M Metod och anordning för analys av sensorsystems prestanda
JP3918791B2 (ja) * 2003-09-11 2007-05-23 トヨタ自動車株式会社 物体検出装置
JP3941765B2 (ja) * 2003-09-11 2007-07-04 トヨタ自動車株式会社 物体検出装置
WO2005124487A1 (en) * 2004-06-22 2005-12-29 Rabit Joint Venture Limited Signal processing methods and apparatus
US20060178857A1 (en) * 2005-02-10 2006-08-10 Barajas Leandro G Quasi-redundant smart sensing topology
JP4557819B2 (ja) * 2005-06-21 2010-10-06 アルパイン株式会社 車両周辺情報提供装置
JP4813141B2 (ja) * 2005-10-05 2011-11-09 川崎重工業株式会社 情報提供装置
DE112006002648B4 (de) * 2005-10-14 2010-11-25 Continental Automotive Systems US, Inc. (n. d. Gesetzen des Staates Delaware), Auburn Hills Mischen von Sensoren zum Erzeugen alternativer Sensorcharakteristiken
JP4595833B2 (ja) 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
US7610127B2 (en) * 2006-03-08 2009-10-27 Delphi Technologies, Inc. Vehicle stability monitoring system and method and article of manufacture for determining vehicle stability
JP2007241726A (ja) * 2006-03-09 2007-09-20 Denso Corp 運転支援システム、送信装置及び受信装置
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
DE102007002197A1 (de) * 2007-01-16 2008-07-17 Siemens Ag Gemeinsamer Kontroller für verschiedene Fahrerassistenzsysteme
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
US7653513B2 (en) * 2007-06-20 2010-01-26 At&T Intellectual Property Ii, L.P. Sensor registration by global optimization procedures
FR2929411B1 (fr) * 2008-03-28 2010-06-11 Thales Sa Procede et systeme de pistage et de suivi d'emetteurs.
US20090254260A1 (en) * 2008-04-07 2009-10-08 Axel Nix Full speed range adaptive cruise control system
US20100134285A1 (en) * 2008-12-02 2010-06-03 Honeywell International Inc. Method of sensor data fusion for physical security systems
US8165769B2 (en) * 2009-03-02 2012-04-24 GM Global Technology Operations LLC Multi-factor speed estimation system and method for use
US20100318257A1 (en) * 2009-06-15 2010-12-16 Deep Kalinadhabhotla Method and system for automatically calibrating a three-axis accelerometer device
DE102010063984A1 (de) * 2010-02-11 2011-08-11 Continental Teves AG & Co. OHG, 60488 Fahrzeug-Sensor-Knoten
US8751100B2 (en) * 2010-08-13 2014-06-10 Deere & Company Method for performing diagnostics or software maintenance for a vehicle
US8717422B2 (en) * 2010-12-22 2014-05-06 Texas Instruments Incorporated Multi-sensor video frame synchronization apparatus and methods
EP2604478B2 (de) 2011-12-13 2021-03-31 Aptiv Technologies Limited Verfahren zur erkennung von funktionsfehlern einer multisensoranordnung
DE102012103669A1 (de) 2012-04-26 2013-10-31 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung
DE102012211391A1 (de) * 2012-07-02 2014-01-02 Continental Teves Ag & Co. Ohg Verfahren und System zur Informationsnutzung
DE102012106932A1 (de) 2012-07-30 2014-05-15 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung mit Positionspunkten
US9405006B2 (en) * 2012-09-03 2016-08-02 Toyota Jidosha Kabushiki Kaisha Collision determination device and collision determination method
US9218538B2 (en) 2013-01-30 2015-12-22 Xerox Corporation Methods and systems for detecting an object borderline
CN105144663A (zh) * 2013-03-15 2015-12-09 德纳有限公司 使用多级网络的用于数据收集与分析的系统和方法
US9350800B2 (en) * 2013-06-05 2016-05-24 Microsoft Technology Licensing, Llc Defragmenting clusters with reserved resources
CH708274A1 (de) 2013-07-04 2015-01-15 Schweizerische Eidgenossenschaft Eidgenössisches Dept Für Verteidigung Bevölkerungsschutz Und Sport Verfahren zur Bestimmung von Trajektorien beweglicher physischer Objekte in einem Raum, auf der Basis von Sensordaten mehrerer Sensoren.
EP2865575B1 (de) * 2013-10-22 2022-08-24 Honda Research Institute Europe GmbH Vertrauensschätzung für prädiktive Fahrerunterstützungssysteme auf Basis von Plausibilitätsregeln
EP2865576B1 (de) 2013-10-22 2018-07-04 Honda Research Institute Europe GmbH Zusammengesetzte Vertrauensschätzung für prädiktive Fahrerunterstützungssysteme
KR101480651B1 (ko) * 2013-12-09 2015-01-09 현대자동차주식회사 오브젝트 처리 방법 및 이를 지원하는 차량
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10074376B2 (en) * 2014-05-01 2018-09-11 Nippon Telegraph And Telephone Corporation Coding device, decoding device, method, program and recording medium thereof
CN104104397B (zh) * 2014-06-20 2017-01-18 杭州电子科技大学 一种多频段毫米波通信发射机
JP6484000B2 (ja) * 2014-10-22 2019-03-13 株式会社デンソー 物体検知装置
CN105806320B (zh) * 2014-12-29 2020-04-21 同方威视技术股份有限公司 拍摄测量系统以及拍摄测量方法
DE102015001757B4 (de) 2015-02-11 2018-01-04 Audi Ag Verfahren und System zum Betreiben mehrerer Kraftfahrzeuge
KR101714145B1 (ko) * 2015-04-09 2017-03-08 현대자동차주식회사 주변차량 식별 장치 및 그 방법
US10328949B2 (en) * 2016-01-28 2019-06-25 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor blind spot indication for vehicles
EP3232285B1 (de) * 2016-04-14 2019-12-18 Volvo Car Corporation Verfahren und anordnung zur überwachung und anpassung der leistung eines fusionssystems eines autonomen fahrzeuges
SE1650719A1 (en) * 2016-05-25 2017-11-26 Scania Cv Ab Method for decentralized sensor fusion in a vehicle and sensor fusion system
FR3054684B1 (fr) * 2016-07-29 2018-08-24 Institut Vedecom Systeme de pilotage d’un vehicule autonome
US10073456B2 (en) * 2016-11-17 2018-09-11 GM Global Technology Operations LLC Automated co-pilot control for autonomous vehicles
DE102017210975A1 (de) 2017-06-28 2019-01-17 Audi Ag Verfahren zur Datenerhebung
US10850732B2 (en) * 2017-09-05 2020-12-01 Aptiv Technologies Limited Automated speed control system
US10971017B2 (en) 2017-10-31 2021-04-06 Cummins Inc. Sensor fusion and information sharing using inter-vehicle communication
DE102018216809A1 (de) 2018-09-28 2020-04-02 Robert Bosch Gmbh Verfahren, Vorrichtung und Sensorsystem zur Umfelderfassung für ein Fahrzeug
CN110378178B (zh) * 2018-09-30 2022-01-28 毫末智行科技有限公司 目标跟踪方法及装置
CN110376583B (zh) * 2018-09-30 2021-11-19 毫末智行科技有限公司 用于车辆传感器的数据融合方法及装置
KR20200040404A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더 장치 및 그 제어 방법
US10839263B2 (en) 2018-10-10 2020-11-17 Harman International Industries, Incorporated System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
KR102569900B1 (ko) * 2018-12-04 2023-08-23 현대자동차주식회사 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
DE102018133457B4 (de) * 2018-12-21 2020-07-09 Volkswagen Aktiengesellschaft Verfahren und System zum Bereitstellen von Umgebungsdaten
DE102019102769A1 (de) * 2019-02-05 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
DE102020206659A1 (de) * 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Multi-hypothesen-objektverfologung für automatisierte fahrsysteme
US11178363B1 (en) * 2019-06-27 2021-11-16 Objectvideo Labs, Llc Distributed media monitoring
KR20210030524A (ko) * 2019-09-09 2021-03-18 주식회사 만도 차량 제어 장치 및 그 제어 방법
DE102019216517B3 (de) * 2019-10-25 2021-03-18 Daimler Ag Verfahren zur Synchronisation zumindest zweier Sensor-Systeme
DE102020107790A1 (de) 2020-03-20 2021-09-23 Audi Aktiengesellschaft Verfahren zur Erfassung von Objekten in einer Umgebung eines Kraftfahrzeugs und Kraftfahrzeug
DE102021205993A1 (de) 2021-06-14 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Scheinwerfersystems eines Kraftfahrzeugs
DE102022117706A1 (de) 2022-07-15 2024-01-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzsystem zur radarbasierten Größeneinstufung von Objekten und entsprechend eingerichtetes Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4860216A (en) * 1986-11-13 1989-08-22 The United States Of America As Represented By The Secretary Of The Air Force Communication adaptive multi-sensor system
WO1995007473A1 (fr) * 1993-09-10 1995-03-16 Framatome Procede et dispositif pour la detection et la localisation d'obstacles dans l'environnement d'un vehicule
US5661666A (en) * 1992-11-06 1997-08-26 The United States Of America As Represented By The Secretary Of The Navy Constant false probability data fusion system
US6002358A (en) * 1998-08-18 1999-12-14 Northrop Grumman Corporation Method and apparatus for determining whether two radar tracks represent the same physical object

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3546662C3 (de) 1985-02-22 1997-04-03 Bosch Gmbh Robert Verfahren zum Betreiben einer Datenverarbeitungsanlage
US5005147A (en) * 1988-12-30 1991-04-02 The United States Of America As Represented By The Administrator, The National Aeronautics And Space Administration Method and apparatus for sensor fusion
US5202661A (en) * 1991-04-18 1993-04-13 The United States Of America As Represented By The Secretary Of The Navy Method and system for fusing data from fixed and mobile security sensors
US5317319A (en) * 1992-07-17 1994-05-31 Hughes Aircraft Company Automatic global radar/IR/ESM track association based on ranked candidate pairings and measures of their proximity
US5808916A (en) * 1994-08-04 1998-09-15 City Of Scottsdale Method for monitoring the environment
JP3468001B2 (ja) * 1996-12-16 2003-11-17 日産自動車株式会社 車両用走行制御装置
DE19734639A1 (de) * 1997-08-11 1999-02-18 Spherics Mess Und Analysetechn Recheneinrichtung zum Verarbeiten einer Eingangsdatenstruktur
US6157894A (en) * 1997-12-23 2000-12-05 Simmonds Precision Products, Inc. Liquid gauging using sensor fusion and data fusion
DE29811174U1 (de) * 1998-06-23 1998-11-26 Brecht Thomas Fahrtgeschwindigkeitsregelsystem mit integrierter, dynamischer Überwachung des Sicherheitsabstands
US7015789B1 (en) * 1999-05-13 2006-03-21 Honeywell International Inc. State validation using bi-directional wireless link
EP1103004A1 (de) * 1999-05-26 2001-05-30 Robert Bosch Gmbh Objektdetektionssystem
US6547692B1 (en) * 1999-06-12 2003-04-15 Robert Bosch Gmbh System for adjusting the tension of the continuous belt component of a CVT
DE19928915A1 (de) * 1999-06-24 2001-01-11 Bosch Gmbh Robert Verfahren zur Sichtweitenbestimmung
US6553336B1 (en) * 1999-06-25 2003-04-22 Telemonitor, Inc. Smart remote monitoring system and method
DE19945250B4 (de) * 1999-09-21 2011-06-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Zustandserkennung bei einem System zur automatischen Längs- und/oder Querregelung bei einem Kraftfahrzeug
DE19945268A1 (de) * 1999-09-21 2001-03-22 Bosch Gmbh Robert Verfahren und Vorrichtung zur Zustandserkennung bei einem System zur automatischen Längs- und/oder Querregelung bei einem Kraftfahrzeug
DE19950915B4 (de) * 1999-10-21 2004-06-17 Forschungszentrum Jülich GmbH Verfahren zur Bestimmung eines Ortes, an dem ein Detetkionssignal am wahrscheinlichsten erfolgt ist und Auswerteeinheit für ein Detektorsystem
DE10015164A1 (de) * 2000-03-27 2001-10-11 Helmut Klausing Kommunikations-Verfahren mit einem ROSAR-Gerät
AU2002230389A1 (en) * 2000-06-14 2002-04-29 Vermeer Manufacturing Company Utility mapping and data distribution system and method
US6629033B2 (en) * 2001-04-24 2003-09-30 Medius, Inc. Open communication system for real-time multiprocessor applications
US7283904B2 (en) * 2001-10-17 2007-10-16 Airbiquity, Inc. Multi-sensor fusion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4860216A (en) * 1986-11-13 1989-08-22 The United States Of America As Represented By The Secretary Of The Air Force Communication adaptive multi-sensor system
US5661666A (en) * 1992-11-06 1997-08-26 The United States Of America As Represented By The Secretary Of The Navy Constant false probability data fusion system
WO1995007473A1 (fr) * 1993-09-10 1995-03-16 Framatome Procede et dispositif pour la detection et la localisation d'obstacles dans l'environnement d'un vehicule
US6002358A (en) * 1998-08-18 1999-12-14 Northrop Grumman Corporation Method and apparatus for determining whether two radar tracks represent the same physical object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1412773A1 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2201534A1 (de) * 2007-09-06 2010-06-30 WABCO GmbH Fahrzeugsteuersystem für einen kraftwagen
FR2933221A1 (fr) * 2008-06-26 2010-01-01 Renault Sas Procede de fonctionnement d'un systeme de detection d'obstacles destine a etre embarque sur un vehicule automobile.
EP3497476B1 (de) * 2016-10-14 2020-07-22 Audi AG Kraftfahrzeug und verfahren zur 360°-umfelderfassung
US11513212B2 (en) 2016-10-14 2022-11-29 Audi Ag Motor vehicle and method for a 360° detection of the motor vehicle surroundings
WO2020160797A1 (de) * 2019-02-06 2020-08-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug
WO2020178311A1 (de) * 2019-03-05 2020-09-10 Zf Friedrichshafen Ag Verteilte verarbeitung von radarsignalen
CN110596653A (zh) * 2019-09-24 2019-12-20 江苏集萃智能传感技术研究所有限公司 一种多雷达数据融合方法及装置

Also Published As

Publication number Publication date
US7340380B2 (en) 2008-03-04
US20050021201A1 (en) 2005-01-27
DE10133945A1 (de) 2003-02-06
EP1412773A1 (de) 2004-04-28

Similar Documents

Publication Publication Date Title
WO2003008995A1 (de) Verfahren und vorrichtung zum austausch und zur verarbeitung von daten
EP1135274B1 (de) Verfahren und vorrichtung zur bestimmung eines zukünftigen kursbereichs eines fahrzeugs
DE19637053C2 (de) Verfahren und Vorrichtung zur automatischen Erkennung von Rechts- oder Linksverkehr
DE102019120118A1 (de) Vorrichtung und verfahren zum steuern des fahrens eines fahrzeugs
DE112012006226B4 (de) Fahrassistenzvorrichtung
WO2005037592A1 (de) Verfahren und vorrichtung zur erkennung von spurwechselvorgängen für ein fahrzeug
DE102010020047A1 (de) Verfahren zur Anpassung eines für ein Abstandsregelsystem eines Fahrzeugs vorgegebenen Soll-Abstandes an eine momentane Verkehrssituation
EP1577682A1 (de) Objektortungssystem für Kraftfahrzeuge zur Erkennung eines Spurwechsels
EP1690730A1 (de) Fahrerassistenzsystem mit redundanter Entscheidungseinheit
EP1808350A1 (de) Verfahren zum Betrieb eines Längsführungssystems in einem Kraftfahrzeug
EP1912844B1 (de) Verfahren zum erzeugen von umwelthypothesen für fahrerassistenzfunktionen
EP3490862A1 (de) Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld
DE102020215780A1 (de) Verfahren zur Auswahl eines automatisierten Fahrvorgangs mittels eines Fahrassistenzsystems
EP3024709A1 (de) Effizientes bereitstellen von belegungsinformationen für das umfeld eines fahrzeugs
EP2964503B1 (de) Schätzung der zukünftigen geschwindigkeit und/oder entfernung eines fahrzeugs von einem referenzpunkt und schätzung der zukünftigen beschleunigung
DE102008063033A1 (de) Vorrichtung und Verfahren zur Erkennung von Kollisionen mit erhöhter funktionaler Sicherheit
EP2527221B1 (de) Verfahren zum Betrieb eines längsführenden Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
EP1643269A1 (de) Fahrerassistenzsystem mit Fuzzy-Logic
DE102004028591A1 (de) Verfahren zum Bereitstellen von fahrstreckenabhängigen Informationen
EP2353958A2 (de) Verfahren zur Auswertung von die Umgebung eines Kraftfahrzeugs betreffenden Sensordaten wenigstens eines Umfeldsensors und Kraftfahrzeug
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102019201088A1 (de) Verfahren zum Erkennen von Fahrbahnmarkierungen
EP1590193B1 (de) Fahrzeugführungssystem
DE102019208890A1 (de) Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
DE102019102919A1 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben eines Fahrzeuges

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2002735078

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002735078

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10484602

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP