Stand der Technik
-
Gegenwärtige Fahrzeugführungsfunktionen, wie beispielsweise
ACC (Adaptive Cruise Control) basieren auf der Aufbereitung
und Verarbeitung der Informationen von nur einem
Umfeldsensor, beispielsweise eines 77 GHz-FMCW-Radars. Ein
Austausch von Informationen zwischen verschiedenen
Umfeldsensoren sowie eine gemeinsame Verarbeitung von
Sensordaten unterschiedlichen Ursprungs ist nicht möglich.
Der bidirektionale Austausch von Informationen zwischen
verschiedenen Umfeldsensoren und einer zentralen Einheit ist
bislang nicht bekannt.
Vorteile der Erfindung
-
Das erfindungsgemäße Verfahren und die erfindungsgemäße
Vorrichtung mit den Merkmalen der nebengeordneten Ansprüche
hat demgegenüber den Vorteil, daß die Detektionsleistung,
d. h. die Qualität der Sensorsignale, die Detektionsrate und
das Ansprechverhalten, von Einzelsensoren bzw. von
Sensorclustern verbessert wird, die Falschalarmrate
reduziert wird und die Fälle von Sensorausfall bzw. von
Sensorblindheit einfacher und verlässlicher diagnostizierbar
sind. Dazu werden gezielt aus einer zentralen
Verarbeitungseinheit, beispielsweise einer
Informationsplattform IP bzw. einer
Sensordatenfusionseinheit SDF Objektinformationen von den
Einzelsensoren verarbeitet und aufbereitet und an die
Einzelsensoren verteilt.
-
Es ist erfindungsgemäß insbesondere von Vorteil, daß
Informationen gezielt aus der zentralen Verarbeitungseinheit
zurück an die Einzelsensoren bzw. an die Sensorcluster
verteilt wird. Dies beinhaltet beispielsweise die zeitliche
Zuordnung der Daten der Fusionsobjekte zu den Sensorobjekten
und umgekehrt die Identifikation gleicher Objekte in der
Verarbeitungseinheit und in den Einzelsensoren sowie eine
Prädiktion der Objektbewegungen. Wird die an die
Einzelsensoren zurück geflossene Information, beispielsweise
die Information darüber, daß ein Objekt in den
Erfassungsbereich eines anderen Sensors einzudringen droht,
von den Sensoren zur Präkonditionierung - beispielsweise zur
Absenkung von Detektionsschwellen und/oder zur
Initialisierung von Filterparametern - verwendet, wird
insgesamt eine höhere Detektionsleistung und
Dektektionssicherheit sowie ein verbessertes
Ansprechverhalten der Objektdetektion erreicht. Bei der
Überlappung der Detektionsbereiche verschiedener Sensoren
kann von der unterschiedlichen Güte einzelner, kompatibler
Sensorsignale Gebrauch gemacht werden, in dem beispielsweise
die im allgemeinen genauere Auflösung der Querablage bei der
Objektdetektion eines Videosensors zur Stützung der
Winkellage desselben, von einem 77 GHz-Radar detektierten
Objekts verwendet wird. Darüberhinaus kann der höhere Grad
des vernetzten Datenaustausches dazu genutzt werden, die
Falschalarmrate von Einzelsensoren zu vermindern und zu
helfen, Sensorausfälle oder Sensorblindheit zu
diagnostizieren und zu interpretieren.
-
Weiterhin ist es erfindungsgemäß vorteilhaft möglich, dass
Informationen von verschiedenen Umfeldsensoren, wie zum
Beispiel Radar, Lidar und Video, gemeinsam verarbeitet
werden und verdichtet werden. Hierdurch wird eine
umfassendere, zuverlässigere, schnellere und im zeitlichen
Mittel qualitativ hochwertigere Objektinformation möglich,
ausgehend von den von den Sensoren gelieferten Meßdaten, als
dies mit einem einzelnen Sensor möglich wäre.
-
Darüberhinaus ist die Verfolgung und Identifizierung von
Objekten durch die unterschiedlichen Erfassungsbereiche der
Sensoren durchgängig möglich. Die aufbereiteten und
verdichteten Informationen über Objekte des Fahrzeugumfeldes
können Fahrfunktionen, wie zum Beispiel
Fahrzeugführungssystemen oder Fahrzeugsicherheitssystemen,
zur Verfügung gestellt werden.
-
Vorteilhaft ist insbesondere die Verwendung eines
algorithmischen Verfahrens, welches es erlaubt, aktuelle
Objekte, wie zum Beispiel Sensorobjekte, historischen
Objekten, beispielsweise Fusionsobjekte oder sogenannte
"Tracks", d. h. Historien von Meßwerten, zuzuordnen. Diese
Zuordnung wird erfindungsgemäß als Datenassoziation
bezeichnet. Weitere Verarbeitungsschritte des
erfindungsgemäßen algorithmischen Verfahrens umfassen die
Schritte, Fusionsobjekte zu verschmelzen, was im folgenden
auch als Merging bezeichnet wird, und neue Fusionsobjekte,
insbesondere zur Berücksichtigung von Objekthypothesen, zu
generieren. Diese Aufgaben werden mit dem beschriebenen
Verfahren mit hoher Effizienz durchgeführt. Für die
Assoziation ist beispielsweise ein Rechenaufwand notwendig,
der proportional zu dem Produkt n.m ist, wobei n die Anzahl
der Fusionsobjekte bezeichnet und wobei m die Anzahl von
Sensorobjekten bezeichnet. Der Rechenaufwand für den
Merging-Schritt ist erfindungsgemäß proportional zu n.n.
Weiterhin ist es erfindungsgemäß vorteilhaft, dass das
erfindungsgemäße Verfahren mit einer verzögerten
Entscheidungslogik durchgeführt wird, welche es erlaubt, im
Konfliktfall die Entscheidung, welches Meßobjekt, d. h.
Sensorobjekt, welcher Objekthypothese zugeordnet wird, erst
in nachfolgenden Meßzyklen endgültig zu entscheiden. Durch
die Verarbeitungsschritte des erfindungsgemäßen Verfahrens
werden die oben genannten Ziele einer umfassenderen,
zuverlässigeren, schnelleren und im zeitlichen Mittel
qualitativ hochwertigeren Objektinformation und die
Verfolgung und Identifizierung von Objekten durch die
unterschiedlichen Erfassungsbereiche der Sensoren hinweg
möglich.
-
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind
vorteilhafte Weiterbildungen und Verbesserungen des in den
nebengeordneten Ansprüchen angegebenen Verfahrens bzw. der
Vorrichtung möglich.
Zeichnung
-
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung
dargestellt und in der nachfolgenden Beschreibung näher
erläutert. Es zeigen:
-
Fig. 1 ein System zur Verarbeitung von Sensordaten,
-
Fig. 2 einen Teilaspekt der Objektrepräsentierung in einem
erfindungsgemäßen System,
-
Fig. 3 ein Ablaufdiagramm für den Datenaustausch zwischen
einer erfindungsgemäßen Verarbeitungseinheit und
erfindungsgemäßen Sensoren,
-
Fig. 4 ein Struktogramm des erfindungsgemäßen
Verarbeitungsalgorithmus,
-
Fig. 5 ein erstes Beispiel einer Meßsituation,
-
Fig. 6 die Darstellung der Datenassoziation für das erste
Beispiel,
-
Fig. 7 die Darstellung der Fusion für das erste Beispiel,
-
Fig. 8 die Darstellung des Merging für das erste Beispiel,
-
Fig. 9 ein zweites Beispiel einer Meßsituation,
-
Fig. 10 die Darstellung der Datenassoziation für das zweite
Beispiel,
-
Fig. 11 die Darstellung der Fusion für das zweite Beispiel,
-
Fig. 12 die Darstellung des Merging für das zweite
Beispiel,
-
Fig. 13 die Darstellung der Überbrückung einer
Detektionslücke zwischen zwei Detektionsbereichen,
-
Fig. 14 das System zur Verarbeitung von Sensordaten in
einer abgewandelten Darstellung,
-
Fig. 15 ein Verarbeitungsdiagramm zur Bestimmung einer
Objektgröße,
-
Fig. 16 einen Teilalgorithmus zur Bestimmung einer
Objektgröße und
-
Fig. 17 ein Schema zu einer Plausibilitätsverwaltung.
Beschreibung des Ausführungsbeispiels
-
In Fig. 1 ist ein System zur Verarbeitung von
Sensorinformationen dargestellt. Das System umfaßt in der
Regel eine Mehrzahl von Sensoren, beispielsweise einen in
der Fig. 1 dargestellten ersten Sensor 100, einen zweiten
Sensor 200 und einen dritten Sensor 300. Jeder der Sensoren
100, 200, 300 ist mit einem Bussystem verbunden, welches mit
dem Bezugszeichen B gekennzeichnet ist. Das Bussystem B ist
weiterhin an einer Verarbeitungseinheit 400 angeschlossen.
Das Bussystem B soll sicherstellen, daß der Austausch von
Daten zwischen jedem der Sensoren 100, 200, 300 und der
Verarbeitungseinheit 400 sichergestellt ist bzw. einfach und
schnell durchführbar ist und daß eine gewisse Bandbreite zum
Datenaustausch bidirektional zur Verfügung steht.
-
Das Bussystem B ist erfindungsgemäß insbesondere als CAN-Bus
(controller area network-Bus) vorgesehen. Erfindungsgemäß
ist es jedoch auch möglich, eine beliebige andere
Busarchitektur zu verwenden.
-
Die Verarbeitungseinheit 400 wird erfindungsgemäß
insbesondere als Sensordatenfusionseinheit 400 bzw. als
Informationsplattform 400 bezeichnet. Bei den Sensoren 100,
200, 300 handelt es sich erfindungsgemäß insbesondere um
Einzelsensoren oder auch um ganze Sensorcluster.
-
In Fig. 2 ist ein erfindungsgemäßes System mit
beispielshaft zwei Sensoren, nämlich dem ersten Sensor 100
und dem zweiten Sensor 200 sowie mit der
Verarbeitungseinheit 400 und dem diese Einheiten
verbindenden Bus B dargestellt.
-
Das erfindungsgemäße System bzw. die erfindungsgemäße
Vorrichtung zur Durchführung des erfindungsgemäßen
Verfahrens dient insbesondere dazu, in ein Kraftfahrzeug
eingebaut zu werden, um das Fahrzeugumfeld des
Kraftfahrzeugs möglichst gut zu beschreiben, so daß
automatisierte Fahrfunktionen bzw. Sicherheitsfunktionen
ausführbar sind. Hierzu ist in Fig. 2 ein erstes Objekt 10
und ein zweites Objekt 20 im Außenumfeld des (nicht
dargestellten) Kraftfahrzeugs dargestellt, in welches der
erste Sensor 100 und der zweite Sensor 200, wie auch die
Verarbeitungseinheit 400 und das Bussystem B eingebaut ist.
-
Erfindungsgemäß ist es insbesondere vorgesehen, dass als
Sensoren Videosensoren, Radarsensoren - beispielsweise 77-
GHz-Long-Range-Sensoren, 77-GHz-Medium-Range-Sensoren, 24-
GHz-Short-Range-Sensoren -, Lidarsensoren, Lasersensoren
oder Ultraschallsensoren Verwendung finden. In jedem Fall
gibt es eine Wechselwirkung zwischen den Sensoren 100, 200,
300 und den Objekten 10, 20. Bei Videosensoren besteht die
Wechselwirkung beispielsweise darin, daß ein solcher
Videosensor das optische Bild des Fahrzeugsumfelds
aufzeichnet und derart analysiert, daß Objekte 10, 20 im
Umfeld des Kraftfahrzeugs erkennbar sind. Bei Radarsensoren
ist es erfindungsgemäß beispielsweise so, daß der
Radarsensor eine Radarwelle aussendet und die von der Umwelt
zurückgeworfene Reflexionswelle sensiert und daraus die
Objekte 10, 20 erkennbar sind. Weiterhin ist es
erfindungsgemäß vorgesehen, als Sensoren 100, 200
beispielsweise Ultraschallsensoren zu verwenden. Die
verschiedenen Ankopplungen der Sensoren 100, 200 an die
Umwelt des Fahrzeugs sind in Fig. 2 mit den mit den
Bezugszeichen 30 bzw. 31 versehenen Pfeilen dargestellt,
wobei die mit dem Bezugszeichen 30 versehenen Pfeile vom
ersten Sensor 100 zum ersten Objekt 10 und zum zweiten
Objekt 20 hin bzw. zurückweisen und wobei die Pfeile 31 vom
zweiten Sensor 200 ebenfalls zum ersten Objekt 10 und zum
zweiten Objekt 20 hin und zurückweisen. Hierdurch soll
beispielsweise veranschaulicht werden, dass sich das erste
und das zweite Objekt 10, 20 im Erfassungsbereich jeweils
des ersten Sensors 100 und des zweiten Sensors 200 befindet.
-
Erfindungsgemäß ist es vorgesehen, daß in den Sensoren 100,
200 bereits eine gewisse Vorverarbeitung des Datenstroms
durchgeführt wird, welcher der kontinuierlichen bzw.
gepulsten Messung oder Sensierung des Fahrzeugumfelds
entspricht. Dies ist in der Regel technisch notwendig, weil
dadurch eine Datenreduktion möglich ist und somit
Übertragungsbandbreite auf dem Bussystem B eingespart werden
kann. Die Vorverarbeitung in den Sensoren 100, 200 besteht
erfindungsgemäß insbesondere darin, daß ausgehend von den
Objekten 10, 20 in der realen physikalischen Umwelt des mit
dem erfindungsgemäßen System ausgestatteten Fahrzeugs
sogenannte Datenobjekte von den Sensoren 100, 200 erzeugt
werden. In Fig. 2 ist beispielhaft links neben dem den
ersten Sensor 100 darstellenden Kasten eine geschweifte
Klammer dargestellt, die die Bezugszeichen 110 und 120
umfaßt. Die Bezugszeichen 110, 120 stehen dabei für solche
von dem ersten Sensor 100 generierten Datenobjekte, die
ausgehend von den Objekten, beispielsweise dem ersten Objekt
10 und dem zweiten Objekt 20 in der realen Umwelt des
Fahrzeugs, erzeugt wurden. Solche Datenobjekte, die von
einem der Sensoren 100, 200 erzeugt werden, sind als ein
Satz von Informationen auffassbar, die zu der Repräsentation
eines realen, in der Umwelt des Fahrzeugs befindlichen
Objekts - oder auch lediglich eines vom Sensor
fälschlicherweise erkannten, aber nicht vorhandenen Objekts
- gehören. Da die Sensoren 100, 200 solche Datenobjekte
generieren und an die Verarbeitungseinheit 400 weiterleiten,
werden die von den Sensoren 100, 200, 300 erzeugten
Datenobjekte auch vereinfachend Sensorobjekte genannt. Im
folgenden werden Sensorobjekte auch verallgemeinernd
Sensordaten genannt. In der Fig. 2 ist daher mit einem
zweiseitigen Pfeil neben dem ersten Sensor 100 in der
bereits angesprochenen geschweiften Klammer ein erstes
Sensorobjekt 110 und ein zweites Sensorobjekt 120
dargestellt. Ebenso ist innerhalb einer weiteren
geschweiften Klammer neben dem zweiten Sensor 200 ein
drittes Sensorobjekt 210 und ein viertes Sensorobjekt 220
dargestellt. Das erste und zweite Sensorobjekt 110, 120
wurde im Beispiel von dem ersten Sensor 100 erzeugt und das
dritte und vierte Sensorobjekt 210, 220 wurde im Beispiel
von dem zweiten Sensor 200 erzeugt. Die Sensorobjekte 110,
120, 210, 220 können auch Teile von realen Objekten umfassen
(z. B. beim Videosensor Kanten, oder Teile von
Objektumrissen).
-
Die Informationen über die Sensorobjekte 110, 120, 210, 220
werden in der Folge der Verarbeitung der von den Sensoren
100, 200 gemessenen Daten über das Bussystem B zu der
Verarbeitungseinheit 400 weitergeleitet. Die
Verarbeitungseinheit 400 nimmt eine weitere Datenreduktion
vor und generiert in ähnlicher Weise wie die Sensoren 100,
200 ebenfalls sogenannte Datenobjekte, welche jedoch zur
Differenzierung von den Sensorobjekten nachfolgend
Fusionsobjekte oder auch verallgemeinernd Fusiondaten
genannt werden. In ähnlicher Weise wie bei den Sensoren 100,
200 ist in Fig. 2 neben der Verarbeitungseinheit 400 eine
geschweifte Klammer mit einem ersten Fusionsobjekt 410 und
einem zweiten Fusionsobjekt 420 dargestellt.
-
In Fig. 2 ist weiterhin ein Regler 500 dargestellt, welcher
mit der Verarbeitungseinheit 400 verbunden ist.
Erfindungsgemäß macht es keinen Unterschied, ob der Regler
500 direkt mit der Verarbeitungseinheit 400 verbunden ist
oder ob der Regler 500 über das Bussystem B mit der
Verarbeitungseinheit 400 verbunden ist. In Fig. 3 ist
beispielhaft die erste dieser beiden Alternativen
dargestellt.
-
Die Begriffsbildung für den Begriff "Fusionsobjekt" leitet
sich insbesondere aus der synonymen Bezeichnung der
Verarbeitungseinheit 400 als Sensordatenfusionseinheit SDF
400 ab. Dies rührt daher, daß die von den Sensoren 100, 200
gelieferten Sensorobjekte in der Verarbeitungseinheit 400
"fusioniert" werden.
-
In Fig. 3 ist ein Ablaufdiagramm für den Datenaustausch
zwischen der Sensordatenfusion bzw. der Verarbeitungseinheit
400 und einem beispielhaft dargestellten Sensorsystem,
bestehend aus einem ersten Sensor 100 als FMCW-Radar und
einem zweiten Sensor 200 als Videosensor, dargestellt. Das
Ablaufdiagramm in Fig. 3 stellt einen sich wiederholenden
Ablauf der Umfelderkennung durch die Sensoren 100, 200 dar.
Dargestellt ist der Zustand nach einer möglicherweise
vorgesehenen Initialisierung, d. h. es ist der
"eingeschwungene" Zustand dargestellt. Die Erläuterung der
Fig. 3 beginnt daher willkürlich an einer Stelle der
Regelschleife.
-
Der erste Sensor 100 ist im Beispiel als Radarsensor
vorgesehen und liefert an die Verarbeitungseinheit 400 ein
erstes Sensorobjekt 110 und ein zweites Sensorobjekt 120.
Dies ist in Fig. 3 derart dargestellt, daß ein von dem
ersten Sensor 100 zu der Verarbeitungseinheit 400 weisender
Pfeil ein Kästchen mit (unter anderem) der Beschriftung 110
und 120 umfaßt. Weiterhin überträgt der erste Sensor 100 an
die Verarbeitungseinheit 400 eine erste Zeitinformation,
welche mit dem Bezugszeichen 99 versehen ist. Da die erste
Zeitinformation 99 ebenfalls an die Verarbeitungseinheit 400
übertragen wird, befindet sich auch das Bezugszeichen 99 in
dem Kästchen welches von dem Pfeil zwischen dem ersten
Sensor 100 und der Verarbeitungseinheit 400 umfaßt ist. In
entsprechender Weise sendet der zweite Sensor 200, welcher
im Beispiel als ein Videosensor ausgeführt ist, ein drittes
Sensorobjekt 210 und ein viertes Sensorobjekt 220 zusammen
mit einer zweiten Zeitinformation 199 an die
Verarbeitungseinheit 400. Dies ist analog zum Pfeil zwischen
dem ersten Sensor 100 und der Verarbeitungseinheit 400 durch
einen Pfeil zwischen dem zweiten Sensor 200 und der
Verarbeitungseinheit 400 dargestellt, welcher ein Kästchen
umfaßt, das mit den Bezugszeichen 210, 220 und 199
beschriftet ist.
-
Die erste Zeitinformation 99 und die zweite Zeitinformation
199 sind erfindungsgemäß insbesondere als Zeitstempel
vorgesehen, die von den Sensoren 100, 200 erzeugt werden,
und an die Verarbeitungseinheit 400 übertragen werden. Es
ist erfindungsgemäß für eine erste Variante der Erfindung
vorgesehen, daß solche Zeitstempel entweder von den Sensoren
100, 200 in "absoluter Weise" generiert werden, so daß sie
sich nicht auf einen Bezugspunkt beziehen. Es ist jedoch
erfindungsgemäß für eine zweite Variante der Erfindung
ebenfalls vorgesehen, daß die Verarbeitungseinheit 400 in
regelmäßigen oder in unregelmäßigen zeitlichen Abständen
eine "zentrale Zeitinformation" an die Sensoren 100, 200
sendet, so daß die erste und die zweite Zeitinformation 99,
199 als "relativer Zeitwert" in Bezug auf die zentrale
Zeitinformation der Verarbeitungseinheit 400 zu verstehen
sind. Die zentralen Zeitinformationen von der
Verarbeitungseinheit 400 an die Sensoren 100, 200 sind in
Fig. 3 als Kästchen mit dem Bezugszeichen 399 dargestellt.
-
Ausgehend von den Sensorobjekten 110, 120, 210, 220 werden
in der Verarbeitungseinheit 400 die Fusionsobjekte erzeugt.
Hierzu sind in der Fig. 3 beispielhaft ein erstes
Fusionsobjekt 410, ein zweites Fusionsobjekt 420 und ein
drittes Fusionsobjekt 430 dargestellt. Die
Verarbeitungseinheit 400 verfügt über Ressourcen zur
Verwaltung einer Mehrzahl von Fusionsobjekten 410, 420, 430.
Ein wesentlicher Aspekt eines Fusionsobjektes 410, 420, 430
ist eine Liste, bzw. eine Menge, die die Liste bzw. die
Menge der Sensorobjekte ist, die in dem Fusionsobjekt
enthalten sind bzw. die dem Fusionsobjekt zugeordnet sind.
Dies ist so zu verstehen, daß ein und dasselbe im
Fahrzeugumfeld befindliche Objekt 10, 20 - beispielsweise
das erste Objekt 10 - erfindungsgemäß beispielsweise von
mehreren Sensoren 100, 200, 300 erfaßt wird. Die das erste
Objekt 10 erfassenden Sensoren 100, 200, 300 würden
erfindungsgemäß jeweils ein Sensorobjekt an die
Verarbeitungseinheit 400 senden, welches zu dem ersten
Objekt 10 gehört bzw. dieses repräsentiert. In der
Verarbeitungseinheit 400 würde nun zur Bildung eines
Fusionsobjektes zum ersten Objekt 10 diese, von
verschiedenen Sensoren gelieferten Informationen, d. h.
Sensorobjekten, bezüglich des ersten Objektes 10 zu der eben
angesprochenen Liste der in einem Fusionsobjekt
zusammengefassten Sensorobjekte zusammengefaßt.
-
So umfaßt das erste Fusionsobjekt 410 beispielsweise das
erste Sensorobjekt 110 und das vierte Sensorobjekt 220, d. h.
das vom Radarsensor 100 erfaßte erste Sensorobjekt 110
entspricht aufgrund seiner Koordinaten und seiner
Geschwindigkeit dem vom Videosensor erfaßten vierten
Sensorobjekt 220 und wird daher in der Verarbeitungseinheit
400 zum ersten Fusionsobjekt 410 zusammengefaßt.
-
Im Beispiel umfaßt das zweite Fusionsobjekt 420 lediglich
das zweite Sensorobjekt 120 und das dritte Fusionsobjekt 430
umfaßt im Beispiel das dritte Sensorobjekt 210.
-
Ausgehend von dieser Konstellation werden nun die
verschiedenen erfindungsgemäßen Merkmale des Austauschs von
Daten zwischen den Sensoren 100, 200, 300 und der
Verarbeitungseinheit 400 anhand des in Fig. 3 dargestellten
Beispiels näher erläutert.
-
Die Fusionsobjekte 410, 420, 430 umfassen sogenannte
Attribute, wobei die Attribute der Fusionsobjekte 410, 420,
430 unter anderem die physikalischen Eigenschaften und
zugehörigen Qualitätsmaße der fusionierten Objektdaten sowie
einen Zeitstempel umfassen, der die Daten bzw. Attribute
einem Fusionstakt zuordnet. Einem Fusionstakt entspricht in
diesem Zusammenhang der Zeittakt, der in der
Verarbeitungseinheit 400 vorgesehen ist, die Daten
konsistent zu halten und zu aktualisieren. Eine weitere
Gruppe von Attributen der Fusionsobjekte 410, 420, 430
beschreibt die Zuordnung der Sensorobjekte zu den
Fusionsobjekten, beispielsweise über eine Sensorobjekt-
Identifikation (beispielsweise eine Nummer bzw. ein Name)
und einem relativen Zeitstempel, der den Zeitpunkt der
Originalmessung relativ zum zentralen Zeitstempel bzw. der
zentralen Zeitinformation 399 aus der Verarbeitungseinheit
400 beinhaltet. Erfindungsgemäß ist es insbesondere
vorgesehen, daß die Zeitinformationen 99, 199 und die
zentrale Zeitinformation 399 in jedem Meß- bzw.
Fusionszyklus oder auch Fusionstakt unabhängig davon
ausgetauscht werden, ob mit den Zeitinformationen 99, 199
bzw. der zentralen Zeitinformation 399 auch Objektdaten,
d. h. Informationen, die sich auf ein Sensorobjekt bzw. ein
Fusionsobjekt beziehen, verbunden sind. Auf diese Weise ist
eine bestmögliche Synchronisation zwischen der
Verarbeitungseinheit 400 und den Einzelsensoren 100, 200,
300 auf den Sensordatenfusionstakt gewährleistet. Die
Ungenauigkeiten liegen im Bereich der Übertragungszeiten des
Bussystems B und der Wartezeiten bei der Bearbeitung der
Daten.
-
In der Verarbeitungseinheit 400 wird nun ausgehend von den
Inhalten der Fusionsobjekte 410, 420, 430 entschieden,
welche Informationen und Daten zu welchem Sensor 100, 200,
300 zurückfließen. Die Basis hierfür bietet einerseits das a
priori Wissen, beispielsweise über die Güte der jeweiligen
Sensordaten und die Erfassungsbereiche der Sensoren,
andererseits die aktuelle Güteinformation, die sich auf eine
Messung in einem Sensor 100, 200 bezieht und von dem Sensor
mit dem Datensatz des Sensorobjekts an die
Verarbeitungseinheit 400 übertragen wird. Weiterhin ist die
Historie der Fusionsobjektdaten eine Entscheidungsgrundlage
dafür, welche Informationen und Daten zu welchem Sensor 100,
200, 300 zurückfließen. Die Berücksichtigung der Signalgüten
setzt die Kompatibilität der Daten und die Transformation
auf ein einheitliches Koordinatensystem voraus.
-
Im Beispiel der Fig. 3 ist es nun erfindungsgemäß so, daß
im ersten Fusionsobjekt 410 die Informationen des ersten
Sensorobjektes 110 und die Informationen des vierten
Sensorobjektes 220 vorliegen. Daher ist es erfindungsgemäß
in einer solchen Situation vorgesehen, daß von der
Verarbeitungseinheit 400 eine Qualitätsüberprüfung
durchgeführt wird. Dies wird in der Fig. 3 durch die mit
den Bezugszeichen 402 und 403 bezeichneten Kästchen
dargestellt, zu denen jeweils ausgehend vom mit dem
Bezugszeichen 410 bezeichneten Kästchen Pfeile weisen. In
der Qualitätsüberprüfung mit dem Bezugszeichen 402 wird
beispielsweise festgestellt, daß die y-Koordinate des
realen, in der Fahrzeugumgebung befindlichen Objekts, welche
durch das erste Fusionsobjekt 410 repräsentiert wird, durch
den zweiten Sensor, d. h. ein Videosensor, besser gemessen
wird, als durch den ersten Sensor, d. h. den Radarsensor. Von
daher wird der von dem zweiten Sensor 200 gemessene Wert für
die y-Koordinate des ersten Fusionsobjekts 410 an den ersten
Sensor 100 weitergeleitet, um den ersten Sensor 100 zu einer
genaueren bzw. allgemein einer weiteren Messung der y-
Koordinate seines dem ersten Fusionsobjekt 410 zugeordneten
ersten Sensorobjekts 110 zu bewegen. Damit der erste Sensor
100 erkennen kann, auf welches Sensorobjekt sich die von der
Verarbeitungseinheit 400 gesendete Information über die y-
Komponente bezieht, wird von der Verarbeitungseinheit
erfindungsgemäß zusätzlich zu dem Wert der y-Komponente noch
die Identifikation des betreffenden Sensorobjektes, d. h. in
dem im Beispiel betrachteten Fall des ersten Sensorobjektes
110 übermittelt. In ähnlicher Weise wird nach dem durch das
Bezugszeichen 403 repräsentierten Qualitätscheck bzw. der
Qualitätsüberprüfung die Geschwindigkeitskomponente in x-
Richtung an den zweiten Sensor 200, d. h. den Videosensor
übermittelt, weil der Wert für die
Geschwindigkeitskomponente in x-Richtung, der von dem Radar-
Sensor, d. h. dem ersten Sensor 100 geliefert wird, in der
Regel (a priori Wissen) besser ist, als der Wert für die x-
Komponente der Geschwindigkeit, die vom zweiten Sensor 200,
d. h. dem Videosensor, gemessen wird. Die Übermittlung der x-
Komponente der Geschwindigkeit an den zweiten Sensor 200
wird wiederum zusammen mit der Übermittlung einer
Identifikation für das entsprechende Sensorobjekt, d. h. in
dem im Beispiel betrachteten Fall für das vierte
Sensorobjekt 220 durchgeführt. In der Fig. 3 steht das
Bezugszeichen 111 für die Identifikation des ersten
Sensorobjekts 110, das Bezugszeichen 221 für die
Identifikation des vierten Sensorobjekts 220 und der Pfeil
ausgehend von der Qualitätsüberprüfung 402 über das Kästchen
mit dem Bezugszeichen 111 zum Kästchen mit dem Bezugszeichen
406 dient der Darstellung der Übertragung der Identifikation
111 des ersten Sensorobjekts 110 an den ersten Sensor 100.
Ebenso dient der Pfeil, ausgehend von der
Qualitätsüberprüfung im Kästchen mit dem Bezugszeichen 403
zum Kästchen mit dem Bezugszeichen 407, welcher das Kästchen
mit dem Bezugzeichen 221, d. h. die Identifikation für das
vierte Sensorobjekt 220 trägt, der Darstellung der
Übertragung der Identifikation 221 für das vierte
Sensorobjekt 220 an den zweiten Sensor 200. Die Übertragung
des Wertes der zuvor diskutierten y-Koordinate an den ersten
Sensor 100 wurde in Fig. 3 nicht gesondert dargestellt,
sondern ist als Übertragung zusammen mit der Identifikation
111 des ersten Sensorobjekts 111 zu verstehen. Ensprechend
ist die Übertragung der x-Komponente der Geschwindigkeit
zusammen mit der Übertragung der Identifikation 221 des
vierten Sensorobjekts 220 zu verstehen.
-
Das zweite Fusionsobjekt 420 umfaßt lediglich das zweite
Sensorobjekt 120. Daher wird die Identifikation 121 des
zweiten Sensorobjekts 120 an den ersten Sensor 100
zurückgegeben, welches durch einen Pfeil von dem mit dem
Bezugszeichen 420 versehenen Kästchen zum mit dem
Bezugszeichen 406 versehenen Kästchen dargestellt ist,
welcher ein Kästchen mit dem Bezugszeichen 121 für die
Identifikation des zweiten Sensorobjektes 120 umfaßt.
Ausgehend von der Zuordnung des zweiten Sensorobjekts 120
zum zweiten Fusionsobjekt 420 wird weiterhin in einem
Verfahrensschritt, welcher durch ein mit dem Bezugszeichen
404 versehenen Kästchen dargestellt ist, festgestellt, ob
das zweite Fusionsobjekt 420 in den Erfassungsbereich des
zweiten Sensors 200 eindringt bzw. einzudringen droht oder
nicht. Für diese beiden Alternativen hat das Kästchen mit
dem Bezugszeichen 404 in der Fig. 3 einen ersten Ausgang,
welcher durch einen Pfeil symbolisiert ist, der mit einem
Querstrich endet, um zu symbolisieren, daß die Verarbeitung
an dieser Stelle abbrechen kann. Die Verarbeitung bricht
dann ab, wenn festgestellt wird, daß das zweite
Fusionsobjekt 420 nicht in den Erfassungsbereich des zweiten
Sensors 200 eindringt. Wenn dies andernfalls jedoch der Fall
ist (d. h. das zweite Fusionsobjekt 420 dringt in den
Erfassungsbereich des zweiten Sensors 200 ein bzw. droht
einzudringen), wird an den zweiten Sensor 200 eine
Identifikation für ein weiteres zu erzeugendes Sensorobjekt
gesendet. Diese Identifikation für ein weiteres
Sensorobjekt, welches in der Sensorobjektliste, die vom
zweiten Sensors 200 an die Verarbeitungseinheit gesendet
wird, noch nicht enthalten ist, ist in der Fig. 3 mit dem
Bezugszeichen 231 dargestellt. Zusammen mit der
Identifikation 231 für ein weiteres Sensorobjekt, welches im
folgenden auch als (nicht dargestelltes) fünftes
Sensorobjekt bezeichnet wird, werden die zum zweiten
Fusionsobjekt 420 gehörenden Koordinatendaten an den zweiten
Sensor 200 gesendet. Diese Koordinatendaten umfassen
insbesondere die x- und die y-Komponente der Distanz und die
x- und die y-Komponente der Geschwindigkeit des zweiten
Fusionsobjekts 420.
-
In gleicher Weise wird ausgehend vom dritten Fusionsobjekt
430 die Identifikation 211 für das dritte Sensorobjekt 210an den zweiten Sensor 200 gesendet und in einem
Funktionsblock 405 die Entscheidung getroffen, ob das dritte
Sensorobjekt 210 bzw. das dritte Fusionsobjekt 430 in den
Erfassungsbereich des ersten Sensors 100 eindringen wird
oder nicht. Analog zum zweiten Fusionsobjekt 420 wird daher
im Falle des Eindringens in den Erfassungsbereich des ersten
Sensors 100 eine Identifikation 131 für ein (nicht
dargestelltes) sechstes Sensorobjekt zusammen mit den
Koordinatendaten des sechsten Sensorobjektes an den ersten
Sensor 100 gesendet.
-
Der Datenaustausch zwischen den Sensoren 100, 200, 300 und
der Verarbeitungseinheit 400 findet grundsätzlich unter
folgenden Gesichtspunkten statt:
Es wird eine Wiederfindung von Objekten im Sensor
durchgeführt, was durch den Austausch von Identifikationen
111, 221, 121, 211 von Sensorobjekten - diese
Identifikationen werden auch tracking-Nummern genannt -
geschieht, wenn keine Überlappung von Sensorbereichen
stattfindet.
-
Es wird eine Verbesserung der Genauigkeit der Erfassung der
Fahrzeugumwelt dadurch herbeigeführt, daß Einzelsignale, die
als zu einem Objekt zugehörig identifiziert wurden und eine
höhere Qualität als die Ursprungsdaten aufweisen, zur
sensorinternen Verwertung gezielt an den Sensor
zurückgeschickt werden, der dieses Objekt ebenfalls
identifiziert hat. Dazu wird ein Qualitätscheck bzw. eine
Qualitätsüberprüfung durchgeführt, vgl. die Beschreibung zu
den mit den Bezugszeichen 402 und 403 versehenen Kästchen in
Fig. 3.
-
Erfindungsgemäß wird weiterhin eine Verbesserung des
Ansprechverhaltens von Sensoren dadurch herbeigeführt, daß
dann Objektinformationen an einen Sensor - beispielsweise
der erste Sensor 100 -, der ein Objekt - beispielsweise das
erste Objekt 10 - noch nicht detektiert, weitergeleitet
werden, wenn das erste Objekt 10 von einem anderen Sensor -
beispielsweise der zweite Sensor 200 - detektiert wurde und
die prädizierte Bewegung des ersten Objekts 10 auf ein
bereits vorliegendes oder aber ein baldiges Eindringen des
ersten Objekts 10 in den Erfassungsbereich des ersten
Sensors 100 nahelegt. Der erste Sensor 100 kann dann das in
seinen Erfassungsbereich eindringende erste Objekt 10
schneller erkennen und interne Parameter, wie z. B. die
Filtereinstellungen, zielgerichtet initialisieren. Dies
bezeichnet man als Präkonditionierung des ersten Sensors
100. Dies ist in Fig. 3 für das zweite und dritte
Fusionsobjekt 420, 430 durch die Entscheidungsfindung in den
mit den Bezugszeichen 404 bzw. 405 bezeichneten Kästchen
dargestellt.
-
Erfindungsgemäß wird weiterhin eine Erhöhung der
Detektionsleistung dadurch bewirkt, daß Objekte, die im
gemeinsamen Erfassungsbereich von mehreren Sensoren liegen
und nicht von allen Sensoren detektiert werden, an solche
Sensoren gemeldet werden, die diese Objekte nicht
detektieren. Dies wird mit dem Ziel getan, die
Sensoraufmerksamkeit eines solchen, das Objekt nicht
detektierenden Sensors gezielt zu beinflussen und zu steuern
(Aufmerksamkeitssteuerung), beispielsweise durch Absenkung
von Schwellenwerten, durch die Verfeinerung der
Diskretisierung usw. Damit kann die Detektionsleistung der
Einzelsensoren erhöht werden.
-
Weiterhin ist erfindungsgemäß vorgesehen, das
erfindungsgemäße Verfahren zum Austausch von Daten zwischen
Sensoren 100, 200, 300 und der Verarbeitungseinheit 400 zur
Erkennung von Falschalarmen, von Sensorausfällen und/oder
von Abschattungen heranzuziehen. Objekte, die im gemeinsamen
Erfassungsbereich von mehreren Sensoren liegen und nicht von
allen Sensoren detektiert wurden, werden an die Sensoren
gemeldet, die sie nicht detektieren. Kann von einem Sensor
das Objekt dennoch nicht detektiert werden, ist diese
Information auf die Möglichkeiten einer Fehldetektion der
anderen Sensoren (Falschalarm), eines Sensorausfalls oder
einer Abschattung des Sensors gezielt zu untersuchen.
-
Die von der Zentrale 400 zu den Sensoren zu übertragenden
Informationen können erfindungsgemäß insbesondere mit einer
Priorisierung versehen werden, so daß bei einer Begrenzung
der Bandbreite, die über das Bussystem B übertragen werden
kann, der Datenumfang derart reduziert wird, daß lediglich
die am höchsten priorisierten, von der Verarbeitungseinheit
400 zu den Sensoren 100, 200, 300 zu übertragenden
Informationen über das Bussystem B übertragen werden. Daher
ist in der Fig. 3 vorgesehen, die an die Sensoren 100, 200
fließenden Informationen mit einer Priorisierungseinheit zu
versehen, die bezüglich der an den ersten Sensor 100 zu
übertragenden Informationen mit den Bezugszeichen 406
versehen ist und die hinsichtlich der an den zweiten Sensor
200 zu übertragenden Informationen mit dem Bezugszeichen 407
versehen ist.
-
In Fig. 4 ist ein Struktogramm des Auswertungsalgorithmus
von Sensorobjekten dargestellt. Der Algorithmus wird
erfindungsgemäß insbesondere in der Verarbeitungseinheit 400
durchgeführt. Es ist jedoch erfindungsgemäß auch vorgesehen,
verschiedene Verarbeitungsschritte des Auswertealgorithmus
in verteilten Systemen durchzuführen. In Fig. 4 sind
weiterhin die Sensoren 100, 200, 300 dargestellt. Die
Sensoren 100, 200, 300 liefern erste Daten, die in Fig. 4
durch einen Pfeil mit dem Bezugszeichen 409 dargestellt
sind, an die Verarbeitungseinheit 400. Die ersten Daten 409
werden in dem ersten Verarbeitungsschritt 408synchronisiert. Beim ersten Verarbeitungsschritt 408 wird
eine Synchronisierung der ersten Daten 409 auf einen
Basistakt der Verarbeitungseinheit 400 durchgeführt. Die
Details dieses Synchronisierungsschrittes sind insbesondere
in der gleichzeitig eingereichten deutschen Patentanmeldung
der gleichen Anmelderin, die den Titel "Verfahren zur
Synchronisation und Vorrichtung" trägt, dargestellt. Der
erste Verarbeitungsschritt 408, d. h. die Synchronisierung,
liefert, ausgehend von den insbesondere als Sensorobjekten
110, 120, 210, 220 vorliegenden ersten Daten 409, zeitlich
synchronisierte zweite Daten 411. Dies ist durch einen mit
dem Bezugszeichen 411 versehenen Pfeil ausgehend von dem
ersten Verarbeitungsschritt 408 dargestellt. Erfindungsgemäß
werden Daten verschiedener Umfeldsesoren 100, 200, 300 -
insbesondere in der Verarbeitungseinheit - im ersten
Verarbeitungsschritt 408 zunächst auf ein einheitliches
Koordinatensystem transformiert (Data-Alignment) und
zeitlich synchronisiert. Für jeden Sensor wird eine aktuelle
Sensorobjektliste mit Messobjekten erstellt.
-
Die zweiten Daten 411 werden zu einem zweiten
Verarbeitungsschritt 419 gesendet bzw. diesem zur Verfügung
gestellt. Der zweite Verarbeitungsschritt 419 wird im
folgenden auch als Assoziationsschritt 419 bezeichnet. Beim
zweiten Verarbeitungsschritt 419 wird die sogenannte
Datenassoziation durchgeführt, d. h. es wird versucht, die
Messobjekte einem oder mehreren bestehenden Fusionsobjekten
zuzuordnen. Erfolgt keine Zuordnung, wird ein neues
Fusionsobjekt generiert. Das Ergebnis der Zuordnung oder
Assoziation kann beispielsweise in einer (weiter unten
beschriebenen) Assoziationsmatrix 422 festgehalten werden,
in der alle möglichen Objekthypothesen (Zuordnung von
gemessenen zu vorhandenen Objekten bzw. Objekthypothesen)
registriert sind. Für jeden Sensortyp bzw. für jeden Sensor
existiert eine Spalte in der Assoziationsmatrix 422. Beim
zweiten Verarbeitungsschritt 419 werden dritte Daten 421
produziert, die einem dritten Verarbeitungsschritt 429 zur
Verfügung gestellt werden. Der dritte Verarbeitungsschritt
429 wird im folgenden auch als Fusionsschritt 429
bezeichnet. Die dritten Daten 421 umfassen insbesondere die
sogenannte Assoziationsmatrix 422. Beim dritten
Verarbeitungsschritt 429, bei dem die sogenannte Fusion
durchgeführt wird, werden vierte Daten 431 und fünfte Daten
432 erzeugt. Bei der Fusion, d. h. dem dritten
Verarbeitungsschritt 429 wird die Assoziationsmatrix
zeilenweise abgearbeitet und neue Fusionsobjekte bzw.
Fusiondaten durch Bildung von gewichteten Mittelwerten der
relevanten Objektattribute gebildet. Objekte bzw.
Objekthypothesen, die über einen bestimmten Zeitraum von
keinem Sensor mehr gemessen werden, werden verworfen. Die
vierten Daten 431 umfassen insbesondere eine sogenannte
Fusionsobjektliste 431 und werden dem zweiten
Verarbeitungsschritt 419 zur Verfügung gestellt. Die
weiterhin vom dritten Verarbeitungsschritt 429, d. h. der
Datenfusion 429, produzierten fünften Daten 432, welche
insbesondere sogenannte Trackingdaten 432 umfassen, werden
sowohl dem zweiten Verarbeitungsschritt 419 als auch einem
fünften Verarbeitungsschritt 450 zur Verfügung gestellt. Die
vierten Daten 431, d. h. die Fusionsobjektliste 431 wird,
ausgehend vom dritten Verarbeitungsschritt 429 auch einem
vierten Verarbeitungsschritt 440, einem sogenannten Merging-
Verarbeitungsschritt 440, der im folgenden auch als
Mergingschritt 440 bezeichnet wird, zur Verfügung gestellt.
Beim vierten Verarbeitungsschritt 440 werden die neu
berechneten Fusionsobjekte, die innerhalb eines (erst bei
Fig. 5 dargestellten) Fangbereichs liegen, zu einem Objekt
verschmolzen. Basis dafür ist - ähnlich wie bei der
Assoziation - ein Gating-Verfahren. Der vierte
Verarbeitungsschritt 440 produziert sechste Daten 441,
welche dem fünften Verarbeitungsschritt 450 zur Verfügung
gestellt werden, wobei der fünfte Verarbeitungsschritt 450
eine zeitliche Filterung der Objektdaten durchführt,
beispielsweise mit Tiefpass- oder Kalman-Filtern, wobei eine
Glättung in der Zeitdimension durchgeführt wird. Weiterhin
wird beim fünften Verarbeitungsschritt 450 eine Prädizierung
auf einen weiteren Zeitschritt vorgenommen. Die sechsten
Daten 441 umfassen insbesondere eine sogenannte verdichtete
Fusionsobjektliste. Beim fünften Verarbeitungsschritt 450,
d. h. der Filterung 450, werden siebte Daten 451 erzeugt, die
einem sechsten Verarbeitungsschritt 460 zur Verfügung
gestellt werden. Der sechste Verarbeitungsschritt 460 wird
im folgenden auch als Bewertungsschritt 460 bezeichnet. Die
siebten Daten 451 umfassen insbesondere eine gefilterte und
prädizierte Fusionsobjektliste. Beim sechsten
Verarbeitungsschritt 460 wird eine Plausibilisierung der
Objekte und eine Objektauswahl durchgeführt. Die
Plausibilisierung ist erfindungsgemäß insbesondere
funktionsspezifisch vorgesehen. Weiterhin werden beim
sechsten Verarbeitungsschritt 460 achte Daten 461 zur
Weiterleitung an die Sensoren 100, 200, 300 generiert bzw.
ausgewählt. Die achten Daten 461 werden im folgenden auch
als Rückmeldedaten 461 bezeichnet. Weiterhin findet
erfindungsgemäß beim sechsten Verarbeitungsschritt 460 ein
optionaler Datenaustausch mit wenigstens einer
nachgeschalteteten Informations-, Komfort- oder
Sicherheitsfunktion 500 statt, die die Umfeldinformationen
als Eingangsgrößen nutzt. Diese nachgeschaltete Funktion
entspricht dem Regler 500 bzw. ist im Regler 500
lokalisiert. Erfindungsgemäß ist es bei einer besonders
vorteilhaften Ausführungsform insbesondere vorgesehen, beim
sechsten Verarbeitungsschritt 460 eine Priorisierung der
Fusionsobjekte durchzuführen, wie sie nachfolgend
beschrieben wird.
-
In Fig. 5 ist ein erstes Beispiel einer Meßsituation
dargestellt. Es ist ein Koordinatensystem mit einer x-Achse
und einer y-Achse dargestellt, welches ein für mehrere
Sensoren gemeinsames Koordinatensystem des Fahrzeugumfeldes
darstellt. Hierbei stellen die x-Koordinate und die y-
Koordinate beispielsweise Ortskoordinaten oder
Winkelkoordinaten oder Geschwindigkeitskoordinaten dar.
-
Der erste Sensor 100 "sieht" ein Objekt - beispielsweise das
erste Objekt 10 - zu einem ersten (nicht dargestellten)
Zeitschritt an einer ersten Position, die mit dem
Bezugszeichen 101 bezeichnet ist. Das beim ersten
Zeitschritt vom ersten Sensor 100 bei 101 erkannte Objekt
wird in einem darauffolgenden zweiten (ebenfalls nicht
dargestellten) Zeitschritt an einer mit dem Bezugszeichen
102 bezeichneten Position erwartet (Prädiktion). In gleicher
Weise wird ein Objekt vom zweiten Sensor 200 beim ersten
Zeitschritt an der mit dem Bezugszeichen 201 bezeichneten
Position 201 erkannt und beim zweiten Zeitschritt an der mit
dem Bezugszeichen 202 bezeichneten Position erwartet. Der
dritte Sensor 300 erkennt zwei Objekte: ein Objekt wird zum
ersten Zeitpunkt an der mit dem Bezugszeichen 301
bezeichneten Position erkannt und zum zweiten Zeitpunkt an
der mit dem Bezugszeichen 302 bezeichneten Position erwartet
und ein weiteres Objekt wird zum ersten Zeitpunkt an der mit
dem Bezugszeichen 303 bezeichneten Position erkannt und zum
zweiten Zeitpunkt an der mit dem Bezugszeichen 304
bezeichneten Position erwartet.
-
Ausgehend von den - mittels Sensorobjekten 110, 120, 210,
220 - von den Sensoren 100, 200, 300 an die
Verarbeitungseinheit 400 übertragenen Daten, werden die
Fusionsobjekte durch Assoziation von Sensorobjekten
ausgehend von den präzidierten Daten für die Positionen
(102, 202, 302, 304) der gemessenen Objekte der einzelnen
Sensoren definiert. Hierbei finden sogenannte
Assoziationsgates Verwendung. In Fig. 5 ist ein erstes
Assoziationsgate mit dem Bezugszeichen 423 und ein zweites
Assoziationsgate mit dem Bezugszeichen 424 dargestellt.
-
In Fig. 6 ist die Assoziationsmatrix für das erste Beispiel
dargestellt, in Fig. 7 die Darstellung der Matrix nach der
Fusion für das erste Beispiel dargestellt und in Fig. 8 die
Darstellung der Matrix nach dem Merging für das erste
Beispiel dargestellt. Da die mit den Bezugzeichen 102, 202
und 304 versehenen erwarteten Positionen für den zweiten
Zeitschritt innerhalb des ersten Assoziationsgates 423
liegen, führt deren Auswertung zu der Hypothese, dass nur
ein einziges Objekt (aufgrund von Meßfehlern) an
(geringfügig) unterschiedlichen Positionen von
unterschiedlichen Sensoren erkannt wurde. Daher werden die
mit den Bezugszeichen 102, 202, 304 versehenen Positionen
bzw. die entsprechenden Sensorobjekte einem Fusionsobjekt
zugeordnet, welches zum ersten Zeitschritt an der mit dem
Bezugszeichen 474 bezeichneten Position gemessen wurde, für
welches zum zweiten Zeitschritt die mit dem Bezugszeichen
475 bezeichnete Position erwartet wird (Prädiktion) und für
welches zum zweiten Zeitschritt die mit dem Bezugszeichen
476 bezeichnete Position "gemessen" bzw. berechnet wird.
Daher ist in der Fig. 6, die die Assoziationsmatrix 422 für
das erste Beispiel darstellt, eine Zeile für das
Fusionsobjekt vorgesehen, welches beim zweiten Zeitschritt
an der mit dem Bezugszeichen 476 bezeichneten Position
vermutet wird. Entsprechend wird die mit dem Bezugszeichen
302 versehene Position bzw. das entsprechende Sensorobjekt
einem Fusionsobjekt zugeordnet, welches zum ersten
Zeitschritt an der mit dem Bezugszeichen 471 bezeichneten
Position gemessen wurde, für welches zum zweiten Zeitschritt
die mit dem Bezugszeichen 472 bezeichnete Position erwartet
wird (Prädiktion) und für welches zum zweiten Zeitschritt
die mit dem Bezugszeichen 473 bezeichnete Position
"gemessen" bzw. berechnet wird. Daher ist in der Fig. 6,
eine Zeile für das Fusionsobjekt vorgesehen, welches beim
zweiten Zeitschritt an der mit dem Bezugszeichen 473
bezeichneten Position vermutet wird. Die Assoziationsmatrix
422 stellt erfindungsgemäß eine Verbindung zwischen einem
Fusionsobjekt und einem oder mehreren Sensorobjekten her. In
der Fig. 6 sind zur Darstellung dieser Verbindung lediglich
die Bezugszeichen angegeben, die den Positionen der
entsprechenden Objekten entsprechen. In der Praxis ist
erfindungsgemäß insbesondere vorgesehen, dass zur
Herstellung der durch die Assoziationsmatrix repräsentierten
Verbindungen zwischen Sensorobjekten und Fusionsobjekten
deren Identifikationen herangezogen werden. Zur Erstellung
der Assoziationsmatrix 422 wird ein globales, statistisches
Abstandsmaß, beispielsweise die Mahalanobis-Norm, oder auch
signalspezifische Abstandsmaße d zwischen jedem Sensorobjekt
und jedem Fusionsobjekt berechnet, beispielsweise mittels
des Euklidischen Abstands. Die Abstandsmaße sind in der
Regel im Phasenraum definiert, d. h. sie können neben den
Positionsdaten auch Geschwindigkeitsdaten beinhalten. Die in
der Fig. 5 und der (weiter unten beschriebenen) Fig. 9
dargestellten Beispiele umfassen der Einfachheit halber nur
Positionsdaten. Eine mögliche Zuordnung (d. h. eine
Objekthypothese) zwischen dem Sensorobjekt und dem
Fusionsobjekt wird angenommen, sofern der Abstand d kleiner
als ein Schwellwert (Gate oder Assoziationsgate 423, 424)
ist bzw. durch einen statistischen Test dem Objekt mit einer
Konfidenz zugeordnet werden kann bzw. alle Abstände d
kleiner als die Schwellenwerte sind. Zusätzlich kann ein
Qualitätsmaß für die Güte der Assoziation vergeben werden,
das beispielsweise angibt, wieviel kleiner der Abstand d als
der Schwellwert ist. Die Schwellwerte können für jedes
Signal bzw. für jedes Objekt verschieden sein. Darüber
hinaus können die Schwellenwerte abhängig von Größen wie dem
Meßfehler der Einzelmessung und des Fusionsobjekts, der
Entfernung der Objekte vom eigenen Fahrzeug, der
Relativgeschwindigkeit der Objekte, der Zuordnung zum
Fahrschlauch des eigenen Fahrzeugs etc. sein. Wird eine
Zuordnung gefunden, erfolgt ein Eintrag in die
Assoziationsmatrix. Die Zeilen in der Assoziationsmatrix
entsprechen beispielsweise dem Index des Fusionsobjektes in
der Fusionsobjektliste und die Spalten entsprechen
beispielsweise den Sensoren 100, 200, 300 bzw. dem
Sensortyp. Ein Eintrag in der Assoziationsmatrix besteht zum
Beispiel aus dem Abstand d, aus einem Wert für die Güte der
Assoziation, der Objektnummer des Sensorobjektes, einer
Querreferenz auf die Stelle, an der das Sensorobjekt in der
sensorspezifischen Objektliste zu finden ist, und einer
"belegt"-Marke. Ist eine Position in der Assoziationsmatrix
bereits belegt, wird das Sensorobjekt an die
Fusionsobjektliste angehängt und der Zähler für die Anzahl
aktueller Fusionsobjekte inkrementiert. Das beschriebene
Verfahren schließt bewußt eine Mehrfachzuordnung von
Sensorobjekten zu bestehenden Fusionsobjekten ein
(Multihypothesen). Zur Effizienzsteigerung können
(beispielsweise nach Abstand) sortierte Fusionsobjektlisten
bzw. Sensorobjektlisten verwendet werden, deren Bearbeitung
bei Überschreitung einer Schwelle (z. B. bzgl. des Abstands),
nach der sicher keine Zuordnung mehr stattfinden wird,
abgebrochen werden kann (eine Art "Gating"). Dasselbe gilt
auch für die nachfolgend beschriebene Verschmelzung
(Merging) von Fusionsobjekten.
Beispiel für eine Ausprägung des Datenassoziationsalgorithmus
-
In Fig. 5 ist außer den Assoziationsgates 423, 424 ein
Merging-Gate 442 dargestellt, welches im folgenden auch als
Fangbereich 442 bezeichnet wird. In dem Fusionsmodul, d. h.
dem dritten Verarbeitungsschritt 429, werden neue
Fusionsobjektattribute für die Objekte in der Fusionsliste
berechnet. Dies geschieht durch zeilenweise Abarbeitung der
Assoziationsmatrix 422, in der alle nötigen Attribute
vorhanden sind, die die Gewichtung der neuen Fusionsobjekte
und den Zugriff auf die Originalmessdaten gewährleisten.
Tragen mehrere Sensoren zu einem Fusionsobjekt bei, wird
eine Gewichtung der Einzelsignale der Sensoren herangezogen.
Die Gewichte werden aus der Güte der Assoziation und der
Sensordatenqualität bestimmt. Trägt nur ein Sensor zum
Fusionsobjekt bei, erfolgt keine explizite Gewichtung, eine
indirekte Gewichtung findet im anschließenden
Verschmelzungsschritt (d. h. der vierte Verarbeitungsschritt
440) bzw. im Filterungsschritt (d. h. der fünfte
Verarbeitungsschritt 450) statt. Im Fusionsmodul, d. h. dem
dritten Verarbeitungsschritt wird ein weiteres
Fusionsobjekt-Attribut, die Objektplausibilität, bestimmt.
Die Objektplausibilität wird zum Beispiel inkrementiert,
sobald ein Fusionsobjekt durch mindestens ein Sensorobjekt
bestätigt wurde. Das Inkrement hängt dabei von der Anzahl
assoziierter Sensorobjekte sowie vom Verhältnis der
Zykluszeit der Sensorfusion zu der Zykluszeit eines
Sensortaktes (d. h. der Aktualität der Sensorobjekt-Daten)
ab. Wird ein Fusionsobjekt im aktuellen Fusionszyklus nicht
bestätigt, wird die Objektplausibilität dekrementiert. Das
Inkrement und Dekrement der Objektplausibilität kann
darüberhinaus auch vom aktuellen Wert der
Objektplausibilität abhängen.
-
Nach dem dritten Verarbeitungsschritt 429, d. h. der Fusion,
wird die Fusionsobjektliste nochmals abgearbeitet, um
Objekte zu finden und zu fusionieren, die innerhalb eines
Fangbereichs liegen. Damit werden implizit Zuordnungen von
Sensorobjekten des gleichen Sensortyps zu einem
Fusionsobjekt berücksichtigt, sowie Objekthypothesen, die
sich aufgrund der fusionierten Daten nur noch wenig
unterscheiden, zu einem Fusionsobjekt zusammengefaßt. Die
Vorgehensweise ist ähnlich wie die bei der Assoziation
beschrieben. Allerdings sind die Merging-Gates 442 im
allgemeinen kleiner als die Assoziationsgates 423, 424 und
jeweils zwei Objekte, die innerhalb eines Fangbereichs 442
liegen, werden sofort zu einem neuen Objekt verschmolzen
(fusioniert bzw. "gemergt"). Bei Verschmelzung der Objekte
kann die jeweilige Signalgüte zur Gewichtung der
Einzelsignale herangezogen werden.
-
Entsprechend umfaßt die (um die Sensorobjekte verkleinerte)
Assoziationsmatrix 422, die in Fig. 7 und Fig. 8
dargestellt ist, die gleiche Anzahl von Objekten, nämlich
zwei, weil die erkannten Objekte an den mit den
Bezugszeichen 476 und 473 bezeichneten Positionen sich
nicht nahe genug kommen, um in einen Fangbereich 442
hineinzupassen. Eine Zusammenfassung der Objekte im vierten
Verarbeitungsschritt 440 fand daher im ersten Beispiel nicht
statt.
-
Anders sieht die Situation im in den Fig. 9 bis 12
dargestellten zweiten Beispiel aus. In Fig. 9 ist ein
zweites Beispiel einer Meßsituation dargestellt. Es ist
wieder ein Koordinatensystem mit einer x-Achse und einer y-
Achse dargestellt. Die x-Koordinate und die y-Koordinate
stellen wiederum beispielsweise Ortskoordinaten oder
Winkelkoordinaten oder Geschwindigkeitskoordinaten dar.
-
Der erste Sensor 100 "sieht" ein Objekt - beispielsweise das
erste Objekt 10 - zu einem ersten (nicht dargestellten)
Zeitschritt an einer ersten Position, die mit dem
Bezugszeichen 111 bezeichnet ist. Das beim ersten
Zeitschritt vom ersten Sensor 100 bei 101 erkannte Objekt
wird in einem darauffolgenden zweiten (ebenfalls nicht
dargestellten) Zeitschritt an einer mit dem Bezugszeichen
112 bezeichneten Position erwartet (Prädiktion). In gleicher
Weise wird ein Objekt vom zweiten Sensor 200 beim ersten
Zeitschritt an der mit dem Bezugszeichen 211 bezeichneten
Position erkannt und beim zweiten Zeitschritt an der mit dem
Bezugszeichen 212 bezeichneten Position erwartet. Der dritte
Sensor 300 erkennt wiederum zwei Objekte: ein Objekt wird
zum ersten Zeitpunkt an der mit dem Bezugszeichen 311
bezeichneten Position erkannt und zum zweiten Zeitpunkt an
der mit dem Bezugszeichen 312 bezeichneten Position erwartet
und ein weiteres Objekt wird zum ersten Zeitpunkt an der mit
dem Bezugszeichen 313 bezeichneten Position erkannt und zum
zweiten Zeitpunkt an der mit dem Bezugszeichen 314
bezeichneten Position erwartet. Das erste Assoziationsgate
ist wiederum mit dem Bezugszeichen 423 und ein zweites
Assoziationsgate mit dem Bezugszeichen 424 bezeichnet.
-
In Fig. 10 ist die Assoziationsmatrix 422 für das zweite
Beispiel dargestellt, in Fig. 11 die Darstellung der Matrix
nach der Fusion für das zweite Beispiel dargestellt und in
Fig. 12 die Darstellung der Matrix nach dem Merging für das
zweite Beispiel dargestellt. Da die mit den Bezugzeichen
112, 212 und 314 versehenen erwarteten Positionen für den
zweiten Zeitschritt innerhalb des ersten Assoziationsgates
423 liegen, führt deren Auswertung zu der Hypothese, dass
nur ein einziges Objekt (aufgrund von Meßfehlern) an
(geringfügig) unterschiedlichen Positionen von
unterschiedlichen Sensoren erkannt wurde. Daher werden die
mit den Bezugszeichen 112, 212, 314 versehenen Positionen
bzw. die entsprechenden Sensorobjekte einem Fusionsobjekt
zugeordnet, welches zum ersten Zeitschritt an der mit dem
Bezugszeichen 484 bezeichneten Position gemessen wurde, für
welches zum zweiten Zeitschritt die mit dem Bezugszeichen
485 bezeichnete Position erwartet wird (Prädiktion) und für
welches zum zweiten Zeitschritt die mit dem Bezugszeichen
486 bezeichnete Position "gemessen" bzw. berechnet wird.
Daher ist in der Fig. 10, die die Assoziationsmatrix 422
für das zweite Beispiel darstellt, eine Zeile für das
Fusionsobjekt vorgesehen, welches beim zweiten Zeitschritt
an der mit dem Bezugszeichen 485 bezeichneten Position
vermutet wird. Entsprechend wird die mit dem Bezugszeichen
312 versehene Position bzw. das entsprechende Sensorobjekt
einem Fusionsobjekt zugeordnet, welches zum ersten
Zeitschritt an der mit dem Bezugszeichen 481 bezeichneten
Position gemessen wurde, für welches zum zweiten Zeitschritt
die mit dem Bezugszeichen 482 bezeichnete Position erwartet
wird (Prädiktion) und für welches zum zweiten Zeitschritt
die mit dem Bezugszeichen 483 bezeichnete Position
"gemessen" bzw. berechnet wird. Daher ist in der Fig. 10,
eine Zeile für das Fusionsobjekt vorgesehen, welches beim
zweiten Zeitschritt an der mit dem Bezugszeichen 482
bezeichneten Position vermutet wird. In der Fig. 10 sind
wiederum lediglich die Bezugszeichen angegeben, die den
Positionen der entsprechenden Objekten entsprechen, obwohl
die Assoziationsmatrix 422 noch weitere Informationen
umfaßt. Im zweiten Beispiel ist es nun so, dass bei dem
Assoziationsschritt 419 weitere Zeilen (zweite und dritte
Zeile der in Fig. 10 abgebildeten Assoziationsmatrix)
eingefügt wurden, weil nicht klar entschieden werden konnte,
ob es sich bei den durch die mit den Bezugszeichen 112 und
312 bezeichneten Positionen repräsentierten Objekte um ein
einziges Objekt handelt, oder um zwei. Hierdurch wurde es
notwendig, eine Zeile, die in Fig. 10 mit dem Bezugszeichen
489 versehen ist, einzufügen und so eine "hypothetisches"
Fusionsobjekt zur Repräsentation der zusätzlichen
Objekthypothese "zwei getrennte Objekte" zu generieren. In
Fig. 11 und 12 sind die (wiederum verkleinerten)
Assoziationsmatrizen nach dem Fusionsschritt bzw. nach dem
Merging-Schritt dargestellt. Erkennbar ist, dass der
Merging-Schritt zu einer Zusammenfassung der drei noch nach
dem Fusionsschritt vorhandenen Fusionsobjekte führt, weil
alle Positionen der Objekte zum zweiten Zeitschritt
(Positionen, die mit den Bezugszeichen 486 und 483bezeichnet sind) innerhalb des auch in Fig. 10
dargestellten Merging-Gates 442 liegen. Damit werden diese
Fusionsobjekte zum einzigen Fusionsobjekt zusammengefaßt,
welches zum zweiten Zeitpunkt an der mit dem Bezugszeichen
487 bezeichneten Position vermutet wird.
-
In Fig. 13 ist eine typische Situation dargestellt, die
auftritt, wenn mehrere Umfeldsensoren bzw. Sensoren
unterschiedliche Erfassungsbereiche aufweisen. In Fig. 13
ist mit dem Bezugszeichen 1 das Gerät bezeichnet, welches
verschiedene Sensoren, beispielsweise den ersten (in Fig.
13 nicht dargestellten) Sensor 100 und den zweiten (in Fig.
13 ebenfalls nicht dargestellten) Sensor 200, aufweist. Das
Gerät 1 ist erfindungsgemäß insbesondere als ein
Kraftfahrzeug 1 vorgesehen, welches die Sensoren 100, 200
aufweist. Dargestellt ist ausgehend vom Fahrzeug 1 ein
erster Erfassungsbereich 150 eines Sensors, beispielsweise
des ersten Sensors 100, und ein zweiter Erfassungsbereich
250 eines Sensors, beispielsweise des zweiten Sensors 200.
Weiterhin ist in Fig. 13 ein erstes Objekt 10 und ein
zweites Objekt 20 dargestellt, wobei es sich bei den
Objekten insbesondere um weitere Kraftfahrzeuge handelt.
Zwischen den Erfassungsbereichen 150, 250, die im folgenden
auch Detektionsbereiche 150, 250 genannt werden, ist
(beidseitig) eine Detektionslücke 160 dargestellt, d. h. ein
Bereich für den keiner der Sensoren 100, 200 ein Signal
liefern würde, falls sich in der Detektionslücke 160 ein
Objekt 10, 20 befinden würde. In Fig. 13 ist die Situation
dargestellt, dass sich das erste Objekt 10 im ersten
Erfassungsbereich 150 befindet und dabei ist, diesen zu
verlassen, währenddem das zweite Objekt 20 sich im zweiten
Erfassungsbereich 250 befindet und ebenfalls dabei ist,
diesen zu verlassen. In Fig. 13 ist daher ein erster
Austrittsbereich 152 und ein zweiter Austrittsbereich 252
dargestellt, wobei der erste Austrittsbereich 152 die Stelle
bzw. den Bereich darstellt, an der bzw. an dem das erste
Objekt 10 aus dem ersten Detektionsbereich 150 austritt und
wobei der zweite Austrittsbereich 252 die Stelle bzw. den
Bereich darstellt, an der bzw. an dem das zweite Objekt 20
aus dem zweiten Detektionsbereich 252 austritt.
Erfindungsgemäß sind die Objekte 10, 20 in der
Verarbeitungseinheit 400 als Fusionsobjekte, beispielsweise
als das erste und das zweite Fusionsobjekt 410, 420
repräsentiert. Es ist damit erfindungsgemäß möglich, die
Detektionslücke 160 derart zu "überbrücken", dass die
Bewegungen der Objekte 10, 20 relativ zu den
Erfassungsbereichen 150, 250 geschätzt (prädiziert) werden
und somit auch abschätzbar ist, ob und wenn ja wann und wo
eines der Objekte 10, 20, welches einen Erfassungsbereich
150, 250 gerade verläßt wieder in einen (anderen)
Erfassungsbereich 150, 250 eintritt. Daher sind in der Fig.
13 ein erster Eintrittsbereich 251, der die geschätzte
Stelle angibt, wo das erste Objekt 10 in den zweiten
Detektionsbereich 250 eintritt, und ein zweiter
Eintrittsbereich 151, der die geschätzte Stelle angibt, wo
das zweite Objekt 20 in den ersten Detektionsbereich 150
eintritt, dargestellt.
-
Erfindungsgemäß werden in den verschiedenen
Verarbeitungsschritten 408 bis 460 in der
Verarbeitungseinheit 400 die Sensorobjekte von verschiedenen
Sensoren gemeinsam verarbeitet und als Fusionsobjekte
verwaltet. Ein Datensatz eines getrackten Fusionsobjekts
bzw. einer Objekthypothese besteht unter anderem aus der
Position, der Geschwindigkeit, der Beschleunigung sowie
einer Objektplausibilität. Darüber hinaus wird angenommen,
dass das Fusionsobjekt schon über etliche Detektionszyklen
verfolgt wurde und die Historie des Fusionsobjekts, d. h.
seine "Tracking-Daten", in parametrischer, modellgestützter
Form, zum Beispiel über Kalman-Filter-Koeffizienten,
vorliegt. Außerdem wird vorausgesetzt, dass die
Detektionsbereiche 150, 250 der Einzelsensoren bekannt sind
und in mathematischer Form beschrieben sind. Die Ränder der
Detektionsbereiche 150, 250 müssen dabei nicht scharf
begrenzt sein, sondern können durch Toleranzbänder
beschrieben sein. Die Plausibilität ist ein Maß für die
Zuverlässigkeit der Objekthypothese, wobei beispielsweise
eine Zahl zwischen null und eins die Plausibilität angibt
und wobei der Wert null für die Plausibilität einer
unwahrscheinlichen (und zu verwerfenden) Objekthypothese
entspricht und wobei der Wert eins für die Plausibilität
einer sehr wahrscheinlichen Objekthypothese entspricht. Die
Plausibilität einer Objekthypothese, d. h. eines
Fusionsobjekts, wird durch Inkrementieren bzw.
Dekrementieren in jedem Zyklus des Algorithmus neu
berechnet. Die Größe des Inkrements bzw. des Dekrements ist
variabel und bestimmt wesentlich den Lebenszyklus einer
Objekthypothese. Die Tatsache, dass beispielsweise das erste
Objekt 10 in Fig. 13 den ersten Detektionsbereich 150
verläßt, ist in der Fusionsobjekt-Repräsentation innerhalb
der Verarbeitungseinheit 400 derart repräsentiert, dass
beispielsweise die Objektbewegung des ersten Fusionsobjekts
410 aus seiner Historie, d. h. seinen Tracking-Daten, bis zum
nächsten oder einem späteren erwarteten Meßwert prädiziert
wird und ein Überschreiten der Begrenzung des ersten
Detektionsbereichs 150 festgestellt wird. Liegt die
vorausbestimmte Position außerhalb der Bereichsgrenzen des
ersten Detektionsbereichs 150, wird das Objekt 10 bzw.
dessen Datenrepräsentation in Form des ersten Fusionsobjekts
410 den ersten Detektionsbereich 150 verlassen. Das mögliche
Wiedereintreten in den benachbarten zweiten
Detektionsbereich 250 wird dadurch bestimmt, dass ausgehend
vom berechneten ersten Austrittsbereich 152 die erwartete
Trajektorie soweit in die Zukunft prädiziert wird, bis ein
Eintritt in den zweiten Detektionsbereich 250 zu erwarten
ist. Dies ist beispielsweise durch den Schnittbereich der
erwarteten Trajektorie mit der Bereichsgrenze des zweiten
Detektionsbereichs 250 definiert. Durch die Unsicherheit der
Prädiktion un der zugrundeliegenden Fusionsobjekt-Daten
sowie durch eventuell vorliegende Informationen über die
Objektdimensionen wird stets ein Bereich und nicht ein genau
definierter Punkt berechnet, in dem der Austritt aus dem
ersten Detektionsbereichs 150 (erster Austrittsbereich 152)
bzw. der Eintritt in den zweiten Detektionsbereich 250
(erster Eintrittsbereich 251) stattfindet bzw. erwartet
wird. Gibt es keinen solchen Schnittbereich, d. h. solche
Eintrittsbereiche 251, 151 bzw. Austrittsbereiche 152, 252,
oder liegt der erwartete Wiedereintrittszeitpunkt außerhalb
vorbestimmter zeitlicher Grenzen (was bedeutet, dass ein
Wiedereintritt in einen anderen Detektionsbereich nicht zu
erwarten ist), wird das erste Objekt 10 mit einem
Standarddekrement "deplausibilisiert", d. h. der Wert seiner
Plausibilität wird auf vorbestimmte Weise verringert. Dieser
Fall ist in Fig. 13 nicht dargestellt. Im anderen (in Fig.
13 dargestellten) Fall wird die maximale Zeitdauer bestimmt,
die bis zu einem möglichen Eintritt in den zweiten
Detektionsbereich voraussichtlich verstreichen wird, was
beispielsweise durch Division der längsten möglichen Strecke
in der Detektionslücke 160 durch die Relativgeschwindigkeit
geschieht. Ausgehend vom Wert der aktuellen Plausibilität,
der bekannten Sensorzykluszeit, d. h. die Taktzeit mit der
die beteiligten Sensoren arbeiten, und der maximalen
Zeitdauer des Objekts 10 in der Detektionslücke 160 kann das
Plausibilitätsdekrement dergestalt verringert werden, dass
das Objekt bzw. die Objekthypothese nicht verworfen wird,
solange es sich voraussichtlich in der Detektionslücke 160
befindet. Die Berechnung des erwarteten Eintrittsbereichs
und des Plausibilitätsdekrements wird bei jeder Wiederholung
des Algorithmus unter Berücksichtigung der Geschwindigkeit
und Gierbewegung des Fahrzeugs 1 neu durchgeführt. Wird das
erste Objekt 10 nicht an der vorausbestimmten Stelle und zur
vorausbestimmten Zeit im zweiten Detektionsbereich 250
detektiert, so wird die Objekthypothese verworfen. Wird das
erste Objekt 10 an der vorausbestimmten Stelle und zu
vorausbestimmten Zeit im zweiten Detektionsbereich 250
detektiert, so wird es mit dem alten Objekt identifiziert.
Insbesondere für Sensoren, die Geschwindigkeit und
Beschleunigung von Objekten nicht direkt messen, ist damit
eine verbesserte und schnellere Signaldynamik des
Fusionsobjekts beim Wiedereintritt in den zweiten
Detektionsbereich 250 möglich, da keine ungenauen
Schätzungen zur Filterinitialisierung durchgeführt werden
müssen, sondern auf bessere, prädizierte Schätzwerte
zurückgegriffen werden kann. Dies kommt daher, weil die
Signalgüten von Fusionsobjekten (die auch die Information
der Historie des Objekts umfassen) in der Regel größer sind
als die Signalgüten von Sensorobjekten. Die nachgeschaltete
Fahrfunktion, die in der Regel in dem Regler 500 lokalisiert
ist, kann die verbesserten Signalgüten des Fusionsobjekts
beim Wiedereintritt in den zweiten Detektionsbereich 250
nutzen, indem schneller und zuverlässiger reagiert wird.
Dadurch wird die Datenqualität erhöht, was zu einer
Verbesserung der Robustheit und Zuverlässigkeit der
nachgeschalteten Fahrfunktionen beiträgt. Erfindungsgemäß
ist bei einer vorteilhaften Ausführungsform der Erfindung
insbesondere (vgl. die Erklärungen zu Fig. 3) vorgesehen,
dass zwischen der Verarbeitungseinheit 400 und den Sensoren
100, 200, 300 ein Austausch von Objektinformationen derart
vorgesehen ist, dass solche Objektinformationen an die
Sensoren 100, 200,300 gesendet werden. Wenn in diesem
Zusammenhang dem zweiten Sensor 200 Informationen über den
Eintritt des ersten Objekts 10 in den zweiten
Detektionsbereich 250 zugeführt werden, so kann dieser
Sensor das erste Objekt schneller, sicherer und genauer
detektieren. Der beschriebene Algorithmus zur Überbrückung
von Detektionslücken 160 kann mit kleinen Modifikationen
auch auf Probleme der Objektverfolgung bei temporären
Verdeckungen ausgedehnt werden.
-
In Fig. 14 ist das System zur Verarbeitung von Sensordaten
in einer abgewandelten Darstellung dargestellt. Das System
umfaßt wieder den ersten Sensor 100, den zweiten Sensor 200
und den dritten Sensor 300. Jeder der Sensoren 100, 200, 300
ist mit dem Bussystem B verbunden, welches auch an der
Verarbeitungseinheit 400 angeschlossen ist. Ähnlich wie in
Fig. 2 ist auch in Fig. 14 das erste Objekt 10 und das
zweite Objekt 20 im Außenumfeld des (in Fig. 14 nicht
dargestellten) Kraftfahrzeugs 1 dargestellt, in welches der
erste Sensor 100, der zweite Sensor 200, der dritte Sensor
300, die Verarbeitungseinheit 400 und das Bussystem B
eingebaut sind. Ein Aspekt der vorliegenden Erfindung ist
es, die Objektgröße der Objekte 10, 20 zu bestimmen. Hierzu
sind in Fig. 14 als Beispiele für Objektgrößen beim ersten
Objekt 10 die Länge mit dem Bezugszeichen "L" und beim
zweiten Objekt 20 die Breite mit dem Bezugszeichen "W"
angegeben. Die Objekte 10, 20 - und damit auch ihre
Ausdehnung - werden von den Sensoren 100, 200, 300, wie
prinzipiell bei Fig. 2 beschrieben, erfaßt. Hier sind in
Fig. 14 die mit den Bezugszeichen 30, 31 versehenen Pfeile
der Einfachheit halber weggelassen. Ebenso sind die in Fig.
2 aufgeführten Sensorobjekte 110, 120, 210, 220 und
Fusionsobjekte 410, 420 in Fig. 14 der Einfachheit halber
weggelassen. Prinzipiell arbeitet jedoch auch das System
gemäß Fig. 14 in analoger Weise wie das System gemäß Fig.
2.
-
Einer der Aspekte der vorliegenden Erfindung bezieht sich
auf die Messung der Objektgröße der Objekten 10, 20. Die
Verarbeitungseinheit 400 verarbeitet die verschiedenen, von
den Sensoren 100, 200, 300 gelieferten Informationen, wobei
Objekthypothesen als Fusionsobjekte generiert werden. Zur
Bestimmung der Objektgröße von Objekten 10, 20 wird
erfindungsgemäß die gesamte zur Verfügung stehende
Sensorinformation herangezogen werden. Ziel ist die
räumliche und zeitliche Akkumulation von potentieller
Größeninformation. Ermittelte Objektgrößen können zur
Auswertung und Interpretation der Fahrumgebung herangezogen
werden. Die Objektgröße ist ein zuverlässiges Attribut eines
Fusionsobjekts, wobei die Objektgröße bei einer
Klassifikation von detektierten Objekten verwendet wird. Die
Objektgröße kann an Fahrzeugführungssysteme oder
Fahrerassistenzsysteme weitergeleitet werden und erhöht
maßgeblich den Detaillierungsgrad einer durch Sensoren
erfassten Fahrumgebung.
-
In Fig. 15 ist ein erfindungsgemäßes Gesamtverfahren zur
Bestimmung der Objektgröße dargestellt. Exemplarisch ist die
Berechnung der Breite eines Objekts dargestellt. In Fig. 15
ist beispielhaft folgende Situation dargestellt: Der erste
Sensor 100 liefert das erste Sensorobjekt 110 und der zweite
Sensor 200 liefert das dritte Sensorobjekt 210 und das
vierte Sensorobjekt 220. Dies ist in Fig. 15 durch Pfeile
dargestellt, wobei ein Pfeil vom mit dem Bezugszeichen 100
bezeichneten Kästchen zum mit dem Bezugszeichen 110
bezeichneten Kästchen und wobei jeweils ein Pfeil vom mit
dem Bezugszeichen 200 bezeichneten Kästchen zum den mit den
Bezugszeichen 210 und 220 bezeichneten Kästchen dargestellt
sind. Beim ersten Sensorobjekt 110, d. h. dem mit dem
Bezugszeichen 110 versehenen Kästchen, sind in Fig. 15 drei
Bezugszeichen 116, 117, 118 dargestellt, die jeweils
Meßwerte des ersten Sensorobjekts 110 darstellen. Hierbei
stellt im Beispiel das Bezugszeichen 116 sowohl die
Querablage des durch das erste Sensorobjekt 110
repräsentierten Objekts, d. h. seine Ausdehnung in y-
Richtung, als auch die Güte der Ermittlung der Querablage
des durch das erste Sensorobjekt 110 repräsentierten Objekts
dar. Das Bezugszeichen 117 stellt im Beispiel sowohl die
gemessene Breite des durch das erste Sensorobjekt 110
repräsentierten Objekts als auch die Güte der Ermittlung der
Breite des durch das erste Sensorobjekt 110 repräsentierten
Objekts dar, währenddem das Bezugszeichen 118 für weitere
vom ersten Sensor 100 gelieferte Meßwerte und Attribute
bezüglich des ersten Sensorobjekts 110 steht. Entsprechend
sind beim dritten Sensorobjekt 210, d. h. dem mit dem
Bezugszeichen 210 versehenen Kästchen, in Fig. 15 drei
Bezugszeichen 216, 217, 218 dargestellt, die jeweils
Meßwerte des dritten Sensorobjekts 210 darstellen. Hierbei
stellt im Beispiel das Bezugszeichen 216 sowohl die
Querablage des durch das dritte Sensorobjekt 210
repräsentierten Objekts, d. h. seine Ausdehnung in y-
Richtung, als auch die Güte der Ermittlung der Querablage
des durch das dritte Sensorobjekt 210 repräsentierten
Objekts dar. Das Bezugszeichen 217 stellt im Beispiel sowohl
die gemessene Breite des durch das dritte Sensorobjekt 210
repräsentierten Objekts als auch die Güte der Ermittlung der
Breite des durch das dritte Sensorobjekt 210 repräsentierten
Objekts dar, währenddem das Bezugszeichen 218 für weitere
vom zweiten Sensor 200 gelieferte Meßwerte und Attribute
bezüglich des dritten Sensorobjekts 210 steht. Entsprechend
sind beim vierten Sensorobjekt 220, d. h. dem mit dem
Bezugszeichen 220 versehenen Kästchen, in Fig. 15 drei
Bezugszeichen 226, 227, 228 dargestellt, die jeweils
Meßwerte des vierten Sensorobjekts 220 darstellen. Hierbei
stellt im Beispiel das Bezugszeichen 226 sowohl die
Querablage des durch das vierte Sensorobjekt 220
repräsentierten Objekts, d. h. seine Ausdehnung in y-
Richtung, als auch die Güte der Ermittlung der Querablage
des durch das vierte Sensorobjekt 220 repräsentierten
Objekts dar. Das Bezugszeichen 227 stellt im Beispiel sowohl
die gemessene Breite des durch das vierte Sensorobjekt 220repräsentierten Objekts als auch die Güte der Ermittlung der
Breite des durch das vierte Sensorobjekt 220 repräsentierten
Objekts dar, währenddem das Bezugszeichen 228 für weitere
vom zweiten Sensor 200 gelieferte Meßwerte und Attribute
bezüglich des vierten Sensorobjekts 220 steht. Es ist bei
den in den Sensorobjekten 110, 210, 220 gespeicherten
Informationen zu beachten, dass aufgrund der Tatsache, dass
bei manchen Sensorarten keine Breiteninformation zur
Verfügung steht, bei den diesen Sensoren entsprechenden
Sensorobjekten auch keine - oder nur ungenaue -
Breiteninformationen an den entsprechenden Stellen der
Sensorobjekte vorhanden sind.
-
In Fig. 15 weist jeweils ein Pfeil von den mit den
Bezugszeichen 116 und 117 repräsentierten Daten zu einem mit
dem Bezugszeichen 610 versehenen Kästchen. Ebenso weist in
Fig. 15 jeweils ein Pfeil von den mit den Bezugszeichen 216
und 217 repräsentierten Daten zu einem mit dem Bezugszeichen
620 versehenen Kästchen. Ebenso weist in Fig. 15 jeweils
ein Pfeil von den mit den Bezugszeichen 226 und 227
repräsentierten Daten zu einem mit dem Bezugszeichen 630
versehenen Kästchen. Die Bezugszeichen 610, 620 und 630
stehen jeweils in identischer Weise für einen ersten
Auswertealgorithmus, der die entsprechenden Daten des
ersten, dritten und vierten Sensorobjektes 110, 210, 220
auswertet. Der erste Auswertealgorithmus ist in Fig. 16 als
mit dem Bezugszeichen 600 gekennzeichnet dargestellt und
umfaßt wenigstens einen ersten Eingang 601 und einen zweiten
Eingang 602 sowie wenigstens einen ersten Ausgang 607. Der
erste Eingang 601 bei der mit dem Bezugszeichen 610
bezeichneten "Kopie" des ersten Auswertealgorithmus 600 wird
durch den Pfeil zwischen den Daten 116 und dem Kästchen 610
dargestellt und der zweite Eingang 602 bei der mit dem
Bezugszeichen 610 bezeichneten "Kopie" des ersten
Auswertealgorithmus 600 wird durch den Pfeil zwischen den
Daten 117 und dem Kästchen 610 dargestellt. Analog
entspricht 216 dem ersten Eingang von 620 und 217 dem
zweiten Eingang von 620 bzw. 226 dem ersten Eingang von 630
und 227 dem zweiten Eingang von 630. Ein weiterer Pfeil
verbindet weiterhin die Bezugszeichen 116, 216 und 226
gesammelt mit einem zweiten Auswertealgorithmus, der mit dem
Bezugszeichen 640 versehen ist. Die Ausgänge der ersten
Auswertealgorithmen 610, 620, 630 und des zweiten
Auswertealgorithmus 640 sind mit dem Eingang eines mit dem
Bezugszeichen 660 versehenen sogenannten Koordinators
verbunden.
-
Auf der linken Seite der Fig. 15 ist ein mit dem
Bezugszeichen 445 versehenes Kästchen dargestellt, welches
ein Fusionsobjekt - beispielsweise das erste Fusionsobjekt
410 - zu einem ersten Zeitschritt repräsentiert. Das
Fusionobjekt 445 zum ersten Zeitschritt umfaßt, ähnlich wie
die Sensorobjekte 110, 210, 220 drei Bezugszeichen 446, 447,
448, die jeweils Meßwerte des Fusionsobjekt 445 zum ersten
Zeitschritt darstellen. Hierbei stellt im Beispiel das
Bezugszeichen 446 sowohl die Querablage des durch das
Fusionsobjekt 445 zum ersten Zeitschritt repräsentierten
Objekts, d. h. seine Ausdehnung in y-Richtung, als auch die
Güte der Ermittlung der Querablage des durch das
Fusionsobjekt 445 zum ersten Zeitschritt repräsentierten
Objekts dar. Das Bezugszeichen 447 stellt im Beispiel sowohl
die gemessene Breite des durch das Fusionsobjekt 445 zum
ersten Zeitschritt repräsentierten Objekts als auch die Güte
der Ermittlung der Breite des durch das Fusionsobjekt 445
zum ersten Zeitschritt repräsentierten Objekts dar,
währenddem das Bezugszeichen 448 für weitere Meßwerte und
Attribute bezüglich des Fusionsobjekts 445 zum ersten
Zeitschritt steht. Auf der linken Seite der Fig. 15 ist
weiterhin ein mit dem Bezugszeichen 455 versehenes Kästchen
dargestellt, welches das Fusionsobjekt 445 zu einem zweiten
Zeitschritt repräsentiert. Das Fusionobjekt 455 zum zweiten
Zeitschritt umfaßt, ähnlich wie das Fusionsobjekt 445 zum
ersten Zeitschritt drei Bezugszeichen 456, 457, 458, die
jeweils Meßwerte des Fusionsobjekts 455 zum zweiten
Zeitschritt darstellen. Hierbei stellt im Beispiel das
Bezugszeichen 456 sowohl die Querablage des durch das
Fusionsobjekt 455 zum zweiten Zeitschritt repräsentierten
Objekts, d. h. seine Ausdehnung in y-Richtung, als auch die
Güte der Ermittlung der Querablage des durch das
Fusionsobjekt 455 zum zweiten Zeitschritt repräsentierten
Objekts dar. Das Bezugszeichen 457 stellt im Beispiel sowohl
die gemessene Breite des durch das Fusionsobjekt 455 zum
zweiten Zeitschritt repräsentierten Objekts als auch die
Güte der Ermittlung der Breite des durch das Fusionsobjekt
455 zum zweiten Zeitschritt repräsentierten Objekts dar,
währenddem das Bezugszeichen 458 für weitere Meßwerte und
Attribute bezüglich des Fusionsobjekts 455 zum zweiten
Zeitschritt steht. Es wird im in der Fig. 15 dargestellten
Beispiel angenommen, dass die Sensorobjekte 110, 210, 220
durch die Verarbeitungseinheit - beispielsweise in einer
Assoziationsmatrix - den Fusionobjekten 445 bzw. 455
zugeordnet sind und ein Objekt 10, 20 repräsentieren. Ziel
der dargestellten Auswertung ist es beispielsweise, die
Breite dieses Objekts zu ermitteln. Alternativ könnte
selbstverständlich auch eine andere Ausdehnung ermittelt
werden.
-
Der Ausgang des Koordinators 660 ist in Fig. 15 mit einem
Pfeil mit dem Bezugszeichen 457 verbunden, was ausdrücken
soll, dass durch die Verarbeitung in den ersten
Auswertealgorithmen 610, 620, 630, dem zweiten
Auswertealogrithmus 640 und dem Koordinator 660 der Meßwert
bzw. der Schätzwert bezüglich der Breite des durch die
Fusionsobjekte 445 und 455 dargestellten Objekts vom ersten
Zeitschritt (Fusionsobjekt 445) zum zweiten Zeitschritt
(Fusionsobjekt 455) aktualisiert bzw. verbessert wurde.
-
Im folgenden wird der erste Auswertealgorithmus 600, wie er
in Fig. 16 dargestellt ist, näher beschrieben. Am ersten
Eingang 601 steht dem ersten Auswertealgorithmus 600 ein
Wert für die Querablage und ein Gütewert für die Querablage
zur Verfügung. Am zweiten Eingang steht dem ersten
Auswertealgorithmus 600 - zumindest potentiell - ein Wert
für die Breite und ein Gütewert für die Breite zur
Verfügung. Bei einem mit dem Bezugszeichen 603 versehenen
Verfahrensschritt wird abgefragt, ob eine Breiteinformation
am zweiten Eingang 602 zur Verfügung steht. Ist dies der
Fall wird zu einem mit dem Bezugszeichen 605 versehenen
Verfahrensschritt verzweigt, der die am zweiten Eingang 602
zur Verfügung stehende Breite und deren Güteinformation als
Ausgabegrößen des ersten Auswertealgorithmus 600 an den
Ausgang 607 des ersten Auswertealgorithmus 600 weiterleitet.
Steht eine Breiteinformation am zweiten Eingang 602 nicht
zur Verfügung wird beim Schritt 603 zu einem mit dem
Bezugszeichen 609 versehenen Verfahrensschritt verzweigt,
bei dem aus der Historie der Meßdaten zur Querablage (die am
ersten Eingang 601 ausgehend vom entsprechenden Sensorbjekt
bzw. ausgehend vom Zentralspeicher der Verarbeitungseinheit
400, in welchem die Trackingdaten der einzelnen
Sensorobjekte zur Verfügung stehen) ein Mittelwert der
Querablage berechnet wird. Die Information über den
Mittelwert wird anschließend an einen mit dem Bezugszeichen
604 versehenen Verfahrensschritt weitergeleitet, bei dem
entschieden wird, ob die Querablage um ihren Mittelwert
schwankt. Ist dies der Fall wird zu einem weiteren und mit
dem Bezugszeichen 606 versehenen Verfahrensschritt
verzweigt, bei dem aus den Schwankungen der Querablage eine
Schätzung für die Breite des betreffenden Objekts erzeugt
wird, welche anschließend an den Ausgang 607 des ersten
Auswertealgorithmus 600 weitergegeben wird. Schwankt die
Querablage beim Schritt 604 nicht um ihren Mittelwert, wird
der erste Auswertealgorithmus 600 entweder durch einen in
der Fig. 16 dargestellten weiteren und mit dem
Bezugszeichen 608 versehenen Verfahrensschritt abgebrochen
oder aber es wird (in Fig. 16 nicht dargestellt) an den
Ausgang 607 der Wert "null" als geschätzte bzw. berechnete
Breite des betreffenden Objekts weitergeleitet bzw. das
Nichtvorhandensein einer Breite im zugehörigen Gütewert
codiert.
-
Der zweite Auswertealgorithmus 640 erzeugt aus den ihm
ausgehend von den mit den Bezugszeichen 116, 216, 226
versehenen Werten und Güten für die Querablage zur Verfügung
stehenden Informationen durch eine "Min-Max-Auswertung" an
seinem Ausgang einen Schätzwert für die Gesamtbreite des
durch die Sensorobjekte 110, 210, 220 repräsentierten
Objekts.
-
Der Koordinator 660 erzeugt aus den Breiteninformationen und
den Güteinformationen zu den Breiteninformationen, die von
den ersten und zweiten Auswertealgorithmen 610, 620, 630,
640 geliefert werden, eine Breiteninformation, die - wie in
Fig. 15 dargestellt - dem Fusionsobjekt 455 zum zweiten
Zeitschritt zugeführt wird.
-
Zusammenfassend versucht das Verfahren zur Bestimmung der
Objektgröße von Objekten durch die Durchsuchung der von den
Sensoren eintreffenden Sensorobjekten bzw. der Objektlisten
nach direkter und indirekter Information über die Ausdehnung
von detektierten Objekten einen Schätzwert für die
Ausdehnung zu liefern. Ein Vorteil der Größenbestimmung auf
der Ebene der Fusionsobjekte liegt in der oftmals
vorhandenen Redundanz der eingehenden Daten. Aus
Mehrfachmessungen ein und desselben Objekts über mehrere
Meßzyklen kann Größeninformation gewonnen werden. Ein
weiterer Vorteil besteht in der Möglichkeit, inhomogene
Größeninformationen zu verarbeiten. Durch die Kombination
verschiedener Methoden ist es möglich, sowohl gemessene
Objektausdehnungen als auch aus Positionsmessungen gewonnene
Größen zu fusionieren, d. h. auf der Ebene von
Fusionsobjekten zu verarbeiten. Zur Ermittlung der
Objektgröße werden mehrere Objektattribute berücksichtigt,
beispielsweise die longitudinale Distanz, die laterale
Querablage, gegebenenfalls Objektbreite, Objekthöhe,
Objektlänge. Zu unterscheiden sind Teilverfahren, die aus
Positionsdaten Objektausdehnungen aufbauen, wie
beispielsweise der erste Auswertungsalgorithmus 600. Die
Resultate aller Teilverfahren werden schließlich in einem
Koordinator 660 kombiniert.
-
Bei dem erfindungsgemäßen Verfahren zur Bestimmung von
Objektgrößen werden insbesondere folgende Verfahrensschritte
durchgeführt:
Objektgrößenaufbau aus einer zeitlichen Reflexbeobachtung:
Die Reflexwanderung eines Radarsensors kann ausgenutzt
werden. Dazu ist eine stabile Detektion eines Objekts über
einen längeren Zeitraum hinweg notwendig. Zur Bewertung der
Stabilität und Dauer wird die Objektplausibilität verwendet.
Ab einen festzulegenden Schwellwert der Objektplausibilität
ist ein Objekt hinreichend plausibel, um Informationen über
die Breite und Länge zu liefern. Von den gemessenen
Minimal- und Maximalwerten der Distanz und der Querablage
werden mindestens die Standardabweichungen der Messfehler
subtrahiert, um eine statistisch gesicherte Ausdehnung zu
generieren. Geeignete Reflexwanderungen treten u. a. in
weiten Kurven oder bei Ein- und Ausschervorgängen,
beispielsweise auf Autobahnen, auf. Um zu verhindern, dass
zwei getrennte reale Objekte fälschlicherweise zur
Breitenerzeugung herangezogen werden, sind Sprünge in den
Daten nicht zugelassen. Nur bei hinreichend glatten Meßdaten
wird dieses Teilverfahren angewandt.
Objektgrößenaufbau aus einer räumlichen Reflexbeobachtung
-
Die punktförmigen Reflexzentren von mehreren Einzelsensoren
können verarbeitet werden. Wird ein einzelnes reales Objekt
von mehreren Sensoren an verschiedenen Reflexpunkten
detektiert, so läßt sich eine Ausdehnung bereits nach
wenigen Messzyklen aufbauen. Aus den Minimal- und
Maximalwerten werden Objektbreite und Objektlänge bestimmt.
Die Zuordnung der Sensormessungen zu ein und demselben
realen Objekt 10, 20 erfolgt im Assoziationsschritt in der
Verarbeitungseinheit 400.
Objektgrößenaufbau aus einer räumlichen Größenfusion
-
Werden mehrere Einzelsensoren verwendet, die Breiten-
und/oder Höhen- und/oder Längeninformationen liefern, so
können beim Verarbeitungsschritt des Merging, also beim
Verschmelzen der Einzelobjekte, erweiterte Objektbreiten, -
höhen und -längen bestimmt werden. Die Einzelausdehnungen
werden vereinigt. Die so entstehenden Größen sind somit
stets größer als die Einzelausdehnungen.
Objektgrößenaufbau durch kombinierte Verfahren
-
Wird eine Punktmessung (z. B. durch Radarsensoren) einem
bereits bestehenden, getrackten und mit Größeninformation
(z. B. durch Videosensoren) versehenen Fusionsobjekt
zugeordnet, so kann bei hinreichender Plausibilität die
Größe erweitert werden, etwa dadurch, dass plausible
Messungen am Rand und außerhalb des bisherigen Objektrandes
erfolgen.
-
Einer der Aspekte der vorliegenden Erfindung bezieht sich
auf Strategien zur Gewichtung von Objektdaten bei der
Erzeugung bzw. Aktualisierung von Fusionsobjekten. Die
Gewichtung von Einzelsensordaten innerhalb der
Fusionsobjekte soll erfindungsgemäß intelligent vorgenommen
werden. Die von verschiedenen Sensoren gelieferten und durch
einen Assoziationsschritt ein und demselben Fusionsobjekt
zugeordneten Daten (welche in ihrer Gesamtheit ein reales
Objekt 10, 20 repräsentieren) werden zu einem einzigen
Datensatz des Fusionsobjekts fusioniert bzw. assoziiert.
Ziel ist dabei das Erreichen einer größtmöglichen
Genauigkeit in den Daten der Fusionsbojekte. Bedingt durch
unterschiedliche physikalische Messprinzipien besitzen die
Einzelsensoren unterschiedliche Detektionseigenschaften.
Hinzu kommen gegebenenfalls auch Exemplarstreuungen. Das
erfindungsgemäße Verfahren benutzt insbesondere
Zusatzinformationen über die Güte der von dem Verfahren
gelieferten Daten. Der Hauptvorteil bei der intelligenten
Gewichtung von verschiedenen Sensordaten besteht in der
bestmöglichen Ausnutzung der Information über die
Genauigkeit der einzelnen Daten. Liegen zu einem einzigen
realen Objekt mehrere Datensätze vor, so entsteht eine
redundante Datenmenge. Durch Ausnutzen dieser Redundanz kann
eine im Vergleich zu den Einzelgenauigkeiten höhere
Genauigkeit in den Fusionsdaten erzielt werden. Die
Eingangsdaten können aus Sensormessdaten oder aus bereits
bestehenden und getrackten Fusionsobjekten oder aus einer
Mischung aus beiden bestehen. So besteht ein weiterer
Vorteil des erfindungsgemäßen Verfahrens in der Möglichkeit,
Fusionsobjekte und Einzelsensorobjekte in beliebiger
Zusammensetzung zu verschmelzen.
-
Zur konkreten Implementierung des erfindungsgemäßen
Verfahrens zur Gewichtung von Objektdaten wird
vorausgesetzt, dass zu jedem Objektdatum ein Gütemaß
existiert. Dieses Gütemaß kann statisch festgelegt sein oder
dynamisch mit jeder Messung mitgeliefert werden. Ein
Hauptschritt bei der Verarbeitung der Sensordaten ist die
Datenassoziation, bei der die vorliegenden Daten den
bestehenden Fusionsobjekten zugeordnet werden. Die
Gewichtung geschieht unter Verwendung des Gütemaßes der
Einzelsensoren. Je schlechter die Güte eines Datums ist,
desto geringer ist seine Gewichtung. Liegt eine Anzahl n von
Daten a1, . . ., an zur Fusion vor, so berechnet sich das
Fusionsdatum a durch:
a = Summe von w1.a1 über den Index i von i = 1 bis i = n,
wobei w1, . . ., wn die Gewichte sind mit den Eigenschaften:
wi ist größer oder gleich null für alle i und
die Summe über alle wi ist gleich eins.
-
Alle Attribute mit kontinuierlichen Werten, beispielsweise
Abstand, Geschwindigkeit, Beschleunigung, Breite, Höhe,
Länge, sind Objektdaten und können auf diese Weise
verschmolzen werden. Durch Runden auf den nächstliegenden
Wert können auch Attribute mit diskreten Werten
(beispielsweise die Anzahl der Trackingzyklen, die
Plausibilität) gewichtet fusioniert werden. Messfehler von
Messgrößen besitzen typischerweise statistische
Verteilungen. Die Varianzen solcher Verteilungen können zum
Beispiel als Genauigkeitsmaße verwendet werden. Alternativ
sind aber auch andere skalare Gütemaße möglich. Bezüglich
eines einzelnen Objektattributs muss allerdings eine
einheitliche Definition des Gütemaßes verwendet werden.
-
Bei einer ersten, besonders effizient implementierbaren
Variante des erfindungsgemäßen Verfahrens zur Gewichtung von
Objektdaten werden die Gewichte wi der Einzelsensoren
entsprechend den Kehrwerten der Einzelgütemaße in normierter
Form benutzt. Für den Fall von zwei Einzeldaten a1 und a2
mit den Varianzen σ1.σ1 und σ2.σ2 lauten die Gewichte:
w1 = σ2/(σ1 + σ2)
und
w2 = σ1/(σ1 + σ2)
-
Bei einer zweiten Variante des erfindungsgemäßen Verfahrens
zur Gewichtung von Objektdaten wird angenommen, dass als
Gütemaß die Varianz der Verteilungsfunktion der Messfehler
verwendet wird. Die Gewichte wi der Einzelsensoren werden so
gewählt, dass die Varianz des Fusionsdatums minimal wird.
Hierzu wird ein mehrdimensionales, quadratisches
Optimierungsproblem gelöst. Die Gewichte hängen von der
Anzahl und den Werten der Einzelvarianzen ab. Sie sind in
einer geschlossenen Formel angebbar. Für den Fall von zwei
Einzeldaten a1 und a2 mit den Varianzen σ1.σ1 und σ1.σ1
lauten die Gewichte:
w1 = σ2.σ2/(σ1.σ1 + σ2.σ2)
und
w2 = σ1.σ1/(σ1.σ1 + σ2.σ2)
-
Der Rechenaufwand ist im Vergleich zur ersten Variante nur
geringfügig größer. Im Sinne der Varianz des Fusionsdatums
ist diese Vorgehensweise gemäß der zweiten Variante
bestmöglich.
-
Einer der Aspekte der vorliegenden Erfindung bezieht sich
auf eine optimierte Verwaltung eines Plausibilitätsmaßes für
Fusionsobjekte. Die Plausibilität beschreibt, wie sicher und
zuverlässig ein Objekt detektiert wird. Sie begleitet ein
Fusionsobjekt während seiner gesamten Lebensdauer. Bei der
Beurteilung der Relevanz eines Objekts für eine bestimmte
Applikation spielt die Objektplausibilität eine wichtige
Rolle. Als wesentliches Objektattribut, insbesondere eines
Fusionsobjektes, kann die Plausibilität an
Fahrzeugführungssysteme oder Fahrerassistenzsysteme
weitergeleitet werden. Damit wird der Detaillierungsgrad
einer durch Sensoren erfassten Fahrumgebung erhöht.
Insbesondere profitieren Klassifikation und Interpretation
einer erfassten Fahrumgebung vom Gütemaß der Plausibilität.
Bei dem erfindungsgemäßen Verfahren zur optimierten
Verwaltung eines Plausibilitätsmaßes für Fusionsobjekte wird
insbesondere die Plausibilität als Attribut eines Objekts,
d. h. insbesondere eines Fusionsobjekts, angelegt. Sie
enthält in gewissem Sinn die Objekthistorie und gibt an, wie
sicher ein Objekt detektiert wird. Die Inkrementierung und
Dekrementierung der Plausibilität hängt von verschiedenen
Einflussgrößen ab.
-
Die Plausibilität kann als skalares Maß definiert werden.
Wird ein Fusionsobjekt neu angelegt, so wird die
Plausibilität auf null oder auf einen Wert, der der Anzahl
der detektierenden Sensoren entspricht, gesetzt. Wird das
Fusionsobjekt weiterhin detektiert, so wird die
Plausibilität fortlaufend erhöht. Oberhalb eines
Schwellwerts gilt ein Objekt als plausibel. Treten
Messaussetzer auf, so wird die Plausibilität entsprechend
verringert. Wird das Objekt über mehrere Zyklen nicht
detektiert, weil es nicht mehr existiert oder sich aus dem
Erfassungsbereich aller eingesetzten Einzelsensoren entfernt
hat, wird die Plausibilität sukzessive verringert. Fällt sie
unter eine festgelegten Schwellwert, so gilt das
Fusionsobjekt als nicht mehr plausibel. Bei hinreichend
geringer Plausibilität wird ein Fusionsobjekt gelöscht.
-
Im folgenden werden einige wesentliche Mechanismen zur
Plausibilitätsfindung aufgelistet:
Normierung der Plausibilität
-
Die Plausibilität kann auf das Intervall [0,1] normiert
werden. In diesem Fall wird ein kompakter Wertebereich
festgelegt. Über eine geeignete Diskretisierung kann somit
der notwendige Speicherplatz zeitunabhängig festgelegt
werden. Wird eine Änderung eines Plausibilitätswerts
berechnet, die ein Verlassen des Intervalls [0,1] zur Folge
hätte, so wird der geänderte Wert durch einen Limiter nach
unten durch null und nach oben durch eins begrenzt. Ergeben
sich bei einer Inkrementierung bzw. Dekrementierung
rechnerisch Werte, die zwischen den Diskretisierungsstufen
liegen, so kann zum nächstliegenden Diskretisierungswert
gerundet werden.
Festlegung des Basisinkrements
-
Das Basisinkrement bezeichnet die kleinste Einheit einer
Plausibilitätsänderung. Dieses Inkrement kann konstant oder
variabel sein. Es sind verschiedene Varianten möglich:
- - Als Basisinkrement kann ein konstanter Wert, etwa 0.1,
eingesetzt werden.
- - Als Basisinkrement kann ein exponentieller Wert gewählt
werden. Liegt die Plausibilität etwa im Intervall [0,1], so
finden in der Nähe von 0 und 1 nur kleine Änderungen statt.
Bei 0.5 sind die Änderungen am stärksten. Die Werte 0 und 1
werden nur asymptotisch erreicht.
Bestimmung der Inkremente und Dekremente
-
Die Inkremente und Dekremente des Plausibilitätsmaßes werden
in Abhängigkeit der Anzahl und Güte der Objekte der
Einzelsensoren festgelegt.
- - Je mehr Sensoren ein Fusionsobjekt gleichzeitig
detektieren, desto größer wird das Inkrement festgelegt. Das
Inkrement kann z. B. proportional zur Anzahl der
Einzelobjekte gewählt werden.
- - Je besser die Sensorgüte ist, desto höher kann das
Basisinkrement eines Einzelsensors gewichtet werden. Diese
Gewichtung kann vom charakterisierten Sensorexemplar und
dessen Detektionsbereich abhängen. Damit fließt ein a-
priori Wissen in die Gewichtung ein.
Timing der Plausibilitätsverwaltung
-
Die Plausibilität wird im Takt der Sensordatenfusion neu
berechnet. Die Zyklen der Sensordatenfusion können von
gleicher oder von unterschiedlicher Taktlänge sein.
- - Liefert ein Sensor beispielsweise nur in jedem zweiten
Fusionszyklus Daten, so kann dessen Plausibilitätsgewicht
verdoppelt werden, um gleichberechtigte
Plausibilitätsanteile zwischen den Sensoren sicherzustellen.
Durch eine Berücksichtigung der Plausibilitätsanteile kann
erreicht werden, dass verschiedene Einzelsensoren ein Objekt
innerhalb derselben Zeitspanne auf denselben
Plausibilitätswert bringen.
- - Alternativ können die Plausibilitäten der Einzelsensoren
gleich gewichtet werden. In diesem Fall erreicht man eine
Gleichbehandlung der Sensoren über das Alter der von den
Sensoren gelieferten Daten und der charakteristischen
Sensorzykluszeit. Wenn innerhalb eines Takts der
Sensordatenfusion, d. h. innerhalb der Zeitspanne in der der
Verarbeitungsalgorithmus wiederholt wird, aufgrund der
Sensorzykluszeit ein Objekt gemessen werden könnte,
tatsächlich aber nicht gemessen wird, so erfolgt eine
Dekrementierung, ansonsten nicht.
Hysterese der Plausibilität
-
Für Applikationen gilt ein Fusionsobjekt als plausibel,
falls sein Plausibilitätsmaß oberhalb eines festgelegten
Schwellwerts liegt. Zur Erhöhung der Stabilität und Dominanz
von bestehenden Fusionsobjekten kann in diesen Schwellwert
eine Hysterese eingebaut werden. Liegt die Plausibilität im
Intervall [0,1], so ist z. B. 0.3 ein solcher Schwellwert.
Mit Hysterese kann dieser Wert bei wachsender Plausibilität
auf 0.4 und bei fallender Plausibilität auf 0.2 gesetzt
werden.
-
In Fig. 17 ist ein Schema zu einer Plausibilitätsverwaltung
dargestellt. Es wird wiederum - ähnlich wie in Fig. 15 -
von einem Fusionsobjekt 445 zu einem ersten Zeitschritt
ausgegangen. Ein solches Fusionsobjekt umfaßt als Attribut
ein Plausibilitätsmaß, welches in Fig. 17 für das
Fusionsobjekt 445 zu dem ersten Zeitschritt mit dem
Bezugszeichen 449 gekennzeichnet ist. Es wird in dem in
Fig. 17 dargestellten Beispiel davon ausgegangen, dass bei
dem Assoziationsschritt Sensorobjekte, die von den Sensoren
100, 200, 300 geliefert werden, dem Fusionsobjekt 445 beim
ersten Zeitschritt zugeordnet wurden. Das Plausibilitätsmaß
für das Fusionsobjekt 445 zum ersten Zeitschritt soll nun
für den zweiten Zeitschritt aktualisiert werden. Diese
Aktualisierung stellt das in Fig. 17 ebenfalls dargestellte
Fusionsobjekt 455 zum zweiten Zeitschritt dar, welches
ebenfalls ein Plausibilitätsmaß umfaßt, welches mit dem
Bezugszeichen 459 gekennzeichnet ist. Zur Aktualisierung des
Plausibilitätsmaßes werden verschiedene Verfahrensschritte
durchgeführt. Zunächst wird ein mit dem Bezugszeichen 672
bezeichneter Verfahrensschritt ausgeführt, zu dem, ausgehend
vom Fusionsobjekt 445 zum ersten Zeitpunkt und ausgehend vom
Plausibilitätsmaß 449, jeweils ein Pfeil weist und der das
Basisinkrement, ausgehend vom Plausibilitätsmaß 449,
berechnet. Anschließend wird, ausgehend vom mit dem
Bezugszeichen 672 gekennzeichneten Verfahrensschritt ein
weiterer und mit dem Bezugszeichen 673 bezeichneter
Verfahrensschritt ausgeführt. Hierzu weist ein Pfeil vom
Bezugszeichen 672 zum Bezugszeichen 673. Beim mit dem
Bezugszeichen 673 bezeichneten Verfahrensschritt wird die
Plausibilität inkrementiert oder dekrementiert und zwar in
Abhängigkeit von Informationen die im mit dem Bezugszeichen
673 bezeichneten Verfahrensschritt - direkt oder indirekt -
ausgehend von den in Fig. 17 ebenfalls dargestellten
Sensoren 100, 200, 300 vorliegen. Ausgehend vom mit dem
Bezugszeichen 673 bezeichneten Verfahrensschritt wird in
einem weiteren und mit dem Bezugszeichen 674 bezeichneten
Verfahrensschritt in Abhängigkeit von einem vorgegebenen
und mit dem Bezugszeichen 675 bezeichneten
Plausibilitätsintervall darauf geachtet, dass die Grenzen
des Pausibilitätsintervalls durch die vorgeschlagene
Inkrementierung bzw. Dekrementierung nicht überschritten
werden, was in Fig. 17 durch jeweils einen Pfeil vom
Bezugszeichen 673 und 675 zum Bezugszeichen 674
gekennzeichnet ist. Der beim mit dem Bezugszeichen 674
versehenen Verfahrensschritt geprüfte Wert für die
Plausibilität wird anschließend dem Fusionsobjekt 455 beim
zweiten Zeitschritt zur Verfügung gestellt, was durch Pfeile
vom Bezugszeichen 674 jeweils zum Fusionsobjekt 455 zum
zweiten Zeitschritt als auch dessen Plausibilitätsattribut
459 in Fig. 17 gekennzeichnet ist.
-
In dem in Fig. 17 dargestellten Beispiel wird angenommen,
dass die Sensoren 100, 200, 300 jeweils Sensorobjekte
liefern, die mit den Fusionsobjekten 445, 455 zum ersten und
zum zweiten Zeitschritt assoziiert sind. Die Sensoren 100,
200, 300 liefern erfindungsgemäß Informationen, die in einem
für alle Sensoren getrennt, aber in einheitlicher Weise
durchlaufenen und mit dem Bezugszeichen 670 versehenen
Verfahrensschritt verarbeitet werden, was in Fig. 17 mit
jeweils einem Pfeil von jedem der Sensoren 100, 200, 300 zu
den in entsprechender Mehrzahl vorhandenen Bezugszeichen 670
dargestellt ist. Die Verarbeitung beim mit dem Bezugszeichen
670 bezeichneten Verfahrensschritt umfaßt insbesondere die
Bestimmung der Sensorgüte und die Bestimmung des
Datenalters. Die von den Sensoren 100, 200, 300 gelieferten
und im mit den Bezugszeichen 670 versehenen
Verfahrensschritten bearbeiteten und aufbereiteten
Informationen werden einem mit dem Bezugszeichen 671
gekennzeichneten Verfahrensschritt zur Verfügung gestellt,
was durch jeweils einen zum Bezugszeichen 671 weisenden
Pfeil ausgehend von den Bezugszeichen 670 in Fig. 17
dargestellt ist. Beim mit dem Bezugszeichen 671 bezeichneten
Verfahrensschritt werden die von den einzelnen Sensoren 100,
200, 300 stammenden Sensordaten gewichtet und das Ergebnis
wird dem mit dem Bezugszeichen 673 gekennzeichneten
Verfahrensschritt zur Verfügung gestellt, wie oben bereits
beschrieben wurde und in Fig. 17 durch einen Pfeil vom
Bezugszeichen 671 zum Bezugszeichen 673 dargestellt ist.
-
Einer der Aspekte der vorliegenden Erfindung bezieht sich
auf ein Verfahren zur Priorisierung von Fusionsobjekten. Bei
einer Mehrzahl von zu verwaltenden Fusionsobjekten stellt
sich die Aufgabe, eine optimierte Auswahl von relevanten
Fusionsobjekten durchzuführen. Die Beschränkung der Anzahl
der Fusionsobjekte hat im wesentlichen zwei Ursachen:
Erstens ist üblicherweise ein fester und begrenzter
Speicherbereich für die Fusionsobjektliste vorgesehen.
Zweitens bedeutet das Weiterleiten der Information aus den
Fusionsobjekten über das Bussystem B, etwa auf einen CAN-Bus
des Fahrzeugs, weiteren Aufwand, der ebenfalls innerhalb der
Grenzen der verfügbaren Ressourcen liegen muss. Bei der
Verwendung von mehreren Einzelsensoren und bei der
Berücksichtigung aller Objekte der Einzelsensoren kann die
Liste der Fusionsobjekte deutlich länger als die Listen der
Einzelsensoren sein. Ist die Anzahl der Fusionsobjekte
begrenzt, so muss eine Auswahl getroffen werden. Eine
solche Priorisierung von Fusionsobjekten erfolgt
applikationsspezifisch. Besonders vorteilhaft bei dem
erfindungsgemäßen Verfahren ist es, dass ein Verfahren bzw.
eine Einrichtung zur Priorisierung von Fusionsobjekten
Verwendung findet, bei der bzw. bei dem eine Konzentration
auf die bezüglich einer festgelegten Applikation relevante
Sensorinformation stattfindet. Wird ausschließlich relevante
Information verarbeitet und weitergeleitet, so schont dies
zum einen die Ressourcen und erhöht zum anderen die
Geschwindigkeit der Informationsweiterverarbeitung.
Vorteilhaft ist dies in hochdynamischen Situationen oder
Gefahrensituationen (z. B. bei Aktivität einer automatischen
Notbremsfunktion), in denen dann die Taktrate der
Sensordatenfusion erhöht werden kann. In solchen Situationen
kann eine reduzierte Datenfusion lediglich auf den Daten der
wesentlichen - d. h. priorisierten - Objekte erfolgen. Aus
allen potentiellen Fusionsobjekten wird eine Auswahl
getroffen. Die Auswahl erfolgt derart, dass die
Fusionsobjektliste stets die relevantesten Objekte enthält.
-
Die Priorisierung wird durch ein internes Ranking, d. h. der
Erstellung einer Prioritätenliste, realisiert. Das Ranking
erfolgt über ein Prioritätsmaß. Fusionsobjekte werden gemäß
ihrer Relevanz sortiert und verwaltet. Die Fusionsobjekte
mit der höchsten Priorität sind am relevantesten und
verbleiben in der Liste der Fusionsobjekte. Entstehen neue
Fusionsobjekte, so werden deren Prioritätsmaße mit
denjenigen der bereits bestehenden Fusionsobjekte
verglichen. Sind mehr potentielle Fusionsobjekte als
Listenplätze vorhanden, werden die am wenigsten relevanten
Objekte aus der Fusionsobjektliste entfernt bzw. gar nicht
erst aufgenommen.
Maß für die Priorität
-
Zur Beschreibung der Priorität kann erfindungsgemäß ein
skalares Maß verwendet werden. Um eine hinreichend
detaillierte Quantifizierung zu erreichen, ist möglichst
eine feine Diskretisierung des Prioritätsmaßes zu verwenden.
Eine Normierung, etwa auf das Intervall [0,1], ist möglich.
Es muss dann allerdings sichergestellt werden, dass eine
Sättigung der Priorität auf den Wert 1 praktisch nicht
erreicht wird. Andernfalls lässt sich kein eindeutiges
Ranking aufstellen.
Applikationsabhängige Auswahl von Einflüssen auf die
Priorität
-
Zur Berechnung des Prioritätsmaßes wird funktionsabhängige
Information herangezogen. Diese Information wird von der
Applikation bereitgestellt. Mögliche Daten sind die Fahrspur
und der Fahrschlauch des eigenen Fahrzeugs oder der Abstand
und die Relativgeschwindigkeit zu einem vorausfahrenden
Fahrzeug in der eigenen oder einer benachbarten Fahrspur.
Auch die Fahrzeugeigengeschwindigkeit kann je nach
Applikation die Relevanz von Objekten beeinflussen. Weitere
priorisierungsrelevante Information ist etwa der Lenkwinkel,
die Gierrate oder die Raddrehzahl.
Dynamische Bestimmung des Prioritätsmaßes durch
Ereignisauswertung
-
Die Priorität wird im Takt der Sensordatenfusion neu
berechnet. Zur Bestimmung der Priorität wird Information aus
der Applikation ausgewertet. Möglich ist die Verwendung von
festen Prioritätskonstanten für Ereignisse. Für ein auf das
Intervall [0,1] normiertes Prioritätsmaß können solche
Konstanten im Prozent- oder Promillebereich liegen. Für
jedes eingetretene Ereignis wird die zugehörige Konstante
zum Prioritätsmaß hinzuaddiert. Die Höhe der Konstante legt
ihre Wichtigkeit fest. Mehrere Ereignisse können überlagert
werden. Ereignisse eines Objekts sind z. B. der Aufenthalt
des Objekts in der eigenen Fahrspur, ein hoher
Verzögerungswert eines einscherenden Fahrzeugs oder die
Verwendung des Objekts als Zielobjekt durch einen Regler
(z. B. ACC-Regler).