DE112011102132T5

DE112011102132T5 - Verfahren und Vorrichtung für eine imagebasierte Positionierung

Info

Publication number: DE112011102132T5
Application number: DE112011102132T
Authority: DE
Inventors: Omar Pierre Soubra; Sy Bor Wang; Hongbo Teng; Gregory C. Best; Bruno M. Scherzinger; Peter Glen France; James M. Janky
Original assignee: Trimble Navigation Ltd
Current assignee: Trimble Inc
Priority date: 2010-06-25
Filing date: 2011-06-23
Publication date: 2013-05-23
Also published as: WO2011163454A1; CN103119611B; US20140267700A1; JP2013535013A; JP6002126B2; US8754805B2; US9683832B2; CN103119611A; US20120163656A1

Abstract

Verfahren und Vorrichtung für imagebasiertes Positionieren, das Erfassen eines ersten Bildes (126) mit einer Bilderfassungsvorrichtung (34) umfasst, wobei das erste Bild mindestens einen Gegenstand umfasst. Beim Bewegen der Plattform und Erfassen eines zweiten Bildes mit der Bilderfassungsvorrichtung umfasst das zweite Bild mindestens einen Gegenstand. Erfassen im ersten Bild eines Bildes einer Oberfläche; Erfassen im zweiten Bild eines zweiten Bildes der Oberfläche. Verarbeiten der Vielzahl von Bildern des Gegenstands und der Oberfläche unter Verwendung eines kombinierten merkmalbasierten Prozesses und Oberflächenverfolgungsprozesses zum Verfolgen des Oberflächenstandorts (134). Letztlich, Bestimmen des Plattformstandorts durch Verarbeiten des kombinierten merkmalbasierten Prozesses und oberflächenbasierten Prozesses (138).

Description

TECHNISCHES GEBIET
Die Technologie bezieht sich auf den Bereich Navigation.
ALLGEMEINER STAND DER TECHNIK
Die US-Stammanmeldung mit Seriennummer 12/313,560 (im Folgenden „Scherzinger”) richtete sich auf ein System und ein Verfahren zum Erhalten präziser Positionsdaten mit hoher Messgenauigkeit.
KURZDARSTELLUNG
Diese Kurzdarstellung stellt eine Auswahl von Konzepten vor, die weiter unten in der Ausführlichen Beschreibung weiter erläutert werden. Diese Kurzdarstellung soll weder Schlüssel- oder wesentliche Merkmale des beanspruchten Gegenstands ermitteln, noch zur Unterstützung bei der Festlegung des Umfangs des beanspruchten Gegenstands verwendet werden.
Es wird ein imagebasiertes Positionsverfahren bereitgestellt, welches Einschränkungen des Stands der Technik überwindet.
BESCHREIBUNG DER ZEICHNUNGEN
Die begleitenden Zeichnungen, die in diese Patentschrift aufgenommen werden und einen Bestandteil derselben bilden, veranschaulichen Ausführungsformen der Technologie und dienen zusammen mit der Beschreibung zur Erläuterung der weiter unten aufgeführten Prinzipien:
1 zeigt eine in „Scherzinger” offenbarte GIE Vermessungsvorrichtung.
2 veranschaulicht eine imagebasierte Positionierungsvorrichtung der vorliegenden Technologie, die eine Bilderfassungsvorrichtung, welche zum Erfassen von mindestens einem Bild, das mindestens einen Gegenstand umfasst, konfiguriert ist, einen merkmalbasierten Prozess und einen Positionsbestimmungsprozess umfasst.
3 stellt einen merkmalbasierten Prozess von 2 der vorliegenden Technologie dar, der unter Verwendung des georeferenzierten imagebasierten Prozesses ausgeführt wird.
4 veranschaulicht ein photogrammetrisches Verfahren zum Finden einer Entfernung zu einer Kamera von einer bekannten Entfernung zwischen 2 Punkten (Skalafaktor) und eine Pixel-Umsetzung zu einem entgegengesetzten Winkel dar.
5 veranschaulicht ein Flussdiagramm, in dem die Umsetzungsschritte des merkmalbasierten Prozesses von 2 unter Verwendung der georeferenzierten Gegenstandsbild-Datenbank und der Bildverarbeitungsmaschine von 3 beschrieben werden.
6 zeigt eine Vorrichtung für die georeferenzierte imagebasierte Positionierung für die Zwecke der vorliegenden Technologie und zwar einschließlich eines Pfosten-GPS-Empfängers einschließlich am selben Pfosten befestigter Kamera, deren optische Mitte mit der Achse des Pfostens ausgerichtet ist und dem GIS/Vermessungsdatensammler.
7 veranschaulicht ein Computersystem, das zum Aktivieren der Bildverarbeitungsmaschine von 3 für Zwecke der vorliegenden Technologie konfiguriert ist.
8 zeigt eine imagebasierte Positionierungsvorrichtung, die den doppelmerkmalbasierten Verfolgungsprozess für die Zwecke der vorliegenden Technologie umfasst.
9 zeigt die imagebasierte Positionierungsvorrichtung, die den Merkmal- und Oberflächenverfolgungsprozess für Zwecke der vorliegenden Technologie umfasst.
AUSFÜHRLICHE BESCHREIBUNG
Es wird nun eingehend auf die Ausführungsformen der Technologie Bezug genommen; diesbezügliche Beispiele werden in den begleitenden Zeichnungen veranschaulicht. Die vorliegende Technologie wird zusammen mit verschiedenen Ausführungsformen beschrieben, wobei es sich versteht, dass diese die vorliegende Technologie nicht auf diese Ausführungsformen einschränken sollen. Ganz im Gegenteil, die vorliegende Technologie soll Alternativen, Abänderungen und Äquivalente abdecken, die im Geiste und Umfang der verschiedenen von den beigefügten Ansprüchen definierten Ausführungsformen mit aufgenommen werden können.
Ferner werden in der folgenden ausführlichen Beschreibung zahlreiche spezifische Einzelheiten für ein eingehendes Verständnis der vorgestellten Ausführungsformen dargetan. Jedoch ist es für einen Durchschnittsfachmann ersichtlich, dass die vorgestellten Ausführungsformen auch ohne diese spezifischen Einzelheiten ausgeübt werden können. In anderen Beispielen wurden allgemein bekannte Verfahren, Prozeduren, Komponenten und Schaltkreise nicht ausführlich beschrieben, um die Aspekte der vorliegenden Ausführungsformen nicht unnötigerweise zu verschleiern.
I. „Scherzinger”
1 zeigt das in „Scherzinger” offenbarte GIE-Vermessungsinstrument 10.
II. Verfolgungsprozess für Einzelgegenstände
In einer Ausführungsform der vorliegenden Technologie veranschaulicht 2 die imagebasierte Positionierungsvorrichtung 30, die eine Bilderfassungsvorrichtung 34 umfasst, welche zum Erfassen von mindestens einem Bild, das mindestens einen Gegenstand umfasst, konfiguriert ist; einen Positionsbestimmungsprozess 38 und einen merkmalbasierten Prozess 36, die zum Verarbeiten von mindestens einem Bild zur Verfolgung des Standorts von mindestens einem erfassten Gegenstand konfiguriert sind.
In einer Ausführungsform der vorliegenden Technologie kann ein Gegenstand ein oder mehr Merkmale aufweisen; ein Merkmal ist im Grunde genommen ein Teil des Bildes, der von einem Algorithmus erkannt werden kann. Diese können Punkte, Bereiche oder Konturen oder abstrakte Texturbereiche oder sonstiges sein. Für viele der hier erörterten Algorithmen besteht auch die Prämisse, dass Merkmale über mehrere Bilder hinweg ermittelt werden können (gefundene Entsprechungen), dies gehört jedoch nicht zur Definition eines Merkmals. Das Finden von Entsprechungen ist ein an Merkmalen vorgenommener Prozess und nicht ein Charakteristikum derselben.
In einer Ausführungsform der vorliegenden Technologie kann die Bilderfassungsvorrichtung 34 von einer Gruppe stammen, die aus Folgenden besteht: einer Digitalkamera; einer Digitalvideokamera; einem Digitalcamcorder; einer Stereodigitalkamera; einer Stereovideokamera; einer Filmkamera; einer Tiefenkamera; und einer TV-Kamera oder Ähnlichem.
Noch bezugnehmend auf 2 umfasst die imagebasierte Positionierungsvorrichtung 30 in einer Ausführungsform der vorliegenden Technologie ferner Plattform 32.
In einer Ausführungsform der vorliegenden Technologie umfasst Plattform 32 ferner einen Rover.
In einer Ausführungsform der vorliegenden Technologie umfasst Plattform 32 ferner ein Rover-RTK-System.
In einer Ausführungsform der vorliegenden Technologie umfasst Plattform 32 ferner ein GIS/Mapping-Handgerät.
Noch bezugnehmend auf 2 werden in einer Ausführungsform der vorliegenden Technologie die Koordinaten einer Referenzposition der Bilderfassungsvorrichtung 34 (oder einer Plattform 32) durch einen GNSS-Positionsprozess 38 bestimmt.
Ein Globales Navigationssatellitensystem(GNSS)-Prozess kann ausgewählt ein aus der der Gruppe bestehend aus: einem GPS-Prozess; einem GLONASS-Prozess; einem kombinierten GPS/GLONASS-Prozess; einem GALILEO-Prozess; und einem COMPASS-(Beidou Navigationssystem)-Prozess; einem erdbasierten Pseudolitenprozess oder Ähnlichem.
Das Globale Positionsbestimmungssystem (GPS) ist ein aus Satellitensignaltransmittern bestehendes System, welches Informationen überträgt, mittels derer der aktuelle Standort eines Beobachters und/oder die Zeit der Beobachtung bestimmt werden können. Das GPS wurde von dem US-amerikanischen Verteidigungsministerium (DOD) im Rahmen seines Satellitenprogramms NAVSTAR entwickelt.
Noch bezugnehmend auf 2 werden in einer Ausführungsform der vorliegenden Technologie als Alternative zu einen GNSS-Prozess oder im Falle nicht erhältlicher oder beeinträchtigter Satellitensignale die Koordinaten einer Referenzposition der Bilderfassungsvorrichtung 34 (oder einer Plattform 32) mittels eines merkmalbasierten Prozesses bestimmt, der ausgewählt ist aus der Gruppe; bestehend aus: Inertiale Koppelnavigation, einem Simultane Lokalisierung und Kartenerstellung(SLAM)-Prozess, Matchmoving-Prozess oder ähnlichem Bildverarbeitungsalgorithmus; und einem photogrammetrischen Prozess.
In einer Ausführungsform der vorliegenden Technologie wird der merkmalbasierte Prozess 36 von einem Simultanen Lokalisierung und Kartenerstellung(SLAM)-Prozess eingesetzt.
Der Simultane Lokalisierung und Kartenerstellung(SLAM)-Prozess verwendet Bildsequenzen von einer oder mehreren Videokameras zur Ermittlung feststehender Merkmale und erstellt dann eine Karte dieser feststehenden Merkmale. Es können zwei Bildverarbeitungsmethoden angewendet werden.
Das erste in dem Simultanen Lokalisierung und Kartenerstellung(SLAM)-Prozess eingesetzte Bildverarbeitungsverfahren ist Bildsegmentierung und Merkmalsextraktion. SLAM verwendet diese zur Ermittlung bestimmter Gegenstände, von denen bekannt ist, dass sie stationär und somit stichhaltige Referenzpunkte im dreidimensionalen (3D) Raum sind. Typische Auswahlen sind Gegenstände mit halbwegs gut definierten Charakteristika, häufig Ecken im Freien oder Wandvorrichtungen verschiedener Art (Lampen, Schalter, Fenstersimse oder Ecken) in Innenräumen. Diese Charakteristika können dann mit einer Software verarbeitet werden, um Merkmale innerhalb des Algorithmus zu liefern.
Das zweite in dem Simultanen Lokalisierung und Kartenerstellung(SLAM)-Verfahren eingesetzte Bildverarbeitungsverfahren ist das Verfahren der Stereoabbildung, das zur Extraktion von Tiefen- und daher Entfernung-zu-Gegenstand-Informationen verwendet wird. SLAM erstellt eine Karte der Merkmale in einem dreidimensionalen (3D) Koordinatengitter, während es sie von verschiedenen Roboterpositionen aus abbildet und damit seine eigene Stellung in diesem Gitter bestimmt. Der Mapping- und Selbstlokalisierungsprozess werden in einem Kalman-Filter angewendet, der alle Variablen schätzt. In diesem Fall wird die Bereichsextraktion unter Verwendung einer Stereoabbildung von mehreren sich überlappenden zweidimensionalen (2D) Bildern ausgeführt.
In einer Ausführungsform der vorliegenden Technologie setzt das Simultane Lokalisierung und Kartenerstellung(SLAM)-Verfahren eine Videokamera ein.
In einer Ausführungsform der vorliegenden Technologie setzt das Simultane Lokalisierung und Kartenerstellung(SLAM)-Verfahren eine ladungsträgergekoppelte Vorrichtung (CCD) ein. CCD ist eine Vorrichtung für die Bewegung einer elektrischen Ladung, und zwar üblicherweise von innerhalb der Vorrichtung zu einem Bereich hin, wo die Ladung manipuliert werden kann, wie zum Beispiel die Umbildung in einen Digitalwert. Dies wird erzielt, indem die Signale zwischen Stufen innerhalb der Vorrichtung eines nach dem anderen „verschoben” werden. Technisch gesehen werden CCDs als Verschiebungsregister angewendet, die Ladung zwischen den kapazitiven Behältern in der Vorrichtung bewegen, wobei die Verschiebung die Übertragung der Ladung zwischen den Behältern gestattet. Die CCD wird häufig mit einem Bildsensor integriert, wie beispielsweise einer photoelektrischen Vorrichtung zum Erzeugen der Ladung, die gelesen wird, womit somit die CCD zu einer wichtigen Technik für die digitale Bildverarbeitung gemacht wird.
In einer Ausführungsform der vorliegenden Technologie setzt das Simultane Lokalisierung und Kartenerstellung(SLAM)-Verfahren eine mit einem CMOS-Sensor ausgestattete Videokamera ein.
In einer Ausführungsform der vorliegenden Technologie setzt das Simultane Lokalisierung und Kartenerstellung(SLAM)-Verfahren ein enges Sichtfeld (FOV) ein. Für eine gegebene Sensorgröße liefert dies eine höher aufgelöste Sicht eines kleineren Gesamtbereichs der sichtbaren Welt und würde somit die Erkennung kleinerer Gegenstände gestatten. Eine weite FOV ermöglicht es, dass die Kamera größere Gegenstände oder Gegenstände über einen größeren räumlichen Bereich hinweg erfassen kann, liefert aber nicht dieselbe Auflösung für einen gegebenen Sensor. Das Instrument würde einen SLAM-Verarbeitungsalgorithmus umfassen, der Bilder zu einer festgelegten Einzelbildrate oder zu einer variablen Einzelbildrate empfängt, welche von der Dynamik des Geräts bestimmt wird, und dann die Positionen der von ihm ermittelten Merkmale und die Position des Instruments allesamt in einem für die Anwendung geeigneten Koordinatenrahmen ausgeben. Kartesische Koordinaten in Bezug auf die anfängliche Orientierung des Instruments, absolut von einem vorgegebenen Ursprung gemessene kartesische Koordinaten, Breiten-/Längengrad-Höhe und erdzentriert erdfest; sphärische Koordinaten in Bezug auf die anfängliche Orientierung des Instruments. Für eine weitere Bezugnahme, vgl.: (i) Thomas Lemaire, Cyrille Berger, Il-Kyun Jung und Simon Lacroix, „Vision-Based SLAM: Stereo and Monocular Approaches", International Journal of Computer Vision 74(3), 343–364, 2007; und (ii) Moritz Köhler, Shwetak N. Patel, Jay W. Summet, Erich P. Stuntebeck und Gregory D. Abowd, Institute for Pervasisve Computing, Department of Computer Science ETH Zürich, 8092 Zürich, Schweiz, „TrackSense: Infrastructure Free Precise Indoor Positioning Using Projected Patterns".
In einer Ausführungsform der vorliegenden Technologie wird der merkmalbasierte Prozess 36 mit Hilfe eines Matchmoving-Prozesses angewendet. Der Matchmoving-Prozess umfasst mehrere Schritte. Der erste Schritt besteht im Ermitteln und Verfolgen von Gegenständen.
In einer Ausführungsform der vorliegenden Technologie besteht der merkmalsverfolgende Prozess aus zwei Schritten. Im ersten Schritt werden Positions- und Orientierungsreferenzen von den Merkmalen des Bildes abgeleitet. Auf diesen Schritt bezieht man sich üblicherweise als die „Merkmalserkennung”.
Der zweite Schritt umfasst Lösen für eine dreidimensionale (3D) Bewegung. In diesem Prozess wird versucht, die Bewegung der Bilderfassungsvorrichtung 34 (von 2) abzuleiten, indem die Rückprojektion von in den Merkmalen eines Bildes von der 2D-Bildebene ermittelten Transformationen in eine Schätzung der 3D Bewegung der Bilderfassungsvorrichtung 34 gelöst werden. Genauer gesagt kann nach der Aufnahme eines Punkts auf der Oberfläche eines dreidimensionalen Gegenstands dessen Position im zweidimensionalen (2D) Einzelbild durch eine dreidimensionale (3D) Projektionsfunktion errechnet werden.
Man kann den Gedanken einer abstrakten Kamera einführen. Diese abstrakte Kamera ist definitionsgemäß eine Abstraktion, die sämtliche Parameter enthält, die zur Modellierung der Bilderfassungsvorrichtung 34 in einer echten oder virtuellen Welt erforderlich sind.
Daher ist eine abstrakte Kamera im Grunde genommen ein Kameravektor, der als seine Elemente die Position der Bilderfassungsvorrichtung 34, ihre Orientierung, Fokaldistanz und sonstige möglichen Parameter umfasst, die definieren, wie die Bilderfassungsvorrichtung 34 Licht auf die Filmebene fokussiert. Es ist unwichtig zu wissen, wie nun genau dieser Kameravektor ausgeführt ist, solange es eine kompatible Projektionsfunktion P gibt.
Die Projektionsfunktion P benutzt als ihre Eingabe einen Kameravektor (als Kamera bezeichnet) und ein anderer Vektor benutzt die Position eines dreidimensionalen (3D) Punkts im Raum (als xyz bezeichnet) und bringt einen zweidimensionalen (2D) Punkt zurück, der auf eine Ebene vor der Kamera (als XY bezeichnet) projiziert wird. Dies wird wie folgt ausgedrückt: XY = P (Kamera, xyz). (Gl. 1)
Im Falle einer Merkmalsprojektion projizieren zum Beispiel die Kameras im Einzelbild i und j je nach den Parametern der Kamera die Sicht auf eine Ebene. Auf diese Art und Weise entsprechen die im zweidimensionalen (2D) Raum verfolgten Merkmale den echten Merkmale in einem dreidimensionalen (3D) Raum.
Die Projektionsfunktion verwandelt jedoch das echte 3D Merkmal und verringert die Informationsmenge, die es enthält. Ohne den vollständigen Informationsinhalt der Komponente zu kennen, kann eine Rückprojektionsfunktion P' nur einen Satz möglicher 3D-Punkte zurückbringen, die eine Linie bilden, welche von der Mitte der Kamera aus durch einen projizierten 2D-Punkt passiert. Eine ähnliche Ambiguität ergibt sich bei der Interpretation beliebiger Orientierungsinformationen, die in dem projizierten Merkmal enthalten sind. Die Rückprojektion wird wie folgt ausgedrückt: xyz ∈ P' (Kamera, XY). (Gl. 2) oder {xyz: P(Kamera, xyz) = XY}. (Gl. 3)
In einer Ausführungsform der vorliegenden Technologie wird der echte Punkt xyz an derselben Stelle in dem Realraum von einem Einzelbild des Bildes zum nächsten bleiben, wenn sich die Merkmale auf der Oberfläche eines starren Gegenstands, wie beispielsweise einem Gebäude, befinden: (xyz)_i = (xyz)_j; (Gl. 4) wobei sich die tiefgestellten Indizes i und j auf arbiträre Einzelbilder in der Aufnahme beziehen, die analysiert wird. Daraus folgt, dass: P'(Kamera_i, XY_i) ∩ P'(Kamera_j, XY_j) ≠ {} (Gl. 5)
Da der Wert von XY für alle Einzelbilder festgelegt wurde, durch die das Merkmal mittels des Verfolgungsprogramms verfolgt wurde, kann man die Rückprojektionsfunktion zwischen zwei beliebigen Einzelbildern lösen, solange P'(Kamera_i, XY_i) ∩ P'(Kamera_j, XY_j) ein kleiner Satz möglicher Kameravektoren ist, der die Gleichung bei i und j (als C_ij bezeichnet) löst. C_ij = ((Kamera_i, Kamera_j):P'(Kamera_i, XY_i) ∩ P'(Kamera_j, XY_j) ≠ {}); (Gl. 6)
Daraus folgt (aus Gl. 6), dass es einen Satz von Kameravektorpaaren C_ij gibt, für die die Intersektion der Rückprojektionen zweier Punkte XY, und X ein nicht leerer Satz ist, der sich um den stationären Punkt xyz zentriert.
Des Weiteren folgt (aus Gl. 6), dass es für jede Position der Bilderfassungsvorrichtung 34 im Raum einen Satz an entsprechenden Parametern gibt (Orientierung, Fokaldistanz usw.), der ein Ein-Punkt-Merkmal auf genau dieselbe Weise aufnehmen wird. Da jedoch ein Satz von Kameravektorpaaren C_ij eine unendliche Anzahl an Elementen aufweist, reicht ein Ein-Punkt-Merkmal nicht zur Festlegung der tatsächlichen Position der Bilderfassungsvorrichtung 34 aus.
Je mehr Verfolgungsinformationen in Gestalt zusätzlicher Punktmerkmalen oder zusätzlicher Orientierungsinformationen existieren, desto genauer kann die tatsächliche Position der Bilderfassungsvorrichtung 34 bestimmt werden.
Für einen Punktsatz {(xyz)_i,0, ..., (xyz)_i,n} und {(xyz)_j,0, ..., (xyz)_j,n}, wobei sich i und j immer noch auf Einzelbilder beziehen und n ein Index einer der vielen verfolgten Verfolgungsmerkmale ist, kann ein Satz von Kameravektorpaarsätzen abgeleitet werden.
Mit Hilfe dieses Ansatzes mehrfacher Spuren wird die Anzahl der möglichen Parameter der Kamera verringert. Der Satz möglicher Kameraparameter, die passen, F, ist die Intersektion aller Sätze: F = C_i,j,0 ∩...∩ C_i,j,n (Gl. 7)
Je geringer die Anzahl der Elemente in diesem Satz F ist, desto näher kommt man einer Extraktion der tatsächlichen Parameter der Bilderfassungsvorrichtung 34.
Aufgrund der in den Verfolgungsprozess eingeführten Fehler bedarf es eines statistischen Ansatzes zur Bestimmung eines Kameravektors für jedes Einzelbild. Optimierungsalgorithmen und Bündelblockausgleichungen können zur Eingrenzung der möglichen Lösungen für die Bewegung der Kamera eingesetzt werden.
Dreidimensionale Matchmoving-Werkzeuge ermöglichen ein Extrapolieren dreidimensionaler Informationen von zweidimensionalen Aufnahmen. 3D-matchmovingfähige Programme umfassen Folgende, sind jedoch nicht darauf beschränkt:
Voodoo (Freeware; Scenespector VooCAT);
Icarus (University of Manchester);
Maya Live;
The Pixel Farm PFTrack;
PFHoe (basiert auf PFTrack-Algorithmen);
REALVIZ MatchMover;
Science.D.Visions 3DEqualizer (gewann einen Academy Award für Technische Errungenschaften);
Andersson Technologies SynthEyes; und
Boujou (gewann 2002 einen Emmy Award)
In einer Ausführungsform der vorliegenden Technologie wird der merkmalbasierte Prozess 36 unter Verwendung eines photogrammetrischen Prozesses angewendet.
Unter Photogrammetrie versteht man eine Vorgehensweise zur Bestimmung der geometrischen Eigenschaften von Gegenständen photographischer Bilder. Im einfachsten Beispiel kann die Entfernung zwischen zwei Punkten, welche auf einer Ebene parallel zur photographischen Bildebene liegen, durch eine Messung ihrer Entfernung auf dem Bild bestimmt werden, wenn der Maßstab s des Bildes bekannt ist. Dies wird durch eine Multiplizierung der gemessenen Entfernung mit 1/s erreicht.
Eine ausgereiftere Methode namens Stereophotogrammetrie beinhaltet Schätzen der' dreidimensionalen Koordinaten von Punkten auf einem Gegenstand. Diese werden mittels Messungen, die in zwei oder mehr aus verschiedenen Standpunkten aufgenommenen (siehe Stereoskopie) Messbildern bestimmt werden. Gemeinsame Punkte werden auf jedem Bild ermittelt. Eine Sichtlinie (oder ein Strahl) kann von dem Standort der Kamera zu dem Punkt auf dem Gegenstand erstellt werden. Die Intersektion dieser Strahlen (Triangulation) bestimmt den dreidimensionalen Standort des Punkts. Ausgereiftere Algorithmen können andere von vornherein bekannte Informationen über die Szene ausnutzen, wie beispielsweise Symmetrien, die in gewissen Fällen die Rekonstruktion von 3D-Koordinaten von nur einer Kameraposition aus ermöglichen.
Algorithmen für Photogrammetrie drücken in der Regel das Problem als ein Minimieren der Summe der Quadrate eines Satzes an Fehlern aus. Diese Minimierung ist als Bündelausgleichung bekannt und wird häufig unter Verwendung des Levenberg-Marquardt-Algorithmus (LMA) durchgeführt, der eine numerische Lösung zum Problem des Minimierens einer grundsätzlich nichtlinearen Funktion über den Raum der Parameter der Funktion liefert. Diese Minimierungsprobleme ergeben sich besonders in Kurvenanpassungen mit der Methode der kleinsten Quadrate und der nichtlinearen Programmierung.
Der Levenberg-Marquardt-Algorithmus (LMA) interpoliert zwischen dem Gauss-Newton-Algorithmus (GNA) und der Methode des Gradientenabstiegs. Der Levenberg-Marquardt-Algorithmus (LMA) ist robuster als der Gauss-Newton-Algorithmus (GNA), was bedeutet, dass er in vielen Fällen eine Lösung findet, auch wenn er sehr weit weg vom endgültigen Minimum anfängt.
Die 3D-Koordinaten definieren die Standorte der Gegenstandspunkte in dem 3D-Raum. Die Bildkoordinaten definieren die Standorte der Bilder der Gegenstandspunkte auf dem Film oder einer elektronischen Bildaufnahmevorrichtung. Die externe Orientierung der Kamera definiert ihren Standort im Raum sowie ihre Blickrichtung. Die innere Orientierung definiert die geometrischen Parameter des Bildverarbeitungsprozesses. Hier handelt es sich hauptsächlich um die Fokaldistanz der Linse, kann jedoch auch die Beschreibung von Linsenverzerrungen umfassen. Weitere zusätzliche Beobachtungen spielen eine wichtige Rolle: Die Verbindung zu den grundlegenden Messeinheiten wird mit Hilfe von Maßstabskalen – im Grunde genommen, eine bekannte Entfernung zweier Punkte im Raum- oder bekannter Fixpunkte erstellt.
Photogrammetrische Daten mit dichten Bereichsdaten von Scannern komplementieren sich gegenseitig. Photogrammetrie ist genauer in den fast parallel zur Bildebene liegenden Dimensionen, und die Bereichsdaten sind in der Regel genauer in der für die Bildebene senkrechten Dimension. Diese Bereichsdaten können von Methoden, wie beispielsweise LiDAR, Laserscarmern (die die Time-Of-Flight, Triangulation oder Interferometrie einsetzen), Weißlicht-Digitalisierern und einer beliebigen sonstigen Methode, die einen Bereich scannt und x-, y-, z-Koordinaten für mehrere diskrete Punkte (üblicherweise „Punktwolken” genannt) zurücksendet, bereitgestellt werden.
Eine 3D-Visualisierung kann zur Georeferenzierung der Photos und LiDAR-Daten im selben Referenzeinzelbild erstellt werden. Methoden, wie beispielsweise die adaptive Kleinste-Quadrate-Stereo-Anpassung werden dann zur Erzeugung einer dichten Anordnung von Entsprechungen verwendet, die durch ein Kameramodell umgewandelt werden, um eine dichte Anordnung von x-, y-, z-Daten zu erzeugen.
Noch bezugnehmend auf 2 wird in einer Ausführungsform der vorliegenden Technologie ein merkmalbasierter Prozess 36 durch den Einsatz eines georeferenzierten imagebasierten Prozesses, wie in 3 veranschaulicht, angewendet. Der georeferenzierte imagebasierte Prozess 36 setzt das Verfahren der „imagebasierten Georeferenzierung” ein, welches von James M. Janky et al. in der am 14.09.2009 eingereichten Patentanmeldung mit Seriennummer 12/559,322 offenbart wurde. Die Patentanmeldung mit dem Titel „Image-Based Georeferencing” wird hier in ihrer Gesamtheit aufgenommen.
Genauer gesagt, ist die Bildverarbeitungsmaschine 62 (von 3) im Grunde genommen eine Serie von Computerprogrammen, die ein Bild von der Bilderfassungsvorrichtung 64 aufnimmt, ein Konturbild der erblickten Gegenstände mit Hilfe eines Bildkonturerstellers 68 erstellt, eine Suche nach einer ähnlichen Kontur durch eine Suche in der Georeferenzierten Gegenstandsbild-Lokaldatenbank 66 durchführt, Merkmale in dem Kamerabild 70 ermittelt und nach einem Match mit Merkmalen in der Datenbank sucht (mit Hilfe des Mustererkennungs-Konturanpassungsprozesses 72), und prüft, ob die während des Matching-Prozesses gefundenen Merkmale georeferenzierte Standortkoordinaten aufweisen.
Noch bezugnehmend auf 3 extrahiert in einer Ausführungsform der vorliegenden Technologie, wenn es ein Match mit georeferenzierten Koordinaten gibt, das Georeferenzierte Abrufprogramm 74 diese Koordinaten aus der Datenbank und der Standortbestimmer 76 bestimmt die Standortkoordinaten der Bilderfassungsvorrichtung 64 unter Verwendung der Verfahren der merkmalbasierten Verarbeitung, wie beispielsweise Photogrammetrie, Matchmoving usw. Siehe Erörterung weiter oben.
Noch bezugnehmend auf 3 kann in einer Ausführungsform der vorliegenden Technologie der anfängliche Standort der Bilderfassungsvorrichtung 64 über den Block 78 auf jeder Präzisionsstufe eingegeben werden, so zum Beispiel: (a) über einen GNSS-Empfänger; oder (b) manuell, wie es der Fall beim Gebrauch von zwei Namen für eine Intersektion ist; oder (c) einen ungefähren Breiten-/Längengrad. In dieser Ausführungsform der vorliegenden Technologie kann dieses Eingabeverfahren der anfänglichen Positionsbestimmung der Bilderfassungsvorrichtung 64 den Suchprozess beschleunigen, indem geradewegs zu dem Bereich von Interesse gegangen wird.
Noch bezugnehmend auf 3 kann in einer Ausführungsform der vorliegenden Technologie die manuelle Positionseingabe mittels eines Handgeräts, wie dem Trimble TSC2 (Trimble Survey Controller Modell 2) vorgenommen werden.
Noch bezugnehmend auf 3 kann in einer Ausführungsform der vorliegenden Technologie die Bildverarbeitungsmaschine 62 so konfiguriert werden, dass sie sich in einer tragbaren Rechnervorrichtung befindet, wie beispielsweise als ein TSC2 Datensammler oder einem Laptop oder einem elektronischen Organizer oder dem Apple iPad. Die Eingaben des anfänglichen(Saat-)Standorts der Bilderfassungsvorrichtung 64 kann über diese Vorrichtungen ausgeführt werden.
Noch bezugnehmend auf 3 kann in einer Ausführungsform der vorliegenden Technologie die Kommunikationsvorrichtung 80 zum Bereitstellen eines (anfänglichen) Saat-Standorts der Bilderfassungsvorrichtung 64 eingesetzt werden.
In einer Ausführungsform der vorliegenden Technologie kann ein drahtloses System, einschließlich von Wi-Fi, Mobiltelefonen, ZigBee oder Ähnlichem zum Anschluss der Kommunikationsvorrichtung 80 mit einer externen Datenbank verwendet werden.
In einer Ausführungsform der vorliegenden Technologie kann die Rechnerferne Allgemeine Georeferenzierte Gegenstand-Bilddatenbank 82 eine gut bestückte Datenbank darstellen, in der lokale Gegenstände, wie die Dachecken von Gebäuden, Hauseingangstüren, Fenstersimse, Straßenschilder, Hydranten usw., also praktisch alles, was es auf der Erde gibt, geolokalisiert sind und über ein Bild von irgendeinem arbiträren Blickwinkel verfügt.
Aus diesem Grund kann die Rechnerferne Allgemeine Georeferenzierte Gegenstand-Bilddatenbank 82 zur Eingabe eines Saat-Standorts der Bilderfassungsvorrichtung 64 verwendet werden.
Sollte dies der Fall sein, kann eine äußerst lokalisierte Aktualisierung für die Lokal Abgespeicherte Georeferenzierte Gegenstand-Bilddatenbank 66 von der Rechnerfernen Allgemeinen Georeferenzierten Gegenstand-Bilddatenbank 82 heruntergeladen werden. Unter Verwendung der Merkmale in dem Mustererkennungskontur-Anpassungsprogramm 72 kann eine Bilddrehung und Übersetzung im Rahmen der Suche nach einem Match zum lokal erfassten Bild ausgeführt werden.
In einer Ausführungsform der vorliegenden Technologie, genauer gesagt, im Falle des Erhalts einer Saat-Positionsbestimmung mit Hilfe der GPS-Positionsbestimmung von einem GPS/GNSS-Empfänger oder durch andere Mittel erhaltene Standortsinformationen, kann diese mit einem Kamerabild durch Verwendung des Austauschbaren Bilddateiformats (Exil) kombiniert werden. Exif ist eine Festlegung für das von Digitalkameras verwendete Bilddateiformat. Die Festlegung verwendet die vorhandenen Dateiformate JPEG, TIFF Rev. 6.0 und RIFF WAV, denen spezifische Metadatentags hinzugefügt werden.
In einer Ausführungsform der vorliegenden Technologie, in der eine Saat-Positionsbestimmung von einem GPS/GNSS-Empfänger mittels einer GPS-Positionsbestimmung erhalten wird, hängt die Genauigkeit der Saat-Positionsbestimmung gänzlich von dem Entwicklungsstand und der Leistungsstufe des GPS-Empfängers ab. Einfache GPS-Chipset-Empfänger, die in mit Kameras ausgerüsteten Mobiltelefonen eingesetzt werden, liefern eine absolute Genauigkeit von ungefähr 4–7 Meter überall auf der Welt.
Andererseits setzen hochentwickeltere Empfänger eine Vielzahl an Berichtigungsverfahren ein, die die Genauigkeit drastisch verbessern können. So sendet der von der US Federal Aviation Administration bereitgestellte Wide Area Augmentation Service Signale von 2 synchronen Satelliten auf derselben Frequenz wie das GPS-Signal mit einem Sondercode aus und verbessert die Genauigkeit bis zu ca. 1 Meter im ganzen Land. Sonstige differenzielle Services bieten Verbesserungen bis zu ca. 20 cm. Schlussendlich kann das Echtzeit-Kinematik-Verfahren mit dem Virtuellem Referenzstationsservice eine Genauigkeit bis zu ca. 2–5 cm in Bezug auf einen bekannten Referenzpunkt liefern.
Noch bezugnehmend auf 3 wird in einer Ausführungsform der vorliegenden Technologie ein Kamerabild einer tragbaren Bildverarbeitungsmaschine 62 zu einer genaueren Bestimmung der Position der Kamera geliefert, als es mit einem einfachen GPS-Empfänger möglich wäre. Das Kamerabild wird in Echtzeit geliefert oder kann laut den in einer gleichzeitig anhängigen Anmeldung „Image-Based Georeferencing” erläuterten Prinzipien nachverarbeitet werden.
Noch bezugnehmend auf 3 wird in einer Ausführungsform der vorliegenden Technologie die tragbare Bildverarbeitungsmaschine 62 mit der Lokalen Georeferenzierten Gegenstandsbild-Datenbank 66, die Bilder von Gebäuden und sonstiger Gegenstände einschließlich der georeferenzierten Merkmale enthält, welche in der Datenbank ermittelt werden, geliefert. Die Georeferenzdaten können aus Längengraden, Breitengraden und Höheninformationen bestehen oder können in Form von „nordorientiert und ostorientiert” von einem lokalen Referenzpunkt, wie beispielsweise den Markierungen des Geländevermessers, die von der US Geological Survey Administration installiert und gepflegt werden, abgespeichert werden. Sonstige Koordinatensysteme können ebenfalls eingesetzt werden.
In einer Ausführungsform der Technologie ist die Lokale Georeferenzierte Gegenstandsbild-Datenbank 66 zur Durchsuchbarkeit konfiguriert, indem sie mit den entsprechenden Tags aktiviert wird.
In einer Ausführungsform der Technologie kann die Lokale Georeferenzierte Gegenstandsbild-Datenbank 66 unter Verwendung von Googles StreetView oder einem Service ähnlicher Art angewendet werden. Die Lokale Georeferenzierte Gegenstandsbild-Datenbank 66 verbindet Standortinformationen mit den Standort-Tags in Längen- und Breitengradkoordinaten, die mit jedem Abschnitt von Bildern verbunden sind, und gibt somit eine Suchmaschine frei. Aus diesem Grund kann ein Benutzer ein Bild einer Straßenansicht auf der Grundlage ihrer Adresse oder auf der Grundlage ihres Standort in den Längen- und Breitengradkoordinaten finden. Die Straßenkreuzungen stehen ebenfalls zum Suchen zur Verfügung.
In einer Ausführungsform der Technologie kann die Lokale Georeferenzierte Gegenstandsbild-Datenbank 66 eingesetzt werden, indem das georeferenzierte Gegenstandsbild verwendet wird. Die georeferenzierte Gegenstandsbild-Datenbank enthält eine Vielzahl an präzisen Positionsdaten, die Merkmale von Gebäuden und Kanten, Halteschilder, Straßenschilder, Hydranten und Ähnliches betreffen. Die georeferenzierte Gegenstandsbild-Datenbank umfasst ferner die mit einer geeigneten Analysesoftware ausgestattete Bildverarbeitungsmaschine, die konfiguriert ist, um von bekannten Merkmalspositionen auf einem gegebenen Gegenstand Merkmale abzuleiten, die in dem von einem Benutzer erfassten Bild sein können. Diese Ableitung kann unter Verwendung des Interpolationsverfahrens, bei dem geeignete geometrische Transformationen zur Normalisierung des Bildes verwendet werden, und zum Finden der geometrischen Beziehungen (Entfernung und Richtung) bekannter georeferenzierter Merkmale zu unbekannten, jedoch geeigneteren Merkmalen ausgeführt werden.
In einer Ausführungsform der Technologie wird Bestimmen der Position einer Kamera von Daten in einem Bild unter Verwendung von Photogrammetrie-Verfahren ausgeführt, was aus dem Stand der Technik wohl bekannt ist. Siehe Erörterung weiter oben.
In einer Ausführungsform der Technologie kann der zum Ausführen photogrammetrischer Lösungen benötigte Entfernungsskalierungsfaktor von der Verarbeitung georeferenzierter Daten gefunden werden, die mit Gegenständen von Interesse in dem erfassten Bild verbunden sind. Die georeferenzierten Daten für zwei oder mehr Punkte ermöglichen Erzeugen des Entfernungsskalierungsfaktors durch eine einfache Berechnung der dreidimensionalen Entfernung zwischen zwei ausgewählten Punkten unter Verwendung der gut bekannten Formel: Abstand = ↦((x1 – x2)² + (y1 – y2)² + (z1 – z2)², (Gl. 8) wobei x, y und z die georeferenzierten Koordinaten der mit dem Gegenstand von Interesse verbundenen Punkte sind.
In einer Ausführungsform der Technologie liefert die Bildverarbeitungsmaschine (62 von 3) photogrammetrische Standardalgorithmen zur Bildverarbeitung, die dann eine Errechnung des Standorts der Kamera auf der Grundlage ausgewählter Referenzpunkte in dem erfassten Bild ermöglichen. Der Auswahlprozess setzt eine Suchroutine ein, die Kanten (Intersektionen zweier Linien) oder Ecken in dem erfassten Bild findet. Kanten oder Ecken mit der schärfsten Ecke bzw. dem schärfsten Punkt werden automatisch ausgewählt. Falls die ausgewählten Kanten/Ecken nicht mit einem georeferenzierten Datenpunkt verbunden sind, dann wird der Interpolationsalgorithmus zur Schätzung der georeferenzierten Daten für die ausgewählten Punkte eingesetzt. (Siehe Erörterung weiter oben).
In einer Ausführungsform der Technologie werden die ausgewählten Referenzpunkte in dem erfassten Bild dann zur Errechnung der Position der Kamera 64 verwendet. Falls drei oder mehr Punkte ausgewählt wurden, dann wird er Berechnungsprozess durch eine Serie an Schritten zur direkten Errechnung der Position geführt.
Ein Skalierungsfaktor wird über die berechenbaren Entfernungen zwischen den ausgewählten Referenzpunkten vermittels ihrer georeferenzierten Standortdaten bestimmt. Der Skalierungsfaktor wird in Form von physischer Entfernung in Metern oder Fuß, oder dem gegenüberliegenden Winkel an der Erdoberfläche gefunden.
Als Nächstes wird ein Winkel zwischen den ersten beiden georeferenzierten Punkten, wie in 4 abgebildet, bestimmt. Genauer gesagt, veranschaulicht 4 das Photogrammetrie-Verfahren zum Finden einer Entfernung 106 zu einer Kamera 92 von einer bekannten Entfernung D₁ 101 zwischen 2 Punkten P₁ 96 und P₂ 98, (Skalierungsfaktor) und Pixelkonvertierung zu einem gegenüberliegenden Winkel. In Geometrie ist ein einem Bogen entgegengesetzter Winkel einer, dessen zwei Strahlen durch die Endpunkte des Bogens passieren.
In einer Digitalkamera 92 wird dies durch eine Messung der Entfernung zwischen den beiden Punkten P₁ 96 und P₂ 98 ausgeführt, und dann wird das Verhältnis dieser Zahl zur Gesamtanzahl der Pixel 100 im Blickfeld der Kamera genommen. Die Entfernung 106 von dem Mittelwert 107 der Linie zwischen den 2 ausgewählten georeferenzierten Punkten zur Eintrittspupille der Kamera 94 wird unter Verwendung der Hälfte dieses Winkels A 102 und der Hälfte der Entfernung 1/2D 104 zwischen den 2 georeferenzierten Punkten berechnet, da die Tangente des halben Winkels zwischen den beiden ausgewählten Punkten durch das Verhältnis der Entfernung von der Kamera zur halben bekannten Entfernung zwischen den beiden Punkten für eine Art der Problemlösung gegeben ist. Tan (A) = D₁/2D₂ (Gl. 9)
In einer Ausführungsform der Technologie kann dieser Prozess des Bestimmens von mehr Entfernungsschätzwerten von den Mittelpunkten von Linien, die zwei beliebige georeferenzierte Punkte auf Gegenständen in dem erfassten Bild verbinden, durchgeführt werden. Nun kann der Mittelpunkt zwischen zwei beliebigen bekannten georeferenzierten Punkten ebenfalls im Sinne eines georeferenzierten Koordinatensystems berechnet werden.
Die soeben beschriebenen Entfernungen stellen nicht die Entfernungen dar, die zum Bestimmen der Position der Kamera erforderlich sind. Jedoch kann die Hypotenuse (lange Seite) 108, die die tatsächlichen Entfernungen von Punkt P₁ 96 zur Eintrittspupille der Kamera 94 ist, (und die Hypotenuse 110, die die tatsächliche Entfernung von Punkt P₂ 98 zur Eintrittspupille der Kamera 94 ist) mit diesen Informationen nun wie folgt für eine Art der Problemlösung berechnet werden: Entfernung (P1-Kamera) = 1/2 D.sin(A); (Gl. 10) wobei 1/2D die Hälfte der Entfernung zwischen P₁ und P₂ ist und A der Halbwinkel der Gesamtwinkelschiebung für die beiden Punkte P₁ und P₂ ist.
Noch bezugnehmend auf 4 dienen in einer Ausführungsform der Technologie, als ein Hilfsmittel zum Verständnis der nächsten Schritte, die georeferenzierten Punkte P₁ 96 und P₂ 98 nun als die Mitten von Kugeln, und die Entfernung von jedem Punkt zur Eintrittspupille der Kamera 94 liefert nun einen Radius für jede Kugel. Mit einem Minimum von drei georeferenzierten Punkten liefern daher drei Linien mit drei Punkten drei den Abstand zur Kamera darstellende Gleichungen. D. h., die drei Kugeln werden sich in der Eintrittspupille der Kamera – mit einigen Fehlern – kreuzen. Lösen für den Standort dieser Intersektion (drei Gleichungen in drei Unbekannten) liefert nun den georeferenzierten Punkt der Eintrittspupille. Es handelt sich hier um das Triangulationsverfahren.
In einer Ausführungsform der Technologie ist das Gleichungssystem überbestimmt, wenn mehr als drei bekannte Punkte vorliegen sollten. Der Großteil der photogrammetrischen Programme setzt wesentlich mehr Punkte zur Fehlerverringerung ein.
Das Verfahren der kleinsten Quadrate ist ein Standardansatz zur ungefähren Lösung überbestimmter Systeme, d. h. Sätze von Gleichungen, in denen es mehr Gleichungen als Unbekannte gibt. „Kleinste Quadrate” bedeutet, dass die Gesamtlösung die Summe der Quadrate der bei der Lösung jeder einzelnen Gleichung gemachten Fehler minimiert.
Die wichtigste Anwendung ist bei der Datenanpassung. Die beste Anpassung im Sinne der kleinsten Quadrate minimiert die Summe der Residuen im Quadrat, wobei ein Residuum die Differenz zwischen einem beobachteten Wert und dem von einem Modell gelieferten Wert ist. Kleinste Quadrat-Probleme fallen in zwei Kategorien – lineare kleinste Quadrate und nicht-lineare kleinste Quadrate-, was abhängig davon ist, ob die Residuen in allen Unbekannten linear sind oder nicht. Das lineare kleinste Quadrate-Problem wird in der statistischen Regressionsanalyse angetroffen; es hat eine geschlossene Lösung. Das nichtlineare Problem hat keine geschlossene Lösung und wird in der Regel durch eine iterative Verfeinerung gelöst; bei jeder Iteration wird das System durch eine lineare angenähert, wobei somit die Kernberechnung in beiden Fällen ähnlich ist. Kleinste Quadrate entsprechen dem Kriterium der höchsten Wahrscheinlichkeit, wenn die experimentellen Fehler normal verteilt sind und auch als ein Momentenschätzverfahren abgeleitet werden können. Auch kann das kleinste Quadrat-Verfahren zum Anpassen an ein verallgemeinertes lineares Modell verwendet werden, indem lokale quadratische Näherung auf die Wahrscheinlichkeit iterativ angewendet wird.
Es sind viele photogrammetrische Programme verfügbar, die die oben erwähnten Schritte ausführen. Des Weiteren wird der Prozess zum Bestimmen der genauen Orientierung von der die Aufnahme machenden Kamera bezüglich der georeferenzierten Punkte zur Kompensierung der Tatsache, dass eine Neigung in dem Liniensystem existiert, ebenfalls in Betracht gezogen. Eine Vielzahl an Referenzpunkten oder zumindest zwei Bilder von zwei verschiedenen Kamerastandorten liefert bzw. liefern genügend Daten, um den Standort der Kamera zu bestimmen.
Im Falle, dass der Anwender sich dafür entscheidet, mehr als ein Bild der Szene aufzunehmen, in der sich der Gegenstand von Interesse befindet, ist eine zusätzliche Verarbeitung zur Behandlung dieses anderen wichtigen Falls leicht verfügbar. Dieser Prozess kann auf einmal mithilfe dem als „Bündelausgleichung” bekannten Verfahren ausgeführt werden.
Angesichts eines Bildes, das eine gewisse Anzahl an 3D-Punkten von verschiedenen Blickwinkeln aus anzeigt, kann eine Bündelausgleichung als ein Problem des gleichzeitigen Verfeinerns der 3D-Koordinaten, die die Szenengeometrie beschreiben sowie auch der Parameter der relativen Bewegung und der optischen Charakteristika der zur Aufnahme der Bilder eingesetzten Kamera(s) gemäß eines Optimalitätskriteriums, welches die entsprechenden Bildprojektionen aller Punkte beinhaltet, definiert werden.
Die Bündelausgleichung wird fast immer als letzter Schritt eines jeden merkmalbasierten 3D-Rekonstruktionsalgorithmus verwendet. Sie läuft auf ein Optimierungsproblem auf der 3D-Struktur und der Betrachtungsparameter hinaus (d. h. die Pose der Kamera und eventuelle intrinsische Kalibrierung und radiale Verzerrung) zum Erhalten einer Rekonstruktion, die unter gewissen Annahmen in Bezug auf das die beobachteten Bildmerkmale betreffende Geräusch optimal ist.
Bündelausgleichung ist der Maximum-Likelihood-Schätzer, falls der Bildfehler mittelwertfrei und Gauß'sch ist. Der Name bezieht sich auf die Licht-„Bündel”, die aus jedem 3D-Merkmal hervorgehen und in der optischen Mitte jeder Kamera zusammentreffen, die sowohl in Bezug auf die Struktur als auch die Betrachtungsparameter optimal ausgeglichen sind.
Während des Bündelausgleichungsprozesses wird der Neuprojektionsfehler zwischen den Bildstandorten von beobachteten und vorausgesagten Bildpunkten minimiert, der als die Quadratsumme einer großen Anzahl nicht-linearer, realwertiger Funktionen ausgedrückt wird. Daher wird die Minimierung unter Verwendung nicht-linearer Kleinst-Quadrat-Algorithmen erreicht. Durch iteratives Linearisieren der zu minimierenden Funktion in der Nachbarschaft des laufenden Schätzwerts beinhaltet der Levenberg-Marquardt-Algorithmus die Lösung von Linearsystemen, die als Normalgleichungen bekannt sind. Bei der Lösung von sich im Rahmen der Bündelausgleichung ergebenden Minimierungsproblemen verfügen die Normalgleichungen über eine spärliche Blockstruktur aufgrund des Mangels von Interaktion unter den Parameter fair verschiedene 3D-Punkte und Kameras. Dies kann ausgenützt werden, um rechenbetonte Nutzen zu erzielen, indem eine spärliche Variante des Levenberg-Marquardt-Algorithmus eingesetzt wird, die explizit den Vorteil des Nullmusters der Normalgleichungen ausnutzt und die Speicherung und den Betrieb auf Nullelementen vermeidet.
In einer Ausführungsform der vorliegenden Technologie veranschaulicht 5 das Flussdiagramm 120, das die Umsetzungsschritte des merkmalbasierten Prozesses 36 (von 2) unter Verwendung der Georeferenzierten Gegenstandsbild-Lokaldatenbank 66 und der Bildverarbeitungsmaschine 62 (von 3) beschreibt.
Genauer gesagt, kann in einer Ausführungsform die Bildverarbeitungsmaschine 62 (von 3) in Schritt 124 mit Daten initialisiert werden, die für den gewünschten Standortbereich als relevant bestimmt wurden. Als Nächstes erfasst die Bilderfassungsvorrichtung 64 in Schritt 126 mindestens ein Bild eines Gegenstands von Interesse in einem Bereich von Interesse und liefert (in Schritt 128) der Bildverarbeitungsmaschine 62 (von 3) mindestens ein erfasstes Bild von Interesse. Ein Muster-Matching-Prozess wird ausgeführt (in Schritt 130), um ein Match zwischen der Kontur von Gegenständen im erfassten Bild und von Gegenständen in der Georeferenzierten Gegenstandsbild-Lokaldatenbank 66 anzustreben. Nachdem mindestens eine Merkmal in dem erfassten Bild des Gegenstands von Interesse ermittelt wurde (Schritt 132), wird eine Suche in der Georeferenzierten Gegenstandsbild-Lokaldatenbank 66 (Schritt 134) nach einem Match zwischen dem ausgewählten Merkmal in dem erfassten Bild und dem georeferenzierten Merkmal in der Datenbank 66 ausgeführt. Der Suchprozess wird für eine ausgewählte Anzahl an Merkmal-Matches wiederholt (Schritt 136). In Schritt 138 werden die photogrammetrische Bildverarbeitungsalgorithmen zum Bestimmen des Standorts der Eintrittspupillenposition der Kamera (94 von 4) in einem georeferenzierten Koordinatensystem eingesetzt, die der Georeferenzierten Gegenstandsbild-Datenbank entnommen wurden. Wahlweise (Schritt 140) umfasst der zusätzliche Schritt 124 des Initialisierens Bildverarbeitungsmaschine ferner die Eingabe einer lokalen Referenzposition, die eine Straße mit Hausnummer, der Kreuzung zweier Straßen, eines Orientierungspunkts oder eines georeferenzierten Datums definiert ist.
In einer Ausführungsform der vorliegenden Technologie zeigt 6 die Vorrichtung für eine imagebasierte Positionierung 150 einschließlich eines GNSS-Empfängers 152, der an einem Pfosten 154 befestigt ist, wobei eine Kamera 156 an demselben Pfosten 154 befestigt ist. Des Weiteren zeigt es den GIS-/Vermessungsdaten-Sammler 162, wie beispielsweise einen TSC2.
In einer Ausführungsform der vorliegenden Technologie veranschaulicht 7 ein Computersystem 170, das konfiguriert ist, um die Bildverarbeitungsmaschine 62 von 3 zu aktivieren. Der Hardware-Teil umfasst einen Prozessor 172, einen nicht flüchtigen, von einem Computer einsetzbaren Speicher (ROM) 174, einen flüchtigen von einem Computer einsetzbaren Speicher 176, eine Datenspeichereinheit 178, einen Datenbus 180, ein Bild-Datenbankverwaltungssystem (IDMS) 182, eine Anzeigevorrichtung 183, eine alphanumerische Eingabe 184, eine Cursorsteuerung 186, eine E/A-Vorrichtung 188 und periphäres computerlesbares Speichermedium 190. Der Softwareblock 192 umfasst Betriebssystem 194, Anwendungen 196, Module 198 und Datenblock 200. Dies dient lediglich als Beispiel eines solchen Computersystems. Tatsächliche Computersysteme, die nicht alle der aufgeführten Komponenten oder nicht aufgelistete Teile umfassen, könnten dennoch zum Aktivieren der Bildverarbeitungsmaschine geeignet sein.
III. Imagebasierte Positionierungsvorrichtung einschließlich eines Doppelgegenstandsverfolgungsprozesses
In einer Ausführungsform der vorliegenden Technologie zeigt 8 eine imagebasierte Positionierungsvorrichtung 210 einschließlich des Doppelmerkmals-Verfolgungsprozesses 212. Dieser Prozess 212 kann mittels eines Allgemeinzweck-Prozessors oder durch Verwendung eines anwendungsspezifischen Prozessors (ASIC, FPGA, PLD usw.) angewendet werden.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 210 ferner mindestens zwei Bilderfassungsvorrichtungen 214 und 216 (die dritte Vorrichtung 218 ist optional), welche an der Plattform 211 befestigt sind.
In einer Ausführungsform der vorliegenden Technologie haben die Bilderfassungsvorrichtungen 214 und 216 überlappende Blickfelder.
In einer Ausführungsform der vorliegenden Technologie haben die Bilderfassungsvorrichtungen 214 und 216 keine überlappenden Blickfelder.
In einer Ausführungsform der vorliegenden Technologie umfasst die Plattform 211 einen Rover.
In einer Ausführungsform der vorliegenden Technologie umfasst die Plattform 211 ein Rover-RTK-System.
In einer Ausführungsform der vorliegenden Technologie umfasst die Plattform 211 ein GIS-/Mapping-Handgerät.
In einer Ausführungsform der vorliegenden Technologie ist jede Bilderfassungsvorrichtung 214 und 216 (und optional 218) zum Erfassen eines Bildes konfiguriert, und zwar einschließlich mindestens eines Merkmals an einer ersten Position der Plattform 211 und an einer zweiten Position der Plattform 211.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 210 ferner einen Synchronisierungsblock 226, der zum Synchronisieren der ersten Bilderfassungsvorrichtung 214 und der zweiten Bilderfassungsvorrichtung 216 (und wahlweise der dritten Bilderfassungsvorrichtung 218) konfiguriert ist. Siehe Erörterung weiter unten.
In einer Ausführungsform der vorliegenden Technologie wird der Synchronisierungsblock 226 unter Verwendung eines Steuersignals angewendet, das von einem Controller (nicht abgebildet) erzeugt wird.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 210 ferner einen Positionsprozess 220, der ausgewählt ist aus der Gruppe bestehend aus: einem GNSS-Prozess; einem bildangepassten photogrammetrischen Prozess; einem georeferenzierten bildangepassten Prozess; einem Matchmoving-Prozess; einem Oberflächenverfolgungsprozess und einem SLAM-Prozess.
Der Betrieb eines GNSS-Prozesses; ein bildangepasster photogrammetrischer Prozess, ein Matchmoving-Prozess, ein Oberflächenverfolgungsprozess und ein SLAM-Prozess wurden ausführlich in den weiter oben aufgeführten Erörterungen offenbart. Der Positionsprozess 220 ist zum Erhalten der Position der Plattform 211 konfiguriert.
In einer Ausführungsform der vorliegenden Technologie ist der doppelmerkmalbasierte Prozess 212 konfiguriert, um jedes an der ersten und an der zweiten Position von Plattform 211 erhaltene Bild zu verarbeiten und einen Satz an Verfolgungsdaten für mindestens zwei Merkmale zu extrahieren. Der doppelmerkmalbasierte Prozess 212 ist ebenfalls konfiguriert, um den Standort der zweiten Position der Plattform 212 zu bestimmen, indem der Satz an Verfolgungsdaten verwendet wird, der für jedes der mindestens zwei erfassten Merkmale erhalten wurde.
In einer Ausführungsform der vorliegenden Technologie ist der Prozess 212 ferner konfiguriert, um ein Bild zu verarbeiten, das mindestens ein Merkmal umfasst, das an der ersten und an der zweiten Position der Plattform 211 von der dritten Bilderfassungsvorrichtung 218 erhalten wurde, um einen Satz an Verfolgungsdaten für mindestens ein erfasstes Merkmal zu extrahieren. In dieser Ausführungsform der vorliegenden Technologie ist Prozess 212 ebenfalls konfiguriert, um den Standort der zweiten Position der Plattform 212 zu bestimmen, indem der Satz an Verfolgungsdaten verwendet wird, der für jedes mindestens eine erfasste Merkmal erhalten wurde.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 210 ferner einen Kalman-Filter 222. Kalman-Filter 222 ist konfiguriert, um eine Kalman-Schätzung der zweiten Position der Plattform 211 zu erhalten, indem der Satz von Verfolgungsdaten von mindestens einem ersten erfassten Merkmal als eine erste rauschreiche Messung und der Satz von Verfolgungsdaten von mindestens einem zweiten erfassten Merkmal als eine zweite rauschreiche Messung kombiniert werden. Wahlweise ist der Kalman-Filter 222 konfiguriert, um eine Kalman-Schätzung einer zweiten Position der Plattform 211 zu erhalten, indem ein Satz von Verfolgungsdaten von mindestens einem ersten erfassten Merkmal als eine erste rauschreiche Messung, der Satz an Verfolgungsdaten von mindestens einem zweiten erfassten Merkmal als eine zweite rauschreiche Messung und der Satz an Verfolgungsdaten von mindestens einem dritten erfassten Merkmal als eine dritte rauschreiche Messung kombiniert werden.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 210 ferner einen externen Speicherblock 224, der zum Speichern von mindestens einer merkmalbasierten dreidimensionalen (3D) Positionskoordinaten der Plattform zur weiteren Verarbeitung konfiguriert ist.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 210 ferner ein drahtloses Modem 228, das konfiguriert ist, um einem externen Speicherblock 224 Fernzugriff auf das Internet zu gewähren.
IV. Betriebsmodi der imagebasierten Positionierungsvorrichtung einschließlich des Doppelgegenstandsverfolgungsprozesses
A. Synchronbetrieb
In einer Ausführungsform der vorliegenden Technologie umfasst der Synchronbetrieb der imagegestützten Positionierungsvorrichtung 210 von 8 Erfassen eines ersten Bildes durch Verwendung einer ersten Bilderfassungsvorrichtung 214 (ein erstes-erstes Bild) an einer ersten Position der Plattform 211, wobei das erste-erste Bild mindestens einen ersten Gegenstand umfasst.
In einer Ausführungsform der vorliegenden Technologie wird die Position der Plattform 211 durch Verwendung des Positionsprozesses 220 (von 8) bestimmt, der ausgewählt ist aus der Gruppe bestehend aus: GNSS-Prozess, einem Oberflächenverfolgungsprozess, dem merkmalbasierten Prozess und dem georeferenzierten imagebasierten Prozess.
In einer Ausführungsform der vorliegenden Technologie wird eine Position der Plattform 211 vorbestimmt.
Als nächstes wird ein Bild durch Verwendung der ersten Bilderfassungsvorrichtung 214 an einer zweiten Position der Plattform 211 erfasst (ein zweites-erstes Bild), wobei das zweite-erste Bild mindestens eines derselben ersten erfassten Gegenstände umfasst.
Das erste-erste Bild und das zweite-erste Bild werden durch Verwendung des Prozesses 212 verarbeitet, um an den Standort von mindestens einem ersten erfassten Gegenstand anzudocken und diesen zu verfolgen. Prozess 212 ist konfiguriert, um einen Satz an zweidimensionalen Positionsbestimmungen für mindestens einen ersten erfassten Gegenstand von der Verarbeitung des ersten-ersten Satzes und des zweiten-ersten Bildes zu erhalten, welche einen Satz von Verfolgungsdaten für den ersten erfassten Gegenstand liefern.
In einer Ausführungsform der vorliegenden Technologie kann ein Verfolgungsalgorithmus verwendet werden, um an zumindest einen erfassten ersten Gegenstand anzudocken, und um dem angedockten ersten Gegenstand durch eine Reihe mehrerer Einzelbilder zu folgen. Siehe die Erörterung weiter oben und Gleichungen (1–7).
Auf ähnliche Weise wird ein erstes Bild durch Verwendung einer zweiten Bilderfassungsvorrichtung 216 (von 8) (ein erstes-zweites Bild) an der ersten Position von Plattform 211 erfasst, wobei das erste-zweite Bild mindestens einen zweiten Gegenstand umfasst.
In einer Ausführungsform der vorliegenden Technologie kann ein Synchronisierungsblock 226 zum Synchronisieren des Betriebs der ersten Bilderfassungsvorrichtung 214 (von 8) und der zweiten Bilderfassungsvorrichtung 216 (von 8) so eingesetzt werden, dass beide Vorrichtungen (jeweils) ersten und zweiten Gegenstand erfassen, die sich in dem entsprechenden FOV für jede Vorrichtung befinden und zwar zur gleichen Zeit, zu der sich Plattform 211 an derselben Position befindet.
Ein zweites Bild wird unter Verwendung einer zweiten Bilderfassungsvorrichtung 216 (von 8) (ein zweites-zweites Bild) von an der zweiten Position der Plattform 211 erfasst; wobei das zweite-zweite Bild mindestens eines desselben zweiten erfassten Gegenstands umfasst.
In einer Ausführungsform der vorliegenden Technologie kann der Synchronisierungsblock 226 zum Synchronisieren des Betriebs der ersten Bilderfassungsvorrichtung 214 (von 8) und der zweiten Bilderfassungsvorrichtung 216 (von 8) verwendet werden, damit beide Vorrichtungen (jeweils) ersten und zweiten Gegenstand erfassen, die sich in dem entsprechenden FOV für jede Vorrichtung befinden und zwar zur gleichen Zeit, zu der sich Plattform 211 an derselben Position befindet.
Das erste-zweite Bild und das zweite-zweite Bild werden unter Verwendung von Prozess 212 verarbeitet, um den Standort von mindestens einem zweiten erfassten Gegenstand zu verfolgen. Prozess 212 ist konfiguriert, um einen Satz von zweidimensionalen Positionsbestimmungen für mindestens einen zweiten erfassten Gegenstand zu erhalten und zwar von der Verarbeitung des ersten-zweiten Satzes und des zweiten-zweiten Satzes, die einen Satz an Verfolgungsdaten für den zweiten erfassten Gegenstand liefern.
In einer Ausführungsform der vorliegenden Technologie kann der Verfolgungsalgorithmus zum Verfolgen von mindestens einem erfassten zweiten Gegenstand verwendet werden und zum Folgen des ersten Merkmals durch eine Reihe an mehreren Einzelbildern. Siehe die Erörterung weiter oben und Gleichungen (1–7).
Der Standort der Plattform 211 wird von dem Doppelmerkmalprozess 212 bestimmt, indem der Satz von Verfolgungsdaten von mindestens einem ersten Gegenstand und der Satz von Verfolgungsdaten von mindestens einem zweiten Gegenstand verwendet werden.
Genauer gesagt, wendet Prozess 212 in einer Ausführungsform der vorliegenden Technologie eine inverse Projektionsfunktion auf den Satz von zweidimensionalen (2D) Verfolgungsdaten von mindestens einem ersten erfassten Gegenstand zum Lösen für einen Satz von dreidimensionalen (3D) Koordinaten für der Position der Plattform 211 an.
Genauer gesagt wendet der Prozess 212 in einer Ausführungsform der vorliegenden Technologie eine inverse Projektionsfunktion auf den Satz von zweidimensionalen (2D) Verfolgungsdaten von mindestens einem zweiten Gegenstand zum Lösen für einen Satz von dreidimensionalen (3D) Koordinaten für die Position der Plattform 211 an. Siehe die Erörterung weiter oben und Gleichungen (1–7).
In einer Ausführungsform der vorliegenden Technologie wird eine erste Gewichtung einem Satz von Verfolgungsdaten von mindestens einem ersten erfassten Gegenstand zugeordnet, und eine zweite Gewichtung wird einem Satz von Verfolgungsdaten von mindestens einem zweiten erfassten Gegenstand zugeordnet. In dieser Ausführungsform der vorliegenden Technologie wird die Bestimmung des Standorts der Position der Plattform 211 durch Prozess 212 ausgeführt, indem ein Satz von gewichteten Verfolgungsdaten von mindestens einem ersten erfassten Gegenstand und ein Satz von gewichteten Verfolgungsdaten von mindestens einem zweiten erfassten Gegenstand verwendet werden.
In einer Ausführungsform der vorliegenden Technologie wird ein Kalman-Filter 222 zum Erhalten einer Kalman-Schätzung der Position der Plattform 211 verwendet, indem ein Satz von Verfolgungsdaten von mindestens einem ersten erfassten Gegenstand als eine erste rauschreiche Messung und ein Satz von Verfolgungsdaten von mindestens einem zweiten erfassten Gegenstand als eine zweite rauschreiche Messung kombiniert werden.
B. Asynchronbetrieb.
In einer Ausführungsform der vorliegenden Technologie basiert der Asynchronbetrieb der imagebasierten Positionierungsvorrichtung 210 von 8 auf der ersten Bilderfassungsvorrichtung 214 und zweiten Bilderfassungsvorrichtung 216 die entsprechende Bilder zu verschiedenen Zeitpunkten (nicht synchronisiert) erfassen.
In einer Ausführungsform der vorliegenden Technologie umfasst der asynchrone Betrieb der imagebasierten Positionierungsvorrichtung 210 von 8 die folgenden Schritte: Erfassen eines ersten Bildes durch Verwendung einer ersten Bilderfassungsvorrichtung 214 (ein erstes-erstes Bild) an einer ersten Position der Plattform 211; wobei das erste-erste Bild mindestens einen ersten Gegenstand umfasst; Erfassen eines zweiten Bildes durch Verwendung der ersten Bilderfassungsvorrichtung 214 (ein zweiteserstes Bild) an einer zweiten Position der Plattform 211; wobei das zweite-erste Bild mindestens einen erfassten ersten Gegenstand umfasst; Verarbeiten des ersten-ersten Bildes und des zweiten-ersten Bildes zum Verfolgen eines Standorts von mindestens einem ersten erfassten Gegenstand; wobei ein Satz von zweidimensionalen Positionsbestimmungen für mindestens einen erfassten ersten Gegenstand von der Verarbeitung des ersten-ersten Bildes und des zweiten-ersten Bildes erhalten wird, wobei ein Satz von Verfolgungsdaten für den erfassten ersten Gegenstand geliefert wird.
In einer Ausführungsform der – vorliegenden Technologie umfasst der Asynchronbetrieb der imagebasierten Positionierungsvorrichtung 210 von 8 ferner die folgenden Schritte: Erfassen eines ersten Bildes durch Verwendung einer zweiten Bilderfassungsvorrichtung 216 (ein erstes-zweites Bild) an einer dritten Position der Plattform 211; wobei das erste-zweite Bild mindestens einen zweiten Gegenstand umfasst; Erfassen eines zweiten Bildes durch Verwendung einer zweiten Bilderfassungsvorrichtung 216 (ein zweites-zweites Bild) an einer vierten Position der Plattform 211; wobei das zweite-zweite Bild mindestens einen zweiten erfassten Gegenstand umfasst; Verarbeiten des erstenzweiten Bildes und des zweiten-zweiten Bildes, um einen Standort von mindestens einem zweiten Gegenstand zu verfolgen; wobei ein Satz von zweidimensionalen Positionsbestimmungen für mindestens einen zweiten erfassten Gegenstand vom Verarbeiten des ersten-zweiten Bildes und des zweiten-zweiten Bildes erhalten wird, wobei ein Satz von Verfolgungsdaten für den zweiten Gegenstand geliefert wird.
In einer Ausführungsform der vorliegenden Technologie umfasst der Asynchronbetrieb der imagebasierten Positionierungsvorrichtung 210 von 8 ferner Bestimmen der Position der Plattform 211 unter Verwendung des Satzes von Verfolgungsdaten von mindestens einem ersten erfassten Gegenstand. In dieser Ausführungsform der vorliegenden Technologie kann eine Position der Plattform 211 durch den Positionsprozess 220 bestimmt werden.
In einer Ausführungsform der vorliegenden Technologie umfasst der Asynchronbetrieb der imagebasierten Positionierungsvorrichtung 210 von 8 ferner Bestimmen des Standorts der vierten Position der Plattform 211 durch Verwendung eines Satzes von Verfolgungsdaten von mindestens einem zweiten erfassten Gegenstand. In dieser Ausführungsform der vorliegenden Technologie kann eine weitere Position der Plattform 211 durch den Positionsprozess 220 bestimmt werden.
In dieser „asynchronen” Ausführungsform der vorliegenden Technologie kann eine andere Position der Plattform 211 erhalten werden, indem eine lineare Interpolation der vorherigen Positionen der Plattform 211 ausgeführt wird, ohne neue Bilder mit den Vorrichtungen 214 und 216 zu erfassen.
Als ein weiteres Beispiel kann die sich bewegende Plattform 211 kurzzeitig in einen „dunklen” Bereich eintreten, in dem die erste Bilderfassungsvorrichtung 214 und die zweite Bilderfassungsvorrichtung 216 nicht genügend Licht zum Erzeugen eines brauchbaren Bildes erhalten. Daher kann mindestens eine Position der sich bewegenden Plattform 211 in diesem dunklen Bereich durch Durchführen einer linearen Interpolation der zwei vorherigen (d. h. vor dem Eintritt in den „dunklen” Bereich) Positionen der Plattform 211 (durch Verwendung beider Vorrichtungen 214 und 216) erhalten werden, ohne dass dabei Vorrichtungen 214 und 216 irgendwelche neuen Bilder in dem „dunklen” Bereich erfassen. Interpolation kann sich einfach auf die Zeitaufteilung der Linie zwischen den erhältlichen Positionen stützen oder sie kann Informationen mit einbeziehen, die bezüglich der Geschwindigkeit, Beschleunigung und Ableitungen höherer Ordnung von Bewegung sowie auch Orientierungs- und Drehungsinformationen bekannt sind. Diese zur Interpolation verwendeten Informationen können von einem Doppelmerkmalprozess 212 oder dem Positionsprozess 220 abgeleitet werden.
V. Imagebasierte Positionierungsvorrichtung einschließlich Gegenstand und Oberflächenverfolgungsprozess
In einer Ausführungsform der vorliegenden Technologie veranschaulicht 9 eine imagebasierte Positionierungsvorrichtung 260 einschließlich dem Merkmals- und Oberflächen-Verfolgungsprozess 270. Der Prozess 270 kann durch Verwendung eines Aligemeinzweckprozessors oder durch Verwendung eines anwendungsspezifischen Prozessors (ASIC, FPGA, PLD usw.) angewendet werden.
In einer Ausführungsform der vorliegenden Technologie umfasst der Prozess 270 zwei Unterprozesse: der Unterprozess 270-1 konfiguriert zum Durchführen Oberflächenverfolgungsverarbeitung (siehe Erörterung weiter unten), und ein Unterprozess 270-2 konfiguriert zum Durchführen einer Merkmalsverfolgungsverarbeitung (siehe Erörterung weiter oben).
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 210 ferner zwei Bilderfassungsvorrichtungen 264 und 266, die auf einer Plattform 262 befestigt sind. In einer Ausführungsform der vorliegenden Technologie überlappen sich die Blickfelder der beiden Bilderfassungsvorrichtungen. In einer Ausführungsform der vorliegenden Technologie überlappen sich die beiden Bilderfassungsvorrichtungen nicht.
In einer Ausführungsform der vorliegenden Technologie umfasst die Plattform 262 einen Rover.
In einer Ausführungsform der vorliegenden Technologie umfasst die Plattform 262 ein Rover-RTK-System.
In einer Ausführungsform der vorliegenden Technologie umfasst die Plattform 262 ein GIS-/Mapping-Handgerät.
In einer Ausführungsform der vorliegenden Technologie ist die erste Bilderfassungsvorrichtung 264 zum Erfassen eines Bildes einer Oberfläche an einer ersten Position der Plattform 262 konfiguriert.
In einer Ausführungsform der vorliegenden Technologie kann die Oberfläche ausgewählt sein aus der guppe bestehend aus: einer Grundfläche; einer Oberseite; einer Seitenfläche; und einer in einem beliebigem Winkel geneigte Oberfläche oder Ähnliches.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 260 ferner die Bereichsmessvorrichtung 280, die konfiguriert ist, um einen Satz von Tiefendaten der ausgewählten Oberfläche zu erhalten.
In einer Ausführungsform der vorliegenden Technologie kann die Bereichsmessvorrichtung 280 ausgewählt sein aus der Gruppe bestehend aus: einem Punktlaserstrahl; einem Sonar; einem Radar; einem Laserscanner und einer Tiefenkamera oder Ähnlichem.
Eine Bereichsmessvorrichtung für den Punktlaserstrahl 280 kann durch Verwendung blaue Festkörperlaser, rote Diodenlaser, IR-Laser angewendet werden, die fortlaufend leuchtende Laser oder pulsierte Laser oder sequenzierte Laser oder eine ähnliche Vorrichtung sein können.
Eine Sonarbereichsmessvorrichtung 280 kann durch Verwendung eines aktiven Sonars, einschließlich Tonsenders und einem Empfänger angewendet werden.
Eine Radarbereichsmessvorrichtung 280 kann durch Verwendung eines Transmitters angewendet werden, der entweder Mikrowellen oder Radiowellen aussendet, die von der Oberfläche reflektiert und von einem Empfänger detektiert werden, in der Regel an derselben Stelle wie der Transmitter.
Eine Tiefenkamera kann durch Verwendung einer Videokamera angewendet werden, die Video mit Tiefeninformationen erfassen kann.
Diese Kamera verfügt über Sensoren, die die Tiefe eines jeden erfassten Pixels unter Verwendung eines Prinzips namens Time-Of-Flight messen können. Sie erhält 3D-Informationen durch das Aussenden von üblicherweise Infrarot-Lichtpulsen an alle Gegenstände in der Szene und Abtasten des reflektierten Lichts von der Oberfläche eines jedes Gegenstands. Tiefe wird durch Berechnen von Time-Of-Flight eines Lichtstrahls, wenn er die Quelle verlässt und von den Gegenständen auf der Oberfläche reflektiert wird, gemessen. Diese Umlaufzeit wird dann in Entfernungsinformationen unter Verwendung der allgemein bekannten Lichtgeschwindigkeit umgewandelt.
Noch bezugnehmend auf 9 ist in einer Ausführungsform der vorliegenden Technologie die zweite Bilderfassungsvorrichtung 266 zum Erfassen eines Bildes konfiguriert, das mindestens einen Gegenstand an der ersten Position und an einer zweiten Position der Plattform 262 umfasst.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 260 ferner einen Synchronisierungsblock 268, der zum Synchronisieren der ersten Bilderfassungsvorrichtung 264 und der zweiten Bilderfassungsvorrichtung 266 konfiguriert ist.
In einer Ausführungsform der vorliegenden Technologie wird der Synchronisierungsblock 266 durch Verwendung eines von einem Controller erzeugten Steuersignal angewendet.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 260 ferner einen Positionsprozess 274, der ausgewählt sein kann aus der Gruppe bestehend aus: einem GNSS-Prozess; einem bildangepassten photogrammetrischen Prozess; einem georeferenzierten imagebasierten Prozess; einem SLAM-Prozess; einem Matchmoving- Prozess; einem Oberflächenverfolgungsprozess; oder einer ähnlichen Vorrichtung. Der Betrieb eines GNSS-Prozesses, eines bildangepassten photogrammetrischen Prozesses, eines georeferenzierten imagebasierten Prozesses, eines SLAM-Prozesses; eines Matchmoving-Prozesses, eines Oberflächenverfolgungsprozesses; wurden ausführlich in den Erörterungen weiter oben offenbart. Der Positionsprozess 274 ist zum Erhalten einer Position der Plattform 262 konfiguriert.
In einer Ausführungsform der vorliegenden Technologie ist der Oberflächenverfolgungsunterprozess 270-1 konfiguriert, um ein Bild der ausgewählten Oberfläche zu verarbeiten, das von der ersten Bilderfassungsvorrichtung 264 an der ersten Position der Plattform 262 erhalten wurde.
Das Verfahren und die Vorrichtung zum Oberflächenerfolgen wurden in der Patentanmeldung „IMAGE-BASED TRACKING” von Hongbo Teng, Gregory C. Best und Sy Bor Wang, Seriennummer 12/459,843 offenbart, die hier in ihrer Gesamtheit aufgenommen wird.
Genauer gesagt, noch bezugnehmend auf 9 ist die Bilderfassungsvorrichtung 264 gemäß der US-Patentanmeldung „IMAGE-BASED TRACKTNG” zum Durchführen von Bilderfassung der ausgewählten Oberfläche konfiguriert, und die Bereichsmessvorrichtung 280 ist zum Erhalten eines Satzes von Tiefendaten auf einer ausgewählten Oberfläche konfiguriert. Das Verfolgen der Plattform 262 wird unter Verwendung von Oberflächenverfolgungsprozess 270-1 durchgeführt, der zum Analysieren eines Bildes unter Verwendung des Bildverarbeitungsalgorithmus 282 konfiguriert ist.
In einer Ausführungsform der vorliegenden Technologie nimmt der Bildverarbeitungsalgorithmus 282 eine globale Starrbewegung an. Durch Parametrisierung des globalen optischen Flusses mit den sechs Freiheitsgraden der Bilderfassungsvorrichtung 264 kann eine optimale globale Umbildung zwischen zwei aufeinanderfolgenden Einzelbildern durch Lösen des nicht-linearen Kleinst-Quadrat-Problems gefunden werden.
In einer Ausführungsform der vorliegenden Technologie stimmt ein Bildverarbeitungsalgorithmus 282 mit den optischen Merkmalen der Pixel überein, indem eine Einzelbildfunktion verwendet wird.
In einer Ausführungsform der vorliegenden Technologie stimmt unter Einbezug der erhältlichen Informationen der Bildverarbeitungsalgorithmus 282 mit der Tiefe der beiden Einzelbilder (anstelle der optischen Merkmale der Pixel) durch eine Neudefinition der Einzelbildfunktion überein.
In einer Ausführungsform der vorliegenden Technologie kann der Bildverarbeitungsalgorithmus 282 durch Matching einer Kombination aus optischen Pixeleigenschaften und Tiefeninformationen verbessert werden. Dies kann entweder durch Verwendung einer kombinierten Kostenfunktion oder durch die Unterstützung eines Prozesses mit dem anderen, wie weiter unten vollständig offenbart, ausgeführt werden.
In einer Ausführungsform der vorliegenden Technologie setzt der Bildverarbeitungsalgorithmus 282 mehrere Koordinatensysteme ein: ein stationäres Referenzsystem; ein Referenzsystem, dass sich an der Bilderfassungsvorrichtung 264 befindet; und ein 2D-Referenzsystem auf der Sensorebene der Bilderfassungsvorrichtung.
In dem stationären Referenzsystem besitzt ein Punkt auf der Oberfläche Koordinaten x = (x, y, z), die Bilderfassungsvorrichtung 264 wird durch 6 Vektoren umfassende Positionskoordinaten der Vorrichtung x_a = (x_a, y_a, z_a) und den Orientierungskoordinaten (Ψ_i, Θ_i, φ_i) (Gier-, Steig- und Rollwinkel) für jedes i-tes Einzelbild beschrieben.
In dem mit der Bilderfassungsvorrichtung 264 verbundenen Referenzsystem hat derselbe Punkt auf der Oberfläche Koordinaten x_i = (x_i, y_i, z_i) in Bezug auf die Bilderfassungsvorrichtung 264.
In dem mit der Sensorebene 32 der Bilderfassungsvorrichtung verbundenen 2D-Referenzsystem sind die 2D-Pixel-Koordinaten eines Punkts in dem i-ten Einzelbild: u_i = (u_i, v_i).
Die Beziehung zwischen dem stationären 3D-System und dem mit der Bilderfassungsvorrichtung verbundenen 3D-System ist wie folgt:
Wobei
die Rotationsmatrix zwischen zwei Systemen ist.
Die Beziehung zwischen den mit der Bilderfassungsvorrichtung verbundenen 3D-Koordinaten und den 2D-Pixel-Koordinaten hängt von der Mappingfunktion m von der Bilderfassungsvorrichtung 264 ab. Die Mappingfunktion zieht 3D-Koordinaten x_i in dem mit der Bilderfassungsvorrichtung verbundenen System des i-ten Einzelbildes heran und bildet in 2D-Pixel-Koordinaten im i-ten Einzelbild ab: U_i = m (x_i) (Gl. 13)
Die Form der Mappingfunktion hängt von der Art der Linsen ab. In einer Ausfübrungsform der vorliegenden Technologie, bei der die Linsen normale gradlinige Linsen (in einem invertierten Lochblenden-Modell) umfassen, kann die Mappingfunktion m von den folgenden Gleichungen abgeleitet werden:
wobei f die Brennweite von Bilderfassungsvorrichtung 264 ist, S_u, S_y, die Pixelbreite und – höhe sind. u₀, v₀ sind die Versätze zwischen der optischen Mitte und der Mitte des Sensors.
In einer weiteren Ausführungsform der vorliegenden Technologie, bei der die Linsen 16 orthographische Fischaugenlinsen umfassen, kann die Mappingfunktion m von den folgenden Gleichungen abgeleitet werden:
wobei r der Abstand zwischen dem Punkt und der optischen Mitte
ist.
In einer Ausführungsform der vorliegenden Technologie kann die Mappingfunktion m kalibriert und in numerischer Form abgespeichert werden.
Zum Herausfinden des Gegenteils der Mappingfunktion: X_i = m^–1 (u_i), (Gl. 16) muss die Tiefe des Gegenstandspunkts bekannt sein.
In einer Ausführungsform der vorliegenden Technologie wird die Tiefe eines Gegenstandspunkts einer Szene als eine Funktion des Pixelstandorts in jedem Einzelbild z_i = z_i (u_i) erhalten. Diese Messungen werden in dem mit der Bilderfassungsvorrichtung verbundenen 3D-Referenzsystem ausgeführt.
Die Beziehung zwischen zwei sequentiellen Einzelbildern f_i und f_j ist auf der Annahme aufgebaut, dass derselbe Punkt auf der Oberfläche zwei Pixel derselben Intensität in zwei Einzelbildern erzeugt.
Das heißt, wenn u_i und u_j Pixelstandorte in f_i und f_j desselben Gegenstandpunkts sind, gilt f_i (u_i) = f_j (u_j). Hier bezieht sich f_i (u_i) auf die Pixelintensität bei u_i in Einzelbild f_i. Unter dieser Annahme ist die Beziehung zwischen zwei Einzelbildern eine rein geometrische sich aufgrund der Bewegung der Bilderfassungsvorrichtung ergebende Umbildung.
Die Bewegung der Bilderfassungsvorrichtung von f_i auf f_j kann durch
und
ausgedrückt werden, was die relative Verschiebung und Drehung zwischen Einzelbildern ist, oder auch als
was ein 6-Vektor mit sechs Freiheitsgraden ist. Sollte die Position der Bilderfassungsvorrichtung und Lage bei Einzelbild f_i bekannt sein, liefert uns die Lösung dieser relativen Bewegung von f_i auf f_j die Position und Lage bei Einzelbild f_j. Im Folgenden wird der tiefgestellte Index i -> j wann immer möglich weggelassen.
Derselbe Gegenstandspunkt mit den Koordinaten x_i im Referenzsystem von Einzelbild f_i hat Koordinaten x_j im Referenzsystem von Einzelbild f_j und:
Aus diesem Grund ist die Beziehung zwischen u_i und u_j in den 2D-Pixel-Koordinatensystemen wie folgt:
wobei m die Mappingfunktion ist. Oder einfach ausgedrückt u_j = δP (u_i) (Gl. 19) wobei δP = m·ξ·m^–1 die Zusammenlegung der drei Operationen darstellt.
Die Aufgabe besteht nun darin, das optimale ξ herauszufinden, sodass die Kostenfunktion
minimiert wird. Hier handelt es sich um ein gut erforschtes nicht lineares Kleinst-Quadrat-Problem. Lösen beinhaltet im Allgemeinen eine lineare Approximation und Iteration. Verschiedene lineare Approximationen führen zu verschiedenen Konvergenzverfahren, wie beispielsweise Gauss-Newton, steilster Abstieg, Levenberg-Marquar-Verfahren usw.
Noch bezugnehmend auf 9 ist einer Ausführungsform der vorliegenden Technologie die zweite Bilderfassungsvorrichtung 266 zum Erfassen eines Bildes konfiguriert, das mindestens einen Gegenstand an der ersten Position und an der zweiten Position der Plattform 262 umfasst.
In einer Ausführungsform der vorliegenden Technologie ist der merkmalverfolgende Unterprozess 270-2 konfiguriert, um jedes Bild zu verarbeiten, das von der zweiten Bilderfassungsvorrichtung 266 an der ersten und an der zweiten Position von der Plattform 262 erhalten wurde und konfiguriert ist, um einen Satz von Verfolgungsdaten für mindestens einen erfassten Gegenstand zu extrahieren.
Noch bezugnehmend auf 9 ist in einer Ausführungsform der vorliegenden Technologie ein merkmalverfolgender Unterprozess 270-2 ebenfalls konfiguriert, den Standort der Position der Plattform 262 durch Verwendung eines Satzes von Verfolgungsdaten, die für mindestens einen erfassten Gegenstand zu bestimmen.
Noch bezugnehmend auf 9 umfasst in einer Ausführungsform der vorliegenden Technologie die imagebasierte Positionierungsvorrichtung 260 ferner einen Kalman-Filter 272. Der Kalman-Filter ist konfiguriert, um eine Kalman-Schätzung der Position der Plattform 262 durch Kombinieren der auf oberflächenverfolgungsbasierten Koordinaten der zweiten Position der Plattform 262 als eine erste rauschreiche Messung und der merkmalbasierten Koordinaten der zweiten Position der Plattform 262 als eine zweite rauschreiche Messung zu erhalten.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 260 ferner einen externen Speicherblock 276, der zum Speichern von mindestens einer oberflächenverfolgungs- und merkmalbasierten dreidimensionalen (3D) Positionskoordinaten der Plattform 262 zur weiteren Verarbeitung konfiguriert ist.
In einer Ausführungsform der vorliegenden Technologie umfasst die imagebasierte Positionierungsvorrichtung 260 ferner das drahtlose Modem 278, das konfiguriert ist, um einem externen Speicherblock 276 Fernzugriff auf das Internet bereitzustellen.
VI. Betrieb einer imagebasierten Positionierungsvorrichtung einschließlich Gegenstand- und Oberflächenverfolgungsprozess
Noch bezugnehmend auf 9 umfasst in einer Ausführungsform der vorliegenden Technologie der Betrieb der imagebasierten Positionierungsvorrichtung 260, einschließlich Merkmals- und Oberflächenverfolgungsprozess 270, folgende Schritte.
Ein Bild einer ausgewählten Oberfläche wird unter Verwendung der ersten Bilderfassungsvorrichtung 264 an der ersten Position der Plattform 262 erfasst. Ein Satz von Tiefendaten der ausgewählten Oberfläche wird unter Verwendung der Bereichsmessvorrichtung 280 berechnet. Eine starre globale Umbildung des Satzes von erfassten Bilddaten und eines Satzes ausgewählter Oberflächentiefendaten in einen Satz von 6-Koordinatendaten wird unter Verwendung des Bildverarbeitungsalgorithmus 282 durchgeführt; wobei der Satz der 6-Koordinatendaten die Bewegung der Plattform 262 darstellt. Der Satz von 6-Koordinatendaten wird unter Verwendung des bildverarbeitenden Bildverarbeitungsalgorithmus 282 verarbeitet, um den Standort der Position der Plattform 262 zu erhalten.
Noch bezugnehmend auf 9 umfasst in einer Ausführungsform der vorliegenden Technologie der Betrieb der imagebasierten Positionierungsvorrichtung 260, einschließlich Merkmals- und Oberflächenverfolgungsprozess 270 ferner die folgenden Schritte.
Ein erstes Bild wird unter Verwendung der zweiten Bilderfassungsvorrichtung 266 an der ersten Position der Plattform 262 erfasst, wobei das erste Bild mindestens einen Gegenstand umfasst. Ein zweites Bild wird unter Verwendung der zweiten Bilderfassungsvorrichtung 266 an der zweiten Position der Plattform 262 erfasst; wobei das zweite Bild mindestens einen erfassten Gegenstand umfasst.
Das erste Bild und das zweite Bild werden verarbeitet, um den Standort von mindestens einem erfassten Gegenstand zu verfolgen; wobei ein Satz von zweidimensionalen Positionsbestimmungen für mindestens einen erfassten Gegenstand von dem Verarbeiten des ersten Bildes und des zweiten Bildes erhalten wird, wodurch ein Satz von Verfolgungsdaten für den erfassten Gegenstand geliefert wird. Siehe Gleichungen (1–7).
Der Standort der zweiten Position der Plattform 262 wird unter Verwendung eines Satzes von Verfolgungsdaten von mindestens einem erfassten Gegenstand bestimmt. Siehe Gleichungen (1–7).
Letztlich wird die Position der Plattform 262 durch Kombinieren der oberflächenverfolgungsbasierten Koordinaten der Position der Plattform 262 und der merkmalbasierten Koordinaten der Position der Plattform 262 bestimmt.
Noch bezugnehmend auf 9 wird in einer Ausführungsform der vorliegenden Technologie ein Kalman-Filter 272 zum Erhalten einer Kalman-Schätzung der Position der Plattform 262 verwendet, indem die oberflächenverfolgungsbasierten Koordinaten der Position der Plattform 262 als eine erste rauschreiche Messung und die merkmalbasierten Koordinaten der Position der Plattform 262 als eine zweite rauschreiche Messung kombiniert werden.
In einer Ausführungsform der vorliegenden Technologie und als eine Alternative zum Kombinieren zweier Standortschätzungen zum Entwickeln einer verbesserten Standortschätzung für die Plattform können die rohen Gegenstandsverfolgungsdaten und die rohen Oberflächenverfolgungsdaten in einem gemeinsamen Schätzer kombiniert werden und es kann eine einzelne Schätzung des Plattformstandorts erhalten werden. Das Verfahren umfasst den Einsatz von Elementen von einem der Schätzungsverfahren, wie beispielsweise SLAM, MoveMatch, Oberflächenverfolgung oder Photogrammetrie. Ein Kalman-Filter kann zur Ausführung der Schätzung eingesetzt werden, und zwar in derselben Art und Weise wie eine Kleinst-Quadrat-Lösung verwendet werden kann.
Die obige Erörterung führte den Betriebsablauf verschiedener beispielhafter Systeme und Vorrichtungen sowie verschiedener Ausführungsformen, die zu den beispielhaften Betriebsverfahren dieser Systeme und Vorrichtungen gehören, auf. In verschiedenen Ausführungsformen werden ein oder mehrere Schritte eines Anwendungsverfahrens durch einen Prozess ausgeführt, der von computerlesbaren und computerausführbaren Anweisungen gesteuert wird. Aus diesem Grund werden diese Verfahren in gewissen Ausführungsformen per Computer ausgeführt.
In einer Ausführungsform können die computerlesbaren und computerausführbaren Anweisungen auf von Rechnern einsetzbaren bzw. lesbaren Medien gespeichert sein.
Aus diesem Grund können ein oder mehrere Betriebsabläufe von verschiedenen Ausführungsformen unter Verwendung computerausführbarer Anweisungen gesteuert oder ausgeführt werden, wie beispielsweise Programmmodulen, die von einem Computer ausgeführt werden. In der Regel umfassen Programmmodule Routinen, Programme, Gegenstände, Komponenten, Datenstrukturen usw., die bestimmte Aufgaben ausführen oder gewisse abstrakte Datentypen umsetzen. Des Weiteren kann die vorliegende Technologie auch in verteilten Rechnerumgebungen, in denen Aufgaben per Fernverarbeitungsvorrichtungen durchgeführt werden, die miteinander durch ein Kommunikationsnetz verbunden sind. In einer verteilten Rechnerumgebung können sich Programmmodule sowohl in lokalen als auch Ferncomputer-Speichermedien, einschließlich Speichervorrichtungen befinden.
Obwohl spezifische Schritte von beispielhaften Anwendungsverfahren hier offenbart werden, stellen diese Schritte Beispiele von Schritten dar, die in Einklang mit verschiedenen Ausführungsbeispielen ausgeführt werden können. Das heißt, die hier offenbarten Ausführungsformen eignen sich hervorragend zur Durchführung verschiedener sonstiger Schritte bzw. von Variationen der aufgezeigten Schritte. Überdies können die hier offenbarten Schritte in einer anderen Reihenfolge, als hier angegeben, ausgeführt werden, und nicht jeder der Schritte ist notwendigerweise in einer bestimmten Ausführungsform vorzunehmen.
Obwohl hier verschiedene elektronik- und softwarebasierte Systeme erörtert werden, stellen diese Systeme lediglich Beispiele einsetzbarer Umgebungen dar, und es wird nicht beabsichtigt, eine Einschränkung in Bezug auf den Umfang des Einsatzes oder der Funktionalität der vorliegenden Technologie zu suggerieren. Auch sollten diese Systeme nicht so ausgelegt werden, dass sie von einer beliebigen Komponente oder Funktion oder Kombination davon, die in den offenbarten Beispielen veranschaulicht wird oder werden abhängig sind oder damit in Beziehung stehen.
Obwohl der Gegenstand in einer Sprache beschrieben wurde, die sich spezifisch auf strukturelle Merkmale und/oder methodologische Vorgänge bezieht, beschränkt sich der in den beigefügten Ansprüchen definierte Gegenstand nicht unbedingt auf die spezifischen weiter oben beschriebenen Merkmale oder Vorgänge. Stattdessen werden die weiter oben beschriebenen spezifischen Merkmale und Vorgänge als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Thomas Lemaire, Cyrille Berger, Il-Kyun Jung und Simon Lacroix, „Vision-Based SLAM: Stereo and Monocular Approaches”, International Journal of Computer Vision 74(3), 343–364, 2007 [0036]
Moritz Köhler, Shwetak N. Patel, Jay W. Summet, Erich P. Stuntebeck und Gregory D. Abowd, Institute for Pervasisve Computing, Department of Computer Science ETH Zürich, 8092 Zürich, Schweiz, „TrackSense: Infrastructure Free Precise Indoor Positioning Using Projected Patterns” [0036]

Claims

Imagebasiertes Verfahren zur Verfolgung des Standorts einer Plattform, die mindestens eine Bilderfassungsvorrichtung enthält, die Folgendes umfasst: Erfassen eines ersten Bildes mit der Bilderfassungsvorrichtung, wobei das erste Bild mindestens einen Gegenstand umfasst; Bewegen der Plattform und Erfassen eines zweiten Bildes mit der Bilderfassungsvorrichtung, wobei das zweite Bild mindestens einen Gegenstand umfasst; Erfassen eines Bildes einer Oberfläche in dem ersten Bild; Erfassen eines zweiten Bildes der Oberfläche in dem zweiten Bild; Verarbeiten der Vielzahl an Bildern des Gegenstands und der Oberfläche unter Verwendung eines kombinierten merkmalbasierten Prozesses und Oberflächenverfolgungsprozesses; und Bestimmen des Standorts der Plattform aus dem kombinierten merkmalbasierten Prozess und dem Oberflächenverfolgungsprozess.
Verfahren nach Anspruch 1, wobei der merkmalbasierte Prozess auf dem die Simultane Lokalisierung und Kartenerstellungsmethode (SLAM) einsetzenden Verfolgungsprozess basiert.
Verfahren nach Anspruch 1, wobei der merkmalbasierte Prozess auf dem Matchmoving-Verfolgungsverfahren basiert.
Verfahren nach Anspruch 1, wobei der merkmalbasierte Prozess auf einem photogrammetrischen Verfolgungsprozess basiert.
Verfahren nach Anspruch 1, wobei das Bild des Gegenstands von einer ersten Bilderfassungsvorrichtung erfasst wird und die Bilder der Oberfläche von einer zweiten Bilderfassungsvorrichtung erfasst werden.
Verfahren nach Anspruch 5, das ferner Folgendes umfasst: Synchronisieren der ersten Bilderfassungsvorrichtung und der zweiten Bilderfassungsvorrichtung.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: einen GNSS-Empfänger auf der Plattform, der einen Standort für die Plattform ausgibt; und Bestimmen des Standorts der Plattform durch eine Kombinierung der Standortausgabe durch den kombinierten merkmalbasierten Prozess und Oberflächenverfolgungsprozess mit der Standortausgabe des GNSS-Empfängers.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Zugreifen auf georeferenzierte Daten, die mit dem mindestens einen Gegenstand korreliert sind; und Bestimmen des Standorts der Plattform auf der Grundlage der georeferenzierten Daten für den mindestens einen Gegenstand.
Imagebasiertes Verfahren zur Verfolgung des Standorts einer Plattform, die mindestens eine Bilderfassungsvorrichtung enthält, das Folgendes umfasst: Erfassen eines ersten Bildes mit der Bilderfassungsvorrichtung, wobei das erste Bild mindestens einen Gegenstand umfasst; Bewegen der Plattform und Erfassen eines zweiten Bildes mit der Bilderfassungsvorrichtung, wobei das zweite Bild den mindestens einen Gegenstand umfasst; Verarbeiten der Vielzahl an Bildern zur Verfolgung des Standorts des Gegenstands unter Verwendung des merkmalbasierten Prozesses; Ausgeben von Koordinaten für die Plattform auf der Grundlage des merkmalbasierten Prozesses; Erfassung eines Bildes der Oberfläche in dem ersten Bild; Erfassen eines zweiten Bildes der Oberfläche in dem zweiten Bild; Verarbeiten der Vielzahl an Bildern der Oberfläche unter Verwendung eines Oberflächenverfolgungsprozesses zur Verfolgung des Standorts der Oberfläche; Ausgeben von Koordinaten für die Plattform auf der Grundlage des Oberflächenverfolgungsprozesses; und Bestimmen des Standorts der Plattform durch Verarbeiten der Koordinatenausgabe durch den merkmalbasierten Prozess und den oberflächenbasierten Prozess.
Verfahren nach Anspruch 9, wobei der merkmalbasierte Prozess auf dem die Simultane Lokalisierung und Kartenerstellungsmethode (SLAM) einsetzenden Verfolgungsprozess basiert.
Verfahren nach Anspruch 9, wobei der merkmalbasierte Prozess auf dem Matchmoving-Verfolgungsprozess basiert.
Verfahren nach Anspruch 9, wobei der merkmalbasierte Prozess auf einem photogrammetrischen Verfolgungsprozess basiert.
Verfahren nach Anspruch 9, wobei die Bilder des Gegenstands von einer ersten Bilderfassungsvorrichtung erfasst werden und die Bilder der Oberfläche von einer zweiten Bilderfassungsvorrichtung erfasst werden.
Verfahren nach Anspruch 13, das ferner Folgendes umfasst: Synchronisieren der ersten Bilderfassungsvorrichtung und der zweiten Bilderfassungsvorrichtung.
Verfahren nach Anspruch 9, das ferner Folgendes umfasst: einen GNSS-Empfänger auf der Plattform, der einen Standort für die Plattform ausgibt; und Bestimmen des Standorts der Plattform durch Kombinieren der Standortsausgaben durch den merkmalbasierten Prozess, den oberflächenbasierten Prozess und den GNSS-Empfänger.
Verfahren nach Anspruch 9, das ferner Folgendes umfasst: Zugreifen auf georeferenzierte Daten, die mit dem mindestens einen Gegenstand korreliert sind; und Bestimmen des Standorts der Plattform auf der Grundlage der georeferenzierten Daten für den mindestens einen Gegenstand.
Imagebasiertes Verfahren zur Schätzung eines Standorts einer Plattform, die eine Bilderfassungsvorrichtung und einen GNSS-Empfänger enthält, das Folgendes umfasst: Bestimmen des Standorts der Plattform unter Verwendung eines GNSS-Empfängers; Erfassen von mindestens einem Bild an einer ersten Position der Bilderfassungsvorrichtung; wobei das erste Bild mindestens einen Gegenstand umfasst; mindestens ein Bild an einer zweiten Position der Bilderfassungsvorrichtung; wobei das zweite Bild den mindestens einen Gegenstand umfasst; Verarbeiten der Vielzahl an Bildern zur Verfolgung eines Standorts des mindestens einen erfassten Gegenstands; wobei ein Satz von zweidimensionalen Positionsbestimmungen für den mindestens einen erfassten Gegenstand vom Verarbeiten der Vielzahl an Bildern erhalten wird, wobei ein Satz an Verfolgungsdaten für den mindestens einen Gegenstand bereitgestellt wird; Bestimmen des Standorts der Bilderfassungsvorrichtung durch den Einsatz des Satzes an Verfolgungsdaten von dem mindestens einen Gegenstand; und Berechnen eines neuen Standorts der Plattform durch Kombinieren des Standorts der Bilderfassungsvorrichtung mit dem von dem GNSS-Empfänger bestimmten Standort.
Verfahren nach Anspruch 17, das ferner Folgendes umfasst: Einsetzen einer inversen Projektionsfunktion, die auf den Satz an zweidimensionalen (2D) Verfolgungsdaten des mindestens einen erfassten Gegenstands zur Lösung für einen aus dreidimensionalen (3D) Koordinaten der Position der Bilderfassungsvorrichtung bestehenden Satzes angewendet wird.
Verfahren nach Anspruch 17, das ferner Folgendes umfasst: Erhalten eines Satzes an zweidimensionalen (2D) Verfolgungsdaten für mindestens drei Merkmale, wobei ein Satz von zweidimensionalen (2D) Verfolgungsdaten für die mindestens drei Merkmale zur Bestimmung dreidimensionaler (3D) Positionskoordinaten der Bilderfassungsvorrichtung unter Verwendung eines Triangulationsverfahrens konfiguriert wird.
Verfahren nach Anspruch 17, wobei die Plattform ausgewählt ist aus der Gruppe bestehend aus: einem GNSS-Rover; einem GNSS-Rover-RTK-System; und einem GIS-/Mapping-Handgerät.
Verfahren nach Anspruch 17, das ferner Folgendes umfasst: eine zweite Bilderfassungsvorrichtung auf der Plattform; Erfassen mindestens eines Bildes an der ersten Position mit der zweiten Bilderfassungsvorrichtung; wobei das erste Bild der zweiten Bilderfassungsvorrichtung mindestens einen zweiten Gegenstand umfasst; Erfassen von mindestens einem Bild an einer zweiten Position mit der zweiten Bilderfassungsvorrichtung; wobei das zweite Bild der zweiten Bilderfassungsvorrichtung mindestens einen zweiten Gegenstand umfasst; Verarbeiten einer Vielzahl an Bildern zur Verfolgung des Standorts des mindestens einen zweiten Gegenstands; wobei ein Satz von zweidimensionalen Positionsbestimmungen für den mindestens einen zweiten Gegenstand vom Verarbeiten der Vielzahl an Bildern erhalten wird, wobei ein Satz von Verfolgungsdaten für den mindestens einen zweiten Gegenstand bereitgestellt wird; Bestimmen des Standorts der zweiten Bilderfassungsvorrichtung durch den Einsatz des Satzes an Verfolgungsdaten des mindestens einen zweiten Gegenstands; und Berechnen eines neuen Standorts der Plattform durch Kombinieren des Standorts der zweiten Bilderfassungsvorrichtung mit dem Standort der Bilderfassungsvorrichtung und dem von dem GNSS-Empfänger bestimmten Standort.
Verfahren nach Anspruch 21, das ferner Folgendes umfasst: Bestimmen der gewichteten merkmalbasierten Koordinaten des Standorts der Plattform.
Verfahren nach Anspruch 22, das ferner Folgendes umfasst: Zuordnen einer ersten Gewichtung zu einem Satz an Verfolgungsdaten des mindestens einen ersten Gegenstands; Zuordnen einer zweiten Gewichtung zu einem Satz an Verfolgungsdaten des mindestens einen zweiten Gegenstands; und Bestimmen merkmalbasierter Koordinaten des Standorts der Plattform durch Verwendung des Satzes gewichteter Verfolgungsdaten des mindestens einen ersten Gegenstands und des Satzes an gewichteten Verfolgungsdaten des mindestens einen zweiten Gegenstands.
Verfahren nach Anspruch 21, das ferner Folgendes umfasst: Einsetzen eines Kalman-Filters zum Erhalten einer Kalman-Schätzung der zweiten Position der Plattform durch Kombinieren des Satzes an Verfolgungsdaten des mindestens einen ersten Merkmals als eine erste Messung mit dem Satz an Verfolgungsdaten des mindestens einen zweiten Merkmals als eine zweite Messung.
Imagebasierte Positionierungsvorrichtung, die Folgendes umfasst: eine Bilderfassungsvorrichtung, die zum Erfassen eines ersten Bildes, das mindestens ein Merkmal und eine Oberfläche umfasst, konfiguriert ist; die Bilderfassungsvorrichtung zum Erfassen eines zweiten Bildes, das ein Merkmal und die Oberfläche umfasst, konfiguriert ist; und einen Prozessor, der zum Verarbeiten eines jeden der Bilder konfiguriert ist; wobei der Prozessor konfiguriert ist, um den Standort der Plattform durch Verwendung eines kombinierten merkmalbasierten Prozesses und Oberflächenverfolgungsprozesses zu bestimmen.
Imagebasierte Positionierungsvorrichtung, die Folgendes umfasst: mindestens zwei Bilderfassungsvorrichtungen; jede der Bilderfassungsvorrichtung ist an einer Plattform montiert; die erste Bilderfassungsvorrichtung ist zum Erfassen eines Bildes, das mindestens ein Merkmal umfasst, konfiguriert; die erste Erfassungsvorrichtung ist zum Erfassen eines zweiten Bildes, das mindestens ein Merkmal umfasst, konfiguriert; die zweite Bilderfassungsvorrichtung ist zum Erfassen eines Bildes, das eine Oberfläche umfasst, konfiguriert; die zweite Bilderfassungsvorrichtung ist zum Erfassen eines zweiten Bildes, das die Oberfläche umfasst, konfiguriert; und ein Prozessor, der zum Verarbeiten eines jeden der Bilder konfiguriert ist; wobei der Prozessor zum Bestimmen des Standorts der Plattform unter Verwendung einer aus einem merkmalbasierten Prozess und einem Oberflächenverfolgungsprozess bestehenden Kombination konfiguriert ist.