-
Hintergrund
der Erfindung
-
Die Erfindung betrifft flugzeuggestützte Panoramakamera-Systeme und insbesondere
ein Direkt-Digital-Panoramakamera-System und -Verfahren, bei denen ein
elektro-optischer digitaler Sensor das Erfordernis eines Films und
einer Filmtransport-Einrichtung beseitigt, die normalerweise zu
Luft-Aufklärungs-Kameras
gehören.
-
Flugzeuggestützte Kamera-Aufklärungs- oder
-Überwachungs-Systeme sind beinahe
so alt wie die Anwendung militärischer
und ziviler Flugzeuge. Die Kamera- oder Foto-Aufklärungssysteme
gemäß dem Stand
der Technik erforderten im Allgemeinen Kamerafotos, die von einem über dem
Gebiet des Interesses fliegenden Flugzeug aufgenommen wurden, und
der belichtete Film wurde nach dem Flug am Boden zurückgegeben,
wo er entwickelt und verarbeitet worden ist, bevor er den Nachrichtendiensten
oder -gruppen geliefert werden konnte, die dann ermitteln konnten,
ob die Fotografien die gewünschte
Nachricht enthalten. Eine Anzahl von Aufklärungssystemen gemäß dem Stand
der Technik inklusive den im US-Patent Nr. 3,066,589 offenbarten,
offenbaren ein Luft-Aufklärungssystem,
das eine flugzeuggestützte
Filmverarbeitung, Abtastung und Übertragung
der Daten zu den zugehörigen
Bodenstationen aufweist. Das US-Patent
Nr. 4,143,971 offenbart ein flugzeuggestütztes Foto-Aufklärungssystem, bei dem Fotozellen
und Farbfilter-Techniken angewendet werden, um spezifische Ziele
des Interesses zu identifizieren, die ein eindeutiges optisches
oder IR-Muster aufweisen. Das US-Patent Nr. 4,442,453 offenbart
eine Kombination aus Film und elektro-optischem Sensor zum Umwandeln
des belichteten Films in Daten, die geeignet sind, über eine
Funkverbindung zu einer Bodenstation übertragen zu werden, wo sie
gedemultiplext und auf Fernseh-Monitoren angezeigt werden können.
-
Die oben beschriebenen und andere
gleichartige Foto-Aufklärungssysteme
gemäß dem Stand
der Technik nutzen Film als lichtsensitives Medium und weisen daher
die dementsprechenden Nachteile eines sperrigen Filmsystems und
einer sperrigen Filmtransport-Einrichtung, Verzögerungen beim Entwickeln des Film
auf, und weisen ferner im Allgemeinen eine komplexere und im Wesentlichen
kostenintensivere Linse auf, die ein System mit quadratischer Brennebene
(square focal plane) nutzt, das in zwei Dimensionen fokussieren muss.
-
Ferner offenbart das US-Patent Nr.
5,481,479 ein System und ein Verfahren für eine Weitbereichs-, nicht
lineare, Sektor-Abtast-Panorama-Elektro-Optik-Aufklärung einer
Szenerie aus einem Flugzeug heraus. Ein Brennebenen-Array ist in
der Lage, ein Bild der Szenerie zu erfassen und das Bild in Information
elektrischer Ladungen umzuwandeln. Eine Haupt-Elektroeinheit wandelt
die Information elektrischer Ladungen in ein elektrisches Signal
um, das eine digitale Darstellung des Bildes ist. Eine Linsenanordnung
wird verwendet, um auf einen engen Schlitz der Szenerie auf das
Brennebenen-Array zu fokussieren, und mittels eines rotierenden Prismas
wird der Schlitz über
die Szenerie mit einer nicht linearen Abtast-Geschwindigkeit abgetastet.
Das elektrische Signal wird zu einer Bodenstation übertragen,
wo es verarbeitet wird, um visuelle Bilddaten bereitzustellen. Die
hervorgerufene Verzerrung als ein Ergebnis der nicht linearen Abtastgeschwindigkeit
wird entfernt, sodass ein finales Bild frei von Verzerrung bereitgestellt
wird.
-
Es ist daher ein primäres Ziel
der Erfindung, ein verbessertes flugzeuggestütztes Panoramakamera-System
und -Verfahren bereitzustellen, die kostengünstiger und effizienter im
Betrieb sind.
-
Es ist ein anderes Ziel der Erfindung,
ein flugzeuggestütztes
Direkt-Digital-Panoramakamera-System und -Verfahren bereitzustellen,
bei denen ein elektro-optischer Sensor das Erfordernis für den Film
und die Filmtransport-Einrichtung der flugzeuggestützten Kamera-Systeme
gemäß dem Stand
der Technik beseitigt ist.
-
Es ist ferner ein anderes Ziel der
Erfindung, ein verbessertes flugzeuggestütztes Panoramakamera-System
und -Verfahren bereitzustellen, bei denen Panoramafehler in den
digitalen Bilddaten einfach korrigierbar sind.
-
Es ist ferner ein anderes Ziel der
Erfindung, ein verbessertes flugzeuggestütztes Panoramakamera-System
und -Verfahren bereitzustellen, die ein vereinfachtes, kostengünstigeres
optisches System nutzen.
-
Es ist ferner ein anderes Ziel der
Erfindung, eine flugzeuggestützte
eine Direkt-Digital-Panoramakamera und ein -System mit einer sehr
hohen Datenrate bereitzustellen, bei denen das Abbilden und andere Fern-Abtast-Anwendungen
mittels Erzeugens sehr großer
Datenbanken wirksam unterstützt
wird, die effizient strukturiert und geeignet sind, mit geografischen
Informationssystemen verwendet zu werden.
-
Es ist ferner ein anderes Ziel der
Erfindung, ein flugzeuggestütztes
eine Direkt-Digital-Panoramakamera-System und -Verfahren bereitzustellen,
die das Erfordernis eines fotografischen Films im flugzeuggestützten Daten-Sammel-Prozess beseitigen.
-
Es ist ferner ein anderes Ziel der
Erfindung, ein verbessertes flugzeuggestütztes Panoramakamera-System
und -Verfahren mit hochqualitativen Bilddaten bereitzustellen, insbesondere
in Bezug auf den Kontrast und den Dynamikbereich.
-
Es ist ferner ein anderes Ziel der
Erfindung, ein verbessertes flugzeuggestütztes Direkt-Digital-Panoramamakamera-System
und -Verfahren bereitzustellen, bei denen die Bilder geeignet und
genau sein können und
einfach geo-referenziert werden können.
-
Es ist ein weiteres Ziel der Erfindung,
ein verbessertes flugzeuggestütztes
Direkt-Digital-Panoramamakamera-System und -Verfahren bereitzustellen,
bei denen die sehr große
Mengen digitalisierter Bilddaten schnell und effizient für den Nutzer
in computerfreundlichen Formaten verfügbar sind.
-
Diese und andere Vorteile der Erfindung
werden offenbar aus der folgenden ausführlichen Beschreibung, gelesen
in Verbindung mit den veranschaulichenden Ausführungsbeispielen, die in den
beigefügten
Figuren gezeigt sind.
-
Zusammenfassung der Erfindung.
-
Die Erfindung betrifft ein verbessertes
flugzeuggestütztes
Direkt-Digital-Panoramakamera-System und -Verfahren, bei denen ein
elektro-optischer In-Line-Sensor das Erfordernis eines fotografischen
Films und einer Filmtransport-Einrichtung beseitigt, die normalerweise
zu Luft-Aufklärungs-Kameras
gemäß dem Stand der
Technik gehören,
und hält
weiterhin die sehr hohe Bildauflösungsqualität aufrecht,
die bei der Nachrichtenoperation und bei kommerziellen geografischen
Informationssystemen (GIS) beim Abbilden und anderen Fern-Abtast-Anwendungen
so wichtig sind. Durch die Erfindung wird eine einfachere, effizientere
und kostengünstigere
Panoramakamera unter Verwenden eines vereinfachten optischen Systems
in Verbindung mit dem elektro-optischen, Zeilen-Array-Sensor bereitgestellt, wobei die
Linse einfacher und kostengünstiger
sein kann, da die Qualität
in der Fokussierung im Wesentlichen in nur einer Dimension und an
nur einem Ort erforderlich ist. Die sehr großen Mengen digitaler Daten,
die von der Kamera erzeugt werden, werden komprimiert, und jede
hervorgerufene Bewegung oder Panoramafehler sind in den digitalen
Daten einfach korrigierbar, während
solche Fehler nahezu unmöglich
in Filmbildern zu korrigieren sind. Die komprimierten digitalen
Bilddaten können
gespeichert und später
abgerufen werden, um in Computer-Netzwerken verwendet zu werden, oder
alternativ können
sie vom Flugzeug zu einer Bodenstation zur sofortigen Verwendung übertragen
werden.
-
Kurzbeschreibung
der Figuren
-
1 ist
ein schematisches bildhaftes Diagramm eines Ausführungsbeispiels der verbesserten
flugzeuggestützten
Direkt-Digital-Panoramakamera der Anmelderin.
-
2 ist
ein geometrisches optisches Diagramm, das die Pixel-Design-Dimensionen
des verbesserten flugzeuggestützten
Panoramakamera-Systems der Anmelderin darstellt.
-
3 ist
ein Teil-Blockdiagramm des bevorzugten Ausführungsbeispiels der verbesserten
flugzeuggestützten
Panoramakamera der Anmelderin.
-
4 ist
eine perspektivische Ansicht einer elektro-optischen In-Line-Bildeinrichtung, die
im verbesserten flugzeuggestützten
Panoramakamera-System und -Verfahren der Anmelderin anwendbar ist.
-
5 ist
eine Draufsicht eines verbesserten elektro-optischen In-Line-Sensors gemäß einem
anderen Aspekt der Erfindung der Anmelderin.
-
6A ist
eine Draufsicht eines alternativen Ausführungsbeispiels eines verbesserten
elektro-optischen In-Line-Sensors,
der in der verbesserten flugzeuggestützten Digital-Panoramakamera der
Anmelderin eingesetzt werden kann.
-
6B ist
eine perspektivische Ansicht eines anderen alternativen Ausführungsbeispiels
eines elektro-optischen Sensors, der im verbesserten Digital-Panoramakamera-System
und -Verfahren der Anmelderin eingesetzt werden kann.
-
7 ist
eine bildhafte Darstellung eines Abschnitts des verbesserten In-Line-Pixel-Arrays
des elektro-optischen Sensors der Anmelderin, der gemäß der verbesserten
Digital-Panoramakamera
und dem -Verfahren der Anmelderin eingesetzt werden kann.
-
8 ist
ein Logik-Blockdiagramm, das die Haupt-Systemkomponenten des verbesserten
flugzeuggestützten
Digital-Panoramakamera-Systems
und -Verfahrens darstellt.
-
9 ist
eine teilweise bildhafte Darstellung, die die beim Betrieb des verbesserten
flugzeuggestützten
Digital-Panoramakamera-Systems
und -Verfahrens der Anmelderin erzeugte Bild- oder Frame-Beziehung darstellt.
-
10 ist
ein vergrößertes bildhaftes
Diagramm der Mehrfach-Frame-Beziehung der Videodaten untereinander,
die gemäß der verbesserten
flugzeuggestützten
Panoramakamera und dem -Verfahren der Anmelderin erzeugt worden
sind.
-
11 ist
ein Logik-Blockdiagramm, das den gesamten Systembetrieb der verbesserten
flugzeuggestützten
Direkt-Digital-Panoramakamera
und des -Verfahrens der Anmelderin darstellt.
-
12 ist
ein Logik-Flussdiagramm, das ein anderes Ausführungsbeispiel der verbesserten
flugzeuggestützten
Digital-Panoramakamera und des -Verfahrens darstellt.
-
13 ist
ein schematisches Logik-Diagramm, dass den Überlapp-Betrieb eines Dual-Port-Speichers darstellt,
der gemäß den Prinzipien
der verbesserten flugzeuggestützten
Digital-Panoramakamera und des -Systems der Anmelderin anwendbar
ist.
-
14A und 14B sind Graphen, die Pixel-Kalibrierungs-Daten
darstellen, die gemäß einem
anderen Aspekt der Erfindung der Anmelderin anwendbar sind.
-
15 ist
ein Blockdiagramm eines dynamischen Kalibrierungssystems, das gemäß einem
anderen Aspekt der verbesserten flugzeuggestützten Digital-Panoramakamera
und des -Verfahrens der Anmelderin anwendbar ist.
-
16 ist
ein Graph von Plattform-Einstell (platform attitude) -Parametern,
die gemäß der dynamischen
Plattform- Stabilisierungseinrichtung
und dem -verfahren gemäß einem
anderen Aspekt der Erfindung der Anmelderin anwendbar sind.
-
17 ist
ein Blockdiagramm eines Fehlerkorrektursystems und -verfahrens für den verbesserten Sensor-Arm-Positionierungsmechanismus,
der gemäß einem
anderen Aspekt der Erfindung der Anmelderin anwendbar ist.
-
18 ist
ein Graph eines Bereichs des elektromagnetischen Spektrums, der
Fern-Multispektral-Daten darstellt, die gemäß einem anderen Aspekt der
verbesserten flugzeuggestützten
Digital-Panoramakamera der Anmelderin anwendbar sind.
-
19 und 19A sind eine schematische Logik-Darstellung
einer Datenspeicherung, die im verbesserten flugzeuggestützten Direkt-Digital-Panoramakamera-System
und -Verfahren der Anmelderin anwendbar ist.
-
Ausführliche
Beschreibung
-
Bei der sich heutzutage schnell ändernden
Welt bei unmittelbarer Kommunikation, Regierungsstellen, privaten
Geschäften
und neuen Medien sind mehr Nachrichten in immer größeren Detail
und von immer weiter entfernten Orten erforderlich, was das effiziente
und flexible Ermitteln von Bildinformation tagtäglich kritischer macht. Flugzeuggestützte Panoramakameras
sind ein Schlüssel
zu diesen neuen Auftragsanforderungen infolge ihrer Fähigkeit,
sehr große
Datenmengen in einer sehr kurzen Zeit auf geographisch verteilten
Gebieten mit sehr hoher Bildqualität zu sammeln. Beispielsweise
kann bei IQ-7 eine Panoramakamera in einer Höhe von 5.000 Fuß in einer
Stunde Bilddaten von mehr als 500 Quadratmeilen erfassen, was über 87 Gigabyte
komprimierten digitalen Bilddaten entspricht. Dies entspricht etwa
87.000 3½''-Disketten, was, wie von Fachleuten der
digitalen Speichertechnik erkannt werden kann, ein sehr großes Datenvolumen
ist, und die extrem hohen damit zusammenhängenden Datenraten stellen
erhebliche Probleme in Bezug auf den Systementwurf, die Kosten und
die Implementierung dar.
-
Bezugnehmend nun auf 1 ist dort schematisch ein erfindungsgemäßes verbessertes
flugzeuggestütztes
Direkt-Digital-Panoramamakamera-System
und -Verfahren der Anmelderin gezeigt. Wie in 1 gezeigt, würde ein in einer Höhe von 5.000
Fuß fliegendes
Flugzeug 10 ein Bowtie-Foto-Frame 12 hervorbringen, das
etwa 1.774 Fuß lang
und 10.000 Fuß breit
ist. Wie nachstehend in Verbindung mit 16 und 17 ausführlicher
beschrieben, weist ein Flugzeug 10 als Teil seiner Navigationsinstrumente
einen Global-Positionierungs-System
(GPS) -Empfänger,
nicht gezeigt, auf, der Navigationsdaten von einer Reihe von Orbital-Satteliten 14 empfängt, die
Teil des globalen Positionierungssystems sind, das den Fachleuten
der Navigationstechnik wohl bekannt ist.
-
Das GPS-Navigationssystem ermöglicht die
exakte Position des Flugzeugs in Bezug auf Breitengrad und Längengrad,
wenn ein Bild aufgenommen wird, und, wie nachstehend beschrieben,
die Position des Sensorarms 16 der Kamera 18,
gezeigt in 3, in Verbindung exakt
zu ermitteln und mit einer festen Position auf der Erde zu korrelieren.
-
Um kommerziell wettbewerbsfähig zu sein,
müssen
das verbesserte flugzeuggestützte
Direkt-Digital-Panoramakamera-System und -Verfahren in der Leistungsfähigkeit äquivalent
den aktuell verfügbaren Filmsystemen
sein. Während
der Vergleich zwischen filmisch und elektro-optisch nicht exakt
erfolgen kann, ist nachstehend in Tabelle 1 ein Satz von Leistungsfähigkeits-Parametern
basierend auf dem Kompromiss zwischen dem Design und dem System
dargelegt.
-
-
-
Wie schematisch in 1 dargestellt, ergeben die oben aufgelisteten
Parameter ein Bowtie-Foto-Frame 12 von etwa 1.700 Fuß Länge und
10.000 Fuß Breite
für ein
in einer Höhe
von 5.000 Fuß bei
300 Knoten oder langsamer fliegendes Flugzeug. Die Anzahl der Bildelemente
(Pixel) in einem Frame 12 können berechnet werden als: Pixel/Frame = Framebreite/GSD·Framelänge/GSD, wobei GSD der
Abtastabstand auf dem Boden ist, wie in 2 dargestellt.
Die Bildqualität
(IQ) ≥ 7
impliziert einen GSD von nicht mehr als 1/3 Fuß. Daher weist jedes Daten-Frame
zumindest 153.000.000 Pixel 26 auf. Daher kann die durchschnittliche
Datenrate berechnet werden als: Datenrate = Pixel
P/Frame·Frames
P/s·Bytes/Pixel.
-
Bytes/Pixel werden nach dem Komprimieren
gemessen, und die Frames pro Sekunde werden mittels der Missionsparameter
ermittelt. Für
einen minimalen Satz an Anforderungen werden 0,25 Bytes/Pixel gespeichert,
und Frames oder Bilder werden so oft wie möglich alle 2 Sekunden mit 0,5
Frames pro Sekunde eingelesen. Dies führt zu einer minimalen Datenrate
von 15 Megabyte pro Sekunde.
-
Nun bezugnehmend auf 3 ist
dort ein Teilausschnitt einer flugzeuggestützten Panoramakamera mit einem
schwenkbar befestigen Sensorarm 16 gezeigt, in dem die
Linse und die optische Kette, nicht gezeigt, untergebracht sind.
Auf dem schwenkbar befestigten Sensorarm 16 ist eine elektro-optische
Sensor 20 -Anordnung angebracht. Es gibt eine Anzahl von kommerziell
verfügbaren
flugzeuggestützten
Panoramakameras, jedoch haben die Anmelder bei dem bevorzugten Ausführungsbeispiel
ein optisches System einer flugzeuggestützten Panoramakamera, gebaut
von Hycon und vom US-Militär
für einige
Jahre verwendet, eingesetzt. Panoramakameras nehmen im Allgemeinen
Bilder über
einen 90°-Winkel
auf, und jedes Frame stellt eine ±45° × ±10°-Sicht des Bodens dar. Wenn
sich das Flugzeug vorwärts
entlang einer Flugroute 22 bewegt, streift der Sensorarm 16 in
etwa 0,5 Sekunden von Steuerbord zu Backbord, wodurch die Bildsignale
zum elektro-optischen Sensor übertragen
oder für
ihn erzeugt werden. Dieser Modus, des Aufnehmens von Bilddaten in
einer Richtung quer zur Flugroute wird allgemein als Whisk-Broom-Technik
bezeichnet.
-
Wie Fachleuten der Fotografietechnik
bekannt, weisen flugzeuggestützten
Panoramakameras, wie beispielsweise KA-54A, KA-56A und KA-60, hergestellt von
Fairchild, KA-55A, hergestellt von Hycon, und KA-80A, hergestellt
von Itek, eine Bild-Bewegungskompensations (IMC) -Funktion auf,
nicht gezeigt. Die IMC gewährleistet
praktisch, dass das Bild nicht durch die Bewegung des Flugzeugs
verwischt wird, da die Vorwärtsbewegung
des Flugzeugs im Flug mittels der Bild-Kompensations-Funktion beseitigt oder
kompensiert wird. Im Allgemeinen wird die Linse bei der Bild-Kompensations-Funktion vorwärts bewegt,
bevor ein Bildaufnahme-Zyklus initiiert wird, und während der
Bildaufnahmeperiode bewegt sich die Linse nach achtern, wenn sich
das Flugzeug vorwärts
bewegt, wodurch die Flugzeugbewegung während der Frame-Belichtung kompensiert
wird.
-
Wie Fachleuten der flugzeuggestützten Panoramakamera-Technik
bekannt, sind die Beziehung der Bildkompensationsrate, der Flugzeughöhe und der
Flugzeuggeschwindigkeit wichtige Parameter beim Ermitteln der Pixeldatenraten.
-
Die Bildkompensationsrate (IMC) kann
ausgedrückt
werden durch:
-
Bezugnehmend wieder auf
2 ist einer der wichtigen Parameter des
Designs eines elektro-optischen Sensors die Ermittlung des geeigneten
Boden-Abtastabstands (GSD)
24. Wie in
2 gezeigt,
ist der Boden-Abtastabstand
24 einfach die Zahl, wie viel
jedes Bildelement (Pixel) in einem Frame an Boden darstellt. Die
Umwandlung des GSD zum Pixel-Abstand (der Einfachheit halber vorausgesetzt
die Pixelgröße für quadratische
Pixel) kann mittels der folgenden Formel ausgedrückt werden:
-
Daher würde bei dem bevorzugten Ausführungsbeispiel
der Anmelderin ein beliebiger Sensor mit einem Rasterabstand (Pitch)
von weniger als 20 Mikron eine Bildqualität (IQ) von 7 in einer Höhe von 5.000
Fuß ergeben.
Bei dem bevorzugten Ausführungsbeispiel
der Anmelderin beträgt
der Pixel-Abstand des Sensors 13 Mikron, was in einer Höhe von 5.000
Fuß zu
einem GSD von 2,56 Zoll bzw. 3,62 Zoll im Nadir bzw. ±45° Sichtwinkel
führt.
Dies ist äquivalent
einer Bildqualität
von B. Mit einem Pixel-Abstand von 13 Mikron kann die Zeilenrate
berechnet werden als:
-
Das bevorzugte Ausführungsbeispiel
der verbesserten Kamera der Anmelderin weist eine Abtastzeit 0,5
Sekunden kurz und daher in einer Höhe von 5.000 Fuß eine Quer-Spurbreite
von 10.000 Fuß auf.
Aus der obigen Gleichung kann ersehen werden, dass dies zu einer
Zeilenrate von 73.631 Zeilen pro Sekunde führt. Das Wissen über die
Zeilenrate ermöglicht
die Berechnung der Pixel pro Port und der Taktrate für den Sensor aus
der folgenden Formel:
-
Daher würde unter der Annahme einer
angemessenen Taktrate von 12,5 MHz dies zu einer maximalen Pixelanzahl
pro Port von 170 führen.
Dies impliziert, dass der Zeilen-Array-Sensor bevorzugt in Bereiche
der Länge
von 170 Pixeln oder weniger eingeteilt ist. Beim Aufbau der verbesserten
Kamera der Anmelderin wird eine Anzahl von Design-Kompromissen,
aufweisend Kosten/Dienstleistung, zwischen Abtastzeit, Taktrate
und maximaler Pixelanzahl pro Port getätigt. Bei dem bevorzugten Ausführungsbeispiel
der verbesserten Kamera der Anmelderin liegt die Abtastzeit im Bereich
von 0,75 Sekunden, die Taktrate liegt im Bereich von 12,5 MHz, und
die maximale Pixelanzahl pro Port war auf 256 eingestellt. Diese
Werte führen
zu einer entsprechenden Zeilenrate von 49.100 Zeilen pro Sekunde.
Dieses leichte Abbremsen der Kamera-Abtastzeit ermöglicht sehr nützliche
Kompromisse und Fähigkeiten
unter Verwenden kostengünstiger,
kommerziell verfügbarer
Sensoren.
-
Bezugnehmend nun auf 4 ist
dort eine elektro-optische Sensoranordnung 20 gezeigt,
die so designed ist, dass sie an dem optischen Sensorarm 16 angebracht
ist und zu einem integralen Bestandteil der optischen Anordnung,
nicht gezeigt, wird. Auf diese weise ist der elektro-optische Detektor
fest oben am optischen Pfad befestigt, wodurch das Aufrechterhalten
des Fokus' während des
Flugbetriebs ermöglicht
wird. Bei Panoramakameras gemäß dem Stand
der Technik war das Fehlschlagen bei dem Versuch, den Film glatt
zu halten und daher einen fixen Abstand zur Linse beizubehalten,
eine Haupt-Fehlerquelle. Die Anmelder haben mittels festen Anbringens
des Sensors 20 am Arm 16 und daher in Bezug auf
die Linse eine Hauptquelle so genannter panoramatypischer Fehler
beseitigt.
-
Die elektro-optische Sensoranordnung
weist eine planere Befestigungsplatte 30 auf, die aus einem beliebigen
Isolationsmaterial hergestellt sein kann, wie beispielsweise einem
Glas-Epoxy-Typ. Vier Zeitauflösungs-Integrations-Zeilenarrays 32, 34, 36 und 38 sind
auf der Platte 30 befestigt. Es gibt eine Anzahl von kommerziell
verfügbaren
TDI-Zeilenarrays, die für
die Anwendung geeignet sind, aufweisend die Dalsa 2048x96-Sensorelemente
von Dalsa Inc. in Waterloo, Ontario, Kanada. Die Dalsa 2048 × 96-Sensor-Zeilenarray-Elemente
haben einen 13 × 13
Mikron-Rasterabstand und können
bei 15 MHz Taktrate betrieben werden. Ein alternatives TDI-Zeilenarray
ist kommerziell verfügbar
von Loral Fairchild, das 1024 × 128
Elemente mit 15 × 15
Mikron-Pixel-Rasterabstand aufweist. Sowohl die Dalsa- als auch
die Loral-Arrays sind frontseitig beleuchte ladungsgekoppelte (CCD-)
Einrichtungen, und die Bildaufbereitung wird mittels Einbindens
von Photonen erreicht, die eine oder mehrere Stufen von Polysilizium
passieren müssen.
Daher ist das resultierende Bild sehr stark in der Blau- und Grün-Antwort
solcher Imager gefiltert. Die flache Sensor-Array-Anordnung 20 weist
ferner eine Mehrzahl von Spannungsversorgungs- und Steuerverbindungen 40,
einen digitalen Zeit- und Steuerprozessor 42 und 32-Kanal-Video-Vorverstärker 44 auf.
Die Vorverstärker 44 in
der Sensor-Array-Anordnung führen
den ersten Schritt der Videosignal-Aufbereitung durch und können beliebige
der kommerziell verfügbaren
Vorverstärker
sein, beispielsweise ein Emitterfolger-Schaltkreis MMBT 3904, hergestellt
von Motorola. Wie in 4 gezeigt, weist
die elektro-optische Sensoranordnung 30 bevorzugt die Sensoren 32, 34, 36 und 38,
Antriebselektronik 42 und Vorverstärker 44 zum Vor-Aufbereiten
der Bildsignale auf. Der minimale Inter-Array-Abstand ist wünschenswert,
da dadurch die Verwendung relativ kurzer Verbindungsleitungen erreicht
wird, wodurch das In-Übereinstimmung-Bringen
der CCD-Taktsignale
ermöglicht
wird, was das Aufrechterhalten eines niedrigen Signal-zu-Rausch-Verhältnisses
unterstützt,
das erforderlich ist, wenn mit Low-Pegel-Signalen und den kurzen
Auflösungszeiten
gearbeitet wird, wie nachstehend erörtert.
-
Das Design der Sensor-Anordnung 30 wird
zu einem guten Teil durch den Aktiv-Bildbereich der flugzeuggestützten Kamera
diktiert. flugzeuggestützte
Panoramakameras weisen im Allgemeinen einen Aktiv-Bildbereich von
4 Zoll auf, und daher würde
ein ideales Sensorarray ein 4 Zoll-Zeilenarray mit einer Pixelzahl
in der Größenordnung
von etwa 2.000 Pixeln pro Zoll nutzen. Während ein In-Line-Array in
der Größenordnung
von 4 Zoll kommerziell sicher verfügbar ist, ist das eigentliche
Design des verbesserten Sensorarrays der Anmelderin ein Kompromiss
unter Verwenden von Kosten, der Anzahl der Ports und der Taktgeschwindigkeit
als primäre
Determinanten. Bei dem bevorzugten Ausführungsbeispiel des verbesserten
elektro-optischen Sensors der Anmelderin werden vier Dalsa 2048 × 96-Element-TDI-Zeilenarrays 32, 34, 36 und 38 verwendet, wie
gezeigt, die einen optischen Aktiv-Bereich von 4 Zoll ergeben. Ersichtlich
können
für andere
Anwendungen ein einzelnes 1 Zoll-Zeilenarray oder alternativ bis
zu 7 oder 8 Zeilenarrays in einer geraden Linie oder in versetzten
parallelen Linien für
unterschiedliche Anwendungen verwendet werden, wie von Fachleuten
der Fotografie- und der Luft-Aufklärungstechnik
zu verstehen ist.
-
Es soll so verstanden werden, dass
der Einzel-Zeilenarray-Sensor
zu einer wesentlich geringeren Auflösung oder Bildqualität führt, und
der 7 Zoll- oder 8 Zoll-Sensor würde
vergleichbar dem Betrieb einer Framing-Kamera sein, die zum Abbilden
verwendet werden könnte.
-
Bei einem anderen Ausführungsbeispiel
der verbesserten flugzeuggestützten
Panorama-Digitalkamera und des -Verfahrens der Anmelderin können der
elektro-optische Sensor 30 oder eines oder mehrere der Zeilenarrays 32, 34, 36 oder 38 von 4 oder Zeilenarrays, dargestellt in anderen
Ausführungsbeispielen, für verschiedene
Anwendungen ersetzt werden durch oder vervollständigt werden mit einem zusätzlichen
Infrarot-Sensor. Die Anordnung und Funktion der kommerziell verfügbaren Infrarot-Sensoren,
beispielsweise HgCdTe (Quecksilber-Cadmium-Tellurid), sind Fachleuten
der Fern-Abtastungstechnik wohl bekannt. Unter Verwenden verschiedener
Sensoren, Detektoren oder Filter alleine oder in Kombination wird
die Fernabtastung mit einer Abstrahlung von 0,3 Mikron Wellenlänge bis
etwa 14 Mikron Wellenlänge
ermöglicht.
Im Allgemeinen werden Mulitspektral-Bilddaten in verschiedenen diskreten
Bändern,
wie in 18 dargestellt,
gesammelt, sodass Daten guter Qualität erlangt werden.
-
Unter Bezugnahme nun auf 5 wird eine Sensor-Zeilenarray-Überlappung, wie in 4 und 5 dargestellt,
beschrieben. Vier elektro-optische Sensoren, beispielsweise vom
Dalsa-Typ, jeweils aufweisend ein 2048 × 96-Element-TDI-Zeilenarray,
sind auf einem Glaselement-Substrat 50 aufgebracht, das
beispielsweise 1,5 Zoll lang und 0,5 Zoll breit ist. Die Länge des
Pixel-Zeilenarrays des dargestellten Dalsa-Sensors beträgt 1 Zoll
mit Pixeln in der Größenordnung
von 2.000 pro Zoll. Die Überlappung 52,
wie in 5 gezeigt, ist
notwendig, um Lücken
in Bildzeilendaten zu verhindern, die, wenn nicht korrigiert, eine
Hauptquelle von Fehlern bei den Bilddaten wäre. Der optische Sensor 20 bewegt
sich, wenn die optische Säule
(column) die Bodenszenerie für
das jeweilige Frame abtastet. Würde
eine einzelne Zeile von Pixelelementen angewendet, würde diese
Bewegung keine optischen Schwierigkeiten bei den resultierenden
Bilddaten hervorrufen. Jedoch ist es bei der Verwendung einer Zeitauflösungs-Integration (TDI)
kritisch, dass die Zeilenarrays senkrecht zur Flugrichtung der Kameraabtastung
orientiert sind. Wie Fachleuten der Luftfotografie bekannt, kann
dies durch eine geeignete Positionierung der Befestigungen und der
Verwendung eines optischen Korrekturmechanismus' erreicht werden, wie nachstehend ausführlicher
erläutert.
Bei der verbesserten flugzeuggestützten Digital-Panoramakamera
der Anmelderin wird ein neues Bild (Frame) jede 1/75 Sekunde aufgenommen.
Mit 2.000 Pixeln pro Sensorelement und vier Sensorelementen gibt
es daher 320 Millionen Pixelsignale pro Sekunde, die durch den Betrieb
der flugzeuggestützten
Kamera erzeugt werden, wie sie unter Verwenden der vorgenannten
Gleichung für
die Datenrate als eine Funktion der Anzahl der Pixel pro Frame mal
die Anzahl der Frames pro Sekunde, multipliziert mit den Bytes pro
Pixel mit einem Minimum von 0,25 für die definierten Systemanforderungen
berechnet werden kann. Die analogen Videosignale werden mittels
vier Sätzen
von 8-Kanal-Grafikdaten-Ausgängen 44 von
jedem Dalsa-Sensor-Zeilenarray bei einer effektiven Taktgeschwindigkeit
von 28 MHz vom Sensor-Array 30, wie nachstehend ausführlicher
beschrieben, gelesen. Alle 2,25 Sekunden wird eine neue Bild-Abtastung
initiiert. Wie in 5 gezeigt,
gibt es eine Pixellinien- Nahttrennung 52 von
etwa 3/4 Zoll, was beim Dalsa-Zeilenarray gleich etwa 1500 Pixel
Breite ist. Ferner gibt es eine Sensorzeile, die ungefähr einen
Millimeter überlappt,
was dem Erzeugen von doppelten Pixeldaten auf beiden Seiten der
Naht 52 entspricht. Die Nahttrennung ist eine potentielle
Fehlerquelle, die es erforderlich macht, die Abtastarm-Geschwindigkeit VO
auf etwa 0,1% zu regeln. Wie nachstehend in Verbindung mit 11 erläutert, verwendet das Verarbeiten
der Nahtdaten die Überlapp-Daten
dazu, die tatsächliche
Geschwindigkeit des Abtastarms zu kalibrieren. Bei der Nachverarbeitung
wird eine Fourier-Analyse in zwei Dimensionen angewendet, sodass
die tatsächlichen
Geschwindigkeitsfehler berechnet werden, die verwendet werden können, um
die Grafik- oder Bilddaten zu kompensieren oder zu korrigieren.
-
Bezugnehmend nun auf 6 ist
ein alternatives Ausführungsbeispiel
des verbesserten elektro-optischen Zeilensensor-Arrays 60 der Anmelderin gezeigt,
das insbesondere bei einem Multispektral-Bild landwirtschaftlicher
Feldfrüchte
nützlich
ist. Jahrelang hat das US-Landwirtschaftsministerium eine Anzahl
von Forschungsprojekten durchgeführt,
um die Realisierbarkeit des Entwickelns verbesserter Fern-Mulitspektral-Abtastungen
zu erkunden, um verschiedene Bodenzustände zu identifizieren und zu
bewerten, was nützlich
beim Verbessern der Landnutzung wäre. Die Fern-Spektral-Abtastung
in der Landwirtschaft ist mit einer Ermittlung verschiedener Parameter
und Merkmale von Feldfrüchten
mittels einer Analyse von in einem Abstand aufgenommenen Daten verbunden.
Die Fern-Multispektral-Abtastung
in der Landwirtschaft hat das breite Ziel, den Ertrag und die Qualität der landwirtschaftlichen
Kultivierung zu erhöhen
und Verluste in der Produktion zu verringern, die infolge einer
Krankheit oder durch Unkraut oder durch Insektenbefall hervorgerufen
werden, wodurch die Quantität
und die Qualität
einer landwirtschaftlichen Produktion erhöht werden. Wie nachstehend ausführlicher
beschrieben, sind bestimmte Bereiche des elektromagnetischen Spektrums
insbesondere nützlich
für die
Multispektral-Bildaufbereitung in der Landwirtschaft. Eine biologische
Masse oder andere Eigenschaften einer bestimmten Vegetation können als
ein Verhältnis
des Infrarot-Spektrums zum Grün-Gelb-Spektrum
geschätzt
werden. Eine verbesserte elektro-optische Zeilen-Sensoranordnung 60, dargestellt
in 6A und 6B,
würde bei
solch einer landwirtschaftlichen Fern-Multispektral-Bildaufbereitung
von Feldfrüchten
nützlich
sein. Wie in 6A gezeigt, gibt es zwei
elektro-optische Zeilenarrays 62 und 64, die mit
optischen Filtern 66 und 68 überzogen sind. Wie weiter oben
beschrieben, kann der Farbfilter im Sensor 62 einen Infrarot-Filter aufweisen,
während
der Filter im Array 64 ein Grün/Gelb-Filter sein kann, womit
die Bilddaten erlangt werden können,
die nützlich
beim Ermitteln der Biomasse bestimmter Feldfrüchte sind, die von einem Flugzeug überflogen
werden, das mit einem Detektor, ähnlich
dem in 6A, ausgestattet ist. Alternativ
könnte,
wie in 6B dargestellt, ein einziger
Sensor 36 in Verbindung mit einem Farbrad 63 angewendet
werden, das, wenn es rotiert wird, Ausgabedaten erzeugen würde, die
mittels entsprechender Filtersegmente aufgenommen würden. Elektro-optische
Sensoren weisen Dynamikbereiche auf, die größer sind als die vom Film offerierten,
deshalb weist der verbesserte elektro-optische Sensor der Anmelderin
eine Spektral-Antwort auf, die bei solchen Anwendungen verschiedene
Vorteile bietet, wie beispielsweise die Feldfrucht-Begutachtung
und das Betreiben unter dunstigen oder weniger idealen Bedingungen.
-
Filmbasierte Panoramakameras gemäß dem Stand
der Technik weisen Verschlüsse
auf, die mittels eines automatischen Belichtungs-Steuersystems auf
Belichtungszeiten, auswählbar
zwischen 1/100 und 1/3.000 einer Sekunde, eingestellt werden. Wird
ein einziges elektro-optisches Zeilenarray angewendet, würde die
entsprechende Verschlussgeschwindigkeit für die modifizierte Kamera gemäß dem Stand
der Technik 1/49.100 Sekunden betragen, was zu schnell wäre, um vernünftige Signal-zu-Rausch-Verhältnisse
in den Videodaten zu erlangen. Daher wird bei dem bevorzugten Ausführungsbeispiel
der Anmelderin die effektive Verschlussgeschwindigkeit unter Verwenden
einer Zeitauflösungs-Integration
(TDI) abgesenkt. Wie Fachleuten der elektro-optischen Sensortechnik
bekannt, nutzen kommerziell verfügbare
elektro-optische Zeilenscanner, wie beispielsweise solche, bezogen
auf die oben genannten von Dalsa und Loral Fairchild, TDI, um die
effektive Verschlussgeschwindigkeit abzusenken. In 7 ist die Länge der Pixelzeilen in 2.000
Zeilen eingeteilt, wobei jede Zeile 100 Pixel aufweist.
Im Betrieb wird die Ladung von Pixel 1 von Zeile 1 (P11)
zum Pixel 2 von Zeile 1 getaktet oder transferiert, d. h. zum benachbarten
Pixel (P12). Die Geschwindigkeit des Abtastarms
V mit 100 Stufen (d. h. Pixel in jeder Zeile) beträgt daher
V ±1%.
Daher erhöht
die inkohärente
Integration, erreicht mittels TDI, effektiv die Belichtungszeit
bei diesem Beispiel um einen Faktor von 100, wodurch der Dynamikbereich
des Sensors erhöht
und in Bezug auf Schwankungen der Einzel-Pixel-Ausgabe kompensiert wird.
Für ein
vollständiges
Verständnis
des integrierten TDI im Dalsa-Sensor kann auf die technische Literatur von
Dalsa für
die elektro-optischen Sensoren verwiesen werden, verfügbar von
Dalsa Inc. in Waterloo, Ontario, Kanada.
-
Wie in 7 gezeigt,
ist eine Quelle von Taktimpulsen mit dem Anschluss 70 gekoppelt,
und bei aufeinanderfolgenden Taktzeiten wird die akkumulierte Ladung
für beispielsweise
das erste Pixel P11 zum benachbarten Pixel
P12 getaktet oder übertragen. Daher erhöht die inkohärente Integration
mit den illustrativ 100 Stufen des TDI effektiv die Belichtungszeit
um einen Faktor von 100, wodurch der Dynamikbereich des Sensors erhöht wird
und für
beliebige Schwankungen in den einzelnen Pixel-Ausgaben kompensiert
wird. Wie Fachleuten der elektro-optischen Sensortechnik bekannt,
nutzen kommerziell verfügbare
Scanner ein TDI-Prinzip, um diese erwünschten Merkmale zu erreichen.
-
Bezugnehmend nun auf 8 ist dort ein Logik-Blockdiagramm des
verbesserten flugzeuggestützten Digital-Panorama-Systems
und -verfahrens der Anmelderin gezeigt. Wie in 8 dargestellt, weisen das verbesserte
System und Verfahren vier Hauptkomponenten auf: einen elektro-optischen
Sensor 80, der wie gezeigt ein Bowtie-Foto-Frame mit etwa
1.700 Fuß Länge und
10.000 Fuß Breite
bei einer Flughöhe
von 5.000 Fuß (Höhe über Grund – AGL) erzeugt,
eine Datenbehandlungseinheit 82, die den elektro-optischen
Sensor kalibriert und die Videodaten in einem Hochgeschwindigkeits-Pufferspeicher
digitalisiert, komprimiert und speichert, eine Steuereinheit 84,
die einen Computer aufweist, um die gesamte Kalibrierung und den
Betrieb des Systems zu steuern, und eine Echtzeit-Archivierungseinheit 86 auf.
-
Die Datenbehandlungs-Anforderungen
für die
verbesserte flugzeuggestützte
Direkt-Digital-Panoramakamera und das -Verfahren der Anmelderin
sind beide hoch. Die Ausgabe der Kamera beträgt mehr als 450 Megapixel pro
Sekunde. Unter Verwenden eines 10-Bit-Analog-Zu-Digital-Wandlers,
wie nachstehend beschrieben, wird die Datenrate auf über 550
Megabyte pro Sekunde erhöht.
Um diese Anzahl in Perspektive zu bringen, eine einzelne Seite aus
gedrucktem Text weist eine Größenordnung
von 10.000 Zeichen oder Bytes an Daten auf. Die verbesserte Kamera
der Anmelderin kann daher als das Äquivalent des Erzeugens von über 40.000
Seiten gedruckten Textes pro Sekunde angesehen werden. Die Herausforderung
der Anmelderin beim Entwerfen ihrer verbesserten flugzeuggestützten Digital-Panoramakamera
und dessen Verfahren war, diese sehr hohe Datenrate in einer kosteneffektiven,
kommerziell wettbewerbsfähigen
Weise zu handhaben, was bedeutete, dass die Datenrate mittels des
Systems wesentlich reduziert werden musste, um kompatibel mit aktuell
kommerziell verfügbaren
Aufzeichnungsgeräten
mit bis zu 32 Megabyte pro Sekunde Eingabe zu sein, wie nachstehend
ausführlicher
in Verbindung mit 11 beschrieben.
Das bevorzugte System-Ausführungsbeispiel
der Anmelderin nutzt eine Anzahl von Daten-Reduktions-Schemata,
um die Kamera-Datenrate von über
550 Megabyte pro Sekunde in der Spitze effektiv auf die Datenrate
in der Größenordnung
von 32 Megabyte pro Sekunde zu reduzieren, die von aktuellen kommerziell
verfügbaren
State-of-the-Art-Daten-Aufzeichnungsgeräten gehandhabt werden kann.
Der erste Haupt-Datenreduktionsprozess enthält die Anwendung des Kamera-Betriebsart-Zyklus'. Obwohl jedes Daten-Frame
in 0,75 Sekunden aufgenommen wird, werden normalerweise Bilder nicht öfters als
jede zweite Sekunde eingelesen. Daher werden mittels Anwendens eines Ausgleichs-Puffers
der Anmelderin die Grafikdaten, nachdem sie digitalisiert worden
sind, in den Puffer mit einer Rate von 0,75 Sekunden geschrieben
und jede zweite Sekunde ausgelesen, was zu einer 2,85:1-Datenraten-Reduktion
führt.
Der nächste
Schritt, die reduzierten Datenraten zu erlangen, ist, Datenkomprimierungs-Techniken
anzuwenden. Wie Fachleuten der Datenverarbeitung bekannt, gibt es
eine Anzahl von kommerziell verfügbaren
Komprimierungs-Schaltkreisen für
digitale Signale. Beispielsweise sind die Joint Photographic Experts
Group (JPEG) -Komprimierungs-Schaltkreise verfügbar, die Komprimierungsraten
in der Größenordnung
von 5:1 in der Datenrate erreichen. Daher würde solch eine Datenkomprimierung
im Fall des bevorzugten Designs der Anmelderin dazu führen, dass
es nach der Komprimierung 2 Bit pro Pixel im Gegensatz zu den ursprünglichen
10 Bit pro Pixel gibt. Eine zusätzliche
Datenraten-Reduktion wird mittels Anwendens eines Prozesses des
Kalibrierens der einzelnen Pixel erreicht. Wie nachstehend beschrieben,
wird eine Lookup-Tabelle angewendet, um die Abtastwerte von dem
jeweiligen individuellen Pixel in einen korrigierten Wert unter
Verwenden einer logarithmischen (Log-) Umwandlung abzubilden. Dies
ist ähnlich
der Gammakorrektur, die manchmal bei Film angewendet wird. Wie Fachleuten
der Panoramatechnik bekannt, ist die Kalibrierung der Ausgabe der
einzelnen Pixel in jeder Zeile erforderlich, entweder während der
Datensammlung oder in der Nach-Sammel-Verarbeitungsprozedur. Ohne
die individuelle Kalibrierung der Pixel würden Linien im Allgemeinen
bei der Bildaufnahme die Bilder sehr verzerren und krümmen. Diese
Linien würden
ferner als Datenmerkmale auf den Komprimierungsalgorithmus wirken,
der sehr hart arbeiten müsste,
um sie im Bild zu halten. Daher gibt es durch das Kalibrieren der
Pixel vor der Komprimierung einen zusätzlichen Vorteil darin, dass
die Komprimierungsfunktion effektiver und ferner die Datenstromrate
reduziert ist. Bei dem bevorzugten Ausführungsbeispiel der verbesserten
flugzeuggestützten
Panoramakamera der Anmelderin wird der JPEG-Algorithmus in der Datenkomprimierungs-Funktion
angewendet. Ein Satz von JPEG-Daten-Komprimierungschips ist kommerziell
von LSI Logic Inc. (L64735 QC-35 Discrete Cosine Transfer und L64
QC-30 JPEG-Komprimierung) verfügbar.
Bei den Datenreduktionsprozessen, wie oben beschrieben, bewegt sich
die gesamte Reduktion im Bereich von 14:1, und daher kann die Ausgabe
der Datenbehandlungseinheit auf kommerziell verfügbare magnetische Bänder oder
Platten aufgezeichnet werden. Wie nachstehend ausführlicher beschrieben,
weist die Datenbehandlungseinheit eine Datenverarbeitungseinheit,
beispielsweise den Intel 486/66, mit geeigneten Softwareprogrammen
auf, um die Einstellung, Wartung und die Steuerung des gesamten
Betriebs bereitzustellen. Die beiden Hauptmodi der Datenverarbeitungseinheit
sind (a) Einzelframe, wobei ein einzelnes Daten-Frame aufgenommen
und auf einem lokalen Monitor angezeigt wird, und (b) Betrieb, bei dem
mehrere sequentielle Daten-Frames kontinuierlich eingelesen und
auf einem Magnetband gespeichert werden, beispielsweise einer Magnetbandeinheit 88 oder
einer Platte 89. Die Echtzeit-Archivierungseinheit empfängt von
der Datenbehandlungseinheit digitale Daten mit Raten bis zu 32 Megabyte
pro Sekunde.
-
Bei der Einheit, beispielsweise der
TSC/STX-Schnittstelle, hergestellt von Tri-Plex Systems Inc., können die
Band- bzw. Platteneinheiten 88 bzw. 89 ein beliebiger
kommerziell verfügbarer
Typ, beispielsweise die Sony Dir 1000-Bandeinheit, sein, die das
Standard-D-1-Band anwendet, bei dem die Bandkassette etwa 100 Gigabyte
Daten speichert, was bei der verbesserten Kamera der Anmelderin
mehr als 1.000 Daten-Frames bedeuten würde, oder eine IBM 3350-Platteneinheit
sein.
-
Nun bezugnehmend auf 9 ist dort eine bildhafte Darstellung
eines Abschnitts eines abgebildeten Bodenstreifens 94 dargestellt,
auf dem die Flugroute 96 mittels eines Pfeils dargestellt
ist. Die sequentiellen Bowtie-förmigen
Foto-Frames sind
entlang der Flugroute gezeigt und mit F1 bis
FR bezeichnet, die, wie nachstehend beschrieben,
beispielsweise alle zwei Sekunden während normaler Aufklärungsflug-Operationen
aufgenommen werden. Wie in Verbindung mit den 1 und 8 beschrieben,
kann ein GPS-Empfänger
in Verbindung mit anderer normaler Navigations-Instrumentalisierung,
nicht gezeigt, den exakten Breitengrad und Längengrad für den Start, den Beginn oder
die Mitte des jeweiligen Frames in Beziehung zum GPS-Koordinatensystem
geben. Wie Fachleuten der Abbildungs- und Auskundschafts-Techniken
bekannt, beschreiben die Datenblätter
der US-National Geodetic Survey die Position bekannter oder fixer
Auskundschafts-Punkte, und solche Daten können verwendet werden, um die
Flugzeugdaten mit solchen fixen Punkten auf der Erde in Zusammenhang
zu bringen.
-
Wie oben in Verbindung mit den 1 und 8 beschrieben, liegt der Datenstrom der
Kamera im Bereich von 450 Megapixel pro Sekunde. Das Anwenden eines
10 Bit-Analog-zu-Digital-Wandlers
erhöht
den digitalisierten Datenstrom auf mehr als 550 Megabyte pro Sekunde,
was grob äquivalent
etwa 40.000 Seiten gedruckten Text pro Sekunde entspricht. Panoramakameras
weisen im Allgemeinen die Fähigkeit
auf, sehr große
Datenmengen in einer relativ kurzen Zeitdauer zu sammeln. Beispielsweise
kann bei IQ-7 die KA-55 in einer Stunde Bilddaten, die mehr als
500 Quadratmeilen abdecken, sammeln und mehr als 87 Gigabyte von
Bilddaten erzeugen. Dies ist grob äquivalent 87.000 3½''-Disketten. Wie Fachleuten der Computer- und Datenverarbeitungstechnik
bekannt, ist das Eingeben sehr großer Datenmengen in ein Computersystem
ein zeitintensiver und grundlegend ineffizienter Prozess. Zusätzlich wird
der sehr große
Datenstrom des verbesserten flugzeuggestützten Digital-Panoramakamera-Systems
und -Verfahrens der Anmelderin unter Verwenden beispielsweise des
JPEG-Chipsatzes komprimiert. Wie Fachleuten bekannt, müssen, um
komprimierte Daten nutzen zu können,
diese dekomprimiert werden, was mittels des Dekomprimier-Chip-Satzes
oder gleichartiger Softwareroutinen bewirkt wird, um den ursprünglichen,
nicht komprimierten Zustand der Daten wiederherzustellen. Da die
Information von der verbesserten flugzeuggestützten Digitalkamera und des
-Systems der Anmelderin gewöhnlicherweise
an mehrere Nutzer geht, ist es wünschenswert,
dass geeignete Datenadress-Systeme
entwickelt werden, um den Nutzern den Zugriff auf den exakten Abschnitt
der Daten zu ermöglichen,
der für
ihre bestimmten aktuellen Erfordernisse notwendig ist.
-
Wie nachstehend in Verbindung mit
den 11 und 17 ausführlich erläutert, ist das Wissen, wohin
der Sensorarm in Bezug auf die exakten Breitengrad- und Längengradkoordinaten
zeigt, gemäß einem
anderen Aspekt der Erfindung der Anmelderin wichtig, im Wesentlichen
erlangt unter Verwenden von Differential-GPS-Daten, sodass die exakte
Position der Flugzeug-GPS-Antenne mit ±1 cm lokalisiert wird. Dies
kann genutzt werden, um Fehler zu korrigieren und das Adressieren
bestimmter Bereiche der Bilddaten zu vereinfachen.
-
Bezugnehmend nun auf 10 ist dort eine bildhafte Darstellung
der Zeilen und Spalten gezeigt, die die Breite bzw. Länge eines
Bildes ausmachen. Wie weiter oben beschrieben, weist jedes der acht
Zeilensegmente Zeile 1, Zeile 2, ... Zeile 8, die Daten von 64.000
Pixeln auf, die in 8 × 1.000
Sub-Blöcke
eingeteilt sind. Jedes Bild weist bis zu 4.000 Zeilen und daher
32.000 Sub-Blöcke
auf, wobei in 10 100
dargestellt sind. Es wäre
möglich,
die digitalen Bilddatensegmente 100 mittels eines Standard-Zeilen-Spalten-Adress-Schemas
zu adressieren, wie den Fachleuten der Computerspeichertechnik bekannt.
Jedoch ist es bei der verbesserten flugzeuggestützten Panoramakamera und dem
-System der Anmelderin möglich,
einen Sub-Block 100 mittels seiner Geo-Referenz zu adressieren,
d. h. seiner Breitengrad- und Längengrad-Koordinaten,
ermittelt am Beginn, am Rand oder in der Mitte eines Frames. Wie
nachstehend im Detail in Verbindung mit den 11 und 16 beschrieben,
ermöglichen
Geo-Referenzen von Sub-Blöcken
von Daten mittels der Breitengrad-Längengrad-Koordinatendaten dem
Nutzer der Kamera und des Verfahrens der Anmelderin, lediglich auf
solche Sub-Blöcke
zuzugreifen, sie zu dekomprimieren und in das Computersystem zu
laden mit der Größe von 8.000 Pixel-Byte,
und sie dann von dort zu expandieren, anstatt eine komplette Datenbank
zu laden und auf sie in einer herkömmlicheren und weniger effizienten
Weise zuzugreifen.
-
Daher können gemäß einem anderen Aspekt der
Erfindung der Anmelderin die Sub-Blöcke 100 einzeln in
den komprimierten Daten mittels Spezifizierens der Breitengrad-Längengrad-Koordinatendaten
am Beginn des Frames adressiert werden und bestimmt werden, welche
der acht Sub-Blöcke
von Interesse sind.
-
Bezugnehmend nun auf 11 ist dort ein Gesamt-Logik-Blockdiagramm eines
verbesserten flugzeuggestützten
Digital-Panorama-Systems
und -Verfahrens der Anmelderin gezeigt. Der elektro-optische Sensor 80,
wie weiter oben beschrieben, ist ein elektro-optischer 4 Zoll-Zeilensensor
mit einer Pixelgröße von 13 Mikron
und einer 96-Stufen-Zeitauflösungs-Integration.
Das analoge Signal vom elektro-optischen Sensor 80 wird
vom Sensor zum Verstärker 110 in
parallelen Kanälen
vorverarbeitet, wo die analogen Signale verstärkt und einer korrelierten
Doppelabtastung unterzogen werden. Die korrelierte Doppelabtastung
erfordert zwei Sample-and-Hold-Schaltkreise und einen Subtraktions-Verstärker, nicht
gezeigt, der als ein integrierter Schaltkreis von Kodak mit der
Produktnummer KASP-120 verfügbar
ist. Während
der jeweiligen Taktperiode wird einer der Sample-and-Hold-Schaltkreise
mit dem „Verrauscht-Null
(noisy zero)"-Wert
des Zeilenarrays geladen, während
der andere Sample-and-Hold-Schaltkreis mit dem Pixelwert plus „Verrauscht-Null" geladen wird. Mittels
analogen Subtrahierens des „Verrauscht-Null"-Wertes wird der
Wert, der die signifikanteste Rauschquelle im CCD-Array-Ausgabesignal
darstellt, eliminiert. Das resultierende Signal wird dann verstärkt und
einem Standard-Analog-Zu-Digital-Wandler 112, wie beispielsweise
Analoggeräten
mit der Produktnummer AD 773, zugeführt. Die Ausgabe des A/D-Wandlers,
der ein beliebiger der wohlbekannten kommerziell verfügbaren Typen
sein kann, die in der Lage sind, bei Taktraten von 15 Megahertz
betrieben zu werden, wird der Pixel-Kalibrierungseinheit und Log-Funktions-Einheit 114 zugeführt. Die
Pixel-Kalibrierungs-Einheit 114 weist
eine Lookup-Tabelle auf, die die Abtastwerte für das jeweilige Pixel auf einen
korrigierten oder normalisierten Wert abbildet. 14A und B stellen eine Pixel-Kalibrierungskurve
dar, wobei 116 die erwünschte
lineare Beziehung zwischen der Lichtintensität, ausgedrückt in Lumen, und der Amplitude
des Pixel-Analogsignals ist. Die tatsächliche Ausgabekurve für das jeweilige
Pixel wird bestimmt mit dem quer schraffierten Bereich 118,
der die positive oder negative Differenzen-Abweichung von der linearen
erwünschten
Beziehung darstellt. Diese Daten werden unter Verwenden einer Standard-Lichtquelle
und mittels Messens der Signalausgangs amplitude des jeweiligen Pixels
entwickelt. 14B zeigt die Ausgabe
der Kalibrierungs-Log-Einheit in einem digitalen 8 Bit-Wert mit
der erwünschten
linearen Beziehung, gekennzeichnet in einer Kurve 120,
und der dynamischen Antwort, gekennzeichnet mit 122. Nachdem
jedes Pixel im elektro-optischen
Array statisch kalibriert worden ist, werden die Werte und die Log-Funktion
in die Pixel-Kalibrierungs-Einheit geladen, die ihrerseits Daten
für die
Kalibrierungs-Einheit 114 bereitstellt. Wie nachstehend
ausführlicher
erläutert,
kann die Pixel-Kalibrierungstabelle während des Fluges modifiziert
werden, bevorzugt mit der Eingabe der Bilddaten, die während des Fluges
aufgenommen worden sind, sodass die Pixel-Kalibrierungseinheit dynamisch
angepasst werden kann, um den tatsächlichen Missions-Bedingungen
zu entsprechen.
-
Die Ausgabe des A/D-Wandlers 112 geschieht
bei einer Datenrate von 3,28 Gigabit pro Sekunde, und mit der 10:8-Log-Funktions-Umwandlungstabelle 114 geschieht
die Ausgabe der Pixel-Kalibrierungseinheit
bei einer Datenrate von 2,624 Gigabit pro Sekunde, die in den Dual-Port-Speicher 126 eingegeben
wird. Die erste Haupt-Datenratenreduktion tritt mittels Ausnutzens
des Vorteils des Kamera-Betriebsart-Zyklus' bei dem jeweiligen Daten-Frame, das
in etwa 0,75 Sekunden aufgenommen worden ist, und bei den Bildern,
die in der Größenordnung
jeder zweiten Sekunde aufgenommen werden, auf. Unter Verwenden eines
Ausgleichs-Dualport-Speichers, der ein beliebiges Halbleiter-Speichersystem
mit dualen, separat getakteten Eingangs- und Ausgangsports aufweist,
werden Daten in einem Puffer mit Rate von 0,75 Sekunden geschrieben
und mit einer Rate von 2 Sekunden ausgelesen, wodurch eine 2,85:1-Reduktion
in der Datenrate erreicht wird. Der Betrieb des Dualport-Ausgleichs-Speichers
ist in 13 gezeigt, wobei
das Datenlesen zu t0 stattfindet, d. h.
am Beginn des initialen 2-Sekunden-Intervalls. Die nachfolgenden
Framedaten werden 1,25 Sekunden später zu t1 gelesen,
und die initialen Daten werden zu t2 ausgelesen,
was 2 Sekunden nach dem Zeitpunkt bedeutet, zu dem sie in den Ausgleichs-Speicher 126 geschrieben
worden sind. Die Ausgabe des Dualport-Speichers 126 wird
in den JPEG-Komprimierungs-Schaltkreis 128 eingegeben.
Es gibt eine Anzahl von kommerziell verfügbaren Daten-Komprimierungs-Chipsätzen, die
in der verbesserten flugzeuggestützten
Digital-Panoramakamera der Anmelderin angewendet werden können, jedoch
wenden die Anmelder beim bevorzugten Ausführungsbeispiel den JPEG-Chipsatz
der integrierten Schaltkreise von LSI Logic Inc. an. Der Chipsatz
des integrierten Schaltkreises von LSI Logic Inc. wurde ausgewählt, da
er eine hohe Implementierungsgeschwindigkeit und hohe Bildqualität in Bezug
auf das Komprimierungsverhältnis
aufweist. Die Ausgabe des JPEG-Komprimierungs-Schaltkreises 128 wird
der Speicher-Steuereinheit 130 zugeführt. Mit
der 5:1-Reduktion in der Datenrate des JPEG-Komprimierungs-Schaltkreises
findet die Eingabe an die Speicher-Steuereinheit mit einer Rate
von 123 Megabyte pro Sekunde statt. Die Speicher-Steuereinheit nimmt
die komprimierten Daten und formatiert sie für die Ausgabegeräte. Bei
dem bevorzugten Ausführungsbeispiel
weist die Speicher-Steuereinheit 130 eine 8 Bit-ECL-Schnittstelle
zur TRI-Plex-Schnittstelle auf. Die Ausgabe der Speicher-Steuereinheit
kann selektiv an eine Band-Speichereinheit 132 oder ein Übertragungs-Modem 134 gerichtet
sein. Die Funktion der Speicher-Steuereinheit ist, alle Kameradaten
auf entfernbarem Speicher aufzuzeichnen, ohne das sich dies ungünstig auf
die Missionsplanung auswirkt, d. h. in Echtzeit aufzuzeichnen. Um
dies zu erreichen, sind die Schlüsselparameter
die maximale Datenrate und Datenspeicherkapazität der Speicher-Steuereinheit 130 und der
Band-Speichereinheiten 132. Eine Anzahl von Band-Speichereinheiten
ist kompatibel zum Spitzenwert und zum Durchschnittswert der Datenraten,
die im verbesserten flugzeuggestützten
Digital-Panoramakamera-System und -Verfahren der Anmelderin auftreten.
Bei einer typischen Mission, bei der Bilder alle 4 Sekunden aufgenommen
und 10% der Missionszeit dafür
verbraucht wird, Runden zu drehen, wäre die Spitzen-Datenrate von
32 Megabyte pro Sekunde einer Durchschnitts-Missions-Datenrate von
14,4 Megabyte pro Sekunde gleichzusetzen. Eine solche kommerziell
verfügbare
Hochgeschwindigkeits-Band-Speichereinheit ist von General Electric
in deren Familie von Hochleistungs-19 Millimeter-Rotations-Digitalrecordern
verfügbar,
die sowohl Boden- als auch flugzeuggestützte Einheiten aufweisen. Alternativ
können
die Daten von der verbesserten flugzeuggestützten Panoramakamera der Anmelderin
von der Speicher-Steuereinheit 130 an ein Übertragungs-Modem 134 gerichtet
sein. Verschiedene Design-Optionen
zum Übertragen
der Videodaten mittels einer Antenne 136 an eine Bodenstation,
nicht gezeigt, sind verfügbar.
Beispielsweise könnten
die Daten, die ein einzelnes Frame oder einige Frames darstellen,
in der Speicher-Steuereinheit 130 aufgeteilt und beispielsweise
von der Größenordnung
von 64 Megabyte auf die Größenordnung
von 2 Megabyte Daten reduziert werden. Diese Datei eines komprimierten
Datenstroms könnte
dann mittels eines Standard-54-Kilobaud-Transmitters in der Größenordnung
von 6 Minuten übertragen
werden, was mit weltweiten Low-Cost-Satelliten-Kommunikationssystemen übereinstimmt.
-
Gemäß einem anderen Aspekt der
Erfindung der Anmelderin werden Daten von Global-Positionierungs-System-Satelliten 14 (1 und 8) genutzt, um Panorama- oder Ausrichtungsfehler
in den Bilddaten zu kompensieren, die vom Sensorarm 16 (3) resultieren, der infolge der Bewegung
des Flugzeugs 10 nicht normal auf den Boden ausgerichtet
ist. Wie in 11 gezeigt,
empfängt
eine GPS-Empfänger-
und Kalibrierungs-Einheit 129 Signale von einer Mehrzahl
von Global-Positionierungs-System-Satelliten 14.
Die Antenne 131 ist an einem Flugzeug 10 montiert,
und daher berechnet der GPS-Empfänger 129 mittels
der Antenne die Breitengrad-Längengrad-Koordinaten der GPS-Antenne 131,
und daher können
die exakten Positionskoordinaten des Pixelarrays, wie nachstehend
ausführlicher
in Verbindung mit den 8, 11 und 17 beschrieben, unter Verwenden von Differential-GPS-Techniken
berechnet werden. Wie nachstehend in Verbindung mit 17 beschrieben, kann die dynamische Kalibrierungseinrichtung
und das -verfahren eine Mehrzahl von flugzeuggestützten GPS-Empfängern in
Kombination mit einem Trägheits-Leitsystem
aufweisen, sodass die Einstellung des Sensorarms relativ zur Bewegung,
herbeigeführt
durch Roll-, Steig- oder Gier-Bewegungen, ermittelt wird. Die Dynamik-Kalibrierungs-Einstelltabellen-Daten werden unter
Verwenden von Missions-Einstelldaten vom Sensor 80 berechnet,
und statische Pixel-Kalibrierungsdaten werden verwendet, um die
Pixel-Kalibrierungseinheit 114 während Missions-Einstellprozeduren
zu aktualisieren.
-
Bezugnehmend nun auf 12 ist dort ein Logik-Flussdiagramm der
verbesserten Digital-Panoramakamera und des -verfahrens der Anmelderin
gezeigt. Bevor der Betrieb mittels eines Frame-Startbefehls initiiert
wird, werden initiale Kamera-Kalibrierungs-
und Test-Wartungs- sowie -Einstell-Prozeduren, nicht gezeigt, durchgeführt. Bei
dem Kamera-Kalibrierungs-Prozess
werden verschiedene Lookup-Tabellen mit geeigneten Werten gemäß den Missionsdaten
geladen, beispielsweise der erwarteten Höhe, Geschwindigkeit und Überlapp-Parametern.
Beim normalen Betrieb der Kamera würde die Pixel-Kalibrierungs-Lookup-Tabellenfunktion mit
statischen Zustandsdaten geladen, die unter idealen oder Labor-Testbedingungen
erzeugt worden sind. Um bessere Bilddaten bereitzustellen, kann
die Pixel-Kalibrierungs-Lookup Tabellen-Funktion für den jeweiligen
bestimmten Flug oder die Mission mittels Erzeugens dynamischer Pixel-Kalibrierungsdaten
von der Kamera bei Initiierung des Fluges kalibriert werden. Die
dynamischen Pixel-Kalibrierungs-Daten
würden
dann mit den statischen Pixeldaten verglichen, und eine modifizierte
Lookup-Tabelle würde
erzeugt, die besser die aktuellen Flugbedingungen definieren würde.
-
Während
der Einstellprozedur würden
die normalen Funktionen verschiedener Elemente des Kamera-Systems
getestet, um einen korrekten Betrieb zu gewährleisten. Im Bildaufnahmemodus
ist der nächste Schritt,
die Fix-Abtastung, wie weiter oben für den Whisk-Broom-Typ beschrieben,
quer zur Flugroute durchzuführen,
wobei die Kamera eine Schwenkung von Steuerbord zu Backbord in etwa
0,75 Sekunden aufweist, wodurch mittels der optischen Kette ein
Bild zum elektro-optischen CCD-Sensor übertragen wird. Die Datenausgabe
der Kamera liegt im Bereich von 450 Megapixeln pro Sekunde, und,
wie weiter oben in Verbindung mit 4 beschrieben,
stellt der Sensorkopf 32 parallele Kanäle für die 4 Zeilenarrays mit jeweils
8 Ausgangsports bereit. Bilddaten werden vom elektro-optischen Scanner
in einem Burst-Modus mit CCD-Zeilenarray mit einer Mehrzahl von
parallelen Ausgabe-Bereichen, wobei jeder Bereich 4 A/D-Wandler
aufweist, gelesen, jeweils abtastend mit einer 14,28-Mega-Abtastung-Pro-Sekunde-Datenrate
mit einer Auflösung
von 10 Datenbits. Die analogen Signale werden mittels geeigneter
A/D-Wandler-Schaltkreise in digitale Signale umgewandelt. Der nächste Schritt
im Bilddatenbehandlungsprozess ist, das Ausgabesignal von den einzelnen
Pixelelementen zu kalibrieren. Für
jede CCD-Sensorausgabe (es gibt 8.096 Pixel pro Array), wie in 4 gezeigt, wird eine Umwandlungstabelle
erzeugt, die die 10 Bit-Ausgabe vom A/D-Wandler auf eine 8 Bit-Ausgabe
abbildet, die für
eine Komprimierung geeignet ist. Dies reduziert ferner die Datenrate
um 1,25:1. Zusätzlich,
wie in den 14A und B gezeigt,
wird die Ausgabe jedes Pixelelements mittels Erzeugens von Lookup-Umwandlungstabellendaten
kalibriert, die abhängig
von der Lichtintensität
und der Ausgabe des jeweiligen einzelnen Pixels in Bezug auf Spannung
in der dynamischen Ausgabe kalibriert werden. Wie weiter oben beschrieben,
weist der ideale Betrieb das Erzeugen dynamischer Pixelkalibrierungs-Tabellendaten
auf, die die tatsächlichen
Missionsbedingungen widerspiegeln würden, und diese dynamischen
Daten werden verwendet, um die statische Kalibrierungsdatentabelle
zu modifizieren.
-
Wie weiter oben beschrieben, ist
es wünschenswert,
die Kalibrierung der Pixel vor dem Komprimierungsprozess durchzuführen, um
Linien oder Streifen zu beseitigen, die in den Bilddaten auftreten
können,
die sie nahezu unbrauchbar machen und ferner den Komprimierungsalgorithmus
verkomplizieren würden,
was dazu führen
würde,
dass solche Linien als Bilddaten behandelt würden. Daher werden mittels
Kalibrierens der Pixel vor der Komprimierung zusätzliche Vorteile dahingehend
erlangt, dass die Komprimierung kostengünstiger und effektiver wird.
-
Eine Haupt-Datenratenreduktion tritt
mittels Ausnutzens des Vorteils des Kamera-Betriebsart-Zyklus' auf. Obwohl jedes
Daten-Frame in etwa 0,75 Sekunden aufgenommen wird, werden Bilder
allgemein nicht schneller als alle 2 Sekunden eingelesen. Daher
wird mittels Speicherns von Daten in einem Puffer speicher mit 0,75-Sekunden-Rate
und Auslesens von ihnen in einer 2-Sekunden-Rate eine im Wesentlichen
2,85:1-Datenratenreduktion
erreicht.
-
Der nächste Schritt des Bilddatenbehandlungsprozesses
ist, die digitalisierten Daten zu komprimieren. Es gibt eine Anzahl
kommerziell verfügbarer
Komprimierungs-Schaltkreise, wie beispielsweise National Imagery
Transmission Format Standard (NITFS) oder JPEG, die kommerziell
als Datenkomprimierungs-Chipsätze verfügbar sind.
Bei dem bevorzugten Ausführungsbeispiel
wird nach der Komprimierung erwartet, dass es 2 Bit pro Pixel gegenüber den
ursprünglichen
10 Bit pro Pixel gibt, wodurch eine 5:1-Reduktion in der Datenrate erreicht
wird, was, wenn kombiniert mit anderen Reduktionen, die Bilddatenrate
um einen Faktor größer als 14:1
reduziert.
-
Der nächste Schritt ist, die digitalen
Bilddaten auf geeigneten magnetischen Aufzeichnungsgeräten oder ähnlichen
Speichereinrichtungen aufzuzeichnen. Mit der erheblichen Datenratenreduktion,
wie oben beschrieben, gibt es eine Anzahl von Magnet-Aufzeichnungssystemen,
die in der Lage sind, die Bilddaten mit einer Spitzendatenrate,
wie weiter oben beschrieben, von 32 Megabyte/Sekunde zu handhaben.
-
Während
einer initialen Einstellung stoßen
die Frame-Startbefehle die Berechnung mittels des Global-Positionierungs-System-Empfängers, nicht
gezeigt, an, der die Breitengrad-Längengrad-Koordinaten
zum Zeitpunkt berechnet, zu dem der Frame-Start-Befehl ausgegeben
worden ist. Der nächste
Schritt im Prozess ist der, die Breitengrad/Längengrad-Koordinatendaten für den jeweiligen
Frame-Start-Befehlsimpuls aufzuzeichnen, der dann verwendet werden
kann, das Speichern der Daten für
das jeweilige Frame zu adressieren oder zu koordinieren. Wie weiter
oben beschrieben, ermöglichen
oder erlauben die Breitengrad/Längengrad-Koordinatendaten
die Lokalisierung der Frame- und der Subframe-Daten, wenn gespeichert.
Wie gezeigt, können
diese Breitengrad/Längengrad-Adressdaten
mit dem aufgezeichneten Datenbild aufgezeichnet werden, sodass sie
protokolliert werden und auf diese Weise einfach auf sie zuge griffen
werden kann. Für
hochqualitative Bilder, wie weiter oben beschrieben, ist es notwendig
zu gewährleisten,
dass die Position und die Ausrichtung des elektro-optischen Sensors
in Bezug auf die Oberfläche
der Erde bekannt ist. Um Bilddaten zu korrigieren und zu kalibrieren,
wie weiter oben beschrieben, ist es wünschenswert, die drei Bewegungsgrade des
elektrooptischen Sensors zu überwachen.
Wie in Verbindung mit 15, 16 und 17 beschrieben, kann das Lokalisieren
einer Mehrzahl von GPS-Einheiten am Flugzeug und am Boden angewendet
werden, um nicht nur die exakte Position des Flugzeugs und daher
der Sensorarm im Flugzeug zu ermitteln, sondern ebenso die Roll-,
Steig- und Gier-Bewegungen des Sensorarms infolge von Turbulenzen
usw.
-
Diese Bewegungskorrektur-Daten werden
dann, wie beispielsweise in Verbindung mit 17 gezeigt, mit den Trägheitsdaten
korreliert, sodass sie die exakte Position des Sensorarms 16 (3) ergeben. Unter Verwenden solcher Bewegungs-Korrekturdaten
und der Daten von dem gleichen Bild, das mittels der Naht oder Überlappung
der vier Zeilensensoren aufgenommen worden ist, können die
digitalen Bilddaten verglichen und korrigiert werden, sodass Fehler
eliminiert werden, die resultieren, wenn der Film oder die Bildfläche während der
Bild- oder Frame-Operationen nicht exakt parallel zur Oberfläche der
Erde gehalten wird.
-
Folgend der Korrektur der Bilddaten,
sodass Panorama- und andere Typen von Fehlern eliminiert werden,
können
die korrigierten digitalisierten Daten an verschiedene Nutzer ausgegeben
werden, beispielsweise wird auf die Daten mittels der Breitengrad/Längengrad-Koordinaten
zugegriffen, die mit den digitalen Daten zum Start des jeweiligen
Frames aufgezeichnet worden sind.
-
Bezugnehmend nun auf 15 ist dort ein Logik-Blockdiagramm eines
dynamischen Kalibrierungssystems gemäß einem anderen Aspekt der
Erfindung der Anmelderin gezeigt. Wie weiter oben beschrieben, wird
eine statische Kalibrierungstabelle 140 mittels Messens
der Ausgangsspannung des jeweiligen Pixels für einen gesteuerten Beleuchtungspegel,
wie in 14A und 14B gezeigt,
erzeugt. Diese Kalibrierungstabellen-Daten werden beim Korrigieren
von Schwankungen in der Ausgabe zwischen den einzelnen Pixelelementen
angewendet. Zusätzlich
zu der statischen Kalibrierung ist es für verbesserte Ergebnisse wünschenswert, die
dynamische Kalibrierung während
eines eigentlichen Missionsfluges einzubinden. Die dynamische Kalibrierungstabelle 142 stellt
im Wesentlichen die Belichtungs- oder
Verschlusszeit für
die tatsächlichen
Missionsbedingungen ein. Gemäß der dynamischen
Kalibrierungsfunktion der verbesserten Kamera der Anmelderin ist der
initiale Schritt, ein Bild aufzunehmen, wenn der Missionsflug beginnt.
Die Kameradaten werden zusammen mit den statischen Kalibrierungstabellen-Daten 140 dem
Missions-Einstelldaten-Steuerschaltkreis 144 eingegeben.
Der Missionsdaten-Steuerschaltkreis 144 berechnet die DC-Offsets
und -Verstärkungen
für die
neuen Bildelementdaten und vergleicht sie mit den statischen Kalibrierungstabellen-Daten
und führt
die Ausgabe einer neuen dynamischen Kalibrierungstabellen-Einheit 142 zu.
Mittels Neuberechnens der Lookup-Tabellen-Werte und Vergleichens
von ihnen mit der statischen Kalibrierungstabelle im Komparator-Schaltkreis 146 werden
die geeigneten Offsets für
die tatsächlichen
Missionsbedingungen eingebunden in und in die statische Kalibrierungstabelle 140 neu
geladen, die dann, wie oben in Verbindung mit 11 beschrieben, genutzt würde. Die
statische Kalibrierungstabelle 140 und die dynamische Kalibrierungstabelle 142 können Halbleiter- oder
Platten-Speichereinrichtungen,
beispielsweise MT5C1005DJ hergestellt von Micron Technologies, aufweisen,
die eine separate Speicherposition für jedes der einzelnen Pixelelemente
aufweisen. Der Missionsdaten-Steuerschaltkreis 144 weist
eine Verarbeitungseinheit, beispielsweise einen Intel 486,
auf, der den Eingabedatenstrom von der statischen Kalibrierungstabelle 140 und
die Kameradaten, die von den Kalibrierungs-Bilddaten eingelesen worden sind, aufnimmt
und sie zu Paaren gruppiert und die Differenz in die dynamische
Kalibrierungstabelle 142 lädt. Der Komparator-Schaltkreis,
der beispielsweise einen Komparator-Algorithmus oder einen Addierer-Schaltkreis eines
beliebigen bekannten Typs aufweisen kann, vergleicht die Eingabe
von der statischen Kalibrierungstabelle und der dynamischen Kalibrierungstabelle
für das
jeweilige Pixel, und die Differenz, die die Schwankung der dynamischen
Kalibrierungstabelle 142 zu den Werten der statischen Kalibrierungstabelle
ist, wird für
diesen Flug in die statische Kalibrierungstabelle 140 neu
geladen.
-
Eines der Hauptprobleme mit flugzeuggestützten Panoramakameras
ist die Voraussetzung, dass der Kamera-Ausrichtungswinkel in Bezug
auf den Boden festgelegt ist. Eine beliebige Schwankung in der Kameraposition
in Bezug auf die Normalposition zum Boden führt zu Ausrichtungs-Fehlern.
Bezugnehmend nun auf 16 ist
dort ein grafisches Kurvendiagramm der Amplitude der Schwankungen
gezeigt, die bei einem normalen Flug als eine Funktion der Zeit
auftreten. Die Amplitudenschwankungen können infolge von Roll-, Steig- oder
Gier-Bewegungen des Flugzeugs über
die drei Achsen sein, wenn sich das Flugzeug im Flug infolge der Schwankungen
im Wind und allgemeiner Luftturbulenz befindet. Wie in 16 dargestellt, können die
Amplitudenschwankungen als eine Funktion der Zeit von –10 bis
+10 Einheiten variieren. Der Graph stellt verschiedene Punkte dar,
die die unmittelbare Schwankung zu einem Zeitpunkt infolge solcher
Schwankungen in der oberen Luftturbulenz darstellen. Ein gleichartiger
Graph würde
in Bezug auf jede der Hauptachsen des Flugzeugs erstellt werden
und würde
kennzeichnend für
die Amplitude der Bewegungsschwankungen entweder infolge der Roll-,
Steig- oder Gier-Bewegungen des Flugzeugs entlang dessen normaler
Flugroute sein.
-
Bezugnehmend nun auf 17 ist ein bildhaftes Blockdiagramm eines
verbesserten Bewegungskompensationsschaltkreises gezeigt, der angewendet
werden kann, ferner die Pixelkalibrierungstabelle und -einheit 114 zu
kalibrieren, sodass Panoramafehler in den Bilddaten korrigiert werden.
Im Fall der filmbasierten Luft-Aufklärungssysteme werden allgemein
fixe Bodenpunkte verwendet, um die Filmdaten neu zu berechnen. Gemäß dem verbesserten
flugzeuggestützten
Panorama-System und -Verfahren der Anmelderin werden die unmittelbare
Einstellung des Flugzeugs zu einem beliebigen Zeitpunkt und in Bezug
auf eine bekannte Bodenposition eine Nachverarbeitung ermöglicht,
um Ausrichtungsfehler zu korrigieren, die durch die Bewegung des Flugzeugs
entlang seiner normalen Flugroute eingeführt worden sind.
-
Wie in 17 gezeigt,
weist das Flugzeug 10 vier Antennen 150, 152, 154 und 156 auf,
die mit GPS-Satelliten 14 kommunizieren. Zusätzlich wird
gleichzeitig eine Boden-GPS-Einheit 158 betrieben. Die
Bodeneinheit 158 kann mit dem GPS 162 und 164 am
Flugzeug 10 in Funkverbindung stehen, das so differenzielle
Echtzeit-Korrekturdaten erlangt. Die drei am Flugzeug befestigten
ADF-Empfänger
mit Antennen 152, 154 und 156 protokollieren
die Roll-, Steig- bzw. Gier-Bewegungen des Flugzeugs. Die GPS-Empfänger am
Flugzeug bzw. am Boden entwickeln die Breitengrad-Längengrad-Koordinaten
der exakten. Position der Flugzeugantenne 150 innerhalb
weniger Zentimeter mittels einer Direkt-Triangulation an den drei
der vier GPS-Satelliten 14. Mittels Kombinierens des Trägheits-Navigationssystems,
schematisch in Block 160 gezeigt, das vom Trägheitsplattform-
oder Beschleunigungsmesser-Typ sein kann, wird eine hohe Genauigkeit
bei der Winkelposition des Sensorarms 16 (3)
erreicht, und, wenn interpoliert mit den GPS-Daten von der Antenne 150, werden
positionsgenaue Daten für
die GPS-Antenne 150 mit einer Genauigkeit von ±1 cm erreicht.
Daher kann die Position des Sensorarms 16 unter Verwenden
des in 17 beschriebenen
dynamischen Kalibrierungssystems auf genauer als 200 μrad berechnet
werden. Mit den Differential-GPS-Prozessoren 168 in
Kombination mit dem Trägheits-Navigationssystem-Bewegungs-Differential-Prozessor 170 ist
es möglich,
die Position des Sensorarms 16 auf den Bruchteil eines
Radianten zu berechnen. Unter Verwenden des in 17 beschriebenen dynamischen Fehlerkorrektursystems
ist es möglich,
beliebige signifikante Positionsfehler in den Bilddaten zu entfernen,
was es ermöglicht,
dass die Daten auf die Erde ortho-rektifiziert werden. Daher können die
primären
Fehler, die in flugzeuggestützten
Digital-Panoramakameras eingeführt
werden, die einer Bewegung des Fokuspunktes, unter Verwenden des
dynamischen Kalibrierungssystems und -verfahrens der Anmelderin
korrigiert werden.
-
Wie weiter oben beschrieben, ist
der Vergleich der fern erfassten Spektralantwortdaten nützlich für viele
Anwendungen, aufweisend die Fern-Multispektral-Abtastung von landwirtschaftlichen
Feldfrüchten.
Die Fern-Multispektral-Abtastung für landwirtschaftliche Feldfrüchte ist
primär
mit dem Ermitteln verschiedener Feldfrucht-Parameter mittels Analysierens
von Spektraldaten verbunden, um es Farmern zu ermöglichen,
Bedingungen für
die Feldfrüchte
infolge beispielsweise einer Krankheit, durch Unkraut oder Insektenbefall
oder Dünger-
bzw. Bewässerungserfordernisse
zu erfassen und zu korrigieren. Wie in 6A und 6B gezeigt, unterstützt das Anwenden der verbesserten
elektro-optischen Sensoren und des Systems der Anmelderin die Sammlung
von Bilddaten unter Verwenden einer Mehrzahl von Farbfiltern 63, 66 oder 68.
Wie oben beschrieben, weisen die verbesserten Sensorarrays 62 und 64 der
Anmelderin eine Spektralantwort auf, die Filmsystemen überlegen
ist.
-
Bezugnehmend nun auf 18 ist dort ein Kurvendiagramm von Spektralbändern für Blau,
Grün, Rot, nahem
Infrarot bzw. Infrarot gezeigt, die unter Verwenden der Kombination
der In-Line-optischen
Sensoren und der Farbfilter 63, 66 und 68 der
Anmelderin, gezeigt in den 6A und 6B, angewendet werden können. Wie weiter oben beschrieben,
können
die biologische Masse oder andere Eigenschaften von landwirtschaftlichen
Feldfrüchten
beispielsweise als eine Funktion des Verhältnisses von Grün zu Gelb
oder anderen Spektraldaten ermittelt werden. Solche Daten sind für einen
Farmer nützlich
beim Erfassen von Zuständen
in der Landwirtschaft, wie beispielsweise Krankheiten, Unkraut oder
Insektenbefall, wodurch es dem Farmer ermöglicht wird, geeignete Aktionen
durchzuführen,
um solche Bedingungen zu korrigieren oder ihnen entgegenzuwirken,
um die Qualität
und Quantität
der Produktion zu erhöhen.
-
Bezugnehmend nun auf 19 ist dort eine Diskette 190 mit
magnetisierten Spuren 192, 194 und 196 darauf
gezeigt. Unter Bezugnahme beispielsweise auf die Spur 192 kann
eine Bilddaten-Datei 198 als digitale Bits in einer Weise
gespeichert werden, die Fachleuten der Computertechnik bekannt ist.
Zu sammen mit den Bilddaten können
damit verbundene Breitengrad/ Längengrad-Koordinatendaten
ebenfalls auf der gleichen Spur in einem kombinierten Adress-Datenformat
aufgezeichnet werden, oder sie können
alternativ mittels eines zusätzlichen
damit verbundenen Adressierungsschemas in Zusammenhang gebracht
werden. Beispielsweise, wie in 19A gezeigt,
können
mittels Einbeziehens eines Markierungsansatzes damit in Beziehung stehende
Breitengrad/Längengrad-Koordinatendaten
und die mittels dieses Frames erzeugten Bilddaten an vorbestimmten
Adressen, gezeigt als 198, oder mittels eines Schemas von
Lookup-Tabellen, wohl bekannt den Fachleuten der Magnet- und Aufzeichnungs-Techniken,
zugeordnet und aufgezeichnet werden. Allerdings wird gemäß einem
anderen Aspekt der Erfindung der Anmelderin die Bilddatendatei,
die dem jeweiligen Frame zugeordnet ist, bevorzugt mit oder in der
Nähe der
entsprechenden Breitengrad/Längengrad-Daten,
wie in 19A gezeigt, aufgezeichnet,
um einen einfachen Zugriff auf die aufgezeichneten Bilddaten zu
ermöglichen.
Auf diese Weise vereinfacht ein angenehmer Bezug auf die Breitengrad/
Längengrad-Koordinatendaten, die
zu dem Zeitpunkt aufgezeichnet worden sind, zu dem die Frame-Bilddaten
erzeugt worden sind, sehr das Zugreifen auf die zugeordneten Bilddaten.
Daher ist es mittels Integrierens dieses Breitengrad/Längengrad-Daten-Markierungsansatzes,
dargestellt als 189 in 19,
möglich,
auf spezifische Frame-Bilddaten ohne das Erfordernis des Dekomprimierens
und Suchens einer während
einer bestimmten Operation oder Mission erzeugten umfangreichen
Gesamt-Datendatei zuzugreifen.
-
Während
die Erfindung der Anmelderin unter Bezugnahme auf verschiedene bestimmte
darstellende Ausführungsbeispiele
beschrieben worden ist, ist sie nicht auf diese Ausführungsbeispiele
sondern nur auf die angehängten
Ansprüche
einzuschränken.
Fachleute werden erkennen, dass die darstellenden Ausführungsbeispiele
geändert
oder modifiziert werden können,
ohne sich vom Umfang der Erfindung zu entfernen.
