DE202012013411U1

DE202012013411U1 - Systeme für Overhead-Bild- und Videoanzeige

Info

Publication number: DE202012013411U1
Application number: DE202012013411.6U
Authority: DE
Original assignee: Terra Bella Technologies Inc
Current assignee: Planet Labs PBC
Priority date: 2011-04-25
Filing date: 2012-04-24
Publication date: 2016-11-15
Anticipated expiration: 2022-04-25
Also published as: EP2702375A2; WO2012148919A2; EP2778635A1; EP2778635B1; US8487996B2; US9442012B2; WO2012148919A3; US20120300064A1; US20120293669A1

Abstract

Sensor (202) für die Sammlung von Bilddaten für die Verwendung in einem beweglichen Bildgebungssystem, wobei der Sensor (202) Folgendes umfasst: einen Spektralsensor, der so konfiguriert ist, dass er Spektralbilddaten erfasst, der Spektralsensor umfassend einen Bildgebungsflächenbereich, der eine Bildgebungsbreite umfasst; eine Vielzahl von Spektralfiltern (305a, 305b, 305c, 305d; 505a, 505b, 505c, 505d; 905a, 905b, 905c, 905d; 1005a, 1005b, 1005c, 1005d), wobei die Spektralfilter zusammen einen Spektralbildgebungsteil des Bildgebungsflächenbereichs des Spektralsensors abdecken, jeder Spektralfilter eine Filterbreite hat, die im Wesentlichen mindestens gleich der Bildgebungsbreite ist, und jeder Spektralfilter eine Spektralfilterhöhe (307; 507; 907; 1007) hat, die größer als oder gleich einer Mindestfilterhöhe ist, worin aufgrund der relativen Bewegung des beweglichen Bildgebungssystems geteilt durch eine Rate der Einzelbilderfassung des Spektralsensors die Mindestfilterhöhe einer Rate entspricht, mit der ein Bild einer interessanten Region sich um den Spektralsensor zu bewegen scheint; und ein panchromatischen Sensor, der so konfiguriert ist, dass er panchromatische Bilddaten der interessanten Region erfasst, wobei der panchromatische Sensor einen panchromatischen Bildgebungsteil des Bildgebungsflächenbereichs des Spektralsensors abdeckt, und der panchromatische Sensor eine panchromatische Breite hat, die im Wesentlichen mindestens dieselbe wie die Bildgebungsbreite ist, und eine panchromatische Höhe, die größer als oder gleich der Mindestfilterhöhe ist.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung bezieht sich auf die provisorische US-Patentanmeldung Nr. 61/478,871, eingereicht am 25. April 2011, mit dem Titel „Fast Framing Two-Dimensional Staring Sensor with Block Filters for Multispectral Overhead Push Frame Imaging” und auf die provisorische US-Patentanmeldung Nr. 61/565,345, eingereicht am 30. November 2011, mit dem Titel „A Modified Push-Frame Image Sensor for Collection of Multispectral Imagery, High-Resolution Pan-chromatic Imagery, and Video”. Die beiden vorstehenden Anmeldungen werden in ihrer Gesamtheit ausdrücklich durch Bezugnahme hierin einbezogen und sind Teil dieser Spezifikation.
HINTERGRUND
Technisches Gebiet
Diese Offenbarung bezieht sich im Allgemeinen auf das Feld des Bildmaterials und insbesondere auf Overhead-Bilder und -Videos.
Beschreibung der verwandten Technik
Das Wachstum der Industrien für geografisch-räumliche Informationen und Geoservices hat die Nachfrage nach Overhead-Bildmaterial erheblich erhöht. Traditionelle Methoden für die Sammlung von Overhead-Bildmaterial sind äußerst teuer und die hohen Kosten verhindern die Erfassung von Bildern für viele potenzielle Anwendungen.
ZUSAMMENFASSUNG
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen. Beispiele von Vorrichtungen, Verfahren und Systemen für die effiziente Aufnahme und Verarbeitung hochauflösender panchromatischer Kanäle (und/oder verschiedener Kombinationen von Multispektralkanälen mit hoher und niedriger Auflösung) werden hierin offenbart. Einige solche exemplarischen Vorrichtungen, Verfahren und Systeme können für die Videoerfassung und panchromatische Bildgebung verwendet werden. Mithilfe überlappender, zweidimensionaler Sensoren mit festem Suchfeld mit mehreren Redundanzen im panchromatischen Kanal können Multi-Frame-Verbesserungen und panchromatische Schärfungstechniken in verschiedenen Ausführungsformen eingesetzt werden, um hochauflösende, Multispektralbilder ohne die Kosten, Komplexitäten oder Beschränkungen bereitzustellen, die bei anderen Sensorsystemen anzutreffen sind. In einigen Ausführungsformen können Videos vom panchromatischen Kanal bereitgestellt werden.
In einem Aspekt wird ein Sensor für die Sammlung von Bilddaten für die Verwendung in einem beweglichen Bildgebungssystem offenbart. Der Sensor umfasst einen Spektralsensor, der so konfiguriert ist, dass er Spektralbilddaten erfasst. Der Spektralsensor kann einen Bildgebungsflächenbereich umfassen, der eine Bildgebungsbreite und eine Vielzahl von Spektralfiltern umfasst. Die Spektralfilter können zusammen einen Spektralbildgebungsbereich für den Bildgebungsflächenbereich des Spektralsensors abdecken. Jeder Spektralfilter kann eine Filterbreite haben, die im Wesentlichen mindestens der Bildgebungsbreite entspricht, und eine Spektralfilterhöhe, die größer oder gleich einer Mindestfilterhöhe ist. Aufgrund der relativen Bewegung des beweglichen Bildgebungssystems geteilt durch eine Rate der Einzelbilderfassung des Spektralsensors kann die Mindestfilterhöhe einer Rate entsprechen, mit der ein Bild einer interessanten Region sich um den Spektralsensor zu bewegen scheint. Der Sensor kann eine Steuerung umfassen, die so konfiguriert ist, dass sie Bilddaten vom panchromatischen Sensor mit einer Video-Frame-Rate erfasst und die Bilddaten einem Echtzeit-Video-Feed bereitstellt. Das bewegliche Bildsystem kann in einer Overhead-Bildgebungsplattform angeordnet sein, z. B. einem Flugzeug oder einem erdumlaufenden Satelliten.
In einem anderen Aspekt wird ein Verfahren für die Verbesserung von Bilddaten offenbart. Das Verfahren kann unter der Kontrolle eines Bildgebungsverarbeitungssystems durchgeführt werden, das Computerhardware umfasst. Das Verfahren kann den Empfang einer Sequenz von Spektralbildstreifen umfassen, wobei jeder Spektralbildstreifen ein Bild eines Teils der interessanten Region umfasst. Jeder Spektralbildstreifen kann Bilddaten aus einem Spektralbereich der Wellenlängen des Lichts umfassen. Das Verfahren kann des Weiteren die Registrierung der Sequenz der Spektralbildstreifen umfassen, um ein Spektralbild der interessanten Region bereitzustellen. Das Verfahren kann außerdem den Empfang einer Vielzahl parichromatischer Bilder der interessanten Region umfassen. Jedes panchromatische Bild kann Bilddaten aus einem panchromatischen Bereich der Wellenlängen des Lichts umfassen, der breiter als der Spektralbereich der Wellenlängen des Lichts ist. Das Verfahren kann die Durchführung von Multi-Frame-Verbesserungen bei der Vielzahl panchromatischer Bilder umfassen, um ein verbessertes panchromatisches Bild mit einer höheren Auflösung als jedes aus der Vielzahl der panchromatischen Bilder zu erzeugen. In einigen Aspekten kann das Verfahren des Weiteren die Erzeugung eines panchromatisch geformten Spektralbilds mindestens unter Verwendung des verbesserten panchromatischen Bilds und des Spektralbilds umfassen, wobei das panchromatisch geformte Spektralbild eine höhere Auflösung als das Spektralbild hat.
In einem anderen Aspekt wird ein Verfahren für die Verbesserung von Spektralbilddaten offenbart. Das Verfahren kann unter der Kontrolle eines Bildgebungsverarbeitungssystems sein, das Computerhardware umfasst. Das Verfahren kann den Empfang einer Vielzahl aufeinanderfolgender Spektralbilder von Teilen einer interessanten Region umfassen, wobei jedes Spektralbild eine Vielzahl von Spektralbildstreifen umfasst. Jeder Spektralbildstreifen kann Bilddaten aus einem anderen Bereich der Wellenlängen des Lichts umfassen. Das Verfahren kann die Registrierung von Spektralbildstreifen aus jedem Bereich der Wellenlängen umfassen, um eine Vielzahl rekonstruierter Spektralbilder zu erstellen, und die Kombination der rekonstruierten Spektralbilder, um ein Multispektralbild zu erstellen. Das Verfahren kann außerdem die Umwandlung des Multispektralbilds in ein Farbsystem beinhalten, das eine Luminanzkomponente umfasst, um ein umgewandeltes Multispektralbild zu erstellen, und den Ersatz der Luminanzkomponente des umgewandelten Multispektralbilds durch ein Ersatzspektralbild auf Basis der rekonstruierten Spektralbilder, um ein verbessertes Spektralbild zu erzeugen.
Die vorstehenden und andere Aspekte werden unter Bezugnahme auf die Figuren und die nachfolgende detaillierte Beschreibung beschrieben.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht ein Beispiel einer Messung eines eindimensionalen Zeilensensors, entlang einer Spurrichtung gescannt, gemäß einer Ausführungsform.
2 veranschaulicht ein Beispiel einer Messung eines zweidimensionalen Zeilensensors mit festem Suchfeld, entlang der Spurrichtung gescannt, gemäß einer Ausführungsform.
3 veranschaulicht ein exemplarisches Filterdesign für einen zweidimensionalen Multispektralsensor mit festem Suchfeld mit Spektralfilterstreifen, gemäß einer Ausführungsform.
4A veranschaulicht einen exemplarischen Sensor mit einem zweidimensionalen Sensor mit festem Suchfeld mit Spektralfilterstreifen und einem panchromatischem Block, gemäß einer Ausführungsform.
4B veranschaulicht einen exemplarischen Sensor mit einem zweidimensionalen Sensor mit festem Suchfeld mit Spektralfilterstreifen und panchromatischen Streifen, gemäß einer Ausführungsform.
4C zeigt einen exemplarischen Sensor, wobei der rote Spektralstreifen die doppelte Größe der anderen einzelnen Spektralstreifen hat, gemäß einer Ausführungsform.
4D zeigt einen exemplarischen Sensor mit einem panchromatischen Block sowie einen roten Spektralfilterstreifen, der größer als die anderen Spektralfilterstreifen ist, gemäß einer Ausführungsform.
5A und 5B sind Teilansichten, die ein Beispiel einer Bildgebungssequenz für die Erfassung, Registrierung und Kombination eines Bilds mithilfe eines zweidimensionalen Multispektralsensors mit festem Suchfeld mit Spektralfilterstreifen veranschaulichen, gemäß einer Ausführungsform. 5 ist eine Ansicht, die die gesamte Bildgebungssequenz anzeigt, die von den Teilansichten in 5A und 5B gebildet wird und die Postionen der Teilansichten angibt.
6 veranschaulicht ein Beispiel einer Bildgebungssequenz für die Erfassung eines Bilds mithilfe eines Sensors, der einen Multispektralsensor und einen panchromatischen Sensor enthält, gemäß einer Ausführungsform.
7 zeigt ein Beispiel dafür, wie erfasste Teilbilder registriert und kombiniert werden können, um Multispektralbilder zu erstellen, gemäß einer Ausführungsform.
8 veranschaulicht schematisch ein Beispiel einer Subpixel-Falschausrichtung für Pixel, die in mehreren Bildern für einen exemplarischen Bereich erfasst wurden, gemäß einer Ausführungsform.
9 zeigt ein Beispiel eines Subframe-Bereichs, der mit Multi-Frame- und/oder Pan-Sharpening-Verbesserung bearbeitet wird, während der Rest des Bilds nicht mit Multi-Frame- und/oder Pan-Sharpening-Verbesserung bearbeitet wird, gemäß einer Ausführungsform.
10 ist ein Ablaufdiagramm, das ein Beispiel eines Verfahrens für die Verbesserung von Bildern mithilfe von Multi-Frame-Verbesserung und/oder Pan-Sharpening-Techniken veranschaulicht.
11 ist ein Ablaufdiagramm, das ein Beispiel eines Verfahrens für panchromatische Schärfung von Multispektralbildern veranschaulicht.
Die Figuren stellen verschiedene Ausführungsformen der vorliegenden Offenbarung nur zum Zweck der Veranschaulichung dar und sind nicht als einschränkend gedacht. Alternative Ausführungsformen der hierin veranschaulichten Strukturen und Verfahren können verwendet werden, ohne von den hierin beschriebenen Prinzipien abzuweichen. Nun wird im Detail Bezug auf mehrere Ausführungsformen genommen, von denen Beispiele in den begleitenden Figuren veranschaulicht sind. Es wird angemerkt, dass soweit dies praktisch möglich ist, ähnliche oder gleiche Referenzziffern in den Figuren verwendet werden können, die auf ähnliche oder gleiche Funktionalität hinweisen. Es ist zu beachten, dass die relativen Dimensionen der Figuren möglicherweise nicht maßstabsgetreu sind.
AUSFÜHRLICHE BESCHREIBUNG
Übersicht
Manche Overhead-Bildgebungssysteme nehmen Bilder auf, indem eine Bildgebungsplattform auf einem Pfad über der interessanten Region fährt, einer so genannten Spur. Der Pfad kann eine oder mehrere gerade Linien oder Segmente umfassen oder er kann ein gekrümmter Pfad sein. Die Overhead-Bildgebungsplattform kann zum Beispiel ein Satellit, ein Flugzeug, ein Hubschrauber, ein unbenanntes Fluggerät (unmanned aerial vehicle, UAV), eine Drohne, ein Ballon usw. sein. Die Overhead-Bildgebungsplattform kann in einer bestimmten Höhe über der interessanten Region fliegen. Bildstichproben können kontinuierlich während der Fahrt der Plattform erhalten werden und sie können am Boden mithilfe digitaler Bearbeitung in einem Ausgabebild zusammengestellt werden. Einige Bildgebungssysteme können Multispektraldaten erfassen. Diese Bildgebungssysteme sammeln Bildstichproben über mehrere Spektralkanäle. Es gibt mehrere vorhandene Arten von Sensoren, die am Bildgebungssystem montiert werden können, um die Bildstichproben zu erfassen, während die Bildgebungsplattform entlang der Spur über der interessanten Region fährt. Diese Sensoren beinhalten Zeilensensoren, Time Delay Integration(TDI)-Sensoren, zweidimensionale (2D) Sensoren mit festem Suchfeld, farbradartige 2D-Sensoren mit festem Suchfeld und Color Filter Array(CFA)-Sensoren.
1 veranschaulicht eine Messung eines eindimensionalen Zeilensensors, entlang einer Spurrichtung gescannt, gemäß einer Ausführungsform. Ein Zeilensensor kann ein Sensor mit einer einzigen Pixelreihe 103 für jede zu sammelnde Farbe sein. Der Sensor ist in der Plattform so positioniert, dass er rechtwinklig 102 zur Spurrichtung 101 ist und sich somit auf lineare Weise durch eine Szene bewegt. Jede Pixelreihe des Bilds wird nacheinander exponiert, während der Sensor sich durch die Szene bewegt, wodurch ein vollständiges 2D-Bild 104 erstellt wird. Eine Overhead-Bildgebungsplattform, die Bilder mit Multispektraldaten (z. B. mehreren Farben) erfasst, kann einen unabhängigen Zeilensensor für jedes zu erfassende Spektrum (z. B. Farbband) verwenden, worin jeder Zeilensensor mit einem anderen Spektralfilter (z. B. Farbfilter) ausgestattet ist.
Ein TDI-Sensor ist ein spezifischer Typ von Zeilensensorsystem, bei dem jedes Spektrumband mehrere Pixelreihen hat. Jede Pixelspalte entspricht einem einzelnen Punkt auf dem Boden. Während sich der Sensor die Spur entlang bewegt, wird jede Spalte über den einzelnen Punkt am Boden geschwenkt. Die durch den ersten Pixel in der Spalte erfasste Ladung wird nacheinander von Reihe von Reihe in dieser Spalte bewegt. Somit wird die Ladung von Pixel zu Pixel akkumuliert. Das Signal für einen einzelnen Punkt am Boden wird in der letzten Reihe der Spalte ausgelesen. Dies ermöglicht die Integration des Lichtsignals für jedes Bild für einen längeren Zeitraum, wodurch das Signal-Rausch-Verhältnis des Bildes verbessert wird. Wie beim obigen Zeilensensor der Fall, kann eine Overhead-Bildgebungsplattform, die Bilder mit Multispektraldaten erfasst, in einem unabhängigen TDI-Sensor für jedes zu erfassende Spektrum verwendet werden, worin jeder TDI-Sensor mit einem anderen Spektralfilter ausgestattet ist.
Die Verwendung von Zeilensensoren oder TDI-Sensoren in einer Overhead-Bildgebungsplattform hat mögliche Nachteile. In einigen Implementierungen erfordern die Sensoren eine extrem stabile und gut kontrollierte Bildgebungsplattform während der Bildsammlung, um sicherzustellen, dass die relative Bewegung der abgebildeten Region rechtwinklig zu dem eindimensionalen Bildsensor ist. Jede Abweichung bei der Ausrichtung oder relativen Geschwindigkeit der abgebildeten Region während der Sammlung kann zu einer unregelmäßigen Bildstichprobe und somit zur einer Verzerrung der Bildabtastung führen. Diese Bedenken können in Multispektralsystemen erhöht sein, wo die Stabilität über die mehreren Zeilen- oder TDI-Sensoren aufrechterhalten werden sollte.
Bildgebungssysteme, die Sensoren mit festem Suchfeld verwenden, nehmen ganze 2D-Einzelbilder auf, die als Schnappschüsse aufgenommen wurde, während die Plattform die Spur entlang fährt, wie dargestellt in 2 nachfolgend beschrieben. Bildgebungssysteme mit Sensoren mit festem Suchfeld können so gestaltet sein, dass benachbarte Bilder überlappende Messungen der interessanten Region enthalten. Das Vorhandensein überlappender Regionen in den Ausgabebildern ermöglicht die spätere Bildbearbeitung, um benachbarte Einzelbilder zu registrieren und die Bilder mosaikartig zusammenzusetzen, um ein Bild der interessanten Region zu rekonstruieren.
Ein Farbradsensor beinhaltet eine mechanische Ergänzung zu einem 2D-Sensor mit festem Suchfeld. Der Sensor mit festem Suchfeld wird hinter einem mechanischen Rad angebracht, das einen Satz von mehreren verschiedenen Spektralfiltern enthält. Eine interessante Region wird durch Exposition des Sensors mit festem Suchfeld während des Drehens des Farbrades durch jeden der Spektralfilter erfasst. Durch aufeinanderfolgende Ausrichtung der Bilder, die mit jedem einzelnen Spektralfilter exponiert wurden, kann ein vollständiges Farbbilder der interessanten Region erstellt werden, wenn das Bild während der Bildbearbeitung rekonstruiert wird.
Die Verwendung von Filterrad-Sensoren mit festem Suchfeld als Teil einer Overhead-Bildgebungsplattform hat mögliche Nachteile. Filterradsysteme sind komplexe elektromechanische Systeme, die sich schnell bewegende Teile enthalten, die genaue mechanische Betätigung erfordern, um sicherzustellen, dass die Filter vor dem Sensor mit festem Suchfeld präzise ausgerichtet sind. Des Weiteren kann eine präzise Zeitsynchronizität implementiert werden, um sicherzustellen, dass der Filter richtig ausgerichtet ist, wenn jedes aufeinanderfolgende Bild erfasst wird. Filterradsysteme sind außerdem durch die Rate beschränkt, mit der sie Bilder erfassen werden, da das Bewegen von Spektralfiltern in den Bildgebungspfad und aus ihm heraus Zeit benötigt. Des Weiteren erfordert die mechanische Natur des Filterrads die Hinzufügung einer erheblichen Menge an Energie und Masse für das Bildgebungssystem. Mechanische Filter neigen zur Störungen im Zeitverlauf. Zusammen erhöhen diese Faktoren sowohl die Kosten als auch die Größe eines Overhead-Farbradbildgebungssystems.
Ein Color Filter Array (CFA), zum Beispiel ein Bayer-Filter ist die häufigste Methode für die Erstellung von Farbbilder für Digitalkameras für die Verbraucherfotografie. Über den 2D-Sensor wird eine Reihe von Filtern gelegt. Jedes Pixel hat einen anderen Farbfilter, während die Farbfilter sich in einem schachbrettartigen Muster wiederholen. Ein Bild wird in einer Exposition aufgenommen und mithilfe eines Farb-Demosaicing genannten Verfahrens wird ein einheitliches Farbbild erstellt. Farb-Demosaicing ist ein Interpolationsvorgang, der ein vollständiges Farbbild durch Annäherung des unterschiedlichen Farbwerts in jedem einzelnen Pixel formuliert. Das Muster der Filter stellt sicher, dass Farbbildmessungen innerhalb einer Genauigkeit von einem Pixel gemeinsam registriert werden.
Die Verwendung von CFA-Sensoren als Teil einer Overhead-Bildgebungsplattform hat mögliche Nachteile. Das grundlegende Musterdesign eines CFA verringert die Auflösung des zugrundeliegenden Sensors mit festem Suchfeld in Bezug auf ein Einzelspektrumbild inhärent. Wenn das CFA zusammen mit einem Sensor mit festem Suchfeld verwendet wird, erfordert eine Abmilderung dieses Verlusts bei der Auflösung hochauflösendere Sensoren mit festem Suchfeld, was beides die Kosten und Energie erhöht, die vom Gesamtsystem benötigt werden. Außerdem haben, während der CFA-Ansatz für fotografische Systeme mit nur drei Farbkanälen sehr gut funktioniert, Multispektralbildgebungssysteme, die in Overhead-Bildgebungssystemen verwendet werden, sehr häufig fünf oder mehr Spektralkanäle. Die Einbeziehung von fünf oder mehr Spektralkanälen in ein CFA-Muster verringert die Auflösung ausgegebener Bilder weiter und erfordert unregelmäßige Filteranordnungsmuster. Und schließlich können Overhead-Bildgebungsplattformsysteme, die in Weltraumanwendungen verwendet werden, anders als Bildgebungssysteme für die Verbraucherfotografie die Verwendung von Interferenzfiltern erfordern, um in einer Weltraumumgebung zu überleben. Die Herstellung einer Reihe von Interferenzfiltern in der Größe einer CFA-Pixeldimension erfordert erhebliche Herstellungskosten.
Jede vorhandene Art von Sensor, der Multispektraldaten sammelt, ist ein panchromatischer Kanal (oder panchromatischer Sensor). Ein panchromatischer Kanal kann eine breitere Spektralbandbreite haben als einzelne Spektralkanäle. In einigen Ausführungsformen hat der panchromatische Kanal eine Bandbreite, die so groß wie zwei, drei oder mehr (z. B. alle) Spektralkanäle ist. Panchromatische Kanäle können Echtzeit-Videopräsentation und panchromatische Schärfung bieten. Panchromatische Schärfung (Pan-Sharpening) ist eine Technik, durch die die native Auflösung eines Multispektralbilds durch Kombination mit panchromatischem Bildmaterial mit vergleichbar höherer Auflösung verbessert wird. Aufgrund des geringeren Signal-Rausch-Verhältnisses der Spektralfilter, die in Multispektralbildsensoren vorhanden sind, im Vergleich zu einem panchromatischen Kanalfilter, kann es kostspielig sein, Multispektralbilddaten mit derselben Auflösung wie panchromatische Bilddaten zu sammeln. Pan-Sharpening kann dieses Problem durch Kombination panchromatischer Bilddaten mit höherer Auflösung mit Multispektralbilddaten mit niedrigerer Auflösung überwinden. Die panchromatischen Bilddaten haben eine höhere Auflösung gegenüber der niedrigeren Auflösung der Multispektralbilddaten.
Traditionell werden Bilder mit Pan-Sharpening mithilfe getrennter Sensoren für die panchromatischen Bilddaten und die Multispektralbilddaten gesammelt. Die verschiedenen Sensoren haben Pixel in unterschiedlicher Größe, die die Sammlung mehrerer Auflösungen über ein einziges Kamerasystem ermöglichen.
Die Verwendung mehrerer Sensoren hat jedoch mehrere inhärente Nachteile. Jeder zusätzliche Sensor erfordert ein zusätzliches Paket unterstützender Elektronik. Dies erhöht die Kosten und Komplexität, die mit dem Bildgebungssystem verbunden sind, erheblich. Die zusätzlichen elektronischen Systeme fügen zum Beispiel Gewicht hinzu und erfordern Platz-äußerst wertvolle Güter bei Overhead-Bildgebungssystemen. Außerdem erfordern mehrere Sensorsysteme zusätzliche Energie für den Betrieb. Und schließlich muss eine präzise Ausrichtung der mehreren Sensoren erreicht und während Herstellung, Montage, Bereitstellung und dem restlichen Lebenszyklus des Overhead-Bildgebungssystems aufrechterhalten werden.
Konfigurationsüberblick
Beispiele von Sensoren, die einen zweidimensionalen Sensor mit festem Suchfeld und schnellem Framing mit Spektralfilterstreifen für Multispektral-Overhead-Bildgebung beinhalten, werden bereitgestellt. Der Sensor kann außerdem einen panchromatischen Sensor enthalten, der in einem einzelnen Block oder mehreren Streifen angeordnet ist. Der Sensor kann verwendet werden, um Multispektralfarbbilddaten zu sammeln. Wenn ein panchromatischer Sensor enthalten ist, kann der Sensor auch verwendet werden, um panchromatische Bilddaten zu sammeln. Die panchromatischen Bilddaten können verwendet werden, um Multi-Frame-Verbesserung und/oder Pan-Sharpening an rekonstruierten Spektralbildern durchzuführen, um ihre Qualität zu verbessern. Der Sensor kann verwendet werden, um Bilder und/oder Videos bereitzustellen. Der Sensor kann als einzelner monolithischer (oder einheitlicher) Sensor statt als mehrere einzelne Sensoren gestaltet sein, z. B. können die Bildgebungsteile des Sensors an einem einzelnen, monolitischen Substrat gebildet oder montiert werden.
In einigen Ausführungsformen können Spektralfilterstreifen in Bezug auf den Sensor mit festem Suchfeld angeordnet sein, z. B. zwischen dem Sensor mit festem Suchfeld und der abzubildenden interessanten Region. Die Spektralfilterstreifen können am Sensor mit festem Suchfeld angebracht sein. In einer Ausführungsform gibt es drei oder mehr Spektralfilterstreifen. Die Spektralfilterstreifen können so angeordnet sein, dass sie die Fläche des Sensors mit festem Suchfeld abdecken, und sie können so angeordnet sein, dass die langen Kanten der Streifen im Bildgebungssystem so montiert werden können, dass sie rechtwinklig zur Fahrtrichtung der Bildgebungsplattform sind. Bildbearbeitung kann verwendet werden, um vollständige Multispektralbilder aus den einzelnen Teilbildern zu rekonstruieren, die über die Spektralfilterstreifen erfasst wurden.
Der Sensor mit festem Suchfeld und die Spektralbildstreifen ermöglichen die Sammlung von Multispektralbilddaten zu einem Bruchteil der Kosten traditioneller Multispektralsammelsysteme. Die Spektralfilterstreifen ermöglichen es dem Sensor, die entspannten Plattformstabilitätsanforderungen eines 2D-Sensors mit festem Suchfeld mit der räumlichen und temporalen Auflösung eines Zeilenscansystems zu nutzen. Die Verwendung eines Sensors mit festem Suchfeld verringert die Präzisions- und Stabilitätsanforderungen für den Betrieb des Sensors zumindest teilweise, da ein ganzes Multispektralbild in einem einzigen Schnappschuss aufgenommen werden kann. In einigen Implementierungen kann das Bild zum Beispiel in weniger als 1 ms (z. B. in manchen Fällen in 0,1 ms) aufgenommen werden, sodass die Stabilitätsanforderungen gegenüber Sensoren, die längere Schnappschusszeiten (z. B. bis zu über 1 s für einige Sensoren, die in großen Satelliten verwendet werden) benötigen, erheblich abgeschwächt sind. Die Verringerung der Präzisions- und/oder Stabilitätsanforderungen für einen Sensor kann die Kosten der Herstellung des Sensors verringern, da weniger Infrastruktur nötig ist, um sicherzustellen, dass Präzision und/oder Stabilität aufrechterhalten werden. Kleinere Störeinflüsse bei den erfassten Bildern aufgrund von Änderungen bei der Position oder Geschwindigkeit des Sensors können während der Bildbearbeitung korrigiert werden.
Durch die Hinzufügung eines panchromatischen Sensors kann der Sensor die effiziente Aufnahme und Bearbeitung hochauflösender panchromatischer Bilder ermöglichen. Durch Erfassung mehrerer, zumindest teilweise redundanter panchromatischer Bilder können Multi-Frame-Verbesserung und/oder panchromatische Schärfung durchgeführt werden, um die Qualität der erfassten Multispektralbilder zu verbessern, ohne die Kosten, Komplexitäten oder Einschränkungen, die bei anderen Sensorsystemen anzutreffen sind. In einigen Ausführungsformen beinhaltet der Sensor einen zweidimensionalen Sensor mit festem Suchfeld mit Spektralfilterstreifen sowie einen panchromatischen Sensorstreifen, der in Fahrtrichtung um einen Faktor größer ist als die einzelnen Spektralfilterstreifen. Der Faktor kann in einigen Implementierungen eins oder vier sein, auch wenn der Faktor in anderen Implementierungen größer als vier sein kann.
In einer Ausführungsform werden Multispektral- und panchromatische Bilder mit einer Rate erfasst, die sicherstellt, dass die relative Bewegung des Sensors (in Bezug auf die abzubildende Region) während eines Bilds kleiner als die Breite des kleinsten Spektralfilterstreifens ist, was die komplette Erfassung der gesamten interessanten Region durch den Teil des Sensors mit festem Suchfeld ermöglicht, der mit dem jeweiligen Spektralfilterstreifen verbunden ist. Der größte Filter nach Größe (entweder spektral oder panchromatisch, je nach Ausführungsform) kann eine redundante Abdeckung für den abzubildenden Bereich haben. Redundante Bilderfassungen können in Multi-Frame-Verbesserung und/oder panchromatischer Schärfung verwendet werden.
Somit werden Beispiele von Vorrichtungen, Verfahren und Systemen für die effiziente Aufnahme und Verarbeitung hochauflösender panchromatischer Kanäle (und/oder verschiedener Kombinationen von Multispektralkanälen mit hoher und niedriger Auflösung) hierin offenbart. Einige solche exemplarischen Vorrichtungen, Verfahren und Systeme können für die Videoerfassung und panchromatische Bildgebung verwendet werden. Mithilfe überlappender, zweidimensionaler Sensoren mit festem Suchfeld mit mehreren Redundanzen im panchromatischen Kanal können Multi-Frame-Verbesserungen und panchromatische Schärfungstechniken in verschiedenen Ausführungsformen eingesetzt werden, um hochauflösende, Multispektralbilder ohne die Kosten, Komplexitäten oder Beschränkungen bereitzustellen, die bei anderen Sensorsystemen anzutreffen sind. In einigen Ausführungsformen können Videos vom panchromatischen Kanal bereitgestellt werden.
Beispiele der Sensorstruktur
Der Sensor bildet einen Teil eines Bildgebungssystems für die Overhead-Bildgebung. Das Bildgebungssystem bewegt sich in eine Fahrtrichtung, während der Sensor Bilder erfasst. Das Bildgebungssystem kann in oder an jeder Art von Overhead-Bildgebungsplattform montiert werden, zum Beispiel einem Flugzeug, einem Hubschrauber, einem unbenannten Fluggerät (unmanned aerial vehicle, UAV), einer Drohne, einem Satelliten usw. Der Pfad, den die Bildgebungsplattform während der Fahrt nimmt, kann als „Spur” bezeichnet werden, auch wenn die Bildgebungsplattform nicht buchstäblich an einem Führungsmechanismus wie einer Schiene befestigt ist. Der vom Sensor erfasste Bereich kann als interessante Region bezeichnet werden.
Der Sensor kann einen zweidimensionalen Sensor mit festem Suchfeld umfassen. 2 veranschaulicht ein Beispiel einer Messung eines zweidimensionalen Zeilensensors mit festem Suchfeld, entlang einer Spur 101 gescannt, gemäß einer Ausführungsform. Ein Sensor mit festem Suchfeld 202 kann ein komplettes zweidimensionales Einzelbild 203 in einem einzigen Schnappschuss aufnehmen. Sensoren mit festem Suchfeld können so konfiguriert sein, dass sie Bilder in schneller Folge erfassen. In der exemplarischen Ausführungsform von 2 wird ein Bild nacheinander durch Erfassung vieler verschiedener Einzelbilder 204 erfasst, von denen jedes 203 eine gewisse Überlappung 205 mit den Einzelbildern aufweisen kann, die davor und/oder danach kommen. Die Bildgebungsregion eines Sensors mit festem Suchfeld kann als zweidimensionaler Flächenbereich veranschaulicht werden. Licht kann in einzelnen Pixeln gesammelt und gebündelt werden, wobei die Zahl der Pixel in Bezug auf den Flächenbereich der Bildregion die Auflösung des Sensors mit festem Suchfeld bestimmt. In verschiedenen Ausführungsformen kann der Sensor mit festem Suchfeld einen komplementären Metalloxid-Halbleiter-Sensor (complementary metal-oxide-semiconductor, CMOS) oder einen ladungsträgergekoppelten Schaltungssensor (charge coupled device, CCD) umfassen. Der Sensor mit festem Suchfeld kann eine Reihe von Fotodioden umfassen. In einigen Ausführungsformen beinhaltet der Sensor mit festem Suchfeld einen aktiven Pixelsensor (APS), der eine integrierte Schaltung mit einer Reihe von Pixelsensoren umfasst. Jeder Pixelsensor kann eine Fotodiode und einen aktiven Verstärker umfassen. Für einige Implementierungen der Overhead-Bildgebung können der Sensor mit festem Suchfeld (und/oder andere Komponenten einer Overhead-Bildgebungsplattform) strahlungsfest sein, um beständiger gegenüber Schäden aufgrund ionisierender Strahlung um Weltraum zu werden.
Sensoren mit festem Suchfeld 202 können so gestaltet sein, dass benachbarte Bilder 204 überlappende Messungen der interessanten Region enthalten (z. B. die Überlappung 205). Das Vorhandensein überlappender Regionen in den Ausgabebildern ermöglicht die spätere Bildbearbeitung, um benachbarte Einzelbilder zu registrieren und die Bilder mosaikartig zusammenzusetzen, um ein genaueres Bild der interessanten Region zu rekonstruieren. Durch Erzeugung eines Mosaiks („Mosaicing”) vieler getrennter ähnlicher Bilder kann das endgültige rekonstruierte Bild, das von einem Sensor mit festem Suchfeld erfasst wurde, bei Abweichungen bei der Bewegung der Bildgebungsplattform von der erwarteten Fahrtrichtung 101 einschließlich Abweichungen bei der Geschwindigkeit und/oder Richtung korrigiert werden.
3 veranschaulicht das Beispiel eines Filterdesigns für einen zweidimensionalen Multispektralsensor mit festem Suchfeld 202, der Spektralfilterstreifen enthält, gemäß einer Ausführungsform. Um Multispektraldaten zu erfassen, enthält der Sensor 202 einen Block 308 einer Vielzahl von Spektralfilterstreifen 305a–305d. In diesem Beispiel sind die Spektralfilterstreifen 305 lang und schmal geformt (z. B. Streifen 305a, 305b, 305c und 305d) und erstrecken sich über die Achse des Flächenbereichs des Sensors mit festem Suchfeld 202. Die Spektralfilterstreifen 305 können in Bezug auf die Fläche des Sensors mit festem Suchfeld 202 so angeordnet sein, dass die Filterstreifen 305a–305d zwischen der Fläche des Sensors und der interessanten Region angeordnet sind, die in einem Bild erfasst werden soll. Die interessante Region kann zum Beispiel einen Teil der Fläche der Erde umfassen, die von einer Overhead-Plattform abgebildet werden soll. Licht von der interessanten Region kann durch die Filterstreifen 305a–305d gehen, bevor es von lichtempfindlichen Elementen des Sensors mit festem Suchfeld erkannt wird. Die Steifen 305a–305d können über oder am Sensor mit festem Suchfeld gebildet werden oder am Sensor mit festem Suchfeld angebracht oder angeklebt sein. Die Streifen 305a–305d können zum Beispiel auf einen keramischen Träger oder ein keramisches Substrat für den Sensor mit festem Suchfeld aufgeklebt sein.
Wie in 3 kann die Struktur des Sensors mit festem Suchfeld 202 in Bezug auf zwei rechtwinklige Achsen 306, 307 beschrieben werden, wobei die Achse 307 sich in der erwarteten Fahrtrichtung 101 der Overhead-Plattform befindet. In diesem Beispiel sind die Filterstreifen 305a–305d rechtwinklig zur Achse 307 in Fahrtrichtung 101 ausgerichtet. Jeder Streifen 305a–305d kann eine Längsachse (z. B. Achse 306a, die für Filterstreifen 305a dargestellt ist) haben, die rechtwinklig zur Achse 307 in Fahrtrichtung 101 der Overhead-Plattform ausgerichtet ist. Wie unten weiter beschrieben, kann jeder Filterstreifen eine Höhe h in Richtung 307 haben. In einigen Ausführungsformen kann die Breite der Filterstreifen entlang Richtung 306 (rechtwinklig zur Bewegungsrichtung 101) im Wesentlichen dieselbe Länge des Sensors mit festem Suchfeld in diese Richtung haben, sodass die Filterstreifen die Fläche des Sensors mit festem Suchfeld 202 im Wesentlichen abdecken.
In einer exemplarischen Ausführungsform umfasst der Sensor mindestens vier Spektralfilterstreifen (z. B. rot, grün, blau, infrarot). Andere Ausführungsformen können eine andere Zahl von Streifen haben, z. B. einen, zwei, drei, fünf, sechs, sieben oder mehr. Die Spektralfilterstreifen 305 können in etwa als Rechtecke geformt sein (z. B. wie in 3 dargestellt) oder als Parallelogramme, Quadrate, Polygone oder jede andere geeignete Form. In verschiedenen Ausführungsformen decken die Filterstreifen im Wesentlichen die gesamte Fläche des Sensors mit festem Suchfeld ab.
Jeder Spektralfilterstreifen kann so konfiguriert sein, dass er Licht innerhalb eines Wellenlängenbereichs aussendet. Zum Beispiel kann ein blauer Spektralfilterstreifen so konfiguriert sein, dass er Wellenlängen des Lichts aussendet, die um die Farbe blau zentriert sind (z. B. 450–475 nm). Wellenlängen des Lichts außerhalb des von einem Filter ausgesendeten Bereichs werden blockiert, sodass Licht außerhalb des ausgesendeten Bereichs von den Pixeln des Sensors mit festem Suchfeld, die sich „unter” dem Filterstreifen befinden, nicht gesammelt wird. Der Wellenlängenbereich, der von jedem Filter ausgesendet wird, kann sich unterscheiden. Je nach Ausführungsform kann sich der von einem bestimmten Filterstreifen ausgesendete Wellenlängenbereich, zumindest teilweise, mit dem Wellenlängenbereich überlappen oder nicht, der von anderen Filterstreifen ausgesendet wird. Neben roten (R), grünen (G), blauen (B) und Infrarot-(IR-)Filtern wie veranschaulicht, gibt es viele andere mögliche Wellenlängenbereiche, die durch einen Spektralfilter ausgesendet werden können, z. B. zyan, gelb, magenta oder orange. Infrarotfilter können nahe, mittlere oder ferne Infrarotfilter umfassen. Es können Ultraviolettfilter verwendet werden. In einigen Implementierungen werden die Wellenlängenbereiche (oder Bandbreiten) für die Filterstreifen so gewählt, dass sie mindestens einen Teil des gewünschten Spektralbereichs abdecken, z. B. einen sichtbaren Spektralbereich, einen Infrarotspektralbereich, einen Ultarviolettspektralbereich oder einen Kombination solcher Spektralbereiche. In einigen Implementierungen liegt der Spektralbereich der Filterstreifen 305a–305d zwischen ca. 450 nm und ca. 900 nm. In einigen Implementierungen können die Filterbandbreiten kleiner als ca. 20 nm, kleiner als ca. 50 nm, kleiner als ca. 100 nm, kleiner als ca. 150 nm, kleiner als ca. 200 nm oder irgendein anderer Bereich sein. Außerdem ist die Reihenfolge der Spektralfilter (sowie die Anordnung in Bezug auf einen panchromatischen Sensor, falls verwendet) entlang der Richtung der relativen Bewegung 101 zufällig und als Folge kann jede Reihenfolge der Filterstreifen verwendet werden.
In einigen Ausführungsformen ist die Höhe 307 der Filterstreifen entlang ihrer kurzen Kanten h_filter zwischen dem Ein- und Vierfachen einer Mindestfilterhöhe. In einer Ausführungsform ist die Mindestfilterhöhe die Geschwindigkeit des Bilds eines Punkts auf dem Boden, wie an Sensor (v_sensor) zu sehen, während er sich in Fahrtrichtung 101 bewegt, geteilt durch die Einzelbilder pro Sekunde (oder frames per second, fps), mit denen der Sensor mit festem Suchfeld 202 (und/oder die Bildgebungselektronik, z. B. Steuerung 320) Bilder erfassen kann. In einigen Ausführungsformen kann die Steuerung 320 im Sensor 202 integriert sein, was die Verpackung und Verwendung mit einem Bildgebungssystem erleichtern kann. Die Steuerung 320 kann mit allen Ausführungsformen von Sensor 202 verwendet oder integriert werden, die hierin beschrieben sind, um die Bild- oder Videoerfassung durch Sensor 202 elektronisch zu steuern.
Die Mindestfilterhöhe h_min kann als Verhältnis der Overhead-Geschwindigkeit des Sensors (in Bezug auf die Bildgebungsregion) zur Bilderfassungsrate ausgedrückt werden: v_sensor/fps. Filterstreifen mit einer kürzeren Höhe als h_min können möglicherweise keine ausreichende Überlappung der Bilder liefern, was die Registrierung schwierig machen kann. Demgemäß ist in bestimmten Ausführungsformen die Höhe eines Spektralfilters (h_filter) in Pixeln größer als oder gleich dem Verhältnis der relativen Rate, mit der sich das Bild über den Sensor (v_sensor) in Pixeln pro Sekunde bewegt, was durch Berechnung der Größe eines Pixels und der Frame-Rate (fps) in einen Abstand umgerechnet werden kann:
In einer exemplarischen Konfiguration stellt eine Mindestfilterhöhe sicher, dass der Sensor ein klares Bild erfassen kann. Die Größe und Anordnung der Spektralfilter 305a–305d ist so konfiguriert, dass sie die relative Geschwindigkeit des Sensors, während er sich die Spurrichtung 101 entlang bewegt, gegenüber der Rate, mit der der Sensor mit festem Suchfeld 202 Bilder erfassen kann, berücksichtigt. Filterstreifen mit einer Höhe größer als die Mindesthöhe h_min (auf der rechten Seite der Gleichung (1) angegeben) tragen dazu bei, eine angemessene Überlappung zwischen nacheinander erfassten Bildern einer interessanten Region zu liefern, damit das Bild rekonstruiert werden kann. Eine angemessene Überlappung zwischen nacheinander erfassten Bildern beinhaltet eine allgemeine Überlappung zwischen aufeinanderfolgenden Bildern einer interessanten Region unabhängig von Spektralfiltern. In einer Ausführungsform, bei der sich die Spektralfilterhöhen in der Nähe der Mindesthöhe befinden, wird eine Messung oder ein Einzelbild für eine interessante Region pro Spektralfilter erfasst. Wenn es zum Beispiel 4 Spektralfilter gibt, gibt es mindestens 4 Einzelbilder, die eine interessante Region erfassen, wobei jedes das Licht erfasst, das durch einen anderen Spektralfilter gegangen ist.
Die Mindestfilterhöhe kann in einigen Fällen ein Mindestwert sein, der mit dem Sensor machbar ist. In einer Ausführungsform können die Filterhöhen größer sein, um mehr als eine Messung pro Spektralfilter für eine interessante Region zu erfassen. In dieser Ausführungsform beinhaltet eine angemessene Überlappung eine Überlappung zwischen aufeinanderfolgenden Einzelbildern, die für eine interessante Region erfasst werden, wobei die interessante Region vom Sensor mehrmals mit demselben Spektralfilter erfasst wird. In einer Implementierung ist die Filterhöhe h_filter ca. das 1,25-fache der Mindestfilterhöhe. Andere Filterhöhen können verwendet werden. Zum Beispiel kann das Verhältnis von Filterhöhe zu Mindestfilterhöhe im Bereich von ca. 1,0 bis 1,2, 1,0 bis 1,5, 1,0 bis 2,0, 1,5 bis 2,5 oder ein anderer Bereich sein.
Es gibt keine obere Grenze der Spektralfilterhöhe 307 (außer ca. die physische Größe des Sensors mit festem Suchfeld). Jedoch können Filterhöhen 307, die größer als das Vierfache der Mindestfilterhöhe sind, in einigen Implementierungen aufgrund der unnötigen Redundanz bei den erfassten Bilddaten nicht wünschenswert sein. In einer Overhead-Bildgebungsanwendung kann zu viel Redundanz zum Beispiel zu einer großen Menge von Bildgebungsinformationen führen, die zu einer Bodenstation zur Bearbeitung gesendet werden. Aufgrund der begrenzten Sendebandbreite einiger Satelliten kann es unerwünscht sein, eine zu große Menge von Bildgebungsinformationen zu übertragen. Demgemäß kann in einigen Overhead-Bildgebungsimplementierungen die Filterhöhe h_filter ungefähr zwischen dem Einfachen und dem Vierfachen der Mindesthöhe liegen.
Die Zahl der Filter (N_filter), die an Sensor 202 angeordnet sein können, ist das Verhältnis der Höhe 310 des Sensors (h_sensor) zur Höhe 307 für den Filter (h_filter):
Obwohl 3 den Sensor 202 mit Filterstreifen 305a–305d veranschaulicht, die jeweils dieselbe Höhe 307 haben, dient dies Veranschaulichungszwecken und ist nicht als einschränkend gedacht. In anderen Implementierungen können sich die Höhen aller Filterstreifen voneinander unterscheiden.
Neben einem zweidimensionalen Sensor mit festem Suchfeld kann der Sensor optional auch einen panchromatischen Block für die Erfassung panchromatischer Bilddaten neben den Multispektralbilddaten umfassen, die über die Filterstreifen 305a–305d des Sensors mit festem Suchfeld erfasst werden. Der panchromatische Block kann gegenüber einer breiten Bandbreite des Lichts empfindlich sein, verglichen mit der Bandbreite des Lichts, das von einem oder mehreren der Spektralfilterstreifen ausgesendet wird. Der panchromatische Block kann zum Beispiel eine Bandbreite haben, die im Wesentlichen zumindest einen erheblichen Teil der kombinierten Bandbreiten der Spektralfilterstreifen abdeckt. In verschiedenen Ausführungsformen kann die Bandbreite des panchromatischen Blocks größer als ca. 50 nm, größer als ca. 100 nm, größer als ca. 250 nm oder größer als ca. 500 nm sein. In einer Implementierung ist die Bandbreite des panchromatischen Blocks zwischen ca. 450 nm und ca. 900 nm. In verschiedenen Implementierungen kann die Bandbreite des panchromatischen Blocks größer als das ca. Zwei-, größer als das ca. Drei-, größer als das ca. Vier- oder größer als ca. das Fünffache der Bandbreite eines Spektralfilterstreifens sein.
4A veranschaulicht einen exemplarischen Sensor mit einem zweidimensionalen Sensor mit festem Suchfeld 202 mit Spektralfilterstreifen 505a–505d und einem panchromatischem Block 505efgh, gemäß einer Ausführungsform. Im Beispiel von 4A hat der panchromatische Block (505efgh) dieselbe Breite (rechtwinklig zur Richtung der relativen Bewegung 508) wie jeder einzelne Filterstreifen (z. B. infrarot 505a, blau 505b, grün 505c, rot 505d), aber die vierfache Höhe 507 (parallel zur Bewegungsrichtung 101) jeder der einzelnen Spektralfilterstreifen 505a–505d. Die Höhe des panchromatischen Blocks in Bezug auf die Höhe der Spektralfilterstreifen kann sich in verschiedenen Implementierungen unterscheiden. Breite und Höhe können auf Basis der Richtung der relativen Bewegung 101 der Overhead-Plattform bestimmt werden, wobei die Höhe parallel zur Richtung der relativen Bewegung 101 und die Breite rechtwinklig zur Richtung der relativen Bewegung 101 ist.
In einer Ausführungsform erfasst der panchromatische Block Bilddaten mit derselben Auflösung wie der/die zweidimensionalen, Multispektralsensor(en) und Filterstreifen. Der panchromatische Sensor und der Multispektralsensor haben zum Beispiel dieselbe Zahl von Pixeln und/oder Größe von Pixeln. In einer Ausführungsform sind in einer Overhead-Bildgebungsanwendung, z. B. einem Bildgebungssatelliten, die Auflösungen der Multispektralsensoren so, dass jedes Pixel des Multispektralsensors und panchromatischen Sensors ca. Bereich von 1 Quadratmeter auf der Erde in einem einzigen Pixel erfassen kann.
4A stellt Lücken 510 zwischen den Spektralfilterstreifen und panchromatischen Streifen dar, diese Lücken können jedoch je nach Ausführungsform des Sensors größer oder kleiner als dargestellt oder überhaupt nicht vorhanden sein. Die Gesamthöhe 506 dieser Ausführungsform des Sensors mit festem Suchfeld 202 ist die Summe der Höhen des panchromatischen Blocks 505efgh, der Spektralstreifen 505a–505d und der Lücken 510 (falls enthalten).
In einigen Ausführungsformen (z. B. 4A) beinhaltet der panchromatische Block 505efgh einen einzigen panchromatischen Filter. In anderen Ausführungsformen, wie in 4B dargestellt, kann der Sensor einen zweidimensionalen, Multispektralsensor mit festem Suchfeld mit Spektralfilterstreifen 505a–505d und einer Vielzahl panchromatischer Streifen 505e–505h enthalten. Im Gegensatz zum panchromatischen Block von 4A werden im Beispiel von 4B panchromatische Bilddaten mithilfe der Vielzahl von panchromatischen Streifen 505e–505h erfasst. Die panchromatischen Bilddaten aus der Vielzahl panchromatischer Streifen können in einem Mosaicing-Verfahren kombiniert werden, um vollständige panchromatische Bilder zu erstellen.
Einer oder mehrere der Spektralfilterstreifen am Sensor können in Bezug auf die anderen Streifen in der Höhe vergrößert werden, um die Multi-Frame-Verbesserung während der Bildbearbeitung zu erleichtern. 4C zeigt einen exemplarischen Sensor mit Spektralstreifen 905a–905d, bei dem der rote Spektralfilterstreifen 905d eine Höhe hat, die das Doppelte der Höhe 907 der anderen Streifen 905a–905c ist. Eine Folge der Vergrößerung eines der Streifen (z. B. des roten Streifens) ist, dass die erfassten Spektralbilddaten erfasste zusätzliche Einzelbilder einer bestimmten interessanten Region für die Verwendung in einer Multi-Frame-Verbesserungsbearbeitung haben. Einer oder mehrere der Spektralstreifen können auf verschiedene Größen in Bezug zueinander vergrößert werden, unabhängig davon, ob ein panchromatischer Sensor vorhanden ist oder nicht. Die Gesamthöhe 906 dieser Ausführungsform des Sensors mit festem Suchfeld 202 ist die Summe der Höhen der Spektralstreifen 905a–905d und eventueller Lücken (falls enthalten).
4D zeigt einen exemplarischen Sensor mit einem panchromatischen Block 1005e sowie einen Spektralfilterstreifen 1005d, der größer als die anderen Spektralfilterstreifen ist, gemäß einer Ausführungsform. Auch wenn der Streifen 1005d rot dargestellt ist, könnte die in anderen Ausführungsformen vom Streifen 1005d weitergegebene Farbe eine andere Farbe als rot (z. B. grün oder blau) sein. 4D zeigt den panchromatischen Block 1005e mit einer vierfachen Höhe 1007 des kleinsten Spektralstreifens (grüne, blaue bzw. Infrarot-Streifen 1005c, 1005b, 1005a in diesem Beispiel) und einen roten Spektralstreifen 1005d mit der doppelten Höhe 1007 des kleinsten Spektralstreifens. In anderen Ausführungsformen können sich die relativen Höhen der Spektralfilterstreifen und/oder des/der panchromatischen Streifen(s) voneinander unterscheiden und anders sein, als in den Beispielen dargestellt, die in 3 und 4A–4D veranschaulicht sind. In anderen Ausführungsformen kann ein zusätzlicher oder anderer Spektralstreifen als der rote Spektralstreifen 1005d eine größere Höhe im Vergleich zu den anderen Spektralstreifen haben (z. B. könnte der grüne Streifen 1005c die größte Höhe der Spektralstreifen 1005a–1005d haben). Die Gesamthöhe 1006 dieser Ausführungsform des Sensors mit festem Suchfeld 202 ist die Summe der Höhen des panchromatischen Blocks 1005e, der Spektralstreifen 1005a–1005d und eventueller Lücken (falls enthalten).
In einigen Implementierungen können alle Teile der Bildbereiche des Spektralsensors/der Spektralsensoren und des panchromatischen Sensors/der panchromatischen Sensoren dieselbe Pixelgröße, dieselbe Pixelform, dasselbe Pixelraster und dieselbe Reihenplatzierung und/oder dieselbe Pixeldichte haben. In manchen Fällen können jedoch einzelne Teile der Sensoren unterschiedliche Pixelgrößen, unterschiedliche Formen, unterschiedliche Raster oder unterschiedliche Reihenplatzierungen und/oder unterschiedliche Dichten haben. Solange die einzelne Pixelgröße, die einzelne Form, das einzelne Raster, die einzelne Reihe und/oder die einzelne Dichte bekannt ist, können vollständige Bilder rekonstruiert und eine Bildbearbeitung kann durchgeführt werden. In einigen Ausführungsformen können sich die Pixelgröße, die Form, das Raster oder die Reihe und/oder die Pixeldichte für verschiedene Teile des Sensors mit festem Suchfeld unterscheiden. Zum Beispiel ist in einer Implementierung die Pixeldichte für den/die panchromatischen Streifen größer als für den/die Spektralstreifen, sodass die räumliche Auflösung des Bilds des panchromatischen Streifens/der panchromatischen Streifen größer als die räumliche Auflösung des Spektralstreifens/der Spektralstreifen ist.
Sowohl im Beispiel des panchromatischen Blocks als auch im Beispiel des panchromatischen Streifens überlappen sich die erfassten Bilder, sodass aufeinanderfolgende Einzelbilder häufig einen Großteil desselben Bildes erfassen. Der Umfang der Überlappung hängt von der Größe des Erfassungsbereichs des panchromatischen Teils des Sensors, dem Abstand zwischen der Bildgebungsplattform und dem erfassten Ziel und der Geschwindigkeit der Bildgebungsplattform ab.
In einigen Ausführungsformen beinhaltet der Sensor einen einzelnen (z. B. monolithischen) zweidimensionalen Sensor mit festem Suchfeld, wobei verschiedene Teile des Sensors verschiedene Daten auf Basis der Spektralfilter und/oder panchromatischen Filter erfassen. Die Verwendung eines einzelnen Sensors mit festem Suchfeld kann die Sensorkosten verringern, die Herstellung des Sensors vereinfachen, es kann einfacher zu implementieren sein und weitere Vorteile über den Lebenszyklus beinhalten. In anderen Ausführungsformen können mehrere Sensoren mit festem Suchfeld verwendet werden. Der/die panchromatischen Streifen kann/können zum Beispiel über einem ersten Fotosensor angeordnet sein und der/die Spektralfilterstreifen kann/können über einem zweiten Fotosensor angeordnet sein. In anderen Implementierungen wird ein anderer Fotosensor für jeden Spektral- oder panchromatischen Streifen verwendet. Die verschiedenen Fotosensoren können in manchen Fällen unterschiedliche Pixelanordnungen haben. In anderen Ausführungsformen kann der Sensor mit festem Suchfeld durch andere Arten von Spektralsensoren ersetzt werden, z. B. Zeilenscanner- (z. B. TDI-), Farbrad- und CFA-Sensoren. In jeder dieser Ausführungsformen umfasst der Sensor einen Spektralsensor (z. B. einen Zeilenscanner) und einen panchromatischen Sensor). Es sind viele Varianten möglich.
Der panchromatische Teil des Sensors (oder panchromatische Sensor) kann Bilder mit einer relativ hohen Frame-Rate erfassen. Als Folge können die panchromatischen Bilddaten, die vom panchromatischen Block erfasst werden, als panchromatischer (z. B. Grauskalen-)Video-Feed mit nur wenig oder keiner zusätzlichen Bearbeitung verwendet werden. In einigen Implementierungen kann das Video mit Raten von wenigen (z. B. ca. 5) Bildern pro Sekunde bis zu ca. 30 bis 50 Bildern pro Sekunde bereitgestellt werden. In anderen Implementierungen können die Bilder, die von Spektralkanälen (z. B. R, G, B und IR) bereitgestellt werden, auch als einer oder mehrere Spektral-Video-Feeds bereitgestellt werden. In einigen Implementierungen können Bilder aus einem oder mehreren Spektralkanälen kombiniert werden, um einen Farb-Video-Feed bereitzustellen (z. B. durch Kombinieren der Kanäle R, G und B zur Erzeugung eines Vollfarbvideos). An den panchromatischen Bilddaten kann in Verbindung mit den Multispektralbilddaten vom zweidimensionalen Sensor mit festem Suchfeld eine weitere Bearbeitung durchgeführt werden, um Versionen der Bilder mit Multi-Frame-Verbesserung und/oder panchromatischer Schärfung zu erstellen. Bilder mit Multi-Frame-Verbesserung und/oder Schärfung (panchromatisch, spektral und/oder multispektral) können als Video oder als Videostream bereitgestellt werden. In einigen Implementierungen wird zumindest ein Teil der Nachbearbeitung der Bilder aus den panchromatischen und/oder Spektralkanälen am Boden (statt auf der Overhead-Plattform) durchgeführt, um Videos zu erstellen. Die Bilder und/oder Videos können Benutzern bereitgestellt werden (z. B. über einen Download von einem Netzwerk).
Ausführungsformen des hierin beschriebenen Sensors können in einer Reihe von Anwendungen verwendet werden. Der Sensor kann als Teil eines Bildgebungssystems zur Erdbeobachtung verwendet werden, das zum Beispiel an einem Flugzeug oder Satelliten montiert ist. Der Satellit kann ein großer oder kleiner oder ein Mikrosatellit oder ein Nanosatellit sein.
Mikrosatellit ist ein breitgefasster Begriff und wird in seiner normalen und üblichen Bedeutung von Fachleuten gegeben (z. B. ist er nicht auf eine spezielle oder individuelle Bedeutung beschränkt), und er beinhaltet u. a. Satelliten mit einer Masse kleiner oder gleich ca. 500 kg und/oder physischen Abmessungen kleiner oder gleich 125 cm × 125 cm × 175 cm oder Satelliten, die als sekundäre Nutzlast an einer Trägerrakete gestartet werden. Mikrosatelliten beziehen sich im Allgemeinen auf Satelliten, die als sekundäre Nutzlast an einer Trägerrakete gestartet werden. Mikrosatelliten können durch die Trägerrakete in der niedrigen Erdumlaufbahn platziert werden (z. B. 1.000 km von der Oberfläche der Erde entfernt). Mikrosatelliten können außerdem durch ihr Gewicht oder ihre Größe von größeren Satelliten unterschieden werden. Mikrosatelliten können zum Beispiel auf Basis ihres Gesamtgewichts eingestuft werden, z. B. etwas weniger als 500 Kilogramm (kg). In einem weiteren Beispiel können Mikrosatelliten auf Basis ihrer Volumengröße eingestuft werden, z. B. einem Volumen von etwas weniger als 125 Zentimeter (cm) mal 125 cm mal 175 cm.
Gemäß einigen Konventionen werden Satelliten mit einer Masse von weniger als oder gleich 500 kg als kleine Satelliten eingestuft, wobei weitere Aufteilungen auf Basis ihrer Masse erfolgen. In einem Klassifizierungssystem werden kleine Satelliten beispielsweise als Minisatelliten betrachtet, wenn sie über eine Masse zwischen ungefähr 100 kg und 500 kg, als Mikrosatelliten, wenn sie über eine Masse zwischen 10 kg und 100 kg, als Nanosatelliten, wenn sie über eine Masse zwischen Gefährt 1 kg und 10 kg, als Pikosatelliten, wenn sie über eine Masse zwischen ungefähr 0,1 kg und 1 kg und als Femosatelitten, wenn sie über eine Masse von weniger oder ungefähr genauso hoch wie 100 g verfügen. Jeder Verweis auf Mikrosatellit, Minisatellit, oder kleiner Satellit in dieser Offenbarung sollte bedeutung-bezogen jedoch als die allgemeine Klasse an Satelliten verstanden werden, die über eine Masse von weniger als oder von ungefähr genauso viel wie 500 kg und/oder über physikalische Dimensionen, die weniger als oder ungefähr genauso viel wie 125 cm × 125 cm × 175 cm verfügen; und nicht als eine spezifischere Klassifizierung von hierin identifizierten Satelliten oder ähnlichen Klassifizierungsschemas verstanden werden.
Einige Mikrosatelliten können ESPA-Standards entsprechen. ESPA steht für EELV sekundäre Nutzlastadapter, und EELV steht für Evolved Expendable Launch Vehicle, der unter anderem beispielsweise auch Atlas V und Delta IV Startfahrzeuge beinhaltet. ESPA Spezifikationen wurden von mehreren in der Mikrosatelliten-Industrie als Richtlinie für das Ermitteln annehmbarer Mikrosatelliten Massen und/oder Volumina für die Integration in Startfahrzeugen, eingesetzt. Die ESPA-Standards verfügen über eine Masse, die weniger als oder ungefähr genauso viel wie 180 kg und ein Volumen, das weniger als 90 cm × 70 cm × 60 cm beträgt. Ein Mikrosatellit, der diesen Spezifikationen entspricht, würde sich für das Integrieren in ein Startfahrzeug eignen, das einen sekundären EELV-Nutzlastadapter einsetzt. Die ESPA-Standards stellen nicht einschränkende Beispiele von Umhüllungen bereit, die einem Mikrosatelliten entsprechen; Mikrosatelliten, die jedoch gemäß anderen Standards konfiguriert werden, können für sonstige Startfahrzeuge geeignet sein.
Ausführungsformen des Sensors können in einem beweglichen Fahrzeug (z. B. in einem beweglichen Automobil) verwendet werden, um Panoramaansichten von verschiedenen Positionen zu erfassen, während sich das Fahrzeug in einem Bereich oder an einem Ort bewegt. Die erfassten Ansichten können mit einer terrestrischen Karten- oder Navigationsanwendung verwendet werden.
Ausführungsformen des Sensors können außerdem für die astronomische Beobachtung von einem festen, bodenbasierten Bildgebungssystem aus verwendet werden. Der Sensor kann als Teil eines festen Bildgebungssystems verwendet werden, das sich regelmäßig bewegende Objekt beobachtet, zum Beispiel ein Montagelinien-Inspektionssystem. Der Sensor kann außerdem als Teil eines festen Bildgebungssystems verwendet werden, dass sich unregelmäßig bewegende Objekte beobachtet, z. B. Rennautos auf der Ziellinie eines Rennens (z. B. um Informationen für „Fotofinishes” zu liefern).
Beispiele der Bilderfassung und Bearbeitung
Die oben unter Bezugnahme auf 3–4D beschriebenen Sensorausführungsformen können vorteilhaft verwendet werden, um mehrere Bilder einer interessanten Region in spektralen und/oder panchromatischen Bändern zu erfassen. Die Bilder können bearbeitet werden, um ein vollständiges Multispektralbild der Region zu rekonstruieren. Die Bilder können bearbeitet werden, um Videos der interessanten Region bereitzustellen. In verschiedenen Ausführungsformen kann die Bearbeitung einen oder mehrere der folgenden Punkte umfassen: Registrierung der Bilder, Multi-Frame-Verbesserung der Bilder und/oder panchromatische Schärfung der Bilder. Ein möglicher Vorteil bestimmter Ausführungsformen der hierin offenbarten Sensoren ist, dass die Anordnung des Sensors (z. B. mehrere Spektralstreifen und ein größerer panchromatischer Streifen) die Verwendung dieser Bearbeitungstechniken (z. B. Registrierung, Multi-Frame-Verbesserung und/oder Pan-Sharpening) ermöglichen kann, um ein Multispektralbilder mit einer verbesserten Auflösung zu liefern.
Sobald Bilder erfasst wurden, kann die Bearbeitung durchgeführt werden, um vollständige Multispektralbilder aus den teilweisen Bildern zu rekonstruieren, die durch jeden Spektralstreifenfilter erfasst wurden, der den Multispektralsensor und den/die panchromatischen Streifen, falls verwendet, abdeckt. Im Allgemeinen haben Teilbilder, die von einem Teil der Multispektralsensoren erfasst wurden, nur eine relativ minimale Überlappung zwischen aufeinanderfolgenden Einzelbildern. Dies ist normalerweise der Fall, wenn die Spektralfilter in der Nähe der Mindesthöhe h_min sind. Die Bearbeitung ermöglicht die Rekonstruktion vollständiger Multispektralbilder trotz einer begrenzten Überlappung zwischen aufeinanderfolgenden Einzelbildern. Die Bearbeitung kann durch jedes geeignete Hardwarebearbeitungssystem durchgeführt werden. In einigen Overhead-Implementierungen werden zum Beispiel die vom Sensor aufgenommenen Bildgebungsdaten an eine Empfangsstation am Boden gesendet. Die Bildgebungsdaten können gespeichert werden (an der Bodenstation oder an einem anderen Ort) und die Bildgebungsdaten können durch ein Hardwarecomputersystem bearbeitet werden, das eine oder mehrere der hierin beschriebenen Methoden implementiert. In anderen Implementierungen kann ein Teil oder die gesamte Bearbeitung der Bilddaten durch ein Hardwarecomputersystem vor Senden der Daten an die Empfangsstation am Boden durchgeführt werden (z. B. durch ein Computersystem auf der Overhead-Plattform).
In einer Ausführungsform umfasst jedes Einzelbild eine Reihe von Farbkanal-Teilbildern, die jeweils durch einen anderen Spektralstreifenfilter erfasst wurden. Die Bilddaten sind ein Maß für die Menge des Lichts, das von jedem Pixel in jedem Bild erfasst wurde. Der Vorgang der Registrierung, auch als „Mosaicing” bezeichnet, verknüpft aufeinanderfolgende Einzelbilder, um ein endgültiges rekonstruiertes Bild zu bilden. Die Registrierung kann zumindest teilweise auf der Korrelation der Bilddaten zwischen den Multispektrelteilbildern und/oder der Überlappung zwischen aufeinanderfolgenden Teilbildern basieren.
Da jedes Multispektralteilbild Licht von verschiedenen Wellenlängen erfasst, gibt es im Allgemeinen keine genaue Korrelation bei den Bilddaten zwischen Teilbildern verschiedener Farbkanäle. In vielen Anwendungen korrelieren jedoch die Bilddaten zwischen verschiedenen Teilbild-Farbkanälen ausreichend, um eine farbübergreifende Registrierung zwischen aufeinanderfolgenden Einzelbildern verschiedener Farbkanäle zu ermöglichen. Dies kann möglich sein, da Spektralfilter (z. B. Spektralfilter 305a–305d, 505a–505d, 905a–905d, 1005a–1005d) normalerweise Licht innerhalb eines ausreichend großen Bandbreitenbereichs (z. B. ca. 50 nm in einigen Implementierungen) aussenden, damit Merkmale in der Bildgebungsregion in einigen oder in allen individuellen Spektralbildern (sowie dem panchromatischen Kanal mit größerer Bandbreite, falls verwendet) erscheinen. Außerdem sind bei Overhead-Bildgebungsanwendungen die Reflexionsspektren der meisten natürlichen und menschengemachten Merkmale stark korreliert und daher können solche Merkmale in einigen oder allen Spektralkanälen (sowie im panchromatischen Kanal, falls verwendet) erkannt werden.
Ein Muster in den Bilddaten zwischen Pixeln, das in aufeinanderfolgenden Einzelbildern vorhanden ist, kann zum Beispiel verwendet werden, um zwei Einzelbilder in Bezug zu einander zu registrieren. Das Muster kann in einem ersten Teilbild für einen ersten Farbkanal und in einem zweiten Teilbild eines zweiten Farbkanals vorhanden sein. Das Muster kann außerdem in einem ersten Teilbild für einen ersten Farbkanal und erneut in einem zweiten Teilbild des ersten Farbkanals vorhanden sein, das sich zumindest teilweise mit dem ersten Teilbild in dem Teil des Bilds überlappt, in dem sich das Muster befindet.
5 veranschaulicht ein Beispiel einer Bildgebungssequenz für die Erfassung, Registrierung und Kombination eines Bilds mithilfe eines zweidimensionalen Multispektralsensors mit festem Suchfeld mit Spektralfilterstreifen veranschaulicht. Wie hierin beschrieben, bewegt sich der Sensor 202 die Spurrichtung 101 entlang, und somit in Bezug auf eine abzubildende interessante Region. Der Sensor erfasst Bilder nacheinander mit einer Frame-Rate (Bilder pro Sekunde/frames per second oder fps). Während sich der Sensor bewegt und Einzelbilder aufnimmt, wird jeder Punkt in einer interessanten Region von jedem Spektralfilter (und/oder panchromatischen Filter) mindestens einmal erfasst. Die Sensorbewegung kann mit der Bewegung einer beweglichen Overhead-Plattform ausgerichtet sein oder nicht.
In der exemplarischen Ausführungsform von 5 zeigen Bilder 409a–409h eine Sequenz aus acht aufeinanderfolgenden Einzelbildern, die von einem Sensor erfasst wurden, der eine interessante Region scannt. In diesem Beispiel ist der für die Bildgebung verwendete Sensor der Sensor mit festem Suchfeld 202, der in 3 dargestellt ist, mit Filterstreifen 305a–305d (bezeichnet als Filterstreifen A–D). In diesem Beispiel wird kein panchromatischer Kanal verwendet. Im Beispiel von 5 erfasst der Sensor ein Bild einer interessanten Region nach acht Einzelbilderfassungen, als Erfassungszeiten (CT) 1–8 bezeichnet. Die einzelnen Sensorerfassungen werden durch einen Großbuchstaben für den Filterstreifen (von A bis D) gefolgt von einer Zahl für die Erfassungszeit bezeichnet. Sensorerfassung D3 in Bild CT3 stellt zum Beispiel die Erfassung durch Spektralstreifen D, 305d in der dritten Erfassungszeit dar.
Nach der Sammlung können alle Bilder wie oben beschrieben gemeinsam registriert werden. Das gemeinsam registrierte Bild wird als Bild 41 Oi dargestellt. Nach Abschluss der gemeinsamen Registrierung kann ein getrenntes rekonstruiertes Spektralbild für jedes Farbband (Spektralband) erstellt werden. Die rekonstruierten Spektralbilder werden durch Bilder 411j–411m dargestellt. Die rekonstruierten Farbbandbilder können kombiniert werden, um ein Multispektralbild zu erstellen, das durch Bild 412n dargestellt wird. In einigen Implementierungen werden Vollfarbbilder nur unter Verwendung der Teilbilder von Spektralbändern B, C und D (z. B. blau, grün und rot) erstellt.
In Fällen, in denen der Sensor mit festem Suchfeld neben dem Multispektralsensor auch einen panchromatischen Sensor enthält, können die erfassten panchromatischen Bilddaten verwendet werden, um die Qualität eines Multispektralbilds zu verbessern. 6 veranschaulicht ein Beispiel einer Bildgebungssequenz für die Erfassung eines Bilds mithilfe eines Sensors, der einen Multispektralsensor mit festem Suchfeld und einen panchromatischen Sensor enthält. Die exemplarische Bildsequenz von 6 kann mithilfe des Sensors erfasst werden, der in 4B dargestellt ist, wobei der Sensor vier Spektralstreifen 505a–505d und vier panchromatische Streifen 505e–505h enthält. Im Beispiel von 6 erfasst der Sensor ein Bild einer interessanten Region nach elf Einzelbilderfassungen, als Erfassungszeiten (CT) 1–11 bezeichnet, mit 609a–k beschriftet. Die einzelnen Sensorerfassungen werden durch einen Großbuchstaben für den Filterstreifen (von A bis H) gefolgt von einer Zahl für die Erfassungszeit bezeichnet. Sensorerfassung A9 in Bild CT9, 609i stellt zum Beispiel die Erfassung durch Spektralstreifen A, 505a in der dritten Erfassungszeit dar. Die Begriffe „Pan” und „Mono” werden in 6 verwendet, um anzugeben, dass ein erster Streifen, der in die interessante Region gelangt, ein panchromatischer bzw. monochromatischer (Farb-)Kanal ist. In einer Ausführungsform kann die Erfassungszeit mit der Rate und Richtung der Fahrt synchronisiert werden.
7 zeigt ein Beispiel dafür, wie erfasste Teilbilder registriert und kombiniert werden können, um Multispektralbilder zu erstellen. Im Beispiel von 7 werden acht Bilder aus den erfassten Teilbildern rekonstruiert. Vier der rekonstruierten Bilder sind Spektralbilder, Rot 711d, Grün 711c, Blau 711b und Infrarot 711a. In diesem Beispiel enthält jedes Spektralbild Bilddaten aus einem anderen Wellenlängenbereich (z. B. rote, grüne, blaue und Infrarot-Wellenlängen). Die anderen vier Bilder sind panchromatische Bilder mit der Beschriftung Pan 711e–Pan 711h. Die panchromatischen Bilder sind im Wesentlichen redundant. In diesem Beispiel erstrecken sich alle Bilder über den Bereich von Bildgebung 712.
Die panchromatischen Bilder können anders erzeugt werden als dargestellt in 7. Das panchromatische Bild 711h wird zum Beispiel als aus den Sensorerfassungen H1, H2, H3 und H4 erzeugt dargestellt. In anderen Ausführungsformen könnte ein panchromatisches Bild aus einer anderen Gruppe von Einzelbilderfassungen erzeugt werden, solange die Gruppe die interessante Region abdeckt. Zum Beispiel könnte ein panchromatisches Bild aus Erfassungen E4, F4, G4 und H4 oder aus H1, E5, F5 und G5 erzeugt werden. In anderen Implementierungen kann diese Technik auf redundante Spektralbilder angewendet werden, die eine interessante Region abdecken.
Für Implementierungen des Sensors, bei denen panchromatischer Bilder 711e–711h) ausgerichtet sind, kann Multi-Frame-Verbesserungsbearbeitung durchgeführt werden, um die Pixel aus den verschiedenen panchromatischen Bildern so zu integrieren, dass sie ein integriertes, ausgerichtetes panchromatisches Bild bilden. Die Integration mehrerer ausgerichteter panchromatischer Bilder kann zu einem besseren Signal-Rausch-Verhältnis der Pixel des integrierten, ausgerichteten panchromatischen Bilds führen.
Für Implementierungen des Sensors, bei denen panchromatische Bilder nicht perfekt ausgerichtet sind, kann Multi-Frame-Verbesserung mithilfe der panchromatischen Bilder durchgeführt werden, um das rekonstruierte Bild zu verbessern. Multi-Frame-Verbesserung wird auch als Super-Auflösung bezeichnet. Multi-Frame-Verbesserung nutzt die Tatsache, dass eine leichte Falschausrichtung zwischen Pixeln aus verschiedenen panchromatischen Bildern dazu führt, dass die erhaltenen panchromatischen Bilder leicht voneinander versetzt sind. Diese Falschausrichtung kann eine Subpixel-Falschausrichtung sein, das heißt, Pixel von einem Bild können nicht einfach einem anderen Pixel in einem anderen Bild zugeordnet werden. Stattdessen erfassen, aufgrund der Subpixel-Falschausrichtung, verschiedene Bilder einen Bereich, der etwas anders abgebildet wird, wobei der Unterschied in dem Licht sichtbar ist, das in jedem Pixel durch jedes Bild erfasst wird. Somit liefern mehrere Bilder desselben Bereichs zusätzliche Daten, die in Multi-Frame-Verbesserung verwendet werden können, um die Qualität von Multispektralbildern zu verbessern.
8 veranschaulicht schematisch ein Beispiel einer Subpixel-Falschausrichtung für Pixel, die in mehreren Bildern für einen exemplarischen Bereich erfasst wurden, gemäß einer Ausführungsform. Im Beispiel von 8 werden vier panchromatische Bilder 801e–801h in einem Raster ausgerichtet. Die einzelnen Bilder sind gemäß dem Buchstaben des Bilds beschriftet, dem sie entsprechen, z. B. Pixel aus Bild 801e sind mit einem „e” beschriftet. Die Falschausrichtung zwischen Bild-Subpixeln ist in Form des Ortsunterschieds zwischen den Pixeln aus verschiedenen Bildern sichtbar (z. B. liegen die Buchstaben „e”, „f”, „g” und „h” nicht übereinander). Eine Subpixel-Falschausrichtung kann an der Zufälligkeit des Sensors oder einem anderen Teil des Bilderfassungssystems liegen, dessen Teil der Sensor ist. Das Rauschen in einem Bilderfassungssystem, das an einem Flugzeug oder Satelliten montiert ist, führt im Allgemeinen zu Zufälligkeit nicht nur bei der Richtung der relativen Bewegung 101, sondern auch bei der orthogonalen Richtung. Subpixel-Falschausrichtung kann auch an anderen Quellen liegen.
Multi-Frame-Verbesserung kann in manchen Fällen sowohl die räumliche als auch die Pixeltreue verbessern. Multi-Frame-Verbesserung verbindet mehrere Bilder, um ein verbessertes Bild mit höherer Auflösung zu produzieren. Multi-Frame-Verbesserung kann auf mehrere panchromatische Bilder angewendet werden, z. B. die panchromatischen Bilder 711e–711h, dargestellt in 7. Multi-Frame-Verbesserung nutzt Subpixel-Falschausrichtung in den erfassten panchromatischen Bildern, um ein verbessertes panchromatisches Bild zu erstellen. Das verbesserte panchromatische Bild hat eine höhere Auflösung als die ursprünglichen panchromatischen Bilder und einige oder alle der Aliasing-Effekte, die in den ursprünglichen panchromatischen Bildern vorhanden waren, sind im verbesserten panchromatischen Bild entfernt. In Overhead-Bildgebungsanwendungen ermöglicht Multi-Frame-Verbesserung die Rekonstruktion eines panchromatischen Bild mit auflösbaren Bodenpixelauflösungen (ground sample distances, GSD) bis zur Diffraktionsgrenze des optischen Bildgebungssystems. Die Aufnahme von 5 oder mehr panchromatischen Bildern für die Verwendung in der Multi-Frame-Verbesserung kann zum Beispiel das bis zu Zweifache (2×) der räumlichen Auflösung sowohl bei den horizontalen als auch bei den vertikalen Abmessungen in Bezug auf die räumliche Auflösung der ursprünglich erfassten panchromatischen Bilder ermöglichen. In einigen Overhead-Implementierungen ist die Verwendung von ca. 4, 5 oder 6 panchromatischen Bildern für die Multi-Frame-Verbesserung günstig, da dies eine angemessene Erhöhung bei der Bildauflösung bietet, ohne die Download-Datenübertragung übermäßig zu belasten.
In verschiedenen Implementierungen können Ausführungsformen der Verfahren, die in „Advances and Challenges in Super- Resolution", von Sina Farsiu et al., International Journal of Imaging Systems and Technology, S. 47–57, Band 14, 2004 (im Folgenden der „Farsiu-Artikel") beschrieben sind, für die Multi-Frame-Verbesserung verwendet werden. Der Farsiu-Artikel wird durch Bezugnahme in seiner Gesamtheit hierin einbezogen, um Teil dieser Spezifikation zu bilden.
Verbesserte panchromatische Bilder können auch verwendet werden, um Multispektralbilder zu verbessern. Zum Beispiel können eines oder mehrere der Spektralbilder (oder ein Multispektralbild) durch Verwendung von Informationen aus dem mit Multi-Frame-Verbesserung bearbeiteten panchromatischen Bild mit höherer Auflösung schärfer gemacht werden. In einigen Implementierungen kann das mit Multi-Frame-Verbesserung bearbeitete panchromatische Bild als Eingabe für den Pan-Sharpening-Vorgang zur Erhöhung der Auflösung des Bilds aus den Spektralfiltern (oder einem Multispektralbild) veranschaulicht werden. Zum Beispiel können Spektralbilder durch Injektion von Details, die aus dem mit Multi-Frame-Verbesserung bearbeiteten panchromatischen Bild mit höherer Auflösung genommen werden, schärfer gemacht werden.
In einigen Implementierungen kann Pan-Sharpening mithilfe eines datenzentrierten Farbraums angewendet werden, worin die Farbraumumwandlung der erfassten Multispektraleinzelbilder die beste Übereinstimmung mit dem panchromatischen Einzelbild vor dem Ersatz durch dieses panchromatische Einzelbild findet. In einigen Anwendungen kann der Pan-Sharpening-Vorgang in den Multi-Frame-Verbesserungsvorgang integriert werden, wobei das Verfahren sowohl die mehreren panchromatischen Einzelbilder als auch die Multispektraleinzelbilder kombiniert und ein mit Pan-Sharpening bearbeitetes Bild mit höherer Auflösung und Qualität schätzt.
In einer Ausführungsform beinhaltet panchromatische Verbesserung die Umwandlung des Multispektralbilds von seinem ursprünglichen Farbsystem (z. B. RGB) in ein Luminanz-, Farbton- oder Sättigungsfarbsystem, wie zum Beispiel HSV, HSL, YCrCb oder YUV. Alternativ kann das rekonstruierte Spektralbild in ein entgegengesetztes Farbsystem umgewandelt werden, wie zum Beispiel (CIE) XYZ, Lab (CIELAB) oder Luv (CIELUV). Das resultierende umgewandelte Bild kann auf dieselbe Auflösung wie das verbesserte panchromatische Bild hochgerechnet werden (Upsampling). Upsampling kann durch Verfahren wie Replikation, B-Spline oder bikubische Interpolation durchgeführt werden. Nach dem Upsampling können die Luminanzdaten des Bilds (oder seines Äquivalents, je nach Farbsystem, in das das Bild umgewandelt wurde) durch das verbesserte panchromatische Bild ersetzt werden, um ein verbessertes Multispektralbild zu bilden. Nach Verbesserung kann der Farbumwandlungsvorgang umgekehrt werden, um einzelne Spektralbilder aus den verbesserten Multispektralbildern wiederzuerhalten.
Multispektralbilder können mithilfe von panchromatischer Schärfung (Pan-Sharpening) bearbeitet werden. Pan-Sharpening kann angewendet werden, wenn das Multispektralbild in einen Farbraum umgewandelt wurde, in dem die Luminanz-(oder eine ähnliche)Komponente des Bilds im Wesentlichen mit einem panchromatischen Bild oder verbesserten panchromatischen Bild korreliert. Pan-Sharpening kann verwendet werden, um die Luminanzkomponente des Multispektralbilds mit den mehreren panchromatischen Bildern zu kombinieren, um ein mit Pan-Sharpening bearbeitetes Bild mit höherer Auflösung zu erstellen.
In verschiedenen Implementierungen können die Ausführungsformen der Verfahren, die in „Pan-Sharpening of Multispectral Images: A Critical Review and Comparision", von Andrea Garzelli et al., Proc. of IEEE International Geoscience and Remote Sensing Symposium (IGARSS '04), 2004, (im Folgenden der „Garzelli-Artikel") beschrieben sind, für die panchromatische Schärfung verwendet werden. Der Garzelli-Artikel wird durch Bezugnahme in seiner Gesamtheit hierin einbezogen, um Teil dieser Spezifikation zu bilden.
Je nach Design des Sensors können einige Spektralfilterstreifen größer als andere sein, wie zum Beispiel in Bezug auf 4C und 4D oben beschrieben. Die größeren Spektralstreifen können den Vorgang der Multi-Frame-Verbesserung in einigen Implementierungen ändern. Die nicht vergrößerten Teilbilder (z. B. grün, blau und IR in 4C) können auf eine Auflösung des vergrößerten (z. B. rot in 4C) Teilbilds hochgerechnet werden. Die Teilbilder werden registriert, um rekonstruierte Spektralbilder zu erstellen. Ähnlich der Ausführungsform des Sensors, der einen panchromatischen Sensor enthält, können die rekonstruierten Spektralbilder, die dem vergrößerten Spektralfilterstreifen entsprechen, auf mehreren überlappenden Erfassungen der interessanten Region durch den vergrößerten Spektralfilterstreifen basieren. Multi-Frame-Verbesserung kann an diesen mehreren überlappenden Spektralbildern durchgeführt werden, die über den vergrößerten Streifen erfasst wurden, um ein verbessertes Spektralbild zu erstellen. Demgemäß können Multi-Frame-Verbesserungstechniken auf mehrere panchromatische Bilder und/oder mehrere Spektralbilder angewendet werden, die mithilfe eines vergrößerten Spektralstreifens erfasst wurden.
Ähnlich wie oben beschrieben, können die rekonstruierten Spektralbilder in ein Multispektralbild umgewandelt werden, das in einen anderen Farbraum umgewandelt wird. In diesem Fall werden jedoch die Luminanzdaten nicht durch das verbesserte panchromatische Bild ersetzt. In einer Ausführungsform werden keine Änderungen an den Luminanzdaten durchgeführt. In einer anderen Ausführungsform werden die Luminanzdaten durch eines aus mehreren überlappenden Spektralbildern ersetzt. In noch einer anderen Ausführungsform werden die Luminanzdaten durch das verbesserte Spektralbild ersetzt. In einer Ausführungsform ist das verbesserte Spektralbild das grüne Spektralbild. Das Ersetzen der Luminanzdaten durch das verbesserte grüne Spektralbild kann vorteilhaft sein, da das grüne Spektralbild dem Kanal im menschlichen Sehsystem mit dem breitesten Frequenzgang entspricht.
In einer Ausführungsform wird, statt Multi-Frame-Verbesserung beim kombinierten Multispektralbild durchzuführen, Multi-Frame-Verbesserung an einem einzelnen rekonstruierten Spektralbild durchgeführt. Das blaue Spektralbild kann zum Beispiel mit Multi-Frame-Verbesserung geändert werden, um nicht nur die räumliche Treue (z. B. Auflösung) zu erhöhen, sondern auch mehr Licht in das blaue Spektralbild zu integrieren. Der blaue Kanal ist normalerweise der dunkelste der Farbkanäle, daher kann die Hinzufügung von Licht die Bildqualität verbessern. Multi-Frame-Verbesserung kann an jedem Spektralbild durchgeführt werden, zum Beispiel den roten, grünen oder Infrarot-Bildern.
Multi-Frame-Verbesserung und Pan-Sharpening können kombiniert werden, um die gesamte Berechnung, den Speicherzugriff und den Arbeitsplatzspeicher zu verringern, die für die Bearbeitung der Bilder nötig sind. Dies kann zum Beispiel durch getrennte Bearbeitung der panchromatischen und Spektralbilder für jedes Band erreicht werden. Durch Bearbeitung von Bändern statt vollständiger Bilder werden die Verarbeitungs- und Speicheranforderungen der Bearbeitung verringert. In dieser Ausführungsform wird die Registrierung fast am Ende der Bildbearbeitung statt fast zu Beginn durchgeführt. Außerdem können bestimmte mathematische Verfahren kombiniert werden, um die Zahl der erforderlichen Berechnungszyklen zu verringern.
Multi-Frame-Verbesserung und/oder Pan-Sharpening kann auf nur einen Teil (z. B. einen Subframe-Bereich) eines Bilds angewendet werden. 9 zeigt ein Beispiel eines Subframe-Bereichs 1102, der mit Multi-Frame- und/oder Pan-Sharpening-Verbesserung bearbeitet wird, während der Rest des Bilds (oder Bereich der Bildgebung) 1101 nicht bearbeitet wird, gemäß einer Ausführungsform. Diese Teilbildbereiche können als interessante Regionen (regions of interest, ROI) bezeichnet werden. Die Entscheidung, eine Verbesserung beim gesamten Bild oder nur einem Teilbildbereich durchzuführen, sowie die Auswahl des Teilbildbereichs können zum Beispiel durch die Anforderungen des Benutzers bestimmt werden.
10 ist ein Ablaufdiagramm, das ein Beispiel eines Verfahrens 1200 für die Verbesserung von Bildern mithilfe von Multi-Frame-Verbesserung und/oder Pan-Sharpening veranschaulicht. Die Bilder können mithilfe einer jeden der Ausführungsformen von Sensor 202 aufgenommen werden, die hierin beschrieben sind. Das Verfahren 1200 kann auf komplette Bilder oder auf einen Subframe-Bereich 1102 des Bilds angewendet werden. Das Verfahren 1200 kann durch ein Computersystem zur Bildbearbeitung, das aus Computerhardware besteht, bei Bildern durchgeführt werden, die tausende (oder mehr) Pixel enthalten. In einigen Implementierungen werden die Bilder durch ein Overhead-Bildgebungssystem aufgenommen und zum Boden gesendet (z. B. über eine Radiofrequenz(RF)-Kommunikationsverbindung) und Verfahren 1200 wird von einem Bildbearbeitungssystem am Boden durchgeführt.
Bei Block 1210 des exemplarischen Verfahrens 1200 wird auf mehrere panchromatische Bilder einer ROI zugegriffen (z. B. von einem Datenspeicher aus). In verschiedenen Ausführungsformen wird auf 2, 3, 4, 5, 6 oder mehr panchromatische Bilder zugegriffen. Bei Block 1220 werden Multi-Frame-Verbesserungstechniken (z. B. Super-Auflösung) verwendet, um ein mit Multi-Frame-Verbesserung bearbeitetes panchromatisches Bild zu erzeugen, das zumindest teilweise auf den mehreren panchromatischen Bildern basiert. Das verbesserte panchromatische Bild kann eine Auflösung haben, die größer als die einzelnen panchromatischen Bilder ist. Zum Beispiel wird in einigen Implementierungen auf 4 bis 6 panchromatische Bilder zugegriffen, um ein verbessertes panchromatisches Bild mit einer Auflösung bis zur Diffraktionsgrenze des optischen Bildgebungssystems zu erzeugen, das verwendet wird, um die einzelnen panchromatischen Bilder aufzunehmen. Das verbesserte panchromatische Bild kann in einem geeigneten Datenspeicher gespeichert oder auf andere Weise einem Benutzer bereitgestellt werden. Demgemäß kann in einigen Ausführungsformen ein verbessertes panchromatisches Bild bereitgestellt werden, das eine räumliche Auflösung hat, die größer ist als der panchromatische Kanal von Sensor 202. Auch wenn Verfahren 1200 Multi-Frame-Verbesserung für panchromatische Bilder veranschaulicht, kann Verfahren 1200 auf Spektral- oder Multispektralbilder angewendet werden, um verbesserte (z. B. super-aufgelöste) Spektral- oder Multispektralbilder zu erzeugen.
In einigen Ausführungsformen fährt Verfahren 1200 bei Block 1230 und 1240 mit Pan-Sharpening der Spektralbilder (oder Multispektralbilder) fort. Bei Block 1230 wird auf eines oder mehrere Spektralbilder zugegriffen (z. B. von einem Datenspeicher aus). Die Spektralbilder können bestimmten Farbbandbreiten (z. B. R, G, B, IR) entsprechen und sie können von Ausführungsformen von Sensor 202 aufgenommen werden, der hierin beschrieben ist. Wie hierin beschrieben, haben Spektralbilder normalerweise eine räumliche Auflösung (zumindest in eine Richtung), die geringer ist als die räumliche Auflösung des verbesserten panchromatischen Bilds. Bei Block 1240 wird ein mit Pan-Sharpening bearbeitetes Spektralbild (oder Multispektralbild) erzeugt, das zumindest teilweise auf dem mit Multi-Frame-Verbesserung bearbeiteten Bild basiert, das bei Block 1220 erzeugt wurde. Zum Beispiel können Spektralbilder durch Injektion von Details, die aus dem mit Multi-Frame-Verbesserung bearbeiteten panchromatischen Bild mit höherer Auflösung genommen werden, schärfer gemacht werden. Demgemäß kann in einigen Ausführungsformen ein mit Pan-Sharpening bearbeitetes Spektralbild (oder Multispektralbild) bereitgestellt werden, das eine räumliche Auflösung hat, die größer ist als die räumliche Auflösung von Spektralkanälen (und/oder panchromatischen Kanälen) von Sensor 202.
11 ist ein Ablaufdiagramm, das ein Beispiel eines Verfahrens 1300 für panchromatische Schärfung von Multispektralbildern veranschaulicht. Die Bilder können mithilfe einer jeden der Ausführungsformen von Sensor 202 aufgenommen werden, die hierin beschrieben sind. Das Verfahren 1300 kann auf komplette Bilder oder auf einen Subframe-Bereich 1102 des Bilds angewendet werden. Das Verfahren 1300 kann durch ein Computersystem zur Bildbearbeitung, das aus Computerhardware besteht, bei Bildern durchgeführt werden, die tausende (oder mehr) Pixel enthalten. In einigen Implementierungen werden die Bilder durch ein Overhead-Bildgebungssystem aufgenommen und zum Boden gesendet (z. B. über eine Radiofrequenz(RF)-Kommunikationsverbindung) und Verfahren 1300 wird von einem Bildbearbeitungssystem am Boden durchgeführt.
Bei Block 1310 des exemplarischen Verfahrens 1300 wird ein Multispektralbild von seinem ursprünglichen Farbraum (z. B. dem Farbraum des Sensors, der die Multispektralbilddaten aufnimmt) in einen Pan-Farbraum umgewandelt, der mit dem panchromatischen Bild verbunden ist, das für Pan-Sharpening verwendet wird. Das panchromatische Bild kann ein Pan-Bild mit höherer Auflösung oder ein mit Multi-Frame-Verbesserung bearbeitetes Pan-Bild sein. Der Pan-Farbraum kann zum Beispiel ein Luminanz-, Farbton- oder Sättigungsfarbsystem wie HSV, HSL, YCrCb oder YUV oder ein CIE-Farbraum wie CIEXYZ, CIELAB oder CIELUV sein. Der Pan-Farbraum kann eine gute Übereinstimmung mit dem Farbraum des panchromatischen Bilds sein, das für die Schärfung verwendet wird. In einigen Ausführungsformen ist der Pan-Farbraum so gestaltet, dass die Luminanzkomponente (oder eine ähnliche Komponente) des Multispektralbilds im Wesentlichen mit dem panchromatischen Bild korreliert, das für das Pan-Sharpening verwendet wird. Block 1310 ist optional und in bestimmten Ausführungsformen wird keine Farbumwandlung verwendet (Block 1340 wird in solchen Ausführungsformen ebenfalls nicht verwendet).
Bei Block 1320 wird das mit Farbraumumwandlung bearbeitet Multispektralbild in Bezug auf die räumliche Auflösung hochgerechnet, um der höheren räumlichen Auflösung des panchromatischen Bilds zu entsprechen. Bei Block 1330 kann eine Pan-Sharpening-Technik angewendet werden, um das Multispektralbild schärfer zu machen. Zum Beispiel können, wie hierin beschrieben, Luminanzdaten des Multispektralbilds durch das panchromatische Bild ersetzt werden, um ein verbessertes Multispektralbild zu bilden. Bei Block 1340 kann das verbesserte Multispektralbild wieder in den ursprünglichen Farbraum des Multispektralbilds umgewandelt werden (falls gewünscht).
Auch wenn das exemplarische Verfahren 1300 unter Bezugnahme auf Multispektral- und panchromatische Bilder beschrieben wurde, erfolgt dies zum Zweck der Veranschaulichung, nicht der Beschränkung. In anderen Ausführungsformen kann Verfahren 1300 verwendet werden, um Bilder mithilfe eines Spektralbilds mit höherer Auflösung durch Pan-Sharpening zu bearbeiten. Zum Beispiel hat die Ausführungsform von Sensor 202, die in 4C und 4D dargestellt ist, einen Spektralkanal (in diesem Fall: rot), der die doppelte Höhe der anderen Spektralkanäle (blau, grün und IR) hat und der verwendet werden kann, um mehrere Spektralbilder zu erzeugen, die durch Multi-Frame-Verbesserung und Pan-Sharpening der anderen Spektralkanäle bearbeitet wurden.
Zusätzliche Überlegungen
Alle Prozesse, Verfahren und Algorithmen, die in den vorstehenden Abschnitten beschrieben sind, können durch Codemodule verkörpert oder ganz oder teilweise automatisiert werden, die von einem oder mehreren Computern, Computersystemen, Computerprozessoren, Maschinen oder Hardware ausgeführt werden, die so konfiguriert sind, dass sie Computeranweisungen ausführen. Die Codemodule können auf jeder Art von nicht vorübergehendem, computerlesbarem Medium oder Hardware-Computerspeichergerät gespeichert sein, z. B. Festplatten, Solid-State-Speicher, RAM, ROM, optischen Datenträgern und/oder ähnlichem. Die Systeme und Module können auch als erzeugte Datensignale (z. B. als Teil einer Trägerwelle oder eines anderen analog oder digital verbreiteten Signals) auf einer Vielzahl computerlesbarer Übertragungsmedien übertragen werden, z. B. drahtlose und/oder verkabelte/kabelgebundene Medien, und sie können eine Vielzahl von Formen annehmen (z. B. als Teil eines einzelnen oder gemultiplexten analogen Signals oder als mehrere getrennte digitale Pakete oder Einzelbilder). Die Verfahren, Prozesse und Algorithmen können teilweise oder ganz in anwendungsspezifischen Schaltungen, Hardware für spezielle Zwecke oder Allzweck-Hardwarecomputersystemen implementiert werden, die so programmiert sind, dass sie die Verfahren, Prozesse oder Algorithmen gemäß Anweisungen von Programmsoftware ausführen. Die Ergebnisse der offenbarten Prozesse und Prozessschritte können, persistent oder sonst, auf jeder Art von nicht vorübergehendem, greifbarem Computerspeicher gespeichert werden, z. B. flüchtigem oder nicht flüchtigem Speicher.
Die verschiedenen, oben beschriebenen Merkmale und Prozesse können unabhängig voneinander verwendet oder auf verschiedene Weise kombiniert werden. Alle möglichen Kombinationen und Teilkombinationen sollen in den Umfang dieser Offenbarung fallen. Nichts in der vorstehenden Beschreibung soll implizieren, dass ein bestimmtes Merkmal, ein bestimmtes Element, eine bestimmte Eigenschaft, ein bestimmter Schritt, ein bestimmtes Modul, ein bestimmtes Verfahren, ein bestimmter Prozess oder ein bestimmter Block nötig oder unerlässlich ist. Außerdem können bestimmte Merkmale, Elemente, Eigenschaften, Verfahren, Prozesse, Module, Schritte oder Blöcke in einigen Implementierungen ausgelassen werden. Die hierin beschriebenen Verfahren und Prozesse sind außerdem nicht auf eine bestimmte Sequenz beschränkt und die damit verbundenen Blöcke oder Zustände können in anderen geeigneten Sequenzen durchgeführt werden. Die hierin beschriebenen exemplarischen Systeme und Komponenten können anders als beschrieben konfiguriert sein. Zum Beispiel können Elemente im Vergleich zu den offenbarten exemplarischen Ausführungsformen hinzugefügt, entfernt oder neu angeordnet werden.
Wie hierin verwendet, bedeuten Verweise auf „eine Ausführungsform” oder „Ausführungsformen”, dass ein bestimmtes Element, Merkmal, eine Struktur oder eine Eigenschaft, das/die in Verbindung mit der Ausführungsform beschrieben wird, zumindest in einer Ausführungsform enthalten ist. Das Erscheinen der Phrase „in einer Ausführungsform” an verschiedenen Orten in der Spezifikation bezieht sich nicht notwendigerweise immer auf dieselbe Ausführungsform.
Wie hierin verwendet, sollen die Begriffe „umfasst”, „umfassend”, „beinhaltet”, „enthält”, „hat”, „haben” und andere Varianten davon eine nicht ausschließliche Einbeziehung abdecken. Zum Beispiel ist ein Prozess, ein Verfahren, ein Artikel oder eine Vorrichtung, der/die eine Liste von Elementen umfasst, nicht notwendigerweise nur auf diese Elemente beschränkt, sondern kann andere Elemente beinhalten, die nicht ausdrücklich aufgelistet oder bei einem solchen Prozess, einem solchen Verfahren, einem solchen Artikel oder einer solchen Vorrichtung inhärent sind. Des Weiteren bezieht sich, sofern nichts Gegenteiliges angegeben wird, „oder” auf ein einschließendes und nicht auf ein ausschließendes Oder. Zum Beispiel ist eine Bedingung A oder B durch eines der folgenden erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden) und sowohl A als auch B sind wahr (oder vorhanden). Außerdem wird „eine”, „einer” oder „eines” verwendet, um Elemente und Komponenten der Ausführungsformen hierin zu beschreiben. Dies erfolgt lediglich aus praktischen Gründen, und um eine allgemeine Vorstellung der Erfindung zu vermitteln. Die Beschreibung sollte so gelesen werden, dass sie eines oder mindestens eines enthält, und der Singular umfasst auch den Plural, außer es ist offensichtlich anders gedacht.
Somit sollte, während bestimmte Ausführungsformen und Anwendungen veranschaulicht und beschrieben wurden, es selbstverständlich sein, dass die offenbarten Ausführungsformen nicht auf die genaue Konstruktion und Komponenten beschränkt sind, die hierin offenbart wurden. Verschiedene Modifikationen, Änderungen und Variationen, die für Fachleute auf dem Gebiet ersichtlich werden, können in der Anordnung, dem Betrieb und in den Einzelheiten der Verfahren und der Vorrichtung, die hierin offenbart werden, ohne Abweichung von der Idee und dem Umfang der Offenbarung erfolgen. Die vorstehende Beschreibung wurde zum Zweck der Erklärung unter Bezugnahme auf spezifische Ausführungsformen beschrieben. Die obigen veranschaulichenden Erörterungen sollen jedoch nicht allumfassend sein oder die Erfindungen genau auf die offenbarten Formen beschränken. In Bezug auf die obigen Anleitungen sind viele Modifizierungen und Varianten möglich. Die Ausführungsformen wurden gewählt und beschrieben, um die Prinzipien der Erfindungen und ihre praktischen Anwendungen zu beschreiben, um es dadurch anderen Fachleuten zu ermöglichen, die Erfindungen und verschiedenen Ausführungsformen mit verschiedenen Modifizierungen zu nutzen, die für die besondere, erwägte Nutzung geeignet sind.
Die vorliegende Anwendung offenbart die in den folgenden Klauseln definierten Aspekte, die Teil der vorliegenden Beschreibung, aber keine Ansprüche gemäß der Entscheidung J 15/88 der Juristischen Beschwerdekammer des Europäischen Patentamts darstellen.

(1) Sensor für die Sammlung von Bilddaten für die Verwendung in einem beweglichen Bildsystem, der Sensor umfassend: einen Spektralsensor, de so konfiguriert ist, dass er Spektralbilddaten erfasst, wobei der Spektralsensor einen Bildgebungsflächenbereich umfasst, der eine Bildgebungsbreite umfasst, und eine Vielzahl von Spektralfiltern, wobei die Spektralfilter zusammen einen Spektralbildgebungsteil des Bildgebungsflächenbereichs des Spektralsensors abdecken, wobei jeder Spektralfilter eine Filterbreite hat, die im Wesentlichen mindestens gleich der Bildgebungsbreite ist, und jeder Spektralfilter eine Spektralfilterhöhe hat, die größer als oder gleich einer Mindestfilterhöhe ist, worin die Mindestfilterhöhe einer Rate entspricht, mit der ein Bild einer interessanten Region sich wegen der relativen Bewegung des beweglichen Bildgebungssystems geteilt durch eine Rate der Einzelbilderfassung des Spektralsensors über den Spektralsensor zu bewegen scheint.
(2) Sensor nach Klausel 1, worin der Spektralsensor einen zweidimensionalen Sensor mit festem Suchfeld, einen Zeilensensor, ein Farbrad oder ein Color Filter Array umfasst.
(3) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 1 oder Klausel 2, worin ein erster Spektralfilter aus der Vielzahl der Spektralfilter eine größere Spektralfilterhöhe hat als ein zweiter Spektralfilter aus der Vielzahl der Spektralfilter.
(4) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 3, worin der erste Spektralfilter ein grüner Spektralfilter ist, der so konfiguriert wird, dass er Licht innerhalb eines Wellenlängenbereichs aussendet, der rund um grüne Wellenlängen zentriert ist.
(5) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 3, worin der erste Spektralfilter ein blauer Spektralfilter ist, der so konfiguriert wird, dass er Licht innerhalb eines Wellenlängenbereichs aussendet, der rund um blaue Wellenlängen zentriert ist.
(6) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 3, worin die Spektralfilterhöhe des ersten Spektralfilters mindestens das Doppelte der Spektralfilterhöhe des zweiten Spektralfilters ist.
(7) Sensor nach einer der vorstehenden Klauseln, worin die Spektralfilterhöhen jeder der Vielzahl von Spektralfiltem zwischen dem Ein- und Vierfachen der Mindestfilterhöhe betragen.
(8) Sensor nach einer der vorstehenden Klauseln, worin die Spektralfilter mindestens einen roten Spektralfilter, einen grünen Spektralfilter, einen blauen Spektralfilter und einen Infrarot-Spektralfilter umfassen.
(9) Sensor nach einer der vorstehenden Klauseln, des Weiteren umfassend einen panchromatischen Sensor, der so konfiguriert ist, dass er panchromatische Bilddaten der interessanten Region erfasst, wobei der panchromatische Sensor einen panchromatischen Bildgebungsteil des Bildgebungsflächenbereichs des Spektralsensors abdeckt, und der panchromatische Sensor eine panchromatische Breite hat, die im Wesentlichen mindestens dieselbe wie die Bildgebungsbreite ist, und eine panchromatische Höhe, die größer als oder gleich der Mindestfilterhöhe ist.
(10) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 9, worin die panchromatische Sensorhöhe größer als jede der Spektralfilterhöhen ist.
(11) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 9, worin die panchromatische Sensorhöhe im Wesentlichen gleich einer Summe aller Spektralfilterhöhen ist.
(12) Sensor nach einer der vorstehenden Klauseln, insbesondere einer der Klauseln 9 bis 11, worin der panchromatische Sensor einen oder mehrere panchromatische Filter umfasst, die eine panchromatische Filterhöhe haben, die größer als oder gleich der Mindestfilterhöhe ist.
(13) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 12, worin jeder der ein oder mehreren panchromatischen Filter eine panchromatische Bandbreite hat, die größer als die spektralen Bandbreiten jedes der Spektralfilter ist.
(14) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 13, worin die panchromatische Bandbreite zwischen ca. 450 nm und ca. 900 nm ist.
(15) Sensor nach einer der vorstehenden Klauseln, insbesondere einer der Klauseln 9 bis 14, des Weiteren umfassend eine Steuerung, die so konfiguriert ist, dass sie Bilddaten vom panchromatischen Sensor mit einer Video-Frame-Rate erfasst und die Bilddaten einem Echtzeit-Video-Feed bereitstellt.
(16) Sensor nach einer der vorstehenden Klauseln, insbesondere Klausel 15, worin Video-Frame-Rate größer als ca. 5 Einzelbilder pro Sekunde ist.
(17) Sensor nach einer der vorstehenden Klauseln, insbesondere einer der Klauseln 9 bis 16, worin eine panchromatische räumliche Auflösung des panchromatischen Sensors im Wesentlichen gleich einer räumlichen Auflösung des Spektralsensors ist.
(18) Verfahren zur Verbesserung von Bilddaten, das Verfahren umfassend: unter der Kontrolle eines Bildgebungsbearbeitungssystems, das Computerhardware umfasst: Empfang einer Sequenz von Spektralbildstreifen, wobei jeder Spektralbildstreifen ein Bild eines Teils einer interessanten Region umfasst und jeder Spektralbildstreifen, Bilddaten aus einem Spektralwellenlängenbereich des Lichts umfasst; Registrierung der Sequenz der Spektralbildstreifen, um ein Spektralbild der interessanten Region bereitzustellen, Empfang einer Vielzahl panchromatischer Bilder der interessanten Region, wobei jedes panchromatische Bild Bilddaten aus einem panchromatischen Wellenlängenbereich des Lichts umfasst, der breiter als der Spektralwellenlängenbereich des Lichts ist; Durchführung von Multi-Frame-Verbesserung bei der Vielzahl panchromatischer Bilder, um ein verbessertes panchromatisches Bild mit einer höheren Auflösung zu erzeugen als jedes der Vielzahl panchromatischer Bilder; und Erzeugung eines mit panchromatischer Schärfung bearbeiteten Bilds und des Spektralbilds, wobei das mit panchromatischer Schärfung bearbeitete Spektralbild eine höhere Auflösung als das Spektralbild hat.
(19) Verfahren nach Klausel 18, worin der Empfang einer Sequenz von Spektralbildstreifen umfasst: Empfang einer ersten Sequenz von Spektralbildstreifen, die Bilddaten aus einem ersten Spektralwellenlängenbereich des Lichts umfassen; Empfang einer zweiten Sequenz von Spektralbildstreifen, die Bilddaten aus einem zweiten Spektralwellenlängenbereich des Lichts umfassen, wobei der zweite Spektralbereich sich vom ersten Spektralbereich unterscheidet; und die Registrierung der Sequenz der Spektralbildstreifen umfasst: Registrierung der ersten Sequenz der Spektralbildstreifen, um ein erstes Spektralbild der interessanten Region bereitzustellen; und Registrierung der zweiten Sequenz von Spektralbildstreifen, um ein zweites Spektralbild der interessanten Region bereitzustellen.
(20) Verfahren nach einer der vorstehenden Klauseln, insbesondere Klausel 19, des Weiteren umfassend die Kombination des ersten Spektralbilds und des zweiten Spektralbilds, um ein Multispektralbild der interessanten Region zu erzeugen.
(21) Verfahren nach einer der vorstehenden Klauseln, des Weiteren umfassend die Hochrechnung des Spektralbilds auf die Auflösung des verbesserten panchromatischen Bilds.
(22) Verfahren nach einer der vorstehenden Klauseln, worin die Vielzahl der panchromatischen Bilder und das Spektralbild eine im Wesentlichen ähnliche Erfassungsauflösung haben.
(23) Verfahren nach einer der vorstehenden Klauseln, worin die Erzeugung des mit panchromatischer Schärfung bearbeiteten Spektralbilds umfasst: Umwandlung des Spektralbilds in ein Farbsystem, das eine Luminanzkomponente umfasst, um ein umgewandeltes Spektralbild zu erstellen; und Ersetzen der Luminanzkomponente des umgewandelten Spektralbilds durch das verbesserte panchromatische Bild.
(24) Verfahren nach einer der vorstehenden Klauseln, insbesondere Klausel 23, des Weiteren umfassend, die Umwandlung zurück in ein Farbsystem des Spektralbilds, nach Ersetzen der Luminanzkomponente des umgewandelten Spektralbilds durch das verbesserte panchromatische Bild.
(25) Verfahren nach einer der vorstehenden Klauseln, worin der Empfang der Vielzahl panchromatischer Bilder den Empfang von mindestens vier panchromatischen Bildern umfasst.
(26) Verfahren nach einer der vorstehenden Klauseln, worin die Vielzahl der panchromatischen Bilder von einem Bildgebungssystem mit einer Diffraktionsgrenze erfasst werden, und der Empfang der Vielzahl panchromatischer Bilder den Empfang ausreichender panchromatischer Bilder umfasst, damit das verbesserte panchromatische Bild eine Auflösung hat, die ungefähr der Diffraktionsgrenze des Bildgebungssystems entspricht.
(27) Verfahren nach einer der vorstehenden Klauseln, worin die Erzeugung des mit panchromatischer Schärfung bearbeiteten Spektralbilds die Injektion von Details aus dem verbesserten panchromatischen Bild in das Spektralbild umfasst.
(28) Verfahren nach einer der vorstehenden Klauseln, worin die Durchführung der Multi-Frame-Verbesserung die Durchführung von Multi-Frame-Verbesserung nur an einem Subframe-Bereich der panchromatischen Bilder umfasst, um ein verbessertes panchromatisches Bild des Subframe-Bereichs zu erzeugen; und die Erzeugung des mit panchromatischer Schärfung bearbeiteten Spektralbilds die Erzeugung des mit panchromatischer Schärfung bearbeiteten Spektralbilds nur des Subframe-Bereichs umfasst.
(29) Verfahren für die Verbesserung von Spektralbilddaten, das Verfahren umfassend: unter der Kontrolle eines Bildgebungsbearbeitungssystems, das Computerhardware umfasst: Empfang einer Vielzahl aufeinanderfolgender Spektralbilder von Teilen einer interessanten Region, wobei jedes Spektralbild eine Vielzahl von Spektralbildstreifen umfasst und jeder Spektralbildstreifen Bilddaten aus einem anderen Wellenlängenbereich des Lichts umfasst; Registrierung der Spektralbildstreifen aus jedem Wellenlängenbereich, um eine Vielzahl rekonstruierter Spektralbilder zu erstellen; Kombination der rekonstruierten Spektralbilder, um ein Multispektralbild zu erstellen; Umwandlung des Multispektralbilds in ein Farbsystem, das eine Luminanzkomponente umfasst, um ein umgewandeltes Multispektralbild zu erstellen, und Ersetzen der Luminanzkomponente des umgewandelten Multispektralbilds durch eine Ersatzspektralbild auf Basis der rekonstruierten Spektralbilder, um ein verbessertes Spektralbild zu erzeugen.
(30) Verfahren nach einer der vorstehenden Klauseln, insbesondere Klausel 29, worin das Ersatzspektralbild Bilddaten von Licht umfasst, das innerhalb eines Wellenlängenbereichs gesammelt wurden, der rund um grüne Wellenlängen zentriert ist.
(31) Verfahren nach einer der vorstehenden Klauseln, insbesondere Klausel 29 oder Klausel 30, worin die Spektralbildstreifen einen vergrößerten Spektralbildstreifen umfassen, der Bilddaten eines größeren Teils der interessanten Region umfasst als die Regionen, die von den anderen Spektralbildstreifen erfasst wurden, und worin die Registrierung die Registrierung einer Vielzahl von vergrößerten Spektralbildstreifen umfasst, um eine Vielzahl überlappender Spektralbilder zu erstellen.
(32) Verfahren nach einer der vorstehenden Klauseln, insbesondere Klausel 31, umfassend die Durchführung von Multi-Frame-Verbesserung bei den überlappenden Spektralbildern, um das Ersatz-Spektralbild zu erstellen.
(33) Verfahren nach einer der vorstehenden Klauseln, insbesondere Klausel 31, worin das Ersatzspektralbild eines der überlappenden Spektralbilder ist.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„Advances and Challenges in Super- Resolution”, von Sina Farsiu et al., International Journal of Imaging Systems and Technology, S. 47–57, Band 14, 2004 (im Folgenden der „Farsiu-Artikel”) [0088]
„Pan-Sharpening of Multispectral Images: A Critical Review and Comparision”, von Andrea Garzelli et al., Proc. of IEEE International Geoscience and Remote Sensing Symposium (IGARSS '04), 2004, (im Folgenden der „Garzelli-Artikel”) [0093]
Entscheidung J 15/88 der Juristischen Beschwerdekammer des Europäischen Patentamts [0111]

Claims

Sensor (202) für die Sammlung von Bilddaten für die Verwendung in einem beweglichen Bildgebungssystem, wobei der Sensor (202) Folgendes umfasst: einen Spektralsensor, der so konfiguriert ist, dass er Spektralbilddaten erfasst, der Spektralsensor umfassend einen Bildgebungsflächenbereich, der eine Bildgebungsbreite umfasst; eine Vielzahl von Spektralfiltern (305a, 305b, 305c, 305d; 505a, 505b, 505c, 505d; 905a, 905b, 905c, 905d; 1005a, 1005b, 1005c, 1005d), wobei die Spektralfilter zusammen einen Spektralbildgebungsteil des Bildgebungsflächenbereichs des Spektralsensors abdecken, jeder Spektralfilter eine Filterbreite hat, die im Wesentlichen mindestens gleich der Bildgebungsbreite ist, und jeder Spektralfilter eine Spektralfilterhöhe (307; 507; 907; 1007) hat, die größer als oder gleich einer Mindestfilterhöhe ist, worin aufgrund der relativen Bewegung des beweglichen Bildgebungssystems geteilt durch eine Rate der Einzelbilderfassung des Spektralsensors die Mindestfilterhöhe einer Rate entspricht, mit der ein Bild einer interessanten Region sich um den Spektralsensor zu bewegen scheint; und ein panchromatischen Sensor, der so konfiguriert ist, dass er panchromatische Bilddaten der interessanten Region erfasst, wobei der panchromatische Sensor einen panchromatischen Bildgebungsteil des Bildgebungsflächenbereichs des Spektralsensors abdeckt, und der panchromatische Sensor eine panchromatische Breite hat, die im Wesentlichen mindestens dieselbe wie die Bildgebungsbreite ist, und eine panchromatische Höhe, die größer als oder gleich der Mindestfilterhöhe ist.
Sensor nach (202) nach Anspruch 1, worin ein erster Spektralfilter aus der Vielzahl der Spektralfilter eine größere Spektralfilterhöhe hat als ein zweiter Spektralfilter aus der Vielzahl der Spektralfilter.
Sensor nach (202) nach Anspruch 2, worin der erste Spektralfilter ein grüner Spektralfilter ist, der so konfiguriert ist, dass er Licht innerhalb eines Wellenlängenbereichs aussendet, der rund um grüne Wellenlängen zentriert ist, oder der erste Spektralfilter ein blauer Spektralfilter ist, der so konfiguriert ist, dass er Licht innerhalb eines Wellenlängenbereichs aussendet, der rund um blaue Wellenlängen zentriert ist.
Sensor (202) nach irgendeinem der Ansprüche 1 bis 3, worin die Spektralfilterhöhen jeder der Vielzahl von Spektralfiltern zwischen dem Ein- und Vierfachen der Mindestfilterhöhe betragen.
Sensor (202) nach Anspruch 1, worin die panchromatische Sensorhöhe größer als jede der Spektralfilterhöhen ist.
Sensor (202) nach Anspruch 1, worin die panchromatische Sensorhöhe im Wesentlichen gleich einer Summe aller Spektralfilterhöhen ist.
Sensor (202) nach irgendeinem der Ansprüche 1 bis 6, worin der panchromatische Sensor einen oder mehrere panchromatische Filter (505efgh; 505e, 505f, 505g, 505h; 1005e) umfasst, die eine panchromatische Filterhöhe haben, die größer als oder gleich der Mindestfilterhöhe ist.
Sensor (202) nach irgendeinem der Ansprüche 1 bis 7, des Weiteren umfassend eine Steuerung (320), die so konfiguriert ist, dass sie Bilddaten vom panchromatischen Sensor mit einer Video-Frame-Rate erfasst und die Bilddaten einem Echtzeit-Video-Feed bereitstellt.
Sensor (202) nach Anspruch 8, worin Video-Frame-Rate größer als ca. 5 Einzelbilder pro Sekunde ist.
Sensor (202) nach irgendeinem der Ansprüche 1 bis 9, worin eine panchromatische räumliche Auflösung des panchromatischen Sensors im Wesentlichen gleich einer räumlichen Auflösung des Spektralsensors ist.