DE69816126T2

DE69816126T2 - Optischer sensor mit breitem dynamischem bereich

Info

Publication number: DE69816126T2
Application number: DE69816126T
Authority: DE
Inventors: S. Joseph STAM; H. Jon BECHTEL; R. Eric FOSSUM; E. Sabrina KEMENY
Original assignee: Gentex Corp
Current assignee: Gentex Corp
Priority date: 1997-12-31
Filing date: 1998-12-30
Publication date: 2004-04-15
Anticipated expiration: 2018-12-31
Also published as: AU1949599A; DE69816126D1; US6008486A; JP2002500476A; WO1999034592A1; CA2315145A1; EP1044561A1; EP1044561B1

Description

Die vorliegende Erfindung betrifft allgemein optische Sensoren und insbesondere optische Sensoren mit einem Array von CMOS-Photogate-Aktivpixel-Sensoren mit einem weiten Dynamikbereich.
Technischer Hintergrund
Optische Sensoren finden eine Vielzahl von Anwendungen, einschließlich Satellitenlagesensoren, Videokameras und Sicherheitssystemen. Viele von diesen Anwendungen, wie etwa ein Fahrzeugsichtsystem, müssen über einen extensiven Bereich von Bedingungen arbeiten. Zum Beispiel erlaubt es ein weiter intraszenarischer Helligkeitsbereich, schwach leuchtende Nachtszenen auch in der Gegenwart der Blendung von Scheinwerfern zu betrachten. Ein weiter inter-szenarischer Helligkeitsbereich erlaubt die Betrachtung von Szenen, die durch helles Sonnenlicht sowie auch durch Mondlicht beleuchtet sind. Noch weiter müssen es die Rahmen (Frames) erlauben, Szenen scheinbar in Echtzeit anzuzeigen.
Ladungsgekoppelte Vorrichtungen (CCDs) sind häufig die Technologie der Wahl gewesen. Ein optischer CCD-Sensor arbeitet als analoges Schieberegister, das die Ladung, die proportional zum auf ein Pixel fallenden Licht entstanden ist, quer über benachbarte Pixel durchlässt, bis die Ladung ein Endpixel erreicht, wo sie verarbeitet wird. Ein Beispiel einer CCD-Vorrichtung ist in der WO A 97 17800 offenbart, die offenbart, Lad_ungen in jedem Pixel, die über zwei unterschiedliche Integrationsdauern akkumuliert sind, zu speichern und die Ladungen multiplexartig auszulesen. Jedoch haben die Kosten, die Beschränkungen in der Ausleserate, die Anforderungen nach hohen und mehrfachen Spannungspegeln und Integrationsinkompatibilitäten der unterstützten Elektronik die Anpassung von CCDs im großen Maßstab an bestimmte Anwendungen, wie etwa Fahrzeugsichtsysteme, verhindert.
Anders als CCDs verwenden Aktivpixelsensoren (APSs) zumindest ein aktives Element innerhalb jedes Pixels, um eine Verstärkung, Pixelauswahl, Ladungsspeicherung oder einen ähnlichen Vorteil zu erreichen. Insofern haben APS-Vorrichtungen viele der Vorteile der CCDs, einschließlich hoher Empfindlichkeit, hoher Signaltreue und großen Array-Formaten. Weil auf APS-Zellen reihenweise zugegriffen wird, werden die Probleme, die bei der Überführung der Ladung über die Pixelzellen entstehen, wie es bei CCD-Sensoren der Fall ist, gelindert. Zusätzliche Vergleiche zwischen APS-Zellen und anderen Vorrichtungen sind z. B. in "Active Pixel Sensors: Are CCD's Dinosaurs?" in Proceedings of SPIE: Charge-Coupled Devices and Solid State Optical Sensors III, Ausgabe 30, Seiten 2–14 (1993) von E. R. Rossum dargeboten.
Eine Form von APS verwendet eine Photodioden-p-n-Verknüpfung und einen Oberflächenfolgepuffer in jedem Pixel. Jedoch leiden Photodiodenvorrichtungen typischerweise an einem hohen kTC, 1/f und festem Musterrauschen, wodurch der dynamische Bereich beschränkt ist.
Eine alternative APS-Konstruktion verwendet ein Metall-auf-Silicium (MOS)-Photogate, um Ladung proportional zum Lichteinfall während einer Integrationsperiode zu akkumulieren. Die Ladung kann zu einem Sensorbereich zur Auslesung verschoben werden. Der Sensorbereich kann auch rückgesetzt werden, was eine Referenzausgabe erlaubt, die Rauschpegel anzeigt. Die Referenz kann von dem integrierten Lichtwert subtrahiert werden, um eine korrelierte Doppelabtastung zu inplementieren.
Eine Photogatevorrichtung bietet verschiedene Vorteile. Ein erster Vorteil ist, dass die Photogate einen sehr niedrigen Rauschpegel haben, im Vergleich zu anderen Vorrichtungen, wie etwa Photodioden. Dies führt dazu, dass weniger Integrationszeit erforderlich ist, um eine gewünschte Lichtsensitivität zu erreichen. Ein zweiter Vorteil ist, dass der Photogate APS mit Standard CMOS Herstellungsverfahren kompatibel ist. Dies erlaubt es, dass ein APS Array zusammen mit einer Steuer- und Prozessschaltung auf demselben integrierten Schaltungschip gebaut wird.
Um die weiten intraszenarischen und interszenarischen Helligkeitspegel aufzunehmen, ist ein vergrößerter dynamischer Bereich erforderlich. Dies kann erreicht werden, indem die Integrationszeit vergrößert wird, die von jeder Pixelzelle in dem optischen Sensor benötigt wird. Traditionell bedeutete, dass die Integrationszeit eine entsprechende Zunahme in der Rahmen-(Frame) Zeit hat. Da die Rahmenzeit die Rate bestimmt, mit der das Ausgabebild aktualisiert wird, kann eine zunehmende Rahmenzeit dazu führen, dass die ausgegebenen Bilder nicht länger in Echtzeit erscheinen.
Zusammenfassung der Erfindung
Eine Hauptaufgabe der vorliegenden Erfindung ist es, ein System und ein Verfahren zum Vergrößern des Dynamikbereichs eines optischen Sensors anzugeben, während eine nahezu Echtzeit-Rahmen (Frame)-Rate beibehalten wird.
Eine andere Aufgabe der vorliegenden Erfindung ist es, ein System und ein Verfahren zum Betrachten von Details in Szenen anzugeben, die durch schwache Beleuchtung verdeckt oder durch helle Lichtquellen maskiert sein könnten.
Eine noch weitere Aufgabe der vorliegenden Erfindung ist es, ein System und ein Verfahren zum Betrachten von Szenen mit weiten interszenarischen Helligkeitspegeln anzugeben.
Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein System und ein Verfahren zum Betrachten von Szenen mit weiten intraszenarischen Helligkeitspegeln anzugeben.
Eine noch weitere Aufgabe ist es, eine Ansammlung möglicher coexistierender Architekturen für optische Sensoren mit vergrößertem Dynamikbereich zu beschreiben.
Bei der Ausführung der obigen Aufgaben und anderen Zielen und Merkmalen der vorliegenden Erfindung wird ein Verfahren angegeben, um die effektive Integrationszeit zu vergrößern, ohne eine entsprechende Zunahme in der Rahmenzeit.
In einer Ausführung hält jede Pixelzelle den Ladungswert, der dem während der vorherigen Rahmenperiode akkumulierten Licht entspricht, während die Integration von einfallendem Licht in der gegenwärtigen Rahmendauer ausgeführt wird. Am Ende der gegenwärtigen Rahmendauer werden beide Werte ausgelesen und summiert und der gegenwärtige Wert wird gespeichert. Dieses doppelte Integrationsverfahren produziert in jeder Rahmendauer einen Ausgangswert, der das einfallende Licht über zwei Rahmendauern hinweg repräsentiert, was den Dynamikbereich effektiv verdoppelt.
In einer anderen Ausführung wird das über eine lange Dauer einfallende Licht in jeder Pixelzelle gehalten. Die Zelle integriert dann das einfallende Licht über eine kurze Dauer. Beide Werte werden ausgelesen und verglichen. Wenn der lange Integrationswert an oder nahe der Sättigung ist, wird der kurze Integrationswert verwendet. Dieses doppelte Integrationsverfahren erhöht den dynamischen Bereich der Pixelzelle um einen Faktor, der in etwa dem Verhältnis der langen Integrationszeit zur kurzen Integrationszeit equivalent ist.
In einer noch anderen Ausführung wird die Integrationszeit erhöht, indem ein Untersatz von Pixelzellen jede Rahmenperiode ausliest, während die Zellen, die während der gegenwärtigen Rahmenperiode nicht gelesen werden, die Integration fortsetzen. Die Werte für die Zellen, die nicht in einer gegebenen Rahmenperiode gelesen werden, können interpoliert werden. Dieses Verschachtelungsverfahren bietet einen Kompromiss zwischen der Integrationszeit und der räumlichen Auflösung.
In einer weiteren Ausführung können einzelne oder Gruppen von Pixelzellen zu jeder Zeit rückgesetzt werden, was ihre Integrationsdauer verkürzt. Dies vergrößert den Dynamikbereich, indem erlaubt wird, dass eine Pixelzelle, die eine allgemein lichtarme Szenerie sensiert, eine längere Integrationszeit hat als eine Pixelzelle, die einen kleineren, hell leuchtenden Bereich sensiert.
In der bevorzugten Ausführung sind doppelte Integration, duale Integration, Verschachtelung und das Rücksetzen einzelner Pixeln alle verfügbar, und können selektiv gemeinsam oder separat genutzt werden, um für einen vergrößerten Dynamikbereich über weite interszenarische und intraszenarische Helligkeitsbedingungen zu sorgen.
Gemäß der vorliegenden Erfindung wird auch ein System für einen optischen Sensor mit breitem Dynamikbereich angegeben. Das System enthält ein Array von Aktivpixel-Sensorzellen, einen oder mehrere Dekoder zum Wählen von Zellengruppen, Ausgangsschaltungen, die eine Ausgabe von den Pixelzellen aufnehmen und Dynamikbereich-Vergrößerungsoperationen, Rauschreduktions-Operationen und eine Analog-Digitalumwandlung durchführen können, sowie eine Steuerschaltung.
Die obigen und andere Ziele, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden detailierten Beschreibung der besten Ausführungsweise der Erfindung in Verbindung mit den beigefügten Zeichnungen leicht ersichtlich.
Kurzbeschreibung der Zeichnungen
1 ist ein Blockdiagramm eines beispielhaften optischen Sensors gemäß der vorliegenden Erfindung;
2 ist ein schematisches Diagramm, das den Betrieb eines CMOS Photogate-Aktivpixelsensors darstellt;
3 ist ein schematisches Diagramm einer doppelte Integrationszeit implementierenden optischen Sensor Architektur gemäß der vorliegenden Erfindung;
4 ist ein schematisches Diagramm einer duale Integrationszeiten implementierenden optischen Sensorarchitektur gemäß der vorliegenden Erfindung;
5a ist ein Blockdiagramm einer reihenweise Verschachtelung implementierenden optischen Sensorarchitektur gemäß der vorliegenden Erfindung;
5b ist ein Blockdiagramm einer gruppenweise Verschachtelung implementierenden optischen Sensor Architektur gemäß der vorliegenden Erfindung; und
6 ist ein schematisches Diagramm einer einzelnen Einzelpixel-Rücksetzen implementierenden optischen Sensorarchitektur gemäß der vorliegenden Erfindung.
Beste Arten zur Ausführung der Erfindung
Nun ist in Bezug auf 1 ein Blockdiagramm eines beispielhaften optischen Sensors gezeigt. Der optische Sensor kombiniert ein Array von Pixelsensoren mit einer Steuer- und Ausgabeschaltung.
Eine Mehrzahl optischer Pixelsensoren, bevorzugt APS-Zellen, sind in Reihen und Spalten angeordnet. Eine typische Pixelsensorzelle ist mit 20 bezeichnet. Jede Reihe der Pixelsensoren wird zur Ausgabe durch einen Reihendekoder 22 ausgewählt.
Jeder der Pixelsensoren in einer gewählten Reihe liefert ein Ausgangssignal zu einer entsprechenden Ausgabeschaltung 24. Die Ausgabeschaltungen können Pixelsensorsignale konditionieren und kombinieren, wie dies unten in Bezug auf die 3 und 4 beschrieben wird. Die Ausgabeschaltungen können auch analoge Digitalwandler (ADCs) enthalten, um ausgegebene Schaltungsergebnisse zu digitalisieren. ADCs für optische Sensoren sind gut bekannt, z. B. in "Low-Light-Level Image Sensor with On-Chip Signal Processing," Proceeding of SPIE, Ausgabe 1952, Seiten 23–33 (1993) von Mendis, Pain, Nixon und Fossum.
Die Ausgabeschaltungen 24 können digitalisierte Werte an einen Puffer 28 ausgeben, um einen seriellen oder parallelen Strom von Ausgabedaten zu beeinflussen. Eine Alternative zur Anordnung eines ADC in jeder Ausgabeschaltung 24 ist es, einen einzelnen ADC im Puffer 28 zu verwenden.
Die Steuerung des optischen Sensors erfolgt durch einen Zeitsteuerer 26, der Signale zu Pixelsensoren 20 schickt, einem Reihendekoder 22 und Ausgabeschaltungen 24. Der Zeitsteuerer 26 kann auch externe Steuersignale 30 empfangen, die z. B. Integrationszeiten, Rücksetzzeiten und eingesetzte Typen von Bildsensorarchitekturen indizieren, wie sie in Bezug auf die 3 bis 6 beschrieben sind.
CMOS Photogate APS
Nun ist in Bezug auf 2 ein CMOS Photogate-Aktivpixelsensor gezeigt. Eine kurze Beschreibung des APS-Betriebs ist nachfolgend beschrieben. Eine detaillierte Beschreibung findet sich in dem U.S. Patent 5,471,515 mit dem Titel "Active Pixel Sensor with Intra-Pixel Charge Transfer" von Fossum, Mendis und Kemeny.
Eine Pixelsensorzelle ist allgemein bei der 20 gezeigt. Die Photogateelektrode 40 liegt auf einem Siliziumsubstrat 42. Ein Photogatesignal PG wird auf einer positiven Spannung gehalten, um eine Potentialsenke 44 in dem Substrat 42 zu bilden. Auf das Photogate fallendes Licht erzeugt eine Ladung, die während einer Integrationsdauer in der Senke 44 akkumuliert wird. Eine Transfergateelektrode 46 wird anfangs auf einer weniger positiven Spannung als das Photogatesignal PG gehalten, um eine Potentialbarriere 58 benachbarte Senke 44 zu bilden. Eine Fließdiffusion 50 ist mit dem Gate eines Sourcefolger-FET 52 verbunden, dessen Drain mit einer Drainspannung VDD verbunden ist. Eine Rücksetzelektrode 54 wird anfänglich durch ein Rücksetzsignal RST auf einer Spannung gehalten, die einer Transfergatespannung TX entspricht, um darum eine Transferbarriere 56 zu bilden. Die mit einer Draindiffusion 58 verbundene Versorgungsspannung VDD erzeugt eine konstante Potentialsenke 60 unter der Diffusion 58. Ein Reihen-Wähl-FET 62 erzeugt eine Spannung am Knoten OUT, als 68 bezeichnet, proportional zur Ladung, die unter der Fließdiffussion 50 gespeichert ist, wenn ein Signal ROW angelegt wird. Eine Konstantspannung wird durch ein Signal VLN am Gate des Last-FET 64 angelegt. Der Last FET 64 kann in jeder APS Zelle implementiert sein, oder ein Transistor kann für eine Spalte von APS Zellen genutzt werden. Die Transistoren 52, 62 und 64 bilden einen geschalteten Pufferkreis.
Der Bereich unter der Fließdiffusion 50 wird rückgesetzt, indem vorübergehend die Rücksetzelektrode 54 auf eine Spannung nahe VDD gebracht wird, um einen Rücksetzpotentialpegel 66 zu erzeugen. Das Anlegen des ROW-Signals bewirkt, dass eine Referenzspannung bei OUT 68 erscheint. Diese Referenzspannung kann von integrierten Lichtauslesungen subtrahiert werden, um den Einfluss von KTC und Schwellenwert-Ungleichmässigkeit induziertem festem Musterrauschen zu begrenzen, eine Technik die als korrelierte Doppelabtastung bekannt ist.
Am Ende der Integrationsdauer werden Elektronen in der Senke 44 transferiert, indem die Photogatespannung PG derart gesenkt wird, dass die Ladung von der Senke 44 zu unter der Fließdiffusion 50 bewegt wird. Dies verändert den Potentialpegel des Fließgate von dem Rücksetzpegel 66 zum Pegel 70, um eine Ladungsmenge anzuzeigen, die während der Integrationsdauer akkumuliert ist. Eine zur integrierten Ladung proportionale Spannung wird an den Knoten OUT 68 durch Anlegen des ROW-Signals an FET62 geliefert.
Angemerkt werden soll, dass die Fließdiffusion 50 als Ladungsspeicherungsvorrichtung wirkt und die Ladung von einer vorherigen Integration halten kann, während das Photogate 40 eine neue Ladung integriert.
In einer alternativen Ausführung wird die Fließdiffusion 50 durch ein fliesendes Gate ersetzt, das schematisch in 2 durch eine vereinfachte strichlinierte Fließgateelektrode 72 gezeigt. Der Basisbetrieb der Fließgateelektrode 72 ist ähnlich der Fließdiffusion 50.
Doppel-Integrationsdauer-Architektur
Um ein Ausgangsbild zu erhalten, das in Echtzeit erscheint, müssen jede Sekunde wenigstens 30 Rahmen (Frames) erzeugt werden. Dies impliziert, dass, wenn jede Pixelzelle bei jedem Rahmen ausgelesen werden soll, eine Integrationsdauer, die nicht größer ist als 33 Millisekunden erforderlich ist. Die doppelte Integration summiert die Ladung, die über zwei Rahmendauern integriert ist. Für optische Sensoren, die genutzt werden können, um schwach leuchtenden Szenerien zu betrachten, wie etwa z. B. Fahrzeugsichtsysteme, wird eine effektive Integrationszeit von angenähert der doppelten Rahmenrate erreicht, während noch eine nahezu Echtzeitausgabe erhalten bleibt.
Nun ist in Bezug auf 3 ein schematisches Diagramm für die Ausgabeschaltung eines Doppelintegrationsbildsensors gezeigt. Photogate APS Pixelsensoren 20 in einer gegebenen Spalte haben Ausgangsknoten 68, die zur Bildung eines Spaltenbusses 80 zu verbunden sind. Der Betrieb einer APS Pixelsensorzelle wird in Bezug auf die obige 2 beschrieben. Der geschaltete Ausgangspuffer von 2 ist der Klarheit wegen durch einen Reihenschalter 82 ersetzt worden. Da nur eine Reihe zu irgendeiner gegebenen Zeit gewählt ist, hat höchstens ein Pixelsensor in der Spalte eine Ausgabe, die nicht als hohe Impedanz erscheint. Der Spaltenbus 80 ist auch mit einer Doppelintegrations-Ausgabeschaltung 84 verbunden.
Innerhalb der Ausgabeschaltung 84 ist der Spaltenbus 80 mit den Eingängen eines Abtast- und Haltesignals 1 (SHS1) Schalters 86, eines Abtast- und Halterücksitz (SHR) Schalters 88 und eines Abtast- und Haltesignal 20 (SHS2) Schalters 90 verbunden. Wie es in der Technik gut bekannt ist, können die Schalter 86, 88 oder 90 mit einem n-Kanal FET implementiert sein. Wenn das Signal SHS1 angelegt wird, erscheint die Spannung am Bus 80 über dem Kondensator 92, der mit dem Ausgang des Schalters 86 verbunden ist. Wenn das Signal SHR angelegt wird, erscheint die Spannung am Bus 80 über dem Kondensator 94, der mit dem Ausgang des Schalters 88 verbunden ist. Wenn das Signal SHS2 angelegt wird, erscheint die Spannung am Bus 80 über dem Kondensator 96, der mit dem Ausgang des Schalters 90 verbunden ist. Jeder der Kondensatoren 92, 94 und 96 ist mit einem geschalteten Pufferkreis verbunden, wie als 98, 100 bzw. 102 gezeigt. Jeder geschaltete Puffer lässt die Spannung an dem Kondensator, mit dem sein Eingang verbunden ist, durch, wenn das Signal CS angelegt ist. Die Konstruktion der geschalteten Puffer ist in der Technik gut bekannt.
Im Betrieb wird jede Reihe einmal pro Rahmendauer durch Anlegen eines entsprechenden ROW-Signals ausgewählt. Wenn deren Reihe zuerst gewählt wird, befindet sich der Knotenausgang 68 auf einem Spannungspegel, der der Ladung entspricht, die durch den Pixelsensor 20 während der vorherigen Rahmendauer integriert wurde. Das Signal SHS1 wird angelegt, wobei der Kondensator 92 auf den ersten Integrationsspannungspegel geladen wird. Die Fließdiffusion 50 in dem Pixelsensor 20 wird rückgesetzt, und der rückgesetzte Spannungspegel wird auf den Knoten 68 gesetzt. Der Kondensator 94 wird auf die Rücksetzspannung durch Anlegen des Signals SHR geladen. Die Ladung, die durch das Photogate 40 während der gegenwärtigen Rahmendauer akkumuliert wird, wird dann zu der Fließdiffusion 50 überführt, wobei die entsprechende zweite Integrationsspannung am Knoten 68 erscheint. Dann wird das Signal SHS2 angelegt, wobei der Kondensator 68 auf die zweite Integrationsspannung geladen wird.
Wenn das Signal CS angelegt wird, werden die erste Integrationsspannung und die zweite Integrationsspannung durch eine Summierschaltung 104 gelesen, die ein Integrationssignal 106 gleich der Ladung erzeugt, die in dem Pixelsensor 20 über zwei Rahmendauern integriert ist. Gleichzeitig wird die Rücksetzspannung in eine Dublierschaltung 108 geleitet, die ein Referenzsignal 110 erzeugt, das dem von den zwei Abtastungen des Pixelsensors 20 erzeugten kTC Rauschen angenähert ist. Die Differenz zwischen dem Integrationssignal 106 und dem Referenzsignal 110 wird in einer Differenzierschaltung 112 erhalten. Die Ausgabe der Differenzierschaltung 112, das analoge Intensitätssignal 114, ist eine Spannung, die den Lichteinfall auf den Pixelsensor 20 über die vorherigen zwei Rahmendauern abzüglich einer Schätzung des Rauschens über die selbe Zeit repräsentiert. Das Analogsignal 114 wird vom ADC 116 gelesen, um ein digitales Intensitätssignal 118 zu erzeugen.
Die Ausgabeschaltung 84 erzeugt in jeder Rahmendauer und für jeden Pixelsensor 20 in der entsprechenden Spalte einen Wert, der den Lichteinfall auf den Pixelsensor 20 über zwei Rahmendauern repräsentiert, was den Dynamikbereich des Pixelsensors 20 effektiv verdoppelt. Durch Hinzufügen zusätzlicher Fließdiffusionen und Auswahllogik zu jedem Pixelsensor 20 sowie Kondensatoren und unterstützende Schaltungen zu den Ausgabeschaltungen 84 kann ein breiterer Dynamikbereich gewonnen werden.
Dual-Integrationszeit-Architektur
Ein optischer Sensor, der eine Szenerie mit einem breiten Dynamikbereich erfasst, kann die Sättigung von Pixelsensoren beeinträchtigen, welche helleuchtende Bereiche betrachten, ob ein ausreichendes Detail in schwachleuchtenden Bereichen zu erreichen. Solche Probleme treten z. B. in Fahrzeugrückblicksystemen auf, wo eine gut beleuchtete Straße Details von einem benachbarten Gehweg auswaschen können. Dieses Problem wird minimiert durch Integrieren jeder Pixelzelle über zwei Dauern unterschiedlicher Längen und Verwendung des kurzen Integrationswerts, wenn der lange Integrationswert gesättigt ist. Die duale Integration kann auch die Anzahl von Bits reduzieren, die in der Analog-Digital-Wandlung erforderlich ist.
Nun ist in Bezug auf 4 ein schematisches Diagramm zum Implementieren dualer Integrationszeiten gezeigt. Pixelsensoren 20 in einer gegebenen Spalte haben Ausgangsknoten 68, die zur Bildung eines Spaltenbusses 80 miteinander verbunden sind. Der Betrieb einer APS Pixelsensorzelle wird in Bezug auf die obige 2 beschrieben. Da zu einer gegebenen Zeit nur eine Reihe ausgewählt ist, hat höchstens ein Pixelsensor in der Spalte eine Ausgabe, die nicht als hohe Inpedanz erscheint. Der Spaltenbus 80 ist aber mit einer dualen Integrationsausgabeschaltung 120 verbunden.
Innerhalb der Ausgabeschaltung 120 ist ein Spaltenbus 80 mit einem Abtast- und Haltesignal-lang-(SSHL)-Schalter 122, einem Abtast- und Haltesignal-kurz-(SSHS)-Schalter 124 sowie einem Abtast- und Halte-Rücksetz-(SHR)-Schalter 126 verbunden. Wenn das Signal SHSL angelegt wird, erscheint die Spannung an dem Bus 80 über dem Kondensator 128, der mit dem Ausgang des Schalters 122 verbunden ist. Wenn das Signal SHSS angelegt wird, erscheint die Spannung an dem Bus 180 über dem Kondensator 130, der mit dem Ausgang des Schalters 124 verbunden ist. Wenn das Signal SHR angelegt wird, erscheint die Spannung an dem Bus 80 über den Kondensator 132, der mit dem Ausgang des Schalters 126 verbunden ist. Jeder der Kondensatoren 128, 130 und 132 ist mit seinem eigenen geschalteten Pufferkreis verbunden, jeweils als 134, 136 und 138 gezeigt. Jeder geschaltete Puffer leitet die Spannung an dem Kondensator, der mit seinem Eingang verbunden ist, wenn das Signal CS angelegt wird. Die Konstruktion der geschalteten Puffer ist in der Technik gut bekannt.
Während jeder Rahmendauer sammelt das Photogate 40 Ladung für eine lange Dauer, und transferiert dann die Ladung zu der Fließdiffusion 50, wo sie gespeichert wird. Das Photogate 40 integriert dann für eine kurze Dauer. In einer Ausführung sind die langen und kurzen Dauern derart, dass ihre Summe nicht größer ist als die Rahmendauer. Am Ende der Rahmendauer wird ROW an den Schaltpuffer 82 angelegt und die Spannung an dem Knotenausgang 68 nimmt einen Wert ein, der der Ladung entspricht, die durch den Pixelsensor 20 während der langen Integrationsdauer integriert ist. Das Signal SHSL wird angelegt, um den Kondensator 128 auf den langen Integrationsspannungspegel zu laden. Die Fließdiffusion 50 in dem Pixelsensor 20 wird rückgesetzt und der Rücksetzspannungspegel wird auf den Knoten 68 gesetzt. Durch Anlegen des Signals SHR wird der Kondensator 132 auf die Rücksetzspannung geladen. Die Ladung, die durch das Photogate während der kurzen Integrationsdauer akkumuliert ist, wird dann zu der Fließdiffusion 50 mit der entsprechenden kurzen Integrationsspannung überführt, die am Knoten 68 erscheint. Dann wird das Signal SHSS angelegt, um den Kondensator 130 auf die kurze Integrationsspannung zu laden.
Dann wird das Signal CS angelegt. Die lange Integrationsspannung am Kondensator 128 wird durch den Schwellenwertdetektor 140 gelesen. Die Schwellenwertdetektorausgabe 142 wird angelegt, wenn die lange Integrationsspannung an oder nahe einem Pegel ist, der die Sättigung des Pixelsensors 20 während der langen Integrationsdauer anzeigt. Die Schwellenwertdetektorausgabe 142 steuert den Auswahlschalter 144, der entweder das lange Integrationsspannungssignal oder das kurze Integrationsspannungssignal zu seinem Ausgang leitet. Auf diese Weise wird, wenn der Pixelsensor 20 während der langen Integrationsdauer gesättigt ist, der Wert über eine kürzere Dauer verwendet. Die Rücksetzspannung, die kTC Rauschen repräsentiert, wird von dem gewählten langen oder kurzen Integrationssignal in der Differenzschaltung 146 subtrahiert, wobei ein analoges Signal 148 erzeugt wird. Das analoge Signal 148 wird durch den ADC 150 in ein digitales Signal umgewandelt.
Das Schwellenwert Bit 142 kann in dem digitalen Signal enthalten sein, um die Ausgabe 152 zu erzeugen.
Eine alternative Ausführung zum Implementieren dualer Integrationszeiten benutzt 2m Ausgabeschaltungen. Wie in einem herkömmlichen System werden m Pixelsensoren in jeder Reihe gelesen, und dann einmal pro Rahmendauer in m Ausgaben rückgesetzt. Jede Reihe wird auf eine gewisse Zeit vor der Rahmendauer in einen zweiten Satz von m Ausgaben gelesen, um die kurze Integrationszeit zu implementieren. Die Steuerung wird vereinfacht, indem die die lange Integrationszeit abschließende Reihe und die die kurze Integrationszeit abschließende Reihe gleichzeitig in zwei Sätze von Ausgabeschaltungen gelesen werden. Diese Ausführung ist ferner in "Readout Schemes to Increase Dynamic Ranges of Image Sensors," NASA Tech Briefs, Seiten 32–33 (Januar 1997) von Yadid-Pecht und Fossum beschrieben.
Verhältnisse zwischen den langen und kurzen Integrationszeiten von 8-zu-1 oder 16-zu-1 sind wegen der Leichtigkeit der Implementierung von Zweierpotenzen in digitale Schaltungen erwünscht. Dies würde den Dynamikbereich etwa um einen Faktor von 10 erweitern, was für eine gute Auflösung schwach leuchtender Szenen sowie eine Erhöhung des Helligkeitsbereichs vor der Pixelsensorsättigung sorgt.
Verschachtelte Integration-Architektur
Eine andere Technik zum Erweitern der effektiven Integrationszeit über die Rahmenzeit hinaus erfolgt durch Verschachtelung. Ein Untersatz von Pixelzellen wird gelesen und jede Rahmendauer rückgesetzt, wobei die restlichen Zellen die Integration von lichtreduzierter Ladung fortsetzt. Bildwerte, die während eines bestimmten Rahmens nicht gelesenen Pixelzellen entsprechen, können interpoliert werden.
Nun ist in Bezug auf 5a eine Verschachtelungstechnik zum Erweitern des Dynamikbereichs gezeigt. Ein m mal n Array von Pixelsensoren 20 ist in aufeinanderfolgende Reihen R₁, R₂, R₃, ..., R₃ angeordnet, wobei n die Anzahl der Reihen ist. Geradzahlige Reihen sind in einem ersten Satz angeordnet, und ungeradzahlige Reihen in einem zweiten Satz. Ein Reihendekoder 22 wird benutzt, um die Reihe von Pixelsensoren auszuwählen, die Signale zu m Ausgabeschaltungen 24 liefert. Der Reihendekoder 22 wählt sequenziell alle Reihen in dem ersten Satz innerhalb einer Rahmendauer aus, gefolgt durch alle Reihen in dem zweiten Satz innerhalb der nächsten Rahmendauer, um hierdurch die Sequenz R₁, R₃, ..., R_n-1, R₂, R₄, ..., R_n über zwei Rahmendauern zu implementieren. Dies erlaubt, dass jeder Pixelsensor einfallendes Licht für zwei Rahmendauern integriert, was die Integrationszeit pro Rahmendauer effektiv verdoppelt.
Die Verwendung des obigen Verfahrens mit einer Rahmendauer von 33 Millisekunden erzeugt einen neuen Rahmen alle 33 Millisekunden mit der Hälfte der Pixel (alle Pixel in der Hälfte der Reihen) des Ausgangsbilds, das in jedem Rahmen aktualisiert wird. Die Werte in der restlichen Hälfte der Pixel in jedem Rahmen kann aus den neuen Werten interpoliert werden.
Nun ist, in Bezug auf 5b, eine allgemeinere Anordnung der Verschachtelungsarchitektur gezeigt. Die Pixelsensoren 20 sind weiter in Gruppen G₁, G₂, G₃, ..., G_n angeordnet, wobei n die Anzahl der Gruppen ist, und das Produkt von m und n die Gesamtzahl der Pixelsensoren ist. In 5b ist jede Gruppe ein abwechselndes Pixel in zwei benachbarten Reihen, um ein Schachbrettartiges Muster innerhalb der zwei Reihen zu bilden. Es wird ein Gruppendekoder 160 benutzt, um gleichzeitig alle Pixelsensoren in einer Gruppe auszuwählen. Zum Beispiel aktiviert die Auswahl der Leitung 162 jeden der schattierten Pixelsensoren in 5b. Die Pixelsensoren 20 sind mit Ausgangsschaltungen 24 derart verbunden, dass, unabhängig davon, welche Gruppe gewählt ist, höchstens eine aktivierte Pixelzelle mit jeder Ausgangsschaltung verbunden ist.
Die Gruppen können in einem oder mehreren Sätzen angeordnet werden. Die Gruppen in jedem Satz können während einer Rahmendauer abwechselnd ausgewählt werden, dann die Gruppen in einem unterschiedlichen Satz während der nächsten Rahmendauer und so fort, bis alle Gruppen ausgewählt sind. Der Prozess wird dann wiederholt. Wenn z. B. vier Sätze benutzt werden, kann jede Gruppe G_i in einem Satz von i = G_i modulo 4 für i = 0 ... 3 angeordnet werden. Die Sequenz zum Ansteuern der Gruppen wäre dann G₁, G₅, ..., G_n-3, G₂ G₆, ..., G_n-2, G₃, G₇, ..., G_n-1, G₄, G₈, ..., G_n über eine Spanne von vier Rahmendauern. Dies resultiert in einer Integrationsdauer von dem angenähert Vierfachen der Rahmendauer, was zu einer Vervierfachung des Dynamikbereichs führt, wenn geeignete Ausgangselektronik eingesetzt wird.
Wie bei den Reihengruppierungen kann jeder Satz in einer Rahmendauer ausgelesen werden. Vor der Anzeige können Bildpixelwerte, die von Pixelsensoren in einem gegebenen Rahmen nicht aktualisiert sind, von vorherigen Werten, von anderen Pixelwerten oder beiden interpoliert werden. Zum Beispiel können, mit der in 5b gezeigten Anordnung, geradzahlige Gruppen in einem Satz und ungeradzahlige Gruppen in einem anderen Satz angeordnet werden. Bildpixelwerte, die von Pixelsensoren nicht aktualisiert sind, können durch Mittelwertbildung angrenzender Nachbarpixelwerte erhalten werden.
Es ist ersichtlich, dass viele verschiedene Gruppierungsmuster und Anzahlen von Sätzen innerhalb des Geists der vorliegenden Erfindung benutzt werden können.
Einzelpixel-Rücksetzarchitektur
Optische Sensoren sehen in einigen Anwendungen der Szenen mit kleinen Bereichen intensiver Helligkeit im Vergleich zur Rest der Szene. Dies kann z. B. von Scheinwerfern herrühren, die durch Fahrzeugsichtsysteme sensiert werden. Sobald diese Bereiche erfasst werden, kann die Integrationszeit für die entsprechenden Pixelzellen reduziert werden, indem die akkumulierte Ladung rückgesetzt wird.
Nun ist in Bezug auf 6 eine Einzelpixel-Rücksetzarchitektur zum Erweitern des Dynamikbereichs eines optischen Sensors gezeigt. Einzelne oder Gruppen von Pixelsensoren können während der Integrationszeit rückgesetzt werden, um hierdurch für eine kürzere Integrationsdauer zu sorgen. Bereiche des Bilds, die schwach leuchten, erhalten längere Integrationsdauern als Bereiche, die hell leuchten. Ein Verfahren der Steuerung der Rücksetzperiode für einen Pixelsensor ist in "Image Sensors With Individual Pixel Reset" Seite 34 von NASA Tech Brief NPO-1973, November 1996, von Pecht, Pain und Fossum beschrieben.
6 zeigt eine APS Pixelzelle, die in Bezug auf die obige 2 beschrieben ist, mit einem hinzugefügten Rücksetz FET. In jeder Pixelsensorzelle 20 wird eine Fließdiffusion 50 auf einen Referenzpegel gesetzt, wenn die Rücksetzelektrode 54 angelegt wird, wie in Bezug auf 2 beschrieben. Die Source des Rücksetz FET-170 ist mit der Rücksetzelektrode 54 verbunden, dessen Gate ist mit dem Reihenrücksetzsignal (RRST) 172 verbunden, und dessen Drain ist mit dem Spaltenrücksetzsignal (CRST) 174 verbunden. Wenn beide RRST und CRST angelegt sind, wird die Fließdiffusion 50 rückgesetzt.
In einer in 6 gezeigten Ausführung sind alle Pixelsensorzellen in jeder Reihe mit einer gemeinsamen RRST Leitung verbunden, und sind alle Pixelsensorzellen in einer Spalte mit einer gemeinsamen CRST Leitung verbunden. Ein Reihenrücksetzdecoder 176 steuert, basierend auf Signalen von dem Zeitsteuerer 26, selektiv eine Reihe an. Ein Spaltenrücksetzdecoder 178 steuert, basierend auf Signalen vom Zeitsteuerer 26, selektiv eine Reihe an. In einer alternativen Ausführung werden Ansammlungen von Pixelsensorzellen durch die gleiche Kombination von Reihen und Spalten Rücksetzsignalen gleichzeitig rückgesetzt. Diese tauscht die Rücksetzraumauflösung zugunsten einer vereinfachten Steuerung aus. Mögliche Anordnungen für Ansammlungen von Pixeln beinhalten, sind jedoch nicht beschränkt auf n-mal-n Arrays für n = 2, 3, 4, ...
Es ist ein optisches Sensorsystem angegeben worden, das in der Lage ist, ein Bild einer Szene mit einem vergrößerten dynamischen Bereich vorzusehen, während eine Echtzeitrahmenrate nahezu beibehalten bleibt und während es unter weiter interszenarischer und intraszenarischer Helligkeit arbeitet. Während die besten Arten zur Ausführung der Erfindung im Detail beschrieben worden sind, wird ein Kenner der Technik, auf die sich diese Erfindung bezieht, verschiedene alternative Konstruktionen und Ausführungen zur Umsetzung der Erfindung erkennen, wie sie in den folgenden Ansprüchen definiert ist.

Claims

Verfahren zum Vergrößern des dynamischen Bereichs eines optischen Sensors, wobei der optische Sensor eine Mehrzahl von Pixelzellen (20) enthält, wobei das Verfahren umfasst: Erzeugen eines ersten Signals in jeder Pixelzelle, das Licht anzeigt, das durch die Pixelzelle über eine erste Dauer integriert wird; Speichern des ersten Signals in der Pixelzelle; Erzeugen eines zweiten Signals in jeder Pixelzelle, das Licht anzeigt, das durch die Pixelzelle über eine zweite Integrationsdauer integriert wird, die kürzer ist als die erste Integrationsdauer, dadurch gekennzeichnet, dass das Verfahren ferner umfasst: Vergleichen des ersten Signals mit einem vorbestimmten Schwellenwert; Erzeugen eines Ausgangssignals entsprechend dem ersten Signal, wenn das erste Signal den Schwellenwert nicht überschreitet; und Erzeugen eines Ausgangssignals entsprechend dem zweiten Signal, wenn das erste Signal den Schwellenwert überschreitet.
Verfahren zum Vergrößern des dynamischen Bereichs eines optischen Sensors nach Anspruch 1, worin der optische Sensor eine Rahmendauer hat, worin die Summe der ersten und zweiten Integrationsdauer nicht größer als die Rahmendauer ist.
Verfahren zum Vergrößern des dynamischen Bereichs eines optischen Sensors nach Anspruch 1 oder 2, ferner umfassend: Erhalten eines Rauschsignals von jeder Pixelzelle; und Subtrahieren des Rauschsignals von dem Ausgangssignal, um hierdurch ein rauschreduziertes Ausgangssignal zu erzeugen.
Verfahren zum Vergrößern des dynamischen Bereichs eines optischen Sensors nach einem der vorhergehenden Ansprüche, worin jede Pixelzelle (20) zu zumindest einer einer Mehrzahl von Gruppen (G₁-G_n) gehört und jede Gruppe zu zumindest einer einer Anzahl von Sätzen gehört, wobei das Verfahren ferner umfasst: Bestimmen einer Gruppe für jede Pixelzelle und eines Satzes für jede Gruppe; Wählen eines ersten Satzes; Wählen einer ersten Gruppe in dem ersten Satz; Bestimmen des Ausgangssignals für jede Pixelzelle in der ersten Gruppe in dem ersten Satz; Bestimmen des Ausgangssignals für jede Pixelzelle in jeder restlichen Gruppe in dem ersten Satz innerhalb einer Rahmendauer; Fortschreiten durch die Gruppen in jeder der Anzahl von Sätzen in einer Sequenz; und Wiederholen der Sequenz von Sätzen derart, dass das Ausgangssignal für jede Pixelzelle einmal in einer Zeitdauer erzeugt wird, die als das Produkt der Rahmenzeit und der Anzahl von Sätzen erhalten wurde.
Verfahren zum Vergrößern des dynamischen Bereichs eines optischen Sensors nach Anspruch 4, worin jede Pixelzelle (20) in einer sequenziell nummerierten Reihe (R₁-R_n) ist, wobei der Schritt des Bestimmens einer Gruppe (G₁-G_n) für jede Pixelzelle und eines Satzes für jede Gruppe umfasst: Zuordnen jeder Pixelzelle zu einer Gruppe, die einer sequenziell nummerierten Reihe entspricht; Zuordnen jeder Gruppe, die einer gerade nummerierten Reihe entspricht, zu einem ersten Satz; und Zuordnen jeder Gruppe, die einer ungerade nummerierten Reihe entspricht, zu einem zweiten Satz.
Verfahren zum Vergrößern des dynamischen Bereichs eines optischen Sensors nach Anspruch 4, worin jede Pixelzelle (20) in einer sequenziell nummerierten Reihe (R₁-R_n) ist, wobei der Schritt des Bestimmens einer Gruppe (G₁-G_n) für eine Pixelzelle und eines Satzes für jede Gruppe umfasst: Zuordnen von Pixelzellen in zwei benachbarten Reihen zu einer gerade nummerierten Gruppe derart, dass das Pixelmuster ein "Schachbrett" bildet, wobei die Gruppe von Pixelzellen die äußerst linke Pixelzelle der obersten Reihe des Reihenpaars enthält; Zuordnen von Pixelzellen in zwei benachbarten Reihen zu einer ungerade nummerierten Gruppe derart, dass das Pixelmuster ein "Schachbrett" bildet, wobei die Gruppe von Pixelzellen die zweitäußerst linke Pixelzelle der obersten Reihe des Reihenpaars enthält; Zuordnen jeder gerade nummerierten Gruppe zu einem ersten Satz; und Zuordnen jeder ungerade nummerierten Gruppe zu einem zweiten Satz.
Verfahren zum Vergrößern des dynamischen Bereichs eines optischen Sensors nach einem der vorhergehenden Ansprüche, worin der optische Sensor eine Integrationszeit hat, die allgemein auf alle Pixelzellen angewendet wird, und worin jede Pixelzelle individuell rückgesetzt werden kann, wobei das Verfahren ferner umfasst: Bestimmen, ob jeder Pixelsensor weniger Integrationszeit als die allgemeine Integrationszeit benötigt; Bestimmen einer verkürzten Integrationszeit für jeden Pixelsensor, der weniger als die allgemeine Integrationszeit benötigt; und Rücksetzen jedes Sensorpixels zu einer Zeit, so dass die Zeit, die vor dem Erzeugen eines Ausgangssignals verbleibt, sich der gewünschten verkürzten Integrationszeit annähert.