-
STAND DER TECHNIK
-
Die vorliegende Erfindung betrifft
das Prüfen und
Messen digitaler Videos, und im Besonderen betrifft die vorliegende
Erfindung die Detektierung der Bildausrichtung mit hoher Präzision für die Registrierung
von zwei Bildern.
-
Die herkömmliche Messung von Videosignalen
erfolgt im analogen Breitbandbereich unter Verwendung herkömmlicher
Kurvenformmonitore und Vektorskope. Wenn sich Videosignale unter
Verwendung serieller digitaler Formate und Komprimierung in den
digitalen Bereich bewegen, werden die digitalen Signale für kennzeichnende
Videomessungen für gewöhnlich in
den analogen Breitbandbereich umgewandelt. Im Besonderen bei komprimierten
Videosignalen gelten jedoch zusätzliche
Anforderungen in Bezug auf die Messung von Videosignalen, da es
ein wichtiger Aspekt von Komprimierungs-/Dekomprimierungstechniken ist, ein
geregeltes Ausmaß des Abbaus
der Bildqualität
sicherzustellen, d.h. das dekomprimierte Videosignal weist die erwartete
Anzeigequalität
im Verhältnis
zu dem Videosignal vor der Komprimierung auf.
-
Das von Tektronix, Inc. aus Wilsonville,
Oregon, USA, hergestellte PQA200 Picture Quality Analysis System
ist ein programmierbares Instrument zur automatischen Messung der
Qualität
von komprimiertem Video. Das System wird in der am 12. Februar 1996
durch Bozidar Jenko et al. eingereichten U.S. Patentanmeldung mit
dem Aktenzeichen 08/605,241 (veröffentlicht
unter US-A-5,818,520 und EP-A-0 789 497) beschrieben. Das System
PQA200 fügt
dem aktiven Videoabschnitt des Videosignals Streifen und Registrierungsmarkierungen
hinzu, so dass bei einer Komprimierung und Dekomprimierung des Videosignals
die Bilder in dem empfangenen, dekomprimierten Videosignal mit den
entsprechenden Bildern in dem Videosignal vor der Komprimierung ausgerichtet
werden können.
Die Präzision
dieses Ausrichtungsprozesses ist wichtig, um die genaueste Bestimmung
der Bildqualität
vorzusehen.
-
Benötigt wird eine Technik zur
Detektierung der Bildausrichtung mit hoher Präzision, um zu gewährleisten,
dass entsprechende Bilder, deren Bildqualität gemessen wird, ausgerichtet
sind, um die präziseste
Bestimmung der Bildqualität
vorzusehen.
-
KURZE ZUSAMMENFASSUNG
DER ERFINDUNG
-
Vorgesehen ist gemäß der vorliegenden
Erfindung, die in dem gegenständlichen
Anspruch 1 definiert ist, die Detektierung der Bildausrichtung mit
hoher Präzision
zum Vorsehen einer Registrierung von zwei übereinstimmenden Bildern mit
hoher Präzision. Bei
der Detektierung handelt es sich um einen vierstufigen Prozess,
wobei die ersten beiden Stufen dazu eingesetzt werden, ein Ausrichtungsmuster
in einem empfangenen Bild durch Kreuzkorrelation mit einem Bezugsbild
zu lokalisieren, das dem Ausrichtungsmuster entspricht. Dabei wird
ein Pixel mit einer ganzzahligen Pixelverschiebung von +/–0,5 detektiert.
Danach werden ausgewählte
Linien des empfangenen Ausrichtungsmusters gemeinsam mit dem Bezugsbild
verwendet, um eine Bestimmung einer teilweisen Pixelverschiebung
in den nächsten
beiden Stufen vorzunehmen. In der ersten dieser beiden Stufen wird
eine anfängliche
teilweise Pixelverschiebung bestimmt, und wobei daraufhin auf der
letzten Stufe eine feine Bestimmung der teilweisen Pixelverschiebung
iterativ unter Verwendung einer Kreuzkorrelation ausgeführt wird,
um die ganzzahlige Pixelverschiebung und folgende Verschiebungen
und Messungen auf der Basis vorheriger Messungen erneut zu bestimmen,
um die teilweise Pixelverschiebung so präzise wie gewünscht vorzusehen.
Die endgültige
Pixelverschiebung, die eine fehlerhafte Ausrichtung zwischen dem
empfangenen Bild und dem Bezugsbild darstellt, entspricht der Summe
der ganzzahligen Pixelverschiebung und der teilweisen Pixelverschiebung.
-
Die Aufgaben, Vorteile und andere
neuartige Merkmale der vorliegenden Erfindung werden aus der folgenden
genauen Beschreibung deutlich, wenn diese in Verbindung mit den
anhängigen
Ansprüchen und
den beigefügten
Zeichnungen gelesen wird.
-
KURZE BESCHREIBUNG
DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN
-
Es zeigen:
-
1A ein
Ausrichtungsmuster;
-
1B eine
Kurvenform einer Linie des Ausrichtungsmusters;
-
1C um
eine Anstiegsflanke des Ausrichtungsmusters entnommene Datenpunkte;
-
1D um
eine abfallende Flanke des Ausrichtungsmusters entnommene Datenpunkte,
um die Detektierung der Bildausrichtung mit hoher Präzision gemäß der vorliegenden
Erfindung zu veranschaulichen;
-
2 eine
Flussdiagrammansicht der Detektierung der Bildausrichtung mit hoher
Präzision gemäß der vorliegenden
Erfindung; und
-
3 die
Verschiebung des Bilds unter Verwendung von Interpolation für die Detektierung
der Bildausrichtung mit hoher Präzision
gemäß der vorliegenden
Erfindung.
-
GENAUE BESCHREIBUNG
DER ERFINDUNG
-
In dem System PQA200 wird die empfangene
Videosequenz mit einer ursprünglichen
Videosequenz verglichen, um die Bildqualität zu bestimmen, d.h. in welchem
Ausmaß sich
die Videosequenz durch die Verarbeitung und Übermittlung des Videos in Bezug
auf die ursprüngliche
Videosequenz verschlechtert hat. Die hierin beschriebene Detektierung der
Ausrichtung basiert auf Bildern, die ein eingefügtes Muster zur Detektierung
der Ausrichtung aufweisen, wie etwa das durch Bozidar Jenko et al.
in der vorstehend genannten U.S. Patentanmeldung beschriebene Muster.
Die Detektierung betrifft horizontal sowie vertikal verschobene
Bilder, wobei die Verschiebungen in beide Richtungen mit sehr hoher
Präzision
detektiert werden. Zum Zwecke der Erläuterung wird nachstehend nur
die Detektierung der horizontalen Verschiebung beschrieben.
-
Die Detektierung der Bildausrichtung
mit hoher Präzision
umfasst mehrere Stufen, wobei eine teilweise Pixeldetektierung mit
sehr hoher Präzision durch
einen erfolgreichen Iterationsalgorithmus auf der letzten Stufe
erfolgt. Die Detektierung setzt den Zugriff auf ein Bezugsbild (ein
Bild aus der ursprünglichen
Videosequenz oder ein exakt entsprechendes Bild) oder auf einen
Teil dessen wie etwa eine einzige Linie voraus. Wenn zum Beispiel
ein bekanntes Ausrichtungsmuster in die ursprüngliche Videosequenz eingefügt wird,
kann das Bezugsbild an dem Messgerät so erzeugt werden, dass es
genau dem eingefügten
Ausrichtungsmuster entspricht.
-
Bei einem derartigen Ausrichtungsmuster kann
es sich um sieben Linien in der Höhe mit alternierenden schwarzen
und weißen
Blöcken
handeln, wobei die schwarzen Blöcke
horizontal von einem zu dem anderen Rand eine Breite von 14 Pixeln
aufweisen können,
wie dies in der Abbildung aus 1A dargestellt
ist, und wobei die Kanten bzw. Ränder
geglättet
sein können,
so dass sie die Nyquist-Kriterien erfüllen, wie dies in den Abbildungen
der 1B, C und D dargestellt ist. Das Muster kann ferner
in der Amplitude moduliert werden, so dass die Werte für die schwarzen
und weißen
Blöcke
für jeden
Block in keinen Schritten von einem Ende einer Linie des Musters
zu dem anderen zunehmen.
-
Die ersten beiden Stufen dienen zur
Lokalisierung des Ausrichtungsmusters in dem empfangenen Bild, wobei
es sich bei der ersten Stufe der Verschiebungsdetektierung um eine
Stufe der groben Pixeldetektierung handelt. Da ein Bild innerhalb
eines größeren Bereichs
verschoben werden kann, wird ein verhältnismäßig großer Teil des Bilds nach dem Ausrichtungsmuster
durchsucht. Über
den Bereich des Bilds, in dem das Erscheinen des Ausrichtungsmusters
erwartet wird, wird eine Kreuzkorrelation vorgenommen. Die Kreuzkorrelation
beginnt am Anfang des Bereichs und kann jede zweite oder dritte
Linie auslassen bzw, überspringen,
um eine der Linien des Ausrichtungsmusters in dem empfangenen Bild
zu detektieren. Die beste Übereinstimmung
ist durch die höchste
Summe der Kreuzkorrelationen dargestellt. Wenn verschiedene Punkt
die gleichen Ergebnisse zeigen, muss der Punkt mit der untersten
Liniennummer (höchste
Position auf dem Bildschirm) verwendet werden. Wenn überhaupt
keine Übereinstimmung
gegeben ist, so bedeutet dies, dass kein Bild oder kein in das Bild
eingefügtes
Ausrichtungsmuster vorhanden ist. In diesem Fall wird der Detektierungsprozess
beendet.
-
Bei der nächsten Stufe handelt es sich
um die mittlere Pixeldetektierung, die im Wesentlichen der groben
Pixeldetektierung entspricht. Die Unterschiede liegen darin, dass
(1) der zu durchsuchende Bereich kleiner ist und (2) das Ergebnis
der Kreuzkorrelation dem größeren Bildbereich
entnommen wird, wie etwa über
alle Linien des Ausrichtungsmusters. Diese Stufe wird nur ausgeführt, wenn
auf der Stufe der groben Pixeldetektierung eine Übereinstimmung festgestellt
worden ist. Die beste Übereinstimmung ist
durch die höchste
Summe der Kreuzkorrelationen dargestellt. Dieses Ergebnis ist genau
genug, um die exakte Linien- bzw. Zeilennummer als auch die horizontale
Pixelposition mit einer Genauigkeit von +/–0,5 Pixeln detektieren zu
können.
Das Pixel in der erste Zeile bzw. Linie des Ausrichtungsmusters,
das dem Anfang der Musteriteration entspricht, wird auf diese Weise
lokalisiert.
-
Die nächsten beiden Stufen dienen
dazu, eine teilweise Pixelverschiebung des empfangenen Bilds präzise zu
detektieren, wobei es sich bei der ersten dieser Stufen um eine
teilweise Pixeldetektierung handelt. Wie dies in der Abbildung aus 2 dargestellt ist, sieht
die Kreuzkorrelation aus den Lokalisierungsstufen eine ganzzahlige
Pixelverschiebung vor. Die ganzzahlige Pixelverschiebung wird zur
Lokalisierung der Daten aus dem Bild verwendet, die auf ein signifikantes
Merkmal des Ausrichtungsmerkmals zentriert sind, wie etwa eine Anstiegs- und/oder
abfallende Flanke. Die Informationen zur Detektierung der teilweisen
Pixelverschiebung können
aus den Rampen berechnet werden, welche die Kanten der Ausrichtungsrechtecke
in dem Ausrichtungsmuster darstellen, wie dies in den Abbildungen der 1C und 1D dargestellt ist. Für solide Ergebnisse müssen nicht
alle Linien des Musters für
die Messungen verwendet werden, d.h. nur die inneren Linien mehrere
Linien bzw. Zeilen des Ausrichtungsmusters können verwendet werden. Die
ausgewählten
Linien bzw. Zeilen werden in einem Bildregister gespeichert, und
zwar unabhängig
davon, ob alle oder nur einige Linien ausgewählt werden. Ein Pufferregister
speichert die Werte einer Pixelgruppe, die sowohl die ansteigenden
als auch die abfallenden Flanken der Ausrichtungsblöcke umgibt,
wobei in der Abbildung zur besseren Veranschaulichung vierzehn dargestellt
sind. Für
jede Flanke werden die Pixelwerte in dem Pufferregister für jede Pixelposition
akkumuliert, wie etwa 0 bis 13 gemäß der Abbildung. Gemäß der Abbildung
aus den 1C und 1D sollte für eine präzise Ausrichtung
ein Wert zwischen den Pixeln 6 und 7 in dem Puffer erreicht werden.
Die Verschiebung der ansteigenden Flanke entspricht dem Durchschnitt
der 14 Werte in dem Puffer abzüglich des
Wertes von Pixel 6 dividiert durch die Differenz zwischen den Pixeln
7 und 6, d.h. "Verschiebung_r
= (durchschn r – [6])/([7] – [6]).
In ähnlicher
Weise entspricht für
die abfallende Flanke die Verschiebung dem Durchschnitt bzw. Mittelwert
der 14 Werte in dem Puffer abzüglich
dem Wert für
das Pixel 7 dividiert durch die Differenz zwischen den Pixeln 6
und 7, d.h. Verschiebung_f = (durchschn f – [7]/([6) – [7]). Die Gesamtverschiebung
des Bilds entspricht der Verschiebung der ansteigenden Flanke abzüglich dem
Komplement der Verschiebung für
die abfallende Flanke dividiert durch zwei, d.h. Verschiebung = Verschiebung_r – (1 – Verschiebung
f). Eine teilweise Pixelverschiebung entspricht der Differenz zwischen dem
Verschiebungswert und 0,5, d.h. teilweise Pixelverschiebung = Verschiebung – 0,5.
-
Obwohl diese Stufe der teilweisen
Pixeldetektierung selbst bei Bildern in schlechter Qualität sehr solide
ist, können
zwei Unsicherheiten existieren: (1) die Kreuzkorrelation weist an
den Punkten mit einer Pixelverschiebung von +/–0,5 Probleme auf und kann
vollständig
erfolglos verlaufen, d.h. die Detektierung eines ganzen Pixels kann
fehlerhaft sein; und (2) in dem Bereich einer Pixelverschiebung
von unter +/–0,1
ist die Präzision
der Detektierung sehr hoch und kann bei höheren Verschiebungswerten geringer
werden, wobei sie bei einem Verschiebungswert von +/–0,5 etwa
nur +/–0,33
entsprechen kann.
-
Aufgrund dieser potentiellen Unsicherheiten, im
Besonderen der potentiellen Möglichkeit
eines vollständigen
Misslingens der Kreuzkorrelation, wird eine Stufe einer besonders
feinen Pixeldetektierung unter Verwendung einer aufeinanderfolgenden
Iteration hinzugefügt.
In Fortführung
mit der Abbildung aus 2 wird
der erste Messwert für
die teilweise Pixelverschiebung mit einem Grenzwert wie etwa +/–0,33 verglichen,
und wenn der Grenzwert überschritten
wird, wird das Bild um 0,5 Pixel verschoben, wobei das Bild ansonsten
durch die teilweise Pixelverschiebung multipliziert mit einem optionalen
Berichtigungsfaktor verschoben wird, der größer ist als eins und zum Beispiel
gleich 1,5 sein kann. Der optionale Berichtigungsfaktor für die Multiplikation
wird dazu verwendet, die Anzahl der erforderlichen Iterationen zu
verringern, indem eine Konvergenz zu einer präzisen Verschiebung um 0,5 Pixel
schneller erreicht wird.
-
Die Verschiebung des Bilds erfolgt
gemäß der Abbildung
aus 3 durch Interpolation
unter Verwendung eines entsprechenden Filters, wie etwa eines linearen
oder sinx/x Filters. Für
jeden teilweisen Pixelverschiebungswert kann zum Beispiel auf eine
entsprechende Verweistabelle zugegriffen werden, um Filterkoeffizienten
für die
Interpolation vorzusehen. Alternativ können die Filterkoeffizienten
für jeden
teilweisen Pixelverschiebungswert berechnet werden. Das Bild aus
dem Bildregister wird interpoliert und als verschobenes Bild in
ein Verschiebungsregister geladen. Die Messungen erfolgen an dem Bild
in dem Verschiebungsregister.
-
An dem Bild in dem Verschiebungsregister wird
eine weitere Kreuzkorrelation vorgenommen, um die ganzzahlige Pixelverschiebung
erneut zu bestimmen, und an dem verschobenen Bild wird eine erneute
Messung mit den Datenwerten ausgeführt, die gemäß der ganzzahligen
Pixelverschiebung extrahiert werden. Wenn eine spezifizierte Endbedingung
nicht erreicht wird, wie etwa eine spezifizierte Anzahl von Iterationen
oder wenn die Größe der Messung
kleiner ist als ein spezifizierter Grenzwert, so wird das Bild erneut
aus dem Bildregister in das Verschiebungsregister um den Wert aus
der Summe der vorherigen Messungen verschoben, multipliziert mit
einem weiteren optionalen Berichtigungsfaktor. Die Kreuzkorrelation
und die Messung werden ausgeführt,
und dieser Prozess wird solange wiederholt, bis die Endbedingung
erfüllt
wird. Die Kreuzkorrelation kann in dieser Iterationsschleife ausgelassen
werden, da sich die ganzzahlige Pixelverschiebung nicht ändern sollte.
Der letztendliche Verschiebungswert des Bilds entspricht der Summe
aller Messwerte für die
teilweise Pixelverschiebung zuzüglich
der ganzzahligen Pixelverschiebung.
-
Wenn ein Bild zum Beispiel um 3,7
Pixel verschoben wird, erzeugen die ersten drei Stufen eine Pixelverschiebung
(ganzzahlig) von +4 minus einer Pixelverschiebung (Teilpixel) von
0,3. Die tatsächliche
Messung aus der dritten Stufe kann tatsächlich einen teilweisen Pixelverschiebungswert
von –0,22 erfassen.
Die abschließende,
besonders feine teilweise Pixelverschiebung wird an dem Pixel mit –0,22 vorgenommen.
Bei jeder Iteration wird die Verschiebung an dem ursprünglich gespeicherten,
empfangenen Bild vorgenommen, d.h. mittels Interpolation aus dem
Bildregister in das Verschiebungsregister. Mit anderen Worten bedeutet
dies, dass bereits verschobene Linien des Bilds nicht erneut verschoben
werden. Die ganzzahligen Pixelverschiebungen werden durch Kreuzkorrelation
bestimmt, wie dies vorstehend beschrieben worden ist, und die teilweise
Pixelverschiebung wird durch den vorstehend erörterten iterativen Prozess
bestimmt. Zum Beispiel resultierte die teilweise Pixelverschiebung
aus einem gemessenen Verschiebungswert von 0,28. Das Bild wird um –0,22 verschoben,
und die Messung wird erneut vorgenommen. Der resultierende teilweise
Pixelverschiebungswert kann für
eine teilweise Pixelverschiebung insgesamt von –0,28 folglich –0,06 entsprechen.
Das Bild wird um –0,28
verschoben und die Messung wird erneut vorgenommen. Der teilweise
Pixelverschiebungswert kann jetzt –0,017 entsprechen. Wenn diese
Präzision
ausreichend ist, entspricht die letztendliche teilweise Pixelverschiebung insgesamt –0,297,
so dass die tatsächliche
Bildverschiebung mit +3,703 bestimmt wird.
-
Wenn für das vorstehende Beispiel
der optionale Multiplikationsfaktor verwendet wird, der für jede Iteration
anders sein kann, jedoch vorzugsweise im Bereich von 1,1 bis 1,5
liegt, wird der Wert von –0,22
um einen Multiplikationsfaktor von 1,45 auf zum Beispiel –0,319 berichtigt.
Das Bild aus dem Bildregister wird um –0,319 in das Verschiebungsregister
verschoben und es wird eine neue Messung vorgenommen. Wenn die neue
Messung +0,015 ergibt, wird diese Messung mit einem anderen Berichtigungsfaktor
multipliziert, wie etwa 1,35, so dass sich +0,02025 ergibt. Dieser
Wert wird zu der vorherigen berichtigten Messung hinzugefügt, so dass
ein neuer Verschiebungswert von –0,29875 erzeugt wird. Eine erneute
Verschiebung und Messung können
einen Wert von –0,0025
erzeugen. Wenn die Endbedingungen erfüllt werden, wird diese Messung
zu der vorherigen Summe addiert, so dass eine endgültige teilweise
Pixelverschiebung von –0,30125
und eine Pixelverschiebung insgesamt von 3,69875 erzeugt werden.
-
Neben dem zur Veranschaulichung verwendeten
spezifischen Muster kann jedes andere bekannte Muster verwendet
werden, einschließlich Muster
mit variabler Frequenz oder dem Bild selbst entnommene Muster. Obwohl
zur Ausführung
der Messungen der teilweisen Pixelverschiebung nur die Daten von
einer der Flanken verwendet werden können, da das Ausrichtungsmuster
moduliert werden kann, wie dies vorstehend beschrieben worden ist, oder
durch asymmetrische Verarbeitung der entgegengesetzten Flanken,
führt der
Einsatz von Daten von beiden Flanken zu einem genaueren Ergebnis für die teilweise
Pixelverschiebung mit hoher Präzision.
-
Die vorliegende Erfindung sieht somit
eine Detektierung der Bildausrichtung mit hoher Präzision vor,
indem ein Ausrichtungsmuster durch Kreuzkorrelation mit einem dem
Ausrichtungsmuster entsprechenden Bezugsbild in einem empfangenen
Bild platziert wird, wobei eine ganzzahlige Pixelverschiebung innerhalb
eines Bereichs von +/–0,5
Pixeln vorgesehen wird, und wobei mittels eines iterativen Prozesses
danach ein präziser
Wert für
die teilweise Pixelverschiebung detektiert wird.