-
Die
vorliegende Erfindung betrifft eine Vorrichtung, welche fähig ist
zum Durchführen
sowohl einer Blockübereinstimmungs-Bewegungskompensation,
d. h. Block-Matching Motion Compensation, als auch einer Gesamtbewegungskompensation,
d. h. Global Motion Compensation, gemäß den Oberbegriffen von Ansprüchen 1,
13 und 24.
-
Bewegtbild-Videoanzeigen,
welche analoge Videosignale verwenden, waren lange Zeit in der Form von
Fernsehen erhältlich.
Mit den jüngsten
Fortschritten im Hinblick auf Computerverarbeitungsfähigkeiten
und die Erschwinglichkeit werden Bewegtbild-Videoanzeigen, welche
digitale Videosignale verwenden, immer häufiger angewandt. Digitale
Videosysteme liefern bedeutende Verbesserungen gegenüber herkömmlichen
analogen Videosystemen im Hinblick auf ein Erzeugen, Modifizieren, Übertragen,
Speichern und Abspielen von Bewegtbild-Videosequenzen.
-
Jedoch
sind die Mengen digitaler Zeileninformationen, welche in Videosequenzen
enthalten sind, beträchtlich.
Eine Speicherung und Übertragung
dieser Mengen von Videoinformationen sind mittels einer herkömmlichen
Personalcomputereinrichtung nicht durchführbar. Betrachtet sei beispielsweise
eine digitalisierte Form eines VHS-Bildformats von verhältnismäßig niedriger
Auflösung
mit einer Auflösung
von 320×480
Pixeln. Ein Spielfilm mit einer Dauer von zwei Stunden entspricht
bei dieser Auflösung
100 Gigabyte digitaler Videoinformationen. Vergleichsweise haben
herkömmliche
CD-ROM-Discs Kapazitäten
von etwa 0,7 Gigabyte, und DVD-Discs haben Kapazitäten von
bis zu 8 Gigabyte.
-
Um
den Begrenzungen im Hinblick auf ein Speichern und Übertragen
derartiger großer
Mengen von digitalen Videoinformationen zu begegnen, wurden verschiedene
Videokomprimierungsstandards oder Prozesse eingerichtet, einschließlich MPEG-1,
MPEG-2, MPEG-4 und H.26X. Diese Videokomprimierungstechniken verwenden
noch immer Bildkomprimierungstechniken, bezeichnet als Intraframe-Korrelation
der individuellen Vollbilder, sowie Ähnlichkeiten zwischen aufeinanderfolgenden
Vollbilder, bezeichnet als Interframe-Korrelation, um die digitalen
Videoinformationen zu kodieren und einen hohen Komprimierungsfaktor
zu liefern.
-
Eine
Block-Matching Motion Compensation (BM-Motion Compensation) ist
eine im Stand der Technik bekannte Technik zum Kodieren digitaler
Videoinformationen. Wenn eine Bildsequenz wandernde Gegenstände zeigt,
kann deren Bewegung innerhalb der Sequenz zum Erzeugen eines Bewegungsvektors
für einen
das wandernde Objekt enthaltenden bestimmten Block verwendet werden,
auch bezeichnet als ein Makroblock. Dieser Bewegungsvektor kann
verwendet werden, um vorherzusagen, wo der Makroblock später in der
Sequenz sein wird. Statt eines Übertragens
eines neuen Bilds können
die Bewegungsvektoren für
Makroblöcke, welche
die wandernden Gegenstände
enthalten, gesendet werden. Eine Block-Matching Motion Compensation
verringert erheblich die Daten, welche übertragen werden müssen für Bildsequenzen,
welche wandernde Gegenstände
enthalten. Jedoch müssen,
wenn das gesamte Bild eine Verschiebung, eine Expansion, eine Kontraktion
oder eine Drehung erfährt,
die Bewegungsvektoren von sämtlichen
Makroblöcken übertragen
werden, was die Kodierleistung erheblich vermindert. Um dieses Problem
zu lösen,
sind Global-Motion-Compensation-Verfahren (GMC-Verfahren) im Stand
der Technik gut bekannt, wie etwa die "Sprite"-Kodiertechniken, verwendet
in MPEG-4 (das heißt,
ISO/IEC 14496-2). Diese Global-Motion-Compensation-Verfahren berücksichtigen
Gesamtbildänderungen
zwischen einem vorhergehenden Vollbild und dem aktuellen Vollbild.
Gesamtbewegungsparameter, welche verknüpft sind mit jedem Vollbild,
werden verwendet zum Spezifizieren individueller Bewegungsvektoren
für alle
Pixel in jedem Makroblock, kodiert unter Verwendung einer Global
Motion Compensation. Auf diese Weise ist für jedes Vollbild lediglich
ein Satz von Gesamtbewegungsparametern erforderlich, was die Kodierleistung
für Videosequenzen
mit Gesamtbildänderungen
erhöht.
-
Ein
typischer Videodekodierer verwendet einen Prädiktionsbildsynthesizer zum
Durchführen
der Motion Compensation und Gewinnen von Prädiktionsblöcken von mindestens einem dekodierten
Bild, welches ein zuvor dekodiertes Vollbild, gespeichert in einem
Vollbildspeicher, ist. Der Prädiktionsbildsynthesizer 126 führt entweder
eine Block-Matching-Motion-Compensation oder eine Global-Motion-Compensation
gemäß dem Kodierungstyp,
welcher verwendet wird für
den bestimmten Makroblock, durch. Jedoch erfordern Videodekodierer,
welche sowohl eine Block-Matching-Motion-Compensation
als auch eine Global-Motion-Compensation
unterstützen,
die Verwendung zweier verschiedener Bildsynthesizer. Ein BM-Bildsynthesizer
synthetisiert das Prädiktionsbild
für Blöcke, welche
kodiert werden unter Verwendung einer Block-Matching-Motion-Compensation,
und ein GMC-Bildsynthesizer 210 synthetisiert
das Prädiktionsbild
für Blöcke, welche
kodiert werden unter Verwendung einer Global-Motion-Compensation. Dies ist eine nicht
optimale Realisierung und erhöht
die Komplexität
sowie die Kosten des Videodekodierers.
-
Vor
diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung,
eine Vorrichtung zu schaffen, welche fähig ist zu einem Durchführen eines
Bewegungsausgleichs bei Makroblöcken,
kodiert unter Verwendung einer Block-Matching-Motion- Compensation, und/oder
bei Makroblöcken,
kodiert unter Verwendung einer Global-Motion-Compensation.
-
Diese
Aufgabe wird gelöst
durch eine Vorrichtung, ein Verfahren und einen Prädiktionsbildsynthesizer gemäß Ansprüchen 1,
13 bzw. 24. Die abhängigen
Ansprüche
gehören
zu entsprechenden Weiterentwicklungen und Verbesserungen.
-
Wie
deutlicher aus der nachfolgenden genauen Beschreibung hervorgeht,
vollführen
die Vorrichtung, das Verfahren und der Prädiktionsbildsynthesizer, welche
dargelegt sind in den Ansprüchen,
Interpolationsvorgänge
an Makroblöcken,
kodiert unter Verwendung einer Global-Motion-Compensation, gemäß einem
Globalbewegungsvektor, welcher abgeleitet wird aus dem Video-Bit-Strom und in
einer Form vorliegt, welche im wesentlichen identisch ist mit derjenigen
des Makroblock-Bewegungsvektors.
-
Im
folgenden wird die Erfindung weiter beispielhaft erläutert unter
Bezugnahme auf die beiliegende Zeichnung; es zeigt
-
1 einen
typischen Videodekodierer gemäß dem Stand
der Technik;
-
2 ein
Blockdiagramm des Prädiktionsbildsynthesizers
von 1 gemäß dem Stand
der Technik;
-
3 ein
Blockdiagramm eines erfindungsgemäßen Prädiktionsbildsynthesizers;
-
4 ein
Diagramm einer Halbpixel-Interpolation für einen Luminanz- und Chrominanz-Blockabgleich-Ausgleich,
durchgeführt
durch den Prädiktionsbildsynthesizer
von 3;
-
5 eine
Matrix, welche eine Halbpixel-Interpolation für das Diagramm von 4 darstellt;
-
6 ein
Diagramm einer Global-Motion-Compensation gemäß dem Stand der Technik;
-
7 eine
Matrix einer Halbpixel-Interpolation für eine Luminanz-Global-Motion-Compensation, durchgeführt durch
den Prädiktionsbildsynthesizer
von 3;
-
8 eine
Matrix einer Viertelpixel-Interpolation für eine Chrominanz-Global-Motion-Compensation, durchgeführt durch
den Prädiktionsbildsynthesizer
von 3; und
-
9 ein
Flussdiagramm eines erfindungsgemäßen Verfahrens zur Verarbeitung
eines eingehenden kodierten Video-Bit-Stroms mit einer Vielzahl von Vollbildern.
-
1 zeigt
einen typischen Videodekodierer 100 gemäß dem Stand der Technik, wie
offenbart im US-Patent Nr. 6 483 877. Der Videodekodierer 100 empfängt einen
eingehenden kodierten Video-Bit-Strom 102, welcher durch
einen Demultiplexer 104 getrennt wird in quantisierte diskret
Kosinus-transformierte Koeffizienten 106 (DCT-Koeffizienten 106),
einen Makroblock-Bewegungsvektor
und Globalwanderungsparameter 108 sowie ein Intraframe/Interframe-Unterscheidungsflag 110.
Der quantisierte DCT-Koeffizient 106 wird dekodiert zu
einem Fehlerbild 116 durch einen inversen Quantisierer 112 und
einen inversen DCT-Prozessor 114. Ein
Ausgabebild 118 einer Interframe/Intraframe-Schalteinheit 120 wird
hinzugefügt
zu dem Feh lerbild 116 durch einen Addierer 122 zur
Bildung eines rekonstruierten Bilds 124.
-
Die
Interframe/Intraframe-Schalteinheit 120 schaltet ihre Ausgabe 118 gemäß dem Interframe/Intraframe-Kodier-Unterscheidungsflag 110.
Ein Prädiktionsbildsynthesizer 126 synthetisiert
ein Prädiktionsbild 128,
welches verwendet wird zur Ausführung
der Interframe-Kodierung. Der Prädiktionsbildsynthesizer 126 führt einen
Wanderungsausgleichsvorgang aus und ruft Prädiktionsblöcke von mindestens einem dekodierten Bild 130 ab,
welches ein zuvor dekodiertes Vollbild, gespeichert in einem Vollbildspeicher 128,
ist. Der Prädiktionsbildsynthesizer 126 vollführt entweder
eine Block-Matching-Motion-Compensation
oder eine Global-Motion-Compensation gemäß dem Kodierungstyp, welcher
verwendet wird für
einen bestimmten Makroblock. Im Falle einer Intrafame-Kodierung
gibt die Interframe/Intraframe-Schalteinheit 120 das "0"-Signal 132 aus, und die Ausgabe
des Prädiktionsbildsynthesizers 126 wird
nicht verwendet.
-
2 zeigt
ein genaueres Blockdiagramm des Prädiktionsbildsynthesizers 126 von 1 gemäß dem Stand
der Technik. Der Prädiktionsbildsynthesizer 126 verarbeitet
eine Global-Motion-Compensation
und eine Block-Matching-Motion-Compensation parallel. Der Makroblock-Bewegungsvektor
und die Gesamtbewegungsparameter 128 werden eingegeben
in einen Demultiplexer 202, welcher Gesamtbewegungsparameter 204,
einen Makroblock-Bewegungsvektor 216 und
ein Auswahlsignal 208, welches eine Block-Matching/Global-Motion-Compensation
spezifiziert, an einen GMC-Bildsynthesizer 210, einen BM-Bildsynthesizer 212 bzw. einen
Schalter 214 liefert. Der BM-Bildsynthesizer 212 synthetisiert
das Prädiktionsbild
für Blöcke, welche
kodiert werden unter Verwendung einer Block-Matching-Motion-Compensation,
und der GMC-Bildsynthesizer 210 synthetisiert das Prädiktionsbild
für Blöcke, welche
kodiert werden unter Verwendung einer Global-Motion-Compensation.
Die jeweiligen Prädiktionsbilddaten 216 und 218 werden
ausgegeben zu dem Schalter 214, welcher eines dieser Signale
auswählt
gemäß dem Auswahlsignal 208,
empfangen von dem Demultiplexer 202. Das Prädiktionsbild 128 wird
anschließend
ausgegeben zu der Schalteinheit 120, wie dargestellt in 1.
-
Wie
aus der obigen Beschreibung hervorgeht, erfordern Videodekodierer,
welche sowohl eine Block-Matching-Motion-Compensation als auch eine Global-Motion-Compensation
unterstützen,
die Verwendung zweier verschiedener Bildsynthesizer. Ein erster
Bildsynthesizer 212 wird verwendet für eine Block-Matching-Motion-Compensation,
und ein zweiter Bildsynthesizer 210 wird verwendet für eine Global-Motion-Compensation.
Bei einem Verarbeiten von Blöcken,
welche kodiert werden unter Verwendung eines Blockabgleich-Bildausgleichs,
ist der GMC-Bildsynthesizer 210 im
Ruhezustand. Ebenso ist bei einem Verarbeiten von Blöcken, welche
kodiert werden unter Verwendung einer Global-Motion-Compensation,
der BM-Bildsynthesizer 212 im Ruhezustand. Diese nicht
optimale Lösung,
bei welcher zwei Bildsynthesizer erforderlich sind, erhöht die Hardware-Komplexität des Videodekodierers
und führt
zu höheren
Kosten. Es wäre
vorteilhaft, die Funktionalität
des GMC-Synthesizers 210 und des BM-Synthesizers 212 zu
einer integrierten Einheit zu kombinieren.
-
3 ist
ein Blockdiagramm eines erfindungsgemäßen Prädiktionsbildsynthesizers 300.
Der Prädiktionsbildsynthesizer 300 kann
verwendet werden in einem Videodekodierer, wie etwa dem Videodekodierer 100,
dargestellt in 1. In 3 sind sämtliche
Signale, welche dieselben Informationen wie Signale in 1 enthalten,
bezeichnet unter Verwendung derselben Bezugszeichen wie in 1.
Der Prädiktionsbildsynthesizer 300 umfasst
einen Demultiplexer 302, eine Übersetzungseinheit 304,
eine Makroblock-MV-Speichereinheit (Makroblock-Bewegungsvektor-Speichereinheit) 306,
eine Gesamt-MV-Speichereinheit
(Gesamtbewegungsvektor-Speichereinheit) 308, eine Schalteinheit 310 und
eine Interpolationseinheit 312. Der Demultiplexer 302 empfängt den
Makroblock-Bewegungsvektor und die Gesamtbewegungsparameter 108,
abgeleitet aus dem eingehenden kodierten Video-Bit-Strom. Zu Beginn
jedes Vollbilds werden die Globalwanderungsparameter 307 zu
der Übersetzungseinheit 304 geführt. Die Übersetzungseinheit 304 wandelt
die Gesamtbewegungsparameter 307 um in einen Gesamtbewegungsvektor
für Luminanz
(Luminanz-Gesamtbewegungsvektor) und einen Gesamtbewegungsvektor
für Chrominanz
(Chrominanz-Gesamtbewegungsvektor).
Der Luminanz-Gesamtbewegungsvektor und der Chrominanz-Gesamtbewegungsvektor
können
verwendet werden während
Interpolationsvorgängen
an dem Makroblockniveau für
sämtliche
Makroblöcke,
welche kodiert werden unter Verwendung einer Global-Motion-Compensation,
durch das Vollbild hindurch. Der Luminanz-Gesamtbewegungsvektor
und der Chrominanz-Gesamtbewegungsvektor
werden gespeichert in der Gesamt-MV-Speichereinheit 308. Für sämtliche
Makroblöcke,
welche kodiert werden unter Verwendung einer Block-Matching-Motion-Compensation, ist
mindestens ein Makroblock-Bewegungsvektor innerhalb des Makroblocks
enthalten. Der Makroblock-Bewegungsvektor 305 ist
enthalten innerhalb der Makroblock-Bewegungsvektoren und der Gesamtbewegungsparameter 108 und
wird geführt
zu dem Prädiktionsbildsynthesizer 300.
Der Makroblock-Bewegungsvektor 305 wird dann in der Makroblock-MV-Speichereinheit 306 gespeichert.
Gemäß der MPEG-4-Spezifikation ist
der Makroblock-Bewegungsvektor 305 tatsächlich ein Makroblock-Bewegungsvektor
für Luminanz
(Luminanz- Makroblock-Bewegungsvektor).
Ein Makroblock-Bewegungsvektor für
Chrominanz (Chrominanz-Makroblock-Bewegungsvektor) kann erhalten
werden durch Ausführen
einer Berechnung bezüglich
des Luminanz-Makroblock-Bewegungsvektors. Um den Platz des Makroblock-MV-Speichers 306 zu
sparen, wird lediglich der Makroblock-Bewegungsvektor 305 (das
heißt,
der Luminanz-Makroblock-Bewegungsvektor)
in dem Makroblock-MV-Speicher 306 gespeichert. Der Chrominanz-Makroblock-Bewegungsvektor
wird berechnet und erhalten in der Interpolationseinheit 312 bei
diesem Ausführungsbeispiel.
Es sei darauf hingewiesen, dass die Makroblock-MV-Speichereinheit 306 auch
ersetzt werden kann durch eine Geradeausverbindung mit der Schalteinheit 310 bei
einem anderen Ausführungsbeispiel
der vorliegenden Erfindung. Die Schalteinheit 310 wird
verwendet entweder zum Führen
des Makroblock-Bewegungsvektors von dem Makroblock-MV-Speicher 306 oder
des Luminanz/Chrominanz-Gesamtbewegungsvektors von der Global-MV-Speichereinheit 308 zu der
Interpolationseinheit 312 gemäß dem Bewegungsausgleich-Typ 316.
-
Die
Interpolationseinheit 312 liest mindestens einen Prädiktionsblock
in einem dekodierten Bild 130, und die Stelle des Prädiktionsblocks
in dem dekodierten Bild wird bestimmt durch den Bewegungsvektor 314, empfangen
von der Schalteinheit 310. Die Interpolationseinheit 312 vollführt dann
sowohl Luminanz- als
auch Chrominanz-Interpolationsvorgänge des entsprechenden Prädiktionsblocks.
Der empfangene Bewegungsvektor 314 kann der Makroblock-Bewegungsvektor,
abgerufen von der Makroblock-MV-Speichereinheit 306, oder
der Luminanz/Chrominanz-Gesamtbewegungsvektor,
abgerufen von der Gesamt-MV-Speichereinheit 308,
sein. Die Interpolationseinheit 312 empfängt das
dekodierte Bild 130 und den Bewegungsvektor 314,
führt Interpolationsvorgänge aus
und gibt ein Prädiktionsbild 128 aus,
welches verwendet wird zur Ausführung
der Interframe- Kodierung
in einem Videodekodierer, wie etwa dem Videodekodierer 100,
dargestellt in 1. Die Interpolationseinheit 312 kann
ferner einen Puffer 313 zum temporären Speichern des Interpolationsvorgangsergebnisses
entsprechend den verschiedenen Makroblock-Bewegungsvektoren in einem
Makroblock umfassen, um die Interpolationsvorgänge eines Makroblocks richtig
auszuführen.
Beispielsweise kann bei einem Durchführen einer bidirektionalen
Interpolation für
einen Block-Matching-Makroblock die Interpolationseinheit 312 das
Vorwärtsprädiktions-Interpolationsergebnis
in dem Puffer 313 temporär speichern, mit dem späteren Rückwärtsprädiktions-Interpolationsergebnis
kombinieren und anschließend
das bidirektionale Interpolationsendergebnis erhalten.
-
Zur
weiteren Erläuterung
der durch die Interpolationseinheit 312 durchgeführten Luminanz-
und Chrominanz-Interpolationsvorgänge sei
verwiesen auf 4 und 5. 4 ist
ein Diagramm zur Darstellung einer Halbpixel-Interpolation für einen Luminanz- und Chrominanz-Block-Matching-Compensation,
durchgeführt
durch den Prädiktionsbildsynthesizer 300 von 3. 5 ist
eine Matrix zur Darstellung der resultierenden Halbpixel-Bilinear-Interpolation
für das
Diagramm von 4. In 4 sind vier
Ganzpixel-Positionen
(A, B, C, D), bezeichnet in 5 als (IA, IB, IC und
ID), sowie fünf Halbpixel-Positionen, bezeichnet
in 5 als (H1, H2,
H3, H4, H5), vorhanden. Bei einem Durchführen eines
Bewegungsausgleichs für
Makroblöcke,
kodiert unter Verwendung einer Block-Matching-Motion-Compensation,
verwendet die vorliegende Erfindung denselben Halbpixel-Bilinear-Interpolationsprozess
des Standes der Technik. Zur kurzen Beschreibung der Bilinear-Interpolationsberechnungen
zeigen die nachfolgenden Formeln die Interpolationsberechnungen
für die
Pixelpositionen: IA, H1,
H2 und H3. (Die übrigen Pixelpositionen werden
berechnet in derselben Weise wie bekannt im Stand der Technik.) IA = IA H1 = (IA +
IB + 1 – rounding
control)/2 H2 = (IA + IC + 1 – rounding
control)/2 H3 = (IA + IB + IC + ID + 2 – rounding
control)/4..., wobei der Rounding_Control-Parameter ein Wert
von 0 oder 1 ist und abgeleitet wird aus dem eingehenden kodierten
Video-Bit-Strom.
-
6 zeigt
ein Diagramm zur Darstellung einer Global-Motion-Compensation gemäß dem Stand der Technik. Eine
Global-Motion-Compensation
gemäß dem Stand
der Technik beinhaltet ein Umwandeln der Gesamtbewegungsparameter
in einen individuellen Bewegungsparameter für jeden Pixel in jedem Makroblock, kodiert
unter Verwendung einer Global-Motion-Compensation. In 6 sind
wieder vier Ganzpixel-Positionen (Y00, Y01, Y10 und Y11) sowie eine Nicht-Ganzpixel-Position Y
vorhanden. Die Nicht-Ganzpixel-Position
Y hat eine Vertikaldistanz von (rj/s) und
eine Horizontalposition von (ri/s), wobei
s spezifiziert ist durch Sprite Warping Accuracy, wie definiert
in der MPEG-4 (ISO/IEC 14496-2)-Spezifikation. Die vorliegende Erfindung
nutzt die Tatsache, dass bei einem Setzen des Parameters No_Of_Sprite_Warping_Point
in MPEG-4 auf einen Wert von 0 oder einen Wert von 1 die Gesamtbewegungsparameter
umgewandelt werden können
in einen Gesamtbewegungsvektor mit demselben Wert für alle Pixel
in diesem Vollbild. Dies bedeutet, dass statt einer Durchführung einer
Global-Motion-Compensation auf einer Pro-Pixel-Basis, wie dies beim
Stand der Technik der Fall ist, die vorliegende Erfindung auch eine
Global-Motion-Compensation auf einer Pro-Makroblock-Basis unter Verwendung
eines einzigen Bewegungsvektors für jeden Makroblock durchführen kann.
Auf diese Weise wird beinahe dieselbe Hardware, die bei dem BM-Bildsynthesizer 212 des
Standes der Technik verwendet wird, verwendet zur Durchführung sowohl
einer Block-Matching-Motion-Compensation
als auch einer Global-Motion-Compensation bei der vorliegenden Erfindung.
-
7 zeigt
ein Diagramm, welches eine Halbpixel-Bilinear-Interpolation für eine Luminanz-Global-Motion-Compensation,
durchgeführt
durch die Interpolationseinheit 312 von 3,
darstellt. Wenn der Parameter No_Of_Sprite_Warping_Point in MPEG-4
auf einen Wert von 0 oder einen Wert von 1 gesetzt wird, können die Luminanz-Interpolationsvorgänge von 6 reduziert
werden auf die in 7 dargestellte Matrix. Die in 7 dargestellte
Matrix ist äquivalent
zu der in 5 dargestellten Matrix, und
dies impliziert die Luminanz- und Chrominanz-Interpolationsvorgänge für einen
Blockabgleich-Ausgleich,
und die Luminanz-Interpolationsvorgänge für eine Global-Motion-Compensation
können
durchgeführt
werden unter Verwendung derselben Interpolationseinheit 312 bei
einer Halbpixelauflösung.
-
8 ist
ein Diagramm, welches eine Viertelpixel-Bilinear-Interpolation für eine Chrominanz-Global-Motion-Compensation,
durchgeführt
durch die Interpolationseinheit 312 von 3,
darstellt. Wenn der Parameter No_Of_Sprite_Warping_Point in MPEG-4
auf einen Wert von 0 oder einen Wert von 1 gesetzt wird, können die
Chrominanz-Interpolationsvorgänge
von 5 reduziert werden auf die in 7 dargestellte
Matrix. 7 ist einfach eine Viertelpixel-Matrix,
welche gelöst
wird unter Verwendung desselben Bilinear-Interpolationsprozesses
wie bei der Halbpixel-Matrix, jedoch bei zweifacher Auflösung. Zur
kurzen Beschreibung der Interpolationsberechnungen bei einem Viertelpixel
zeigen die nachfolgenden Formeln die Interpolationsberechnungen
für die
Pixelpositionen: IA, Q1,
H2, Q4, Q5, Q6, H9,
Q10 und H11. (Die übrigen Pixelpositionen
werden in derselben Weise berechnet.) IA = IA Q1 = (3 IA +
IB + 2 – rounding
control)/4 H2 = (IA + IB + 1 – rounding
control)/2 Q4 = (3
IA + IC + 2 – rounding
control)/4 Q5 = (9
IA + 3 IB + 3 IC + ID + 8 – rounding
control)/16 Q6 =
(3 IA + 3 IB + IC + ID + 4 – rounding
control)/8 H9 = (IA +
IC + 1 – rounding
control)/2 Q10 = (3 IA +
IB + 3 IC + ID + 4 – rounding
control)/8 H11 = ( IA +
IB + IC + ID + 2 – rounding
control)/4..., wobei der Parameter Rounding Control ein Wert
von 0 oder 1 ist und abgeleitet wird aus dem eingehenden kodierten
Video-Bit-Strom.
-
Es
sei darauf hingewiesen, dass die Übersetzungseinheit 304 die
Gesamtbewegungsparameter 307, empfangen von jedem Vollbild,
umwandelt in einen Luminanz-Gesamtbewegungsvektor und einen Chrominanz-Gesamtbewegungsvektor
für das
Vollbild. Die folgenden Formeln beschreiben den Umwandlungsprozess,
realisiert durch die Übersetzungseinheit 304,
zum Umwandeln der Gesamtbewegungsparameter in die Luminanz/Chrominanz-Gesamtbewegungsvektoren,
welche verwendet werden während
Interpolationsvorgängen
für Makroblöcke, kodiert
unter Verwendung einer Global-Motion-Compensation, wobei No_Of_Sprite_Warping_Point
gleich 0 bzw. No-Of_Sprite_Warping_Point gleich 1 ist. Der Luminanz-Gesamtbewegungsvektor
ist ein Halbpixel-Genauigkeit-Bewegungsvektor,
und der Chrominanz-Gesamtbewegungsvektor ist ein Viertelpixel-Genauigkeit-Bewegungsvektor.
Daher können
diese unter Verwendung einer Global-Motion-Compensation kodierten
Makroblöcke
so behandelt werden, als wären
sie Blockabgleich-Makroblöcke
mit einem Prädiktionsmodus
von "Frame_Prediction" und mit den nachfolgenden
Luminanz/Chrominanz-Gesamtbewegungsvektoren
jeweils für
die Luminanz/Chrominanz-Komponenten.
-
Für GMC-Makroblöcke mit
(No_Of_Sprite_Warping-Point == 0), (Sprite_Enable == 'GMC') und (Video_Object_Layer_Shape
== Rectangle') gilt: MVGMC_Y = (MVx GMC_Y, MVy GMC_Y) = (0,0) MVGMC_CbCr = (MVx GMC_CbCr, MVy GMC_CbCr) = (0,0)
-
Für GMC-Makroblöcke mit
(No_Of_Sprite_Warping_Point == 1), (Sprite_Enable == 'GMC') und (Video_Object_Layer-Shape
== 'Rectangle') gilt.
wobei
du[0] und dv[0] die Globalwanderungsparameter, abgeleitet aus dem
eingehenden kodierten Video-Bit-Strom, sind und s spezifiziert ist
durch Sprite-Warping_Accuracy, wie definiert in der MPEG-4 (ISO/IEC 14496-2)-Spezifikation.
-
Es
sei darauf hingewiesen, dass die obigen Gleichungen gelten, wenn
(No_Of_Sprite_Warping_Point == 0 oder 1), (Sprite_Enable == 'GMC') und (Video_Object_Layer_Shape
== 'Rectangle') gilt. Jedoch kann
die vorliegende Erfindung auch verwendet werden, wenn die Werte
von Sprite_Enable und Video_Object_Layer_Shape verschieden sind.
Fachleute auf diesem Gebiet werden erkennen, dass, solange (No_Of_Sprite_Warping_Point
== 0 oder 1) gilt, die vorliegende Erfindung selbst dann anwendbar
ist, wenn die Werte von Sprite_Enable und Video_Object_Layer_Shape
verschieden von dem obigen sind und die Gleichungen verschieden
werden.
-
9 zeigt
ein Flussdiagramm eines erfindungsgemäßen Verfahrens zur Verarbeitung
eines eingehenden kodierten Video-Bit-Stroms mit einer Vielzahl von Vollbildern.
Jedes Vollbild kann eine Vielzahl von unter Verwendung einer Block-Matching-Motion-Compensation
kodierten Makroblöcken
und/oder eine Vielzahl von unter Verwendung einer Global-Motion-Compensation
kodierten Makroblöcken
enthalten. Das Flussdiagramm enthält die folgenden Schritte:
Schritt 900:
Für jedes
Vollbild, empfangen in dem eingehenden Videostrom, Umwandeln der
Gesamtbewegungsparameter, welche verknüpft sind mit dem Vollbild,
in einen Luminanz-Gesamtbewegungsvektor und einen Chrominanz-Gesamtbewegungsvektor.
Speichern des Luminanz-Gesamtbewegungsvektors und des Chrominanz-Gesamtbewegungsvektors
für spätere Global-Motion-Compensation-Luminanz/Chrominanz-Interpolationsvorgänge. Weiter
mit Schritt 902.
Schritt 902: Bei einem Dekodieren
eines aktuellen Makroblocks, Bestimmen, ob der aktuelle Makroblock
kodiert ist unter Verwendung einer Block-Matching-Motion-Compensation oder einer
Global-Motion-Compensation.
Wenn Block-Matching- Motion-Compensation,
Fortfahren mit Schritt 904, andernfalls, wenn Global-Motion-Compensation, Fortfahren
mit Schritt 908.
Schritt 904: Extrahieren
der Makroblock-Bewegungsvektoren, gespeichert in dem aktuellen Makroblock.
Schritt 906:
Ausführen
der Luminanz- und Chrominanz-Bilinear-Interpolationsvorgänge gemäß den in
Schritt 904 extrahierten Makroblock-Bewegungsvektoren. Verwenden einer Halbpixelauflösung sowohl
für Luminanz als
auch für
Chrominanz. Verarbeitung Ende.
Schritt 908: Ausführen des
Luminanz-Bilinear-Interpolationsvorgangs gemäß dem in Schritt 900 gespeicherten Luminanz-Gesamtbewegungsvektor.
Verwenden einer Halbpixelauflösung
und Fortfahren mit Schritt 910, wenn beendet.
Schritt 910:
Ausführen
des Chrominanz-Bilinear-Interpolationsvorgangs gemäß dem in
Schritt 900 gespeicherten Chrominanz-Gesamtbewegungsvektor.
Verwenden einer Viertelpixelauflösung
und, wenn beendet, Verarbeitung Ende.
-
Im
Gegensatz zum Stand der Technik vollführt die vorliegende Erfindung
Bilinear-Interpolationsvorgänge
an Makroblöcken,
kodiert unter Verwendung einer Global-Motion-Compensation, gemäß einem
Luminanz-Gesamtbewegungsvektor und einem Chrominanz-Gesamtbewegungsvektor,
so dass die Block-Matching-Motion-Compensation und die Global-Motion-Compensation
zu einer einzigen Einheit integriert werden können. Die Lumi nanz/Chrominanz-Gesamtbewegungsvektoren
werden umgewandelt ausgehend von einem Satz von Gesamtbewegungsvektoren, übertragen
mit jedem Vollbild in dem eingehenden kodierten Video-Bit-Strom. Für einen
gemäß MPEG-4
kodierten Video-Bit-Strom mit GMC-Makroblöcken, bei welchem der Parameter
No_Of-Sprite_Warping_Point
entweder auf 1 oder 0 gesetzt ist, können die Global-Motion-Compensation-Berechnungen
vereinfacht werden, so dass sie den Interpolationsvorgängen ähnlich sind,
welche normalerweise für
einen Blockabgleich durchgeführt
werden. Der Unterschied ist, dass für die Chrominanz-Interpolationsvorgänge für unter
Verwendung einer Global-Motion-Compensation
kodierte Makroblöcke
eine Viertelpixelauflösung
verwendet wird. Für
Luminanz- und Chrominanz-Interpolationsvorgänge für unter
Verwendung einer Block-Matching-Motion-Compensation
kodierte Makroblöcke
und für
die Luminanz-Interpolationsvorgänge
für unter
Verwendung einer Global-Motion-Compensation kodierte Makroblöcke wird
eine Halbpixelauflösung
verwendet.
-
Es
sei darauf hingewiesen, dass, wenn ein Vollbild lediglich unter
Verwendung einer Block-Matching-Motion-Compensation kodierte Makroblöcke enthält, möglicherweise
keine mit dem Vollbild verknüpften Gesamtbewegungsparameter
vorhanden sind. In einem solchen Fall führt die vorliegende Erfindung
nicht den Umwandlungsprozess zum Umwandeln der Globalwanderungsparameter
in einen Luminanz-Gesamtbewegungsvektor und einen Chrominanz-Gesamtbewegungsvektor
durch, da keine mit dem Vollbild verknüpften Gesamtbewegungsparameter
vorhanden sind.
