Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie eine Anwendung.
Im MPEG-4 Verification Model Version 8.0 (VM8.0), ISO/IEC JTC1/SC29/ G11, MPEG97/N1796 wird ein kontextbasierender arithmetischer Codieralgorithmus (context based arithmetic encoding CAE) zur binären Konturcodierung von I (Intraframe) - , P (einseitig bewegungskompensiert pradizierten) - und B (bidirektional interpolierten) - Bildanteilen (VOP video object plane) benutzt.
Figur 1 zeigt als Beispiel für eine Bildsequenz bestehend aus I-, P- und B-VOPs eine GOF (group of frames) -Struktur im MPEG-1 Standard. Die ausschließlich nach der Intraframe- Technik codierten Bildanteile sind mit I bezeichnet, die einseitig bewegungskompensiert pradizierten Bildanteile mit
P und die dazwischenliegenden jeweils bidirektional interpolierten Bildanteile mit B. Das Beispiel nach Figur 1 zeigt vier P-Bildanteile pro GOF und jeweils zwei B- Bildanteile zwischen I- und/oder P-Bildanteilen. Die Länge des GOF ist nicht fest vorgegeben, sondern jeweils durch die
Anzahl der verschiedenen Bildtypen bestimmt. Ein wesentliches Merkmal des CAE-Algorithmus ist es, daß bei der "inter" Konturcodierung (INTER CAE Shape Coding) eines aktuellen B-VOP stets ein zeitlich nachfolgender VOP als Referenzwert (backward reference VOP) herangezogen wird und zwar sowohl für die binäre Konturreferenz als auch für die Konturmode-Referenz (Shape Mode Reference) . Da jedoch B-VOPs zufälliger Kontur manchmal nur auf Bildinhalte eines zeitlich davorliegenden VOPs als Referenz (Forward Reference VOP) zugreifen, muß mit dem gegenwärtigen CAE-Algorithmus die binäre Kontur dieses B-VOPs in gleicher Weise wie ein I- VOP codiert werden. Dies führt zu einer beträchtlichen Degradation der Codiereffizienz bei solchen B-VOPs.
Vorteile der Erfindung
Mit den Maßnahmen gemäß Anspruch 1 läßt sich die Codiereffizienz insbesondere für die Konturcodierung bei bidirektional interpolierten Bildanteilen (B-VOPs) verbessern. Das Verfahren nach der Erfindung liefert eine zeitadaptive Konturcodierung für B-VOPs. Während einer kontextbasierten Konturcodierung kann ein B-VOP entweder auf einen zeitlich davorliegenden I-VOP bzw. P-VOP (forward reference VOP) oder auf einen zeitlich folgenden (backward reference VOP) I-VOP bzw. P-VOP als Referenzwert für die Konturcodierung zugreifen.
Das Verfahren nach der Erfindung zeichnet sich außerdem dadurch aus, daß keine Syntaxänderungen notwendig sind und somit eine Verwendung bei bestehenden Standards, z.B. dem MPEG-4-Standard, auf einfache Weise möglich ist.
Beschreibung von Ausführungsbeispielen
Bei der Erfindung werden unterschiedlich codierte Bildanteile einer Bildsequenz, wie auch in Figur 1 dargestellt, verwendet. Dabei sind I-VOPs Bildanteile, die ausschließlich nach der Intraframe-Technik codiert sind. P- VOPs sind Bildanteile, die einseitig bewegungskompensiert prädiziert sind und B-VOPs sind bidirektional interpolierte Bildanteile. Nach der Erfindung kann ein B-VOP entweder auf einen zeitlich davorliegenden VOP oder einen zeitlich darauffolgenden VOP während einer CAE-Kontur-Codierung als Referenzwert zugreifen, der nach der Intraframe-Technik codiert ist oder einseitig bidirektional prädiziert ist. Welcher VOP als Referenzwert selektiert wird, richtet sich nach den folgenden Auswahlkriterien: wenn bei einem aktuellen bidirektional interpolierten Bildanteil B-VOP entweder ein zeitlich davorliegender (forward) I- bzw. P-VOP oder ein zeitlich darauffolgender (backward) I- bzw. P-VOP fehlt, wird der verfügbare (forward/backward) I- bzw. P-VOP als
Referenzwert für die binäre Konturcodierung und den Konturmode nach dem CAE-Kontur-Codierverfahren gewählt; wenn sowohl ein "forward"- und ein "backward" -VOP als Referenzwert verfügbar sind, wird jener VOP (I-VOP oder P-VOP) als binärer Konturreferenzwert und Konturmode-
Referenzwert ausgewählt, der den kleineren zeitlichen Abstand zum jeweils aktuellen bidirektional interpolierten Bildanteil B-VOP aufweist; wenn der aktuelle B-VOP den gleichen zeitlichen Abstand sowohl zum "forward" als auch zum "backward" Referenz-
VOP hat, wird stets einer dieser beiden VOPs als Referenzwert ausgewählt und zwar vorzugsweise der zeitlich darauffolgende (backward VOP) .
Angenommen, es liegt eine Bildsequenz mit zufälliger Kontur vor mit BO als erstem und B7 als letztem Bildanteil, z.B.
BO Bl 12 B3 B4 P5 B6 B7. Entsprechend den zuvor angegebenen Auswahlkriterien werden BO und Bl auf 12 (intra) als Referenz VOP zugreifen, da ein "forward" Referenz VOP nicht existiert. B3 greift auf 12 zu, da er den kleineren zeitlichen Abstand zu 12 als zu P5 hat. B4 nimmt P5 (prädiziert) als Referenz VOP, da er zeitlich gesehen der nächstliegende I- oder P-VOP ist. B6 und B7 haben P5 ebenfalls als Referenz VOP, da ein "backward" VOP nicht verfügbar ist.
Im Vergleich zum bisher gebräuchlichen CAE-Algorithmus weist das erfindungsgemäße zeitadaptive Konturcodierverfahren eine effizientere binäre Konturcodierung bei B-VOPs auf, da die INTER CAE-Konturcodierung sogar dann erlaubt ist, wenn ein "backward" Referenz VOP nicht verfügbar ist. Außerdem existiert normalerweise eine größere Korelation zwischen zwei VOPs mit einem kleineren zeitlichen Abstand, so daß die Auswahl eines Referenz VOP mit einem kleineren zeitlichen Abstand zum aktuellen B-VOP die Konturcodiereffizienz beträchtlich verbessert.
Das erfindungsgemäße Verfahren stützt sich vollständig auf den MPEG-4 CAE-Algorithmus . Die VOP-Zeitinstanz ist in der VOP Layer durch "modulo time base" und "VOP time increment" beschrieben (vgl. auch die diesbezügliche Beschreibung in der P 197 35 607.9) und es wird durch "VOP coded" angezeigt, ob ein VOP verfügbar ist oder nicht. Eine Syntaxänderung gegenüber dem MPEG-4 Standard ist deswegen nicht notwendig. Hierdurch wird der MPEG-4 Konturdecodierprozeß entsprechend den zuvor aufgezeigten Auswahlkriterien bei der Selektion des Referenz VOP für einen aktuellen B-VOP modifiziert.
Wie sich das erfindungsgemäße Verfahren auf die Codiereffizienz auswirkt, wird nachfolgend anhand von Simulationen mit Testbildsequenzen dargestellt. Es wurde die MoMuSys-Software VM8-971016 verwendet. Die wichtigsten Codierparameter sind in Tabelle 1 aufgelistet. Dabei gibt Qp die Quantisierungsstufenhöhe als konstante Größe an, d.h. ohne Ratenanpassung. M gibt die Wiederholfolge der I- und P- VOPs an. Für M = 3 ist jeder dritte Bildanteil einer Bildsequenz ein I-VOP oder P-VOP, dazwischen liegen B-VOPs. In Tabelle 2 sind fünf Testbildsequenzen (Video Objects) für die durchgeführten Simulationen dargestellt. Jede Sequenz hat 100 codierte Frames. Nur der erste Frame ist intraframecodiert (I-VOP) . Mit M = 3 wird die Sequenz als
I B* B P B* B P B* B P B* B P in Displayordnung dargestellt. Bei der Konturcodierung werden die mit Stern markierten B-VOPs abweichend vom VM8.0 CAE-Algorithmus codiert, da sie auf die "forward" Referenz VOPs als Referenzwert zugreifen, während die übrigen B-VOPs wie beim VM-Algorithmus codiert werden. Deshalb ist es erwähnenswert, daß die nachfolgend aufgezeigten
Verbesserungen auf den mit Stern markierten B-VOPs basieren.
Die experementeilen Resultate in den Fällen von verlustloser (lossless) und von verlustbehafteter (lossy) Konturcodierung mit beispielsweise 10 % Rekonstruktionsverlust sind in den Tabellen 3 und 4 dargestellt. Dabei zeigt Tabelle 3 den "Lossless" -Fall und Tabelle 4 den "Lossy" -Fall . In der ersten Spalte sind jeweils die Bildsequenzen aufgeführt. Die beiden folgenden Spalten bezeichnen jeweils den Rauschabstand (peak signal to noise ratio PSNR) für eine
Codierung nach VM8 und nach dem erfindungsgemäßen Verfahren (NEW) .
In der letzten Spalte ist jeweils die Verbesserung der Strukturcodierung nach der Erfindung in Prozent aufgeführt.
Bei Nutzung des erfindungsgemäßen Verfahrens kann eine Bitraten-Reduktion von bis zu 10 % in der Konturcodierung erreicht werden. Bei der "Lossy" -Konturcodierung erhöht das erfindungsgemäße Verfahren nicht nur die Konturcodierungseffizienz, sondern auch leicht die
Bewegungs- und Texturcodierungseffizienz. Dies rührt von der Tatsache her, daß in Tabelle 4 die Gesamtbitreduktion einschließlich Kontur-, Bewegungs- und Texturcodierung größer ist als die Bitreduktion in der Konturcodierung allein.
Wie zuvor erwähnt, kommt die Verbesserung aufgrund der mit Stern markierten B-VOPs zustande. Deshalb gestattet die Betrachtung nur der mit Stern markierten B-VOPs bei der binären Konturcodierung eine weitere Bitratenreduktion bis zu etwa 30 %.