DE19746611A1

DE19746611A1 - Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung

Info

Publication number: DE19746611A1
Application number: DE19746611A
Authority: DE
Inventors: Minhua Zhou
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1997-10-22
Filing date: 1997-10-22
Publication date: 1999-04-29
Also published as: JP2001521344A; WO1999021366A1; DE59802376D1; US6678325B1; JP4129120B2; EP1025706A1; EP1025706B1

Description

Stand der Technik

Die Erfindung betrifft ein Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie eine Anwendung.

Im MPEG-4 Verification Model Version 8.0 (VMB.0), ISO/IEC JTC1/SC29/WG11, MPEG97/N1796 wird ein kontextbasierender arithmetischer Codieralgorithmus (context based arithmetic encoding CAE) zur binären Konturcodierung von I (Intraframe) -, P (einseitig bewegungskompensiert prädizierten)- und B (bidirektional interpolierten)- Bildanteilen (VOP video object plane) benutzt.

Fig. 1 zeigt als Beispiel für eine Bildsequenz bestehend aus I-, P- und B-VOPs eine GOF (group of frames)-Struktur im MPEG-1 Standard. Die ausschließlich nach der Intraframe-Technik codierten Bildanteile sind mit I bezeichnet, die einseitig bewegungskompensiert prädizierten Bildanteile mit P und die dazwischenliegenden jeweils bidirektional interpolierten Bildanteile mit B. Das Beispiel nach Fig. 1 zeigt vier P-Bildanteile pro GOF und jeweils zwei B-Bildanteile zwischen I- und/oder P-Bildanteilen. Die Länge des GOF ist nicht fest vorgegeben, sondern jeweils durch die Anzahl der verschiedenen Bildtypen bestimmt. Ein wesentliches Merkmal des CAE-Algorithmus ist es, daß bei der "inter" Konturcodierung (INTER CAE Shape Coding) eines aktuellen B-VOP stets ein zeitlich nachfolgender VOP als Referenzwert (backward reference VOP) herangezogen wird und zwar sowohl für die binäre Konturreferenz als auch für die Konturmode-Referenz (Shape Mode Reference). Da jedoch B-VOPs zufälliger Kontur manchmal nur auf Bildinhalte eines zeitlich davorliegenden VOPs als Referenz (Forward Reference VOP) zugreifen, muß mit dem gegenwärtigen CAE-Algorithmus die binäre Kontur dieses B-VOPs in gleicher Weise wie ein I-VOP codiert werden. Dies führt zu einer beträchtlichen Degradation der Codiereffizienz bei solchen B-VOPs.

Vorteile der Erfindung

Mit den Maßnahmen gemäß Anspruch 1 läßt sich die Codiereffizienz insbesondere für die Konturcodierung bei bidirektional interpolierten Bildanteilen (B-VOPs) verbessern. Das Verfahren nach der Erfindung liefert eine zeitadaptive Konturcodierung für B-VOPs. Während einer kontextbasierten Konturcodierung kann ein B-VOP entweder auf einen zeitlich davorliegenden I-VOP bzw. P-VOP (forward reference VOP) oder auf einen zeitlich folgenden (backward reference VOP) I-VOP bzw. P-VOP als Referenzwert für die Konturcodierung zugreifen.

Das Verfahren nach der Erfindung zeichnet sich außerdem dadurch aus, daß keine Syntaxänderungen notwendig sind und somit eine Verwendung bei bestehenden Standards, z. B. dem MPEG-4-Standard, auf einfache Weise möglich ist.

Beschreibung von Ausführungsbeispielen

Bei der Erfindung werden unterschiedlich codierte Bildanteile einer Bildsequenz, wie auch in Fig. 1 dargestellt, verwendet. Dabei sind I-VOPs Bildanteile, die ausschließlich nach der Intraframe-Technik codiert sind. P-VOPs sind Bildanteile, die einseitig bewegungskompensiert prädiziert sind und B-VOPs sind bidirektional interpolierte Bildanteile. Nach der Erfindung kann ein B-VOP entweder auf einen zeitlich davorliegenden VOP oder einen zeitlich darauffolgenden VOP während einer CAE-Kontur-Codierung als Referenzwert zugreifen, der nach der Intraframe-Technik codiert ist oder einseitig bidirektional prädiziert ist. Welcher VOP als Referenzwert selektiert wird, richtet sich nach den folgenden Auswahlkriterien:

- wenn bei einem aktuellen bidirektional interpolierten Bildanteil B-VOP entweder ein zeitlich davorliegender (forward) I- bzw. P-VOP oder ein zeitlich darauffolgender (backward) I- bzw. P-VOP fehlt, wird der verfügbare (forward/backward) I- bzw. P-VOP als Referenzwert für die binäre Konturcodierung und den Konturmode nach dem CAE-Kontur-Codierverfahren gewählt;
- wenn sowohl ein "forward"- und ein "backward"-VOP als Referenzwert verfügbar sind, wird jener VOP (I-VOP oder P-VOP) als binärer Konturreferenzwert und Konturmode-Referenzwert ausgewählt, der den kleineren zeitlichen Abstand zum jeweils aktuellen bidirektional interpolierten Bildanteil B-VOP aufweist;
- wenn der aktuelle B-VOP den gleichen zeitlichen Abstand sowohl zum "forward" als auch zum "backward" Referenz-VOP hat, wird stets einer dieser beiden VOPs als Referenzwert ausgewählt und zwar vorzugsweise der zeitlich darauffolgende (backward VOP).

Angenommen, es liegt eine Bildsequenz mit zufälliger Kontur vor mit BO als erstem und B7 als letztem Bildanteil, z. B. B0 B1 I2 B3 B4 P5 B6 B7.

Entsprechend den zuvor angegebenen Auswahlkriterien werden B0 und B1 auf I2 (intra) als Referenz VOP zugreifen, da ein "forward" Referenz VOP nicht existiert. B3 greift auf I2 zu, da er den kleineren zeitlichen Abstand zu I2 als zu P5 hat. B4 nimmt P5 (prädiziert) als Referenz VOP, da er zeitlich gesehen der nächstliegende I- oder P-VOP ist. B6 und B7 haben P5 ebenfalls als Referenz VOP, da ein "backward" VOP nicht verfügbar ist.

Im Vergleich zum bisher gebräuchlichen CAE-Algorithmus weist das erfindungsgemäße zeitadaptive Konturcodierverfahren eine effizientere binäre Konturcodierung bei B-VOPs auf, da die INTER CAE-Konturcodierung sogar dann erlaubt ist, wenn ein "backward" Referenz VOP nicht verfügbar ist. Außerdem existiert normalerweise eine größere Korelation zwischen zwei VOPs mit einem kleineren zeitlichen Abstand, so daß die Auswahl eines Referenz VOP mit einem kleineren zeitlichen Abstand zum aktuellen B-VOP die Konturcodiereffizienz beträchtlich verbessert.

Das erfindungsgemäße Verfahren stützt sich vollständig auf den MPEG-4 CAE-Algorithmus. Die VOP-Zeitinstanz ist in der VOP Layer durch "modulo time base" und "VOP time increment" beschrieben (vgl. auch die diesbezügliche Beschreibung in der P 197 35 607.9) und es wird durch "VOP coded" angezeigt, ob ein VOP verfügbar ist oder nicht. Eine Syntaxänderung gegenüber dem MPEG-4 Standard ist deswegen nicht notwendig. Hierdurch wird der MPEG-4 Konturdecodierprozeß entsprechend den zuvor aufgezeigten Auswahlkriterien bei der Selektion des Referenz VOP für einen aktuellen B-VOP modifiziert.

Wie sich das erfindungsgemäße Verfahren auf die Codiereffizienz auswirkt, wird nachfolgend anhand von Simulationen mit Testbildsequenzen dargestellt. Es wurde die MoMuSys-Software VM8-971016 verwendet. Die wichtigsten Codierparameter sind in Tabelle 1 aufgelistet. Dabei gibt Qp die Quantisierungsstufenhöhe als konstante Größe an, d. h. ohne Ratenanpassung. M gibt die Wiederholfolge der I- und P-VOPs an. Für M = 3 ist jeder dritte Bildanteil einer Bildsequenz ein I-VOP oder P-VOP, dazwischen liegen B-VOPs. In Tabelle 2 sind fünf Testbildsequenzen (Video Objects) für die durchgeführten Simulationen dargestellt. Jede Sequenz hat 100 codierte Frames. Nur der erste Frame ist intraframecodiert (I-VOP). Mit M = 3 wird die Sequenz als I B* B P B* B P B* B P B* B P in Displayordnung dargestellt. Bei der Konturcodierung werden die mit Stern markierten B-VOPs abweichend vom VMB.0 CAE-Algorithmus codiert, da sie auf die "forward" Referenz VOPs als Referenzwert zugreifen, während die übrigen B-VOPs wie beim VM-Algorithmus codiert werden. Deshalb ist es erwähnenswert, daß die nachfolgend aufgezeigten Verbesserungen auf den mit Stern markierten B-VOPs basieren.

Die experementellen Resultate in den Fällen von verlustloser (lossless) und von verlustbehafteter (lossy) Konturcodierung mit beispielsweise 10% Rekonstruktionsverlust sind in den Tabellen 3 und 4 dargestellt. Dabei zeigt Tabelle 3 den "Lossless"-Fall und Tabelle 4 den "Lossy"-Fall. In der ersten Spalte sind jeweils die Bildsequenzen aufgeführt. Die beiden folgenden Spalten bezeichnen jeweils den Rauschabstand (peak signal to noise ratio PSNR) für eine Codierung nach VM8 und nach dem erfindungsgemäßen Verfahren (NEW).

In der letzten Spalte ist jeweils die Verbesserung der Strukturcodierung nach der Erfindung in Prozent aufgeführt.

Bei Nutzung des elfindungsgemäßen Verfahrens kann eine Bitraten-Reduktion von bis zu 10% in der Konturcodierung erreicht werden. Bei der "Lossy"-Konturcodierung erhöht das erfindungsgemäße Verfahren nicht nur die Konturcodierungseffizienz, sondern auch leicht die Bewegungs- und Texturcodierungseffizienz. Dies rührt von der Tatsache her, daß in Tabelle 4 die Gesamtbitreduktion einschließlich Kontur-, Bewegungs- und Texturcodierung größer ist als die Bitreduktion in der Konturcodierung allein.

Wie zuvor erwähnt, kommt die Verbesserung aufgrund der mit Stern markierten B-VOPs zustande. Deshalb gestattet die Betrachtung nur der mit Stern markierten B-VOPs bei der binären Konturcodierung eine weitere Bitratenreduktion bis zu etwa 30%.

Claims

1. Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen mit nach der Intraframe-Technik codierten Bildanteilen (I-VOP), prädizierten Bildanteilen (P-VOP) und mit bidirektional interpolierten Bildanteilen (B-VOP) mit folgendem Schritt:

- für die bidirektional interpolierten Bildanteile (B-VOP) werden zur Konturcodierung als Referenzwert jeweils jene nach der Intraframe-Technik (I-VOP) codierten Bildanteile oder prädizierten Bildanteile (P-VOP) herangezogen, die den kleineren zeitlichen Abstand zum jeweils aktuellen bidirektional interpolierten Bildanteil (B-VOP) aufweisen.

2. Verfahren nach Anspruch 1, gekennzeichnet durch folgende Schritte:

- wenn ein zeitlich vor einem aktuellen bidirektional interpolierten Bildanteil (B-VOP) gelegener nach der Intraframe-Technik codierter (I-VOP) oder prädizierter Bildanteil (P-VOP) fehlt, wird der zeitlich auf den bidirektional interpolierten Bildanteil (B-VOP) folgende nach der Intraframe-Technik codierten (I-VOP) oder prädizierte Bildanteil (P-VOP) als Referenzwert für die Konturcodierung des bidirektional interpolierten Bildanteils (B-VOP) herangezogen,
- wenn ein zeitlich nach einem aktuellen bidirektional interpolierten Bildanteil (B-VOP) gelegener nach der Intraframe-Technik codierter (I-VOP) oder prädizierter Bildanteil (P-VOP) fehlt, wird der zeitlich vor dem bidirektional interpolierten Bildanteil (B-VOP) liegende nach der Intraframe-Technik codierte (I-VOP) oder prädizierte Bildanteil (P-VOP) als Referenzwert für die Konturcodierung des bidirektional interpolierten Bildanteils (B-VOP) herangezogen.

3. Verfahren nach Anspruch 1, gekennzeichnet durch folgenden Schritt:

- wenn ein aktueller bidirektional interpolierter Bildanteil (B-VOP) sowohl von einem zeitlich davorliegenden oder zeitlich darauffolgenden nach der Intraframe-Technik codierten Bildanteil (I-VOP) oder prädizierten Bildanteil (P-VOP) den gleichen zeitlichen Abstand hat, wird stets einer dieser beiden Bildanteile als Referenzwert für die Konturcodierung des aktuellen bidirektional interpolierten Bildanteils herangezogen.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß stets der zeitlich auf einen aktuellen bidirektional interpolierten Bildanteil (B-VOP) folgende nach der Intraframe-Technik codierten Bildanteil (I-VOP) oder prädizierte Bildanteil (P-VOP) als Referenzwert für die Konturcodierung des aktuellen bidirektional interpolierten Bildanteils herangezogen wird.

5. Anwendung des Verfahrens nach einem der Ansprüche 1 bis 4 bei der Decodierung von MPEG-4 konturcodierten Bildanteilen.