DE69630828T2

DE69630828T2 - Nachbearbeitungsverfahren und -vorrichtung zur Eliminierung von Blockstörungen in dekomprimierten Bildern

Info

Publication number: DE69630828T2
Application number: DE1996630828
Authority: DE
Inventors: Byeung-woo Seongnam-city Jeon; Je-chang Seocho-gu Jeong
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1995-01-20
Filing date: 1996-01-18
Publication date: 2004-09-23
Anticipated expiration: 2016-01-19
Also published as: EP0723375A3; KR960030711A; KR0165497B1; JP3269960B2; JPH08251591A; EP0723375A2; EP0723375B1; CN1145566A; CN1130917C; DE69630828D1; US5937101A

Description

Die vorliegende Erfindung betrifft eine Nachbearbeitungsvorrichtung zum Beseitigen eines blockierenden Artefakts und ein Verfahren dafür und insbesondere eine Nachbearbeitungsvorrichtung zum Minimieren eines blockierenden Artefakts, wo eine Unstetigkeit zwischen angrenzenden Blöcken in einer Vorrichtung vorkommt, die durch eine Blocktransformationsoperation komprimierte Bilddaten wiederherstellt, und ein Verfahren dafür.
Es gibt verschiedene Standardverfahren zur Codierung von Video- (und Audio) Signalen in ein digitales Signal zum Senden oder Speichern und Decodierung des gesendeten oder gespeicherten Ergebnisses zur Wiedergabe. Diese Verfahren erzeugen jedoch große Mengen an codierten, digitalen Videodaten. Um die Gesamtmenge an Daten zu verringern, wird daher die in dem digitalen Bildsignal enthaltene Redundanz durch Codierungstechniken wie Transformationscodierung, differentielle Pulsecodemodulation, Quantisierung und Codierung mit variabler Länge beseitigt.
1 ist ein Blockschaltbild, das schematisch einen allgemeinen Bilddaten-Codierer zeigt. Die Vorrichtung umfasst im Groben Einrichtungen 11 und 12 zum Transformieren eines eingegebenen Bildsignals in ein Frequenzdomänensignal in Blockeinheiten und Quantisieren eines Transformationskoeffizienten, Einrichtungen 13 und 14 zur Codierung der quantisierten Daten mit variabler Länge sowie Einrichtungen 15, 16, 17, 18, 19, A1, A2, SW1 und SW2 zum inversen Quantisieren und Durchführen einer inversen Transformationsoperation auf den quantisierten Daten, um eine Bewegungskompensation durchzuführen, um dadurch Bilddaten in einem Intramodus oder in einem Intermodus zu codieren.
Außerdem ist 2 ein Blockschaltbild, das schematisch einen Decoder und eine Nachbearbeitungsvorrichtung zeigt, um Bilddaten, die durch den in 1 gezeigten Codierer codiert wurden, zu decodieren und das decodierte Ergebnis wiederzugeben. Die Arbeitsweise der in 2 gezeigten Schaltung ist wie folgt.
Codierte Bilddaten QF(u, v) werden durch einen Decoder variabler Länge 21 zur Ausgabe an einen inversen Quantisierer 22 decodiert. Die Größe des ausgegebenen Transformationskoeffizienten wird hier durch eine Quantisierungsschrittgröße Qss gesteuert, die von dem Codierer bereitgestellt wird (1). Dann führt ein N × N inverser Transformationsoperator 23 eine Transorfmationsoperation auf einem Transformationskoeffizienten einer Frequenzdomäne durch, der von dem inversen Quantisierer 22 bereitgestellt wird, um Bilddaten einer Raumdomäne auszugeben.
Die Datenkompression bezüglich jedes Blocks in dem in 2 gezeigten N × N inversen Transformationsoperator 23 verwendet ein diskretes Kosinus-Transformations-, ein Walsh-Hadamand-Transformations-, (WHT), ein diskretes Fourier-Transformations- (DFT) oder ein diskretes Sinus-Transformations- (DST) Verfahren. Wenn z. B. die Datenkompression durch Verwenden des DCT-Verfahrens durchgeführt wird, können eine zweidimensionale Vorwärts-DCT-Funktion (Gleichung 1) und eine inverse DCT-Funktion (Gleichung 2) in Bezug auf Pixel P_(y,x) wie folgt definiert werden.
Hier sind u, v, y und x Ganzzahlen von 0 bis 7, und C_u und C_v sind beide gleich 1/–2, wenn u und v beide null sind, und sind andernfalls gleich eins.
Ein Bewegungsvektor MV von dem Codierer (1) wird einem Bewegungskompensator 24 eines Decoders zugeführt. Der Bewegungskompensator 24 liest einem dem Bewegungsvektor entsprechenden N × N Block aus den in einem Rahmenspeicher 25 gespeicherten vorangehenden Rahmendaten, führt die Bewegungskompensation durch und liefert das Ergebnis an einen Addierer A3. Der Addieren A3 summiert die inversen DCT-Daten und die N × N Blockdaten und gibt das Ergebnis an einen Nachprozessor 26 zur Wiederherstellung des ursprünglichen Bildes aus einem empfangenen, gestörten Bild aus. Das heißt, wenn das empfangene Signal in Blockeinheiten komprimierte Bilddaten sind, werden blockierende Artefakte erzeugt. Ein blockierendes Artefakt ist eine Unstetigkeit, die zwischen angrenzenden Blöcken vorkommt, und ist eine Form von Störung.
In einer herkömmlichen Vorrichtung wird daher, um die Erzeugung von blockierenden Artefakten zu reduzieren, eine Tiefpass-Filterungsoperation für Grenzpixel räumlich durchgeführt. Die Nachbearbeitung in einer Transformationsdomäne anstelle einer Raumdomäne vereinfacht jedoch die Decoderstruktur und ist ebenfalls wirkungsvoll.
Wie von Chung-nan Tien und Hseuh-ming Hang in "Transform domain Postprocessing of DCT-coded Images" ('93 SPIE Proceedings, Vol. 2094, Seiten 1627–1638) offenbart, wird folglich die Nachbearbeitung unter Verwendung eines kompensierten DCT-Koeffizienten durchgeführt, wie mit Verweis auf 3 bis 7 erklärt wird.
3 ist ein Flussdiagramm, das das Nachberarbeitungsverfahren veranschaulicht.
Auf 3 verweisend werden empfangene quantisierte Blöcke invers quantisiert (Schritt 1), und eine verarbeitetes Segment, das aus dem momentanen Block und seinen acht benachbarten Blöcken besteht, wie in 4 gezeigt, wird in glatte oder Kantensegmente klassifiziert (Schritt 2). Da ein blockierendes Artefakt in einem glatten Segment besonders störend ist, wird die Nachbearbeitung (Schritte S3 bis S5) durchgeführt, wenn ein bearbeitetes Segment glatt ist, und das bearbeitete Segment wird invers transformationsberarbeitet, um rekonstruierte Bildblöcke auszugeben, wenn das bearbeitete Segment ein Kantensegment ist (Schritt S6).
Zuerst wird die Nachbearbeitung (Schritt S3 bis S5) ausführlicher erklärt.
Wenn das klassifizierte Segment ein glattes Segment ist, wird ein DC-Wert abgeglichen (Schritt S3). Da der DC-Wert eine mittlere Helligkeit des Bildblocks angibt, kann hier ein Gesamt-Bildblock-Helligkeitspegel durch Abgleichen des DC-Werts geändert werden. Mit anderen Worten, ein gewichtetes Mittelungsverfahren zum Abgleichen des DC-Werts des aktuellen Blocks basierend auf Information der angrenzenden Blöcke wird verwendet, um Unstetigkeit (Blockierung) zwischen angrenzenden Blöcken zu verringern. Der DC-Wert eines Blocks_i,j (DC_i,j) kann durch einen justierten DC-Wert DC_adj(i,j) für einen glatten Übergang zwischen angrenzenden Blöcken ersetzt werden. Der justierte DC-Wert kann hier wie folgt berechnet werden.
Die in der folgenden Gleichung (4) gezeigte gewichtete Maske (WM) wird hier aus Erfahrung gewählt.
Obwohl die mittlere Bildstärke durch Abgleichen des DC-Werts geändert werden kann, wie oben beschrieben, kann noch Unstetigkeit zurückbleiben, auch wenn die Unstetigkeit der angrenzenden Blöcke durch den DC-Wert-Abgleich vermindert wird, und ein blockierendes Artefakt kann nicht völlig beseitigt werden. Zwei zusätzliche Transformationskoeffizienten müssen deshalb abgeglichen, invers transformationsbearbeitet und ausgegeben werden. Das heißt, die Vertikal- und Horizontal-AC-Koeffizienten VAC und HAC werden abgeglichen (Schritte S4 und S5). Da die HAC- und VAC-Operationen sehr ähnlich sind, wird nur die VAC-Operation beschrieben.
Unter Verwendung der Vorwärts-DCT-Funktion der obigen Gleichung (1) wird der Vertikal-AC-Koeffizient für S_(v,u) (wo v = 0 und u = 1) berechnet.
Hier ist S_(0,1) ein Vertikal-AC-Koeffizient (VAC). Die Menge an Pixelwerten in einem Raumbereich, die durch den Vertikal-AC-Koeffizient beeinflusst wird, wird durch eine inverse DCT-Operation der obigen Gleichung (2) berechnet. P(y,x) = 1/4 1/1.41 VACcos[π(2x + 1)/16] (6)
Wie im obigen Ausdruck (6) zu sehen ist, ist ein Vertikal-AC-Koeffizient nur mit der Größenänderung in der durch eine Kosinusfunktion modulierten Horizontalrichtung verknüpft. Der VAC-Wert reduziert folglich ein blockierendes Artefakt über eine vertikale Grenze und stellt in der Horizontalrichtung die Kontinuität wieder her.
Wie in 4 und 5 gezeigt, sind Block_i,j–1, Block_i,j und Block_i,j+1 horizontal angrenzende Blöcke und benötigen daher den VAC-Abgleich. Der VAC-Abgleich wird verwendet, um ein blockerendes Artefakt zu entfernen, das nach dem DC-Abgleich zurückbleibt. Daher ist es erforderlich, eine Lücke zwischen zwei angrenzenden Blöcken an ihren Grenzen zu messen. Unter der Annahme, dass es keine scharfe Veränderung in einem Block gibt, wird der obige Ausdruck (6) verwendet, um eine Lücke durch die folgenden Prozesse zu schätzen.
Erstens, Intensitäten P_i,j (links) und P_i,j (rechts) entsprechen der linken und rechten Grenze von Block_i,j und können wie folgt ausgedrückt werden. Pi,j(links) = 1/4 1/1.41 VACi,jcos(π/16) = 0.17654 VACi,j (7) und Pi,j(rechts) = 1/4 1/1.41 VACi,j cos(15π/16) = 0.17654 VACi,j (8)
Dann können die rechte Grenze von Block_i,j–1 und die linke Grenze von Block_i,j+1 wie folgt ausgedrückt werden. Pi,j–1(rechts) = 0.17654 VACi,j–1 (9)und Pi,j+1(links) = 0.17654 VACi,j+1 (10)
Die Lücken zwischen angrenzenden Blockgrenzen können wie folgt berechnet werden. gapi,j(links) = Pi,j–1(rechts) – Pi,j(links) (11) gapi,j(rechts) = Pi,j(rechts) – Pi,j+1(links) (12)
6 zeigt eine Intensität und eine Lücke zwischen Grenzintensitäten.
Eine mittlere Lücke (gap_ave(1,j)) zwischen der aktuellen Blockgrenze und angrenzenden Blöcken kann wie folgt ausgedrückt werden. gapave(i,j) = [gapi,j(links)_gapi,j(rechts)]/2 (13)
Wenn der aktuelle Block und die angrenzenden Blöcke Pixelwerte haben, die in der Horizontalrichtung stetig sind, ist der Wert von gap_ave null. Ein großer Wert von gap_ave zeigt eine große Unstetigkeit an. Die Unstetigkeit kann daher durch Reduzieren des Werts von gap_ave verringert werden. Der Lückenabgleich erfolgt durch Halbieren der mittleren Lücke; das heißt gap_adj = gap_ave/2. Um die Lücke einer Grenze von Block_i,j zu reduzieren, VACadj = VACi,j + [4 1.41 gapadj/cos(π/16)] (14)
Eine Intensität einer Blockgrenze nach dem VAC-Abgleich wird in 7 gezeigt. Der HAC-Abgleich würde hier in einem ähnlichen Verfahren durchgeführt werden, um die vertikale Unstetigkeit zu reduzieren.
Da das oben beschriebene Nachbearbeitungsverfahren einen gewichteten Mittelwert für den DC-Wert von peripheren Blöcken während des DC-Wertabgleichs verwendet und horizonta le und vertikale Justierungen unabhängig vom Berechnen von horizontalen und vertikalen AC-Abgleichwerten HAC und VAC durchführt, ist dieses Verfahren zur Beseitigung eines blockierenden Artefakts nicht sehr wirkungsvoll.
Es ist folglich eine Aufgabe von bevorzugten Ausführungen der vorliegenden Erfindung, eine Nachbearbeitungsvorrichtung bereitzustellen, die ein blockierendes Artefakt durch Schätzen eines Transformationskoeffizienten (Abgleichwert) in Bezug auf die beim Quantisieren verlorene Information, um Pixelunterschiede zwischen Blockgrenzen zu minimieren, und Hinzufügen des geschätzten Signals zu einem ursprünglichen Signal in einer Vorrichtung zum Rekonstruieren von Bilddaten, die in Blockeinheiten komprimiert wurden, minimiert.
Es ist eine andere Aufgabe von bevorzugten Ausführungen der vorliegenden Erfindung, ein Nachbearbeitungsverfahren bereitzustellen, das von der obigen Nachbearbeitungsvorrichtung durchgeführt wird.
Nach einem ersten Aspekt der vorliegenden Erfindung wird eine Nachbearbeitungsvorrichtung zum Beseitigen eines blockierenden Artefakts in Bezug auf ein empfangenes Bildsignal, das in Blockeinheiten invers quantisiert und invers transformationsbearbeitet wurde, und Rekonstruieren des ursprünglichen Bildes bereitgestellt, wobei die Vorrichtung dadurch gekennzeichnet ist, dass sie umfasst: Einen Eingangsanschluss zum Empfangen eines invers transformationsbearbeiteten Bildsignals; eine Abgleichkoeffizienten-Berechnungseinrichtung zum Berechnen einer vorgegebenen Anzahl von Abgleichkoeffizienten in einem vorgegebenen Transformationsbereich, die die Summe von Pixeldifferenzen an Grenzen zwischen einem aktuellen Block eines über den Eingangsanschluss eingegebenen Bildsignals und den angrenzenden Blöcken minimiert; eine Abgleichwert-Berechnungseinrichtung zum Berechnen eines Abgleichwerts unter Verwendung der Abgleichkoeffizienten; eine Abgleich-Steuereinrichtung, die bestimmt, ob das invers tranformationsbearbeitete Bildsignal in einem Kantenbereich oder in einem glatten Bereich liegt, und ein Abgleich-Steuersignal ausgibt, das bestimmt, ob das Block-Bildsignal abzugleichen ist, und eine Addiereinrichtung zum Summieren des Abgleichwerts und des invers transformationsbearbeiteten Bildsignals entsprechend dem Abgleich-Steuersignal.
Die vorgegebene Transformation ist vorzugsweise eine diskrete Konsinus-Transformation DCT.
Die Abgleichkoeffizienten-Berechnungseinrichtung wählt vorzugsweise wenigstens einen Abgleichkoeffizienten unter einer Anzahl von Abgleichkoeffizienten aus, die der Transfor mations-Blockgröße entspricht.
Die Abgleichkoeffizienten der Abgleichkoeffizienten-Berechnungseinrichtung sind vorzugsweise eine DC-Komponente und horizontale und vertikale Kosinus-Komponenten erster Ordnung eines DCT-Blocks.
Die vorgegebene Transformation kann eine Walsh-Hadamard-Transformation (WHT) sein.
Die Abgleichwert-Berechnungseinrichtung kann den Grad des Abgleichs durch Verwenden von vorgegebenen Abgleichfaktor-Werten steuern. Die Abgleichfaktor-Werte können entsprechend der Anzahl von Abgleichkoeffizienten eingestellt werden. Alternativ können die Abgleichfaktor-Werte alle als der gleiche Wert eingestellt werden.
Die Abgleich-Steuerung erzeugt vorzugsweise ein Abgleich-Steuersignal zum unabhängigen Steuern des vertikalen und horizontalen Abgleichs durch Verwenden der Summe der Differenzen von Grenzpixeln zwischen dem aktuellen Block und den angrenzenden Blöcken. Die Abgleich-Steuerung erzeugt vorzugsweise ein Abgleich-Steuersignal zum Bestimmen, ob ein Abgleich in der horizontalen Richtung durchzuführen ist, durch Vergleichen der Unstetigkeit, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden rechten Blocks entspricht, mit der Unstetigkeit, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden linken Blocks entspricht.
Die Abgleich-Steuerung kann ein Abgleich-Steuersignal erzeugen zum Bestimmen, ob ein Abgleich in der vertikalen Richtung durchzuführen ist, durch Vergleichen der Unstetigkeit, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden oberen Blocks entspricht, mit der Unstetigkeit, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden unteren Blocks entspricht.
Die Abgleich-Steuerung kann ein Abgleich-Steuersignal in Bezug auf nur die Vertikalrichtung, nur die Horizontalrichtung und beide Richtungen ausgeben.
Die Abgleich-Steuereinrichtung kann umfassen:
einen Sobel-Operator, der das invers transformationsbearbeitete Bildsignal empfängt und bestimmt, ob das invers transformationsbearbeitete wiederhergestellte Bildsignal eine Kan tenkomponente aufweist, und ein Kantensteuersignal ausgibt,
einen Kantenpixelzähler, der die Anzahl von Pixeln in einem Block entsprechend dem Kantensteuersignal zählt, und
eine Bestimmungseinrichtung, die die gezählte Anzahl von Kantenpixeln mit einem Schwellenwert vergleicht, der die Anzahl von Kantenpixeln anzeigt, die in einem vorgegebenen Block zulässig ist, und ein Abgleich-Steuersignal ausgibt, das auf dem Vergleichsergebnis basiert.
Die Bestimmungseinrichtung gibt vorzugsweise ein Abgleich-Steuersignal zum simultanen Abgleichen in Bezug auf vertikale und horizontale Richtungen aus.
Die Nachberarbeitungsvorrichtung kann vorzugsweise mit einem Bilddecoder versehen sein, wobei jede Abgleichwert-Berechnungseinrichtung der Vielzahl von Nachbearbeitungsvorrichtungen vorzugsweise die gleichen Abgleichfaktor-Werte verwendet, um einen Grad des Abgleichs zu steuern. Alternativ kann jede Abgleichwert-Berechnungseinrichtung der Vielzahl von Nachbearbeitungsvorrichtungen verschiedene Abgleichfaktor-Werte verwenden, um einen Grad des Abgleichs zu steuern.
Nach einem zweiten Aspekt der vorliegenden Erfindung wird ein Nachbearbeitungsverfahren zum Beseitigen eines blockierenden Artefakts in Bezug auf ein empfangenes Bildsignal, das in Blockeinheiten invers quantisiert und invers transformationsbearbeitet wurde, und Rekonstruieren des ursprünglichen Bildes bereitgestellt, wobei das Verfahren durch die folgenden Schritte gekennzeichnet ist: (a) Eingeben eines invers transformationsbearbeiteten Bildsignals; (b) Auswählen einer vorgegebenen Anzahl von Abgleichkoeffizienten in einem vorgegebenen Bereich, in dem die eine ausgewählte Transformationsoperation durchgeführt wird; (c) Berechnen von Abgleichkoefizienten, durch die die Summe der Pixeldifferenzen an Grenzen zwischen dem aktuellen Block und angrenzenden Blöcken minimiert wird; (d) Berechnen eines Abgleichwerts unter Verwendung des Abgleichkoeffizienten und eines Abgleichfaktor-Wertes oder mehrerer Abgleichfaktor-Werte; (e) Erzeugen eines Abgleich-Steuersignals zum Bestimmen, ob das Bildsignal entsprechend dem Ergebnis des Bestimmens, ob das invers tranformationsbearbeitete Bildsignal in einem Kantenbereich oder in einem glatten Bereich liegt, abzugleichen ist, und (f) Addieren des Abgleichwerts zu dem invers transformationsbearbeiteten Bildsignal entsprechend dem Abgleich-Steuersignal.
Die Schritte (c) bis (f) werden vorzugsweise unter Verwendung des in dem Schritt (f) erhal tenen Summensignals wiederholt.
Die ausgewählte Transformation ist vorzugsweise eine diskrete Kosinus-Transformation (DCT).
Alternativ kann die ausgewählte Transformation eine Walsh-Hadamard-Transformation (WHT) sein.
Der Schritt (b) wählt vorzugsweise eine DC-Komponente sowie horizontale und vertikale Komponenten erster Ordnung der diskreten Kosinus-Transformation aus.
Der Schritt (d) verwendet vorzugsweise Abgleichfaktor-Werte, die ungeachtet entsprechender Transformationskoeffizienten alle gleich sind.
Alternativ werden die Abgleichfaktor-Werte in Schritt (d) für jeden ausgewählten Transformationskoeffizienten getrennt bestimmt.
Zu einem besseren Verständnis der Erfindung und um zu zeigen, wie Ausführungen derselben zur Wirkung gebracht werden können, wird nun exemplarisch auf die begleitenden Zeichnungen Bezug genommen. Inhalt der Zeichnungen:
1 ist ein Blockschaltbild, das einen allgemeinen Codierer von Bilddaten zeigt.
2 ist ein Blockschaltbild, das einen allgemeinen Decoder und eine Nachbearbeitungsvorrichtung von Bilddaten zeigt.
3 ist ein Flussdiagramm, das ein herkömmliches Nachbearbeitungsverfahren veranschaulicht.
4 zeigt einen aktuellen Block und angrenzende Blöcke.
5 zeigt angrenzende Blöcke, die durch VAC- oder HAC-Abgleich beeinflusst werden.
6 zeigt eine Intensität und ein Lücke zwischen den angrenzenden Blöcken.
7 zeigt eine Intensität einer Blockgrenze nach VAC-Abgleich.
8 ist ein Blockschaltbild einer Nachbearbeitungsvorrichtung zum Beseitigen eines blockierenden Artefakts nach Aspekten der vorliegenden Erfindung.
9A und 9A zeigen die Operation des in 8 gezeigten Abgleichkoeffizientenrechners.
10 zeigt einen Blockwert vor und nach dem Abgleich.
11 zeigt ein Verfahren zur Verwendung der Summe von Pixeldifferenzen an einer Blockgrenze.
12 ist ein detailliertes Blockschaltbild, das die in 8 gezeigte Abgleichsteuerung zeigt, die einen Sobel-Operator verwendet.
Eine Ausführung einer Nachbearbeitungsvorrichtung zum Beseitigen eines blockierenden Artefakts und ein Verfahren dafür werden beschrieben, indem zuerst mit Verweis auf 2 beschrieben wird, wie ein blockierendes Artefakt erzeugt wird.
Ein Ausgangssignal eines in 2 gezeigten Decoders variabler Länge 21 sind quantisierte Transformationskoeffizienten QF(u, v). Angenommen, F(u, v) stellt einen Transformationskoeffizienten dar, der keinen während des Quantisierens oder inversen Quantisierens erzeugten Informationsverlust erleidet, und Fq(u, v) bezeichnet einen von dem vom inversen Quantisierer 22 ausgegebenen Transformationskoeffizienten. F(u, v) kann dann geschrieben werden als F(u, v) = Fq(u, v) + ΔF(u, v) (15)wo ΔF(u, v) der Informationsverlust in dem Quantisierungsschritt und die Ursache eines blockierenden Artefakts ist.
In Ausführungen der vorliegenden Erfindung wird der Wert ΔF(u, v) geschätzt und invers transformationsbearbeitet. Dann wird der invers transformationsbearbeitete Abgleichwert zu dem Signal fq(x, y), d. h. eine inverse Transformationsoperation von Fq(u, v), hinzugefügt, um dadurch den Grad an blockierenden Artefakten wirkungsvoll zu reduzieren.
8 ist ein Blockschaltbild, das eine Ausführung einer Nachbearbeitungsvorrichtung zum Beseitigen eines blockierenden Artefakts nach der vorliegenden Erfindung zeigt.
Auf 8 verweisend bezeichnet Verweiszeichen 31 einen Abgleichkoeffizientenrechner, der das invers transformationsbearbeitete ursprüngliche Bildsignal fq(x, y) und ein Abgleichkoeffizienten-Auswählsignal empfängt und Abgleichkoeffizienten berechnet, Verweiszeichen 32 bezeichnet einen Abgleichwertrechner, der das Abgleichkoeffizienten-Auswählsignal und vom Abgleichkoeffizientenrechner 31 berechnete Abgleichkoeffizienten und den Abgleichfaktorempfängt und einen Abgleichwert zum Minimieren von Pixeldifferenzen an einer Blockgrenze berechnet, Verweiszeichen 33 bezeichnet eine Abgleichsteuerung, die das invers transformationsbearbeitete ursprüngliche Bildsignal fq(x, y) und einen Abgleich-Schwellenwertempfängt und ein Abgleichsteuersignal an den Abgleichkoeffizientenrechner 31 und den Abgleichwertrechner 32 ausgibt, Verweiszeichen 34 bezeichnet einen Selektor, der den von dem Abgleichwertrechner 32 berechneten Abgleichwert entsprechend dem Abgleichsteuersignal von der Abgleichsteuerung 33 selektiv ausgibt, und Verweiszeichen 35 bezeichnet einen Addierer, der das invers transformationsbearbeitete ursprüngliche Bildsignal fq(x, y) und den Ausgang des Selektors 34 summiert und ein nachbearbeitetes Bildsignal f(x, y) ausgibt. Hier werden das invers transformationsbearbeitete ursprüngliche Bildsignal fq(x, y) über den in 2 gezeigten Addierer A3 eingegeben, und das Abgleichkoeffizienten-Auswählsignal, der Abgleichfaktor und der Schwellenwert werden von einer allgemeinen Systemsteuerung, die nicht gezeigt wird, geliefert.
Beim Betrieb der in 8 gezeigten Vorrichtung empfängt zuerst der Abgleichkoeffizientenrechner 31 das invers transformationsbearbeitete ursprüngliche Bildsignal fq(x, y) und das Abgleichkoeffizienten-Auswählsignal und berechnet ausgewählte Koeffizienten.
Wenn die Blockgröße N × N ist, beträgt die Anzahl von schätzbaren Koeffizienten von ΔF(u, v) im Allgemeinen N². In der Praxis werden jedoch nur solche Koeffizienten, die zum Beseitigen eines blockierenden Artefakts vorteilhaft sind, ausgewählt und als eine vorbestimmte Anzahl von Abgleichkoeffizienten-Auswählsignalen in den Abgleichkoeffizientenrechner 31 eingegeben. Die Anzahl von Abgleichkoeffizienten-Auswählsignalen kann von 1 bis N² eingestellt werden. In der bevorzugten Ausführung der vorliegenden Erfindung gibt es jedoch drei solcher Signale: a₀, a₁ und a₂.
9A und 9B dienen dem Erklären des Auswählens eines Abgleichkoeffizienten. In 9A wird ein Pixel eines zu bearbeitenden Blocks als f(x, y) bezeichnet, und die umgebenden angrenzenden Blöcke sind Z₁, Z₂, Z₃ und Z₄. 9B zeigt schematisch jedes Pixel eines aktuellen Blocks, dessen Größe N × N ist.
Hier wird ein Beispiel beschrieben, wo eine für einen Abgleich verwendete Kompressionstechnik beliebig und eine zweidimensionale DCT ist, die in großem Umfang von einem Bildcodierer benutzt wird, und ein Decoder verwendet wird, um ein Bildsignal in horizontale und vertikalen Frequenzkomponenten umzuwandeln.
Wenn das Abgelichkoeffizienten.Auswählsignal einen DC-Koeffizienten von DCT und Kosinuswerte erster Ordnung (vertikale und horizonten Komponenten erster Ordnung) anzeigt, kann der Abgleichwert Δf(x, y) ausgedrückt werden als Δf(x, y) = a0 + a1cos[n(2x + 1)/2N] + a2cos[n(2y + 1)/2N] (16)worin a₀, a₁ und a₂ von dem Abgleichkoeffizientenrechner 31 berechnete Abgleichkoeffizienten sind. Ein Verfahren zum Berechnen der Abgleichkoeffizienten benutzt den Wert zum Minimieren des Grads an Unstetigkeit (D) an Grenzen.
Wie aus dem Ausdruck (17) zu ersehen ist, kann die Unstetigkeit (D) unter Verwendung der Variablen a₀, a₁ und a₂ durch Einsetzen von Δf in Gleichung (16) ausgedrückt werden.
Wenn die drei Gleichungen, die durch den partiellen Differenzierungsausdruck (17) in Bezug auf a₀, a₁ und a₂ erhalten werden, mit null gleichgesetzt werden, werden Abgleichkoeffizientenwerte a₁, a₂ und a₃, die Gleichung (17) minimieren, erhalten. Dann werden in Ausdruck (16) die berechneten Koeffizientenwerte anstelle von Variablen verwendet, das heißt, Δf(x, y) = É0 + É1cos[n(2x + 1)/2N] + É2cos[n(2y + 1)/2N] (18)
Der durch Ausdruck (18) berechnete Abgleichwert wird über einen Selektor 34 durch einen Addierer 35 zu dem invers transformationsbearbeiteten ursprünglichen Bildsignal fq(x, y) addiert.
Zu diesem Zeitpunkt kann, da ein Abgleich unabhängig in jedem Block durchgeführt wird, ein Schein-Artefakt an Grenzen zwischen dem aktuellen Block und den angrenzenden Blöcken erzeugt werden. Ein Beispiel dieses Schein-Artefakts wird in 10 gezeigt. Um die Wirkung zu reduzieren, kann ein aktueller Abgleichwert durch Verwenden von vorbestimmten Abgleichfaktorkoeffizienten λ₀, λ₁ und λ₂ wie folgt berechnet werden.
Δf(x, y) = λ0É0 + λ1É1cos[π(2x + 1)/2N] + λ2É2cos[π(2y + 1)/2N] (19)
Im Allgemeinen können Abgleichfaktorwerte unabhängig für jeden Abgleichkoeffizienten oder gemeinsam mit allen Abgleichkoeffizienten, d. h. λ₀, λ₁, λ₂ = λ, definiert werden. Die richtigen Abgleichfaktorwerte werden ausgewählt.
Unterdessen kann, wenn eine Kante in dem invers transfomationsbearbeiteten Bildsignal fq(x, y) vorhanden ist und der berechnete Abgleichwert auf den entsprechenden Block angewandt wird, um ein blockierendes Artefakt zu beseitigen, die Kante beeinträchtigt werden, was eine Verschlechterung der Bildqualität zur Folge hat. Die Abgleichsteuerung 33 erzeugt daher ein Abgleichsteuersignal, sodass der Abgleich nur durchgeführt wird, wenn der aktuelle Block ein glatter Bereich ist, das heißt, dass der Abgleich nicht durchgeführt wird, wenn der aktuelle Block ein Kantenbereich ist.
Indem so Verfahren wird, kann die Abgleichsteuerung 33 eine Kantenbestimmungseinrichtung zum Bestimmen einer Kante unter Verwendung eines Differenzwertes zwischen Pixeln einsetzen. Die vorliegende Erfindung schlägt die folgenden zwei Verfahren vor.
Das erste Verfahren benutzt die Summe von Pixeldifferenzen an Blockgrenzen. Wenn diese Summe größer als ein vorbestimmter Schwellenwert ist, wird entschieden, dass eine Bildkante vorkommt, und ein blockierendes Artefakt wird nicht abgeglichen. Das Verfahren wird auf horizontale und vertikale Blockgrenzen getrennt angewandt.
Wie in 11 gezeigt, können Unstigkeiten D₁, D₂, D₃ und D₄ durch die folgenden Ausdrücke (20) bis (23) berechnet werden und betreffen die vier Grundgrenzen eines N × M Blocks.
Ob der Abgleich in der Honzontalrichtung (X-Achse) durchzuführen ist, wird durch Vergleichen eines Horizontal-Schwellenwertes THD, mit der Differenz zwischen der Unstetigkeit D₂ (die Summe der rechten Grenzpixeldifferenzen zwischen dem aktuellen Block und Block Z₂) und der Unstetigkeit D₄ (die Summe der linken Grenzpixeldifferenzen zwischen dem aktuellen Block und Block Z₄) bestimmt.
kein Abgleich: |D2 – D4| > THD2 (24) Abgleich: |D2 – D4| < THD2 (25)
Wie in den obigen Ausdrücken (24) und (25) zu sehen ist, gibt der Fall, wo die Differenz |D₂ – D₄| zwischen angrenzenden Blöcken größer als der Schwellenwert THD₂ ist, einen Kantenbereich an, und der Fall, wo die Differenz |D₂ – D₄| zwischen angrenzenden Blöcken kleiner als der Schwellenwert THD₁ ist, gibt einen glatten Bereich an, der einen Abgleich erfordert.
Unter Anwendung des gleichen Verfahrens wird ein Vertikal-Schwellenwert THD₂ für den vertikalen (Y-Achse) Abgleich wie folgt verwendet.
kein Abgleich: |D1 – D3| > THD2 (26) Abgleich: |D1 – D3| < THD2 (27)
Die Abgleichsteuerung 33 gibt ein Abgleichsteuersignal aus, das angibt, ob der Abgleich nur in der Vertikalrichtung, nur in der Horizontalrichtung oder in beiden Richtungen durchzuführen ist. Das Abgleichsteuersignal wird an den Abgleichkoeffizientenrechner 31 und den Abgleichwertrechner 32 angelegt. Wenn z. B. der Abgleich nur in der Horizontalrichtung durchzuführen ist (d. h. |D₂ – D₄| < THD₂ und |D₂ – D₃| > THD₂), berechnet der Abgleichkoeffizientenrechner 31 nur die Werte für a₀ und a₁ und der Abgleichwertrechner 32 gleicht eine Frequenzkomponente in der Vertikalrichtung nicht ab. Das heißt, unter Verwendung von Ausdruck (19), Δf(x, y) = λ0É0 + λ1É1cos[n(2x + 1)/2N] (28)
Der durch den obigen Ausdruck (28) berechnete Abgleichwert wird zu dem invers transformationsbearbeiteten ursprünglichen Bildsignal fq(x, y) addiert, um dadurch ein nachbearbeitetes Bildsignal auszugeben.
Das zweite von der vorliegenden Erfindung vorgeschlagene Verfahren zum Bestimmen des Vorhandenseins einer Kante verwendet einen Sobel-Operator. 12 ist ein detailliertes Blockschaltbild, das eine Abgleichsteuerung zeigt, die das zweite Verfahren adoptiert.
In 12 empfängt ein Sobel-Operator 41 das invers transformationsbearbeitete ursprüngliche Bildsignal fq(x, y) und einen Schwellenwert THD₃, vergleicht die Summe der Differenzen zwischen aktuellen und angrenzenden Pixeln in einem Fenster mit einer vorbestimmten Größe mit dem Schwellenwert THD₃ und stellt fest, ob das Pixel eine Kantenkomponente hat, wenn die Differenz größer als der Schwellenwert THD₃ ist. Ein auf der Bestimmung basierendes Kantensteuersignal wird an einen Kantenpixelzähler 42 ausgegeben. (Eine Erklärung des Sobel-Verfahrens zum Erfassen einer Kante kann in "Two-dimensional Signal and Image Processing" von Jae S. Lim, Prentice-Hall, 1990, Seiten 478–483 gefunden werden). Der Kantenpixelzähler 42 berechnet die Anzahl von Pixeln, die unter den N² Pixeln des Blocks als Kantenkomponenten bestimmt werden. Dann wird die Anzahl von Kanten (NE_blk) in jedem Block mit der zulässigen Zahl von Kanten (THD₄) verglichen.
Kein Abgleich: NEblk > THD4 (29) Abgleich: NEblk < THD4 (30)
Eine Bestimmungseinrichtung 43 bestimmt, ob ein Abgleich entsprechend der in den obigen Ausdrücken (29) und (30) gezeigten Beziehung durchzuführen ist, und gibt ein Abgleichsteuersignal zum gleichzeitigen Durchführen des DC-Abgleichs und des Vertikalabgleichs und Horizontalabgleichs auf dem Abgleichwert von Ausdruck (19) aus.
Um blockierende Artefakte wirkungsvoller zu beseitigen, kann das Nachbearbeitungsverfahren der vorliegenden Erfindung unter Verwendung mehrerer mit dem Ausgang der Nachbearbeitungsvorrichtung 26 verbundener Nachbearbeitungsvorrichtungen, von denen jede das oben beschriebene Nachbearbeitungsverfahren durchführt, wiederholend durchgeführt werden.
Da die meiste Bildkompression durch eine Blocktransformationsoperation durchgeführt wird, z. B. Hochzeilen-Fernsehen, Digitalfernsehen, MPEG-1 und MPEG-2 angewandte Produkte und Multimedia-Systeme, besitzt die vorliegende Erfindung breite Anwendungen.
Wie oben beschrieben, schätzt die Vorrichtung erfindungsgemäß Transformationskoeffizienten, die während des Quantisierens verlorengehen, führt eine inverse Transformationsoperation auf dem geschätzten Signal durch und addiert das geschätzte Signal zu dem invers tranformationsbearbeiteten, rekonstruierten Bildsignal, um dadurch Bilddifferenzen an Grenzpixeln zu minimieren. Des Weiteren werden horizontale und vertikale Abgleiche in Bezug auf Blockgrenzendifferenzen gleichzeitig durchgeführt, was eine wirksamere Beseitigung von blockierenden Artefakten ermöglicht.

Claims

Nachbearbeitungsvorrichtung, die einen Unterbrechungs-Bildfehler in Bezug auf ein empfangenes Bildsignal, das in Blockeinheiten invers quantisiert und invers transformationsbearbeitet worden ist, im Wesentlichen beseitigt und das Originalbild wiederherstellt, wobei die Vorrichtung dadurch gekennzeichnet ist, dass sie umfasst: einen Eingangsanschluss zum Empfangen eines invers transformationsbearbeiteten Bildsignals; eine Abgleichkoeffizienten-Berechnungseinrichtung (31) zum Berechnen einer vorgegebenen Anzahl von Abgleichkoeffizienten in einem vorgegebenen Transformationsbereich, durch die die Summe von Pixeldifferenzen an Grenzen zwischen einem aktuellen Block eines Bildsignals, das über den Eingangsanschluss eingegeben wird, und den angrenzenden Blöcken auf ein Minimum verringert wird; eine Abgleichwert-Berechnungseinrichtung (32) zum Berechnen eines Abgleichwertes unter Verwendung der Abgleichkoeffizienten; eine Abgleich-Steuereinrichtung (33), die bestimmt, ob das invers transformationsbearbeitete Bildsignal in einem Kantenbereich oder in einem glatten Bereich liegt, und ein Abgleich-Steuersignal ausgibt, das bestimmt, ob das Block-Bildsignal abzugleichen ist; eine Addiereinrichtung (35) zum Summieren des Abgleichwertes und des invers transformationsbearbeiteten Bildsignals entsprechend dem Abgleich-Steuersignal.
Nachbearbeitungsvorrichtung nach Anspruch 1, wobei die vorgegebene Transformation eine diskrete Kosinus-Transformation (discrete cosine transform – DCT) ist.
Nachbearbeitungsvorrichtung nach Anspruch 1 oder 2, wobei die Abgleichkoeffizienten-Berechnungseinrichtung (31) wenigstens einen Abgleichkoeffizienten aus einer Anzahl von Abgleichkoeffizienten auswählt, der der Transformations-Blockgröße entspricht.
Nachbearbeitungsvorrichtung nach Anspruch 2 oder, daran angefügt, Anspruch 3, wobei die Abgleichkoeffizienten der Abgleichkoeffizienten-Berechnungseinrichtung (31) eine DC-Komponente sowie horizontale und vertikale Kosinus-Komponenten erster Ordnung eines DCT-Blocks sind.
Nachbearbeitungsvorrichtung nach Anspruch 1, wobei die vorgegebene Blocktransformation eine Walsh-Hadamard-Transformation (Walsh-Hadamard transform) ist.
Nachbearbeitungsvorrichtung nach Anspruch 1, wobei die Abgleichwert-Berechnungseinrichtung (32) den Grad des Abgleichs unter Verwendung von vorgegebenen Abgleichfaktor-Werten steuert.
Nachbearbeitungsvorrichtung nach Anspruch 6, wobei die Abgleichfaktor-Werte entsprechend der Anzahl von Abgleichkoeffizienten eingestellt werden.
Nachbearbeitungsvorrichtung nach Anspruch 6, wobei die Abgleichfaktor-Werte sämtlich als der gleiche Wert eingestellt werden.
Nachbearbeitungsvorrichtung nach Anspruch 1, wobei die Abgleich-Steuereinrichtung (33) ein Abgleich-Steuersignal zum unabhängigen Steuern von vertikalem und horizontalem Abgleich durch Verwendung der Summe der Differenzen von Grenzpixeln zwischen dem aktuellen Block und den angrenzenden Blöcken erzeugt.
Nachbearbeitungsvorrichtung nach Anspruch 9, wobei die Abgleich-Steuereinrichtung (33) ein Abgleich-Steuersignal zum Bestimmen, ob Abgleich in der horizontalen Richtung durchzuführen ist, durch Vergleichen der Unterbrechung, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden Rechenblocks entspricht, mit der Unterbrechung, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden linken Blocks entspricht, erzeugt.
Nachbearbeitungsvorrichtung nach Anspruch 9, wobei die Abgleich-Steuereinrichtung (33) ein Abgleich-Steuersignal zum Bestimmen, ob Abgleich in der vertikalen Richtung durchzuführen ist, durch Vergleichen der Unterbrechung, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden oberen Blocks entspricht, mit der Unterbrechung, die der Summe der Differenzen zwischen Grenzpixeln des aktuellen Blocks und Grenzpixeln eines angrenzenden unteren Blocks entspricht, erzeugt.
Nachbearbeitungsvorrichtung nach Anspruch 9, wobei die Abgleich-Steuereinrichtung (33) ein Einstell-Steuersignal in Bezug auf lediglich die vertikale Richtung, lediglich die horizontale Richtung und beide Richtungen ausgibt.
Nachbearbeitungsvorrichtung nach einem der vorangehenden Ansprüche, wobei die Abgleich-Steuereinrichtung (33) umfasst: einen Sobel-Operator (41), der das invers transformationsbearbeitete Bildsignal empfängt, bestimmt, ob das invers transformationsbearbeitete wiederhergestellte Bildsignal eine Kantenkomponente aufweist, und ein Kanten-Steuersignal ausgibt; einen Kantenpixel-Zähler (42), der die Anzahl von Pixeln in einem Block entsprechend dem Kanten-Steuersignal zählt; und eine Bestimmungseinrichtung (43), die die gezählte Anzahl von Kantenpixeln mit einem Schwellenwert vergleicht, der die Anzahl von Kantenpixeln anzeigt, die in einem vorgegebenen Block zulässig sind, und ein Abgleich-Steuersignal ausgibt, das auf dem Vergleichsergebnis basiert.
Nachbearbeitungsvorrichtung nach Anspruch 13, wobei die Bestimmungseinrichtung (43) ein Abgleich-Steuersignal zum simultanen Abgleichen in Bezug auf die vertikale und die horizontale Richtung ausgibt.
Nachbearbeitungsvorrichtung nach einem der vorangehenden Ansprüche, wobei die Nachbearbeitungsvorrichtungen in einer Bild-Decodiereinrichtung mehrfach vorhanden sind.
Nachbearbeitungsvorrichtung nach Anspruch 15, wobei jede Abgleichwert-Berechnungseinrichtung (32) der mehreren Nachbearbeitungsvorrichtungen die gleichen Abgleichfaktor-Werte verwendet, um einen Grad des Abgleichs zu steuern.
Nachbearbeitungsvorrichtung nach Anspruch 15, wobei jede Abgleichwert-Berechnungseinrichtung (32) der mehreren Nachbearbeitungsvorrichtungen unterschiedliche Abgleichfaktor-Werte verwendet, um einen Grad des Abgleichs zu steuern.
Nachbearbeitungsverfahren, mit dem ein Unterbrechungs-Bildfehler in Bezug auf ein empfangenes Bild, das in Blockeinheiten invers quantisiert und invers transformationsbearbeitet worden ist, im Wesentlichen beseitigt wird und das Originalbild wiederhergestellt wird, wobei das Verfahren durch die folgenden Schritte gekennzeichnet ist: a) Eingeben eines invers transformationsbearbeiteten Bildsignals; b) Auswählen einer vorgegebenen Anzahl von Abgleichkoeffizienten in dem Bereich, in dem eine ausgewählte Transformationsbearbeitung durchgeführt wird; c) Berechnen von Abgleichkoeffizienten, durch die die Summe der Pixeldifferenzen an Grenzen zwischen dem aktuellen Block und angrenzenden Blöcken auf ein Minimum verringert wird; d) Berechnen eines Abgleichwertes unter Verwendung des Abgleichkoeffizienten und eines Abgleichfaktor-Wertes oder mehrerer Abgleichfaktor-Werte; e) Erzeugen eines Abgleich-Steuersignals zum Bestimmen, ob das Bildsignal entsprechend dem Ergebnis der Bestimmung dahingehend, ob das invers transformationsbearbeitete Bildsignal in einem Kantenbereich oder in einem glatten Bereich liegt, abzugleichen ist; und f) Addieren des berechneten Abgleichwertes zu dem invers transformationsbearbeiteten Bildsignal entsprechend dem Abgleich-Steuersignal.
Nachbearbeitungsvorrichtung nach Anspruch 18, wobei die Schritte c) bis f) unter Verwendung des in Schritt f) ermittelten Summensignals wiederholt werden.
Nachbearbeitungsvorrichtung nach Anspruch 18 oder 19, wobei die ausgewählte Transformation eine diskrete Kosinus-Transformation (discrete cosine transform – DCT) ist.
Nachbearbeitungsvorrichtung nach Anspruch 18 oder 19, wobei die ausgewählte Transformation eine Walsh-Hadamard-Transformation (Walsh-Hadamard transform – WHT) ist.
Nachbearbeitungsvorrichtung nach Anspruch 20, wobei mit dem Schritt b) eine DC-Komponente sowie horizontale und vertikale Komponenten erster Ordnung diskreter Kosinus-Transformation auswählt.
Nachbearbeitungsvorrichtung nach Anspruch 18, wobei bei dem Schritt d) Abgleichfaktor-Werte verwendet werden, die unabhängig von entsprechenden Transformationskoeffizienten sämtlich gleich sind.
Nachbearbeitungsvorrichtung nach Anspruch 20, wobei die Abgleichfaktor-Werte in dem Schritt d) separat für jeden ausgewählten Transformationskoeffizienten bestimmt werden.