DE102006028734A1 - Reduction method for block artifacts from multiple images, involves interpolating image pixels, which results image block as function of determined texture direction of image pixels - Google Patents
Reduction method for block artifacts from multiple images, involves interpolating image pixels, which results image block as function of determined texture direction of image pixels Download PDFInfo
- Publication number
- DE102006028734A1 DE102006028734A1 DE102006028734A DE102006028734A DE102006028734A1 DE 102006028734 A1 DE102006028734 A1 DE 102006028734A1 DE 102006028734 A DE102006028734 A DE 102006028734A DE 102006028734 A DE102006028734 A DE 102006028734A DE 102006028734 A1 DE102006028734 A1 DE 102006028734A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- texture
- values
- pixels
- image pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren zur Reduzierung von Blockartefakten von aus einer Mehrzahl von aus Bildblöcken zusammengesetzten Bildern, wobei jeder Bildblock eine Matrix aus Bildpixeln mit Farbwerten und Helligkeitswerten enthält und eine Interpolation von Bildpixeln jeweils eines Bildblocks in Abhängigkeit von einer ermittelten Texturrichtung der Bildpixel erfolgt.The The invention relates to a method for reducing block artifacts from among a plurality of images composed of image blocks, wherein each image block is a matrix of image pixels with color values and brightness values contains and an interpolation of image pixels each of an image block in dependence from a determined texture direction of the image pixels.
Die Erfindung betrifft weiterhin eine Schaltungsanordnung zur Reduzierung von Blockartefakten von aus einer Mehrzahl von Bildblöcken zusammengesetzten Bildern mit einem solchen Verfahren, wobei die Schaltungsanordnung aufweist:
- – einem Zeilenspeicher für jeweils eine Zeile von Farb- und/oder Helligkeitswerten von Bildpixeln eines Bildblocks,
- – einen aus dem Zeilenspeicher kontinuierlich mit Tripeln von drei in einer Reihe oder Spalte nebeneinander liegenden Bildpixeln beschreibbarem Matrixspeicher,
- – eine Textur-Detektionseinheit am Ausgang des Matrixspeichers zur Ermittlung eines Texturindikators in horizontaler und vertikaler Richtung aus den im Matrixspeicher zwischengespeicherten Bildpixeln, und
- – einen Interpolator am Ausgang des Matrixspeichers, um in Abhängigkeit eines ermittelten Texturindikators die Bildpixel eines im Matrixspeicher zwischengespeicherten Bildblocks zu interpolieren.
- A line memory for one row of color and / or brightness values of image pixels of an image block,
- A matrix memory writable from the line memory continuously with triplets of three image pixels lying next to one another in a row or column,
- A texture detection unit at the output of the matrix memory for determining a texture indicator in the horizontal and vertical direction from the image pixels buffered in the matrix memory, and
- An interpolator at the output of the matrix memory in order to interpolate the image pixels of an image block buffered in the matrix memory as a function of a determined texture indicator.
Die Erfindung betrifft weiterhin eine digitale Kamera mit einem Bildsensor mit einer 5×3 Sensor-Matrix zur Erfassung von Bildblöcken mit entsprechend eines Bayer-Mosaiks angeordneten Farbinformationen, wobei der Bildsensor mit der oben beschriebenen Schaltungsanordnung gekoppelt ist.The The invention further relates to a digital camera with an image sensor with a 5 × 3 Sensor matrix for capturing image blocks with a corresponding Bayer mosaic arranged color information, the image sensor is coupled to the circuit arrangement described above.
Bei
der digitalen Bildbearbeitung ist die Interpolation von Farb- und
Helligkeitswerten von Bildpixeln aus Bildblöcken ein an sich hinreichend
bekanntes und gelöstes
Problem. Insbesondere für
ladungsgekoppelte Bildsensoren (Charge Coupled Device CCD), die
in Bildkameras genutzt werden, ist eine solche Interpolation erforderlich.
Schaltungen und Verfahren zur Interpolation sind beispielsweise
in der
Aus dem US-Patent 6,091,862 ist eine Schaltungsanordnung und ein Verfahren zur Pixelinterpolation von in einem sogenannten Bayer-Mosaik angeordneten Bildblöcken beschrieben. Das Interpolationsergebnis wird durch Wichtungsfaktoren für einzelne Pixel verbessert, die in Abhängigkeit von der Texturrichtung der Bildpixel bestimmt werden.Out U.S. Patent 6,091,862 discloses a circuit arrangement and method for pixel interpolation of arranged in a so-called Bayer mosaic image blocks described. The interpolation result is determined by weighting factors for individual Pixel improves, depending on be determined by the texture direction of the image pixels.
Aus dem US-Patent 6,549,233 B1 ist eine Farbinterpolationstechnik für Bilder im Bayer-Mosaik bekannt, bei der in Bezug auf ein Bildpixel eines Bildblocks die minimalen und maximalen Gradienten der Bildpixelwerte bestimmt werden. Hierzu werden die minimalen und maximalen Intensitätswerte der Bildpixel eines Bildblocks bestimmt und gemittelt.Out U.S. Patent 6,549,233 B1 is a color interpolation technique for images known in the Bayer mosaic, in the case of an image pixel of an image block, the minimum one and maximum gradient of the image pixel values. For this The minimum and maximum intensity values of the image pixels become one Image block determined and averaged.
Aus
der
Ebenso ist in dem US-Patent 5,373,322 ein Interpolationsverfahren beschrieben, bei dem Gradienten (Texturrichtung von Bildpixeln) bestimmt und die Interpolation in Abhängigkeit von der Texturrichtung durchgeführt werden. Die Interpolation erfolgt hierbei linear.As well For example, US Pat. No. 5,373,322 describes an interpolation method. determined at the gradient (texture direction of image pixels) and the Interpolation depending on performed by the texture direction become. The interpolation is linear.
Dem beschriebenen Interpolationsverfahren liegt grundsätzlich das Problem zugrunde, dass bei Digitalkameras Bilddaten über Sensorarrays aufgenommen werden, die an jeder Bildposition nur eine der möglichen drei Farbkomponenten (Rot, Grün und Blau) aufnehmen. Die fehlenden Farbkomponenten der Farbpunkte müssen nachträglich über den sogenannten De-Mosaik-Vorgang rekonstruiert werden, um ein komplettes Farbbild mit Rot-, und Grün- und Blau-Informationen zu erhalten. Die Sensoren in einem Digitalkamera-Sensor und die damit vorhandenen Farbinformationen im Ausgangsbild des Digitalkamera-Sensors sind oftmals im sogenannten Bayer-Mosaik-Muster angeordnet, was eine bestimmte Anordnung von Rot-, Grün- und Blau-Informationen in einer 5×3-Matrix beschreibt.the The interpolation method described is basically the The problem is that with digital cameras image data via sensor arrays be recorded, which at each picture position only one of the possible three color components (red, green and blue). The missing color components of the color dots have to subsequently over the so-called de-mosaic process can be reconstructed to a complete Color image with red and green and blue information. The sensors in a digital camera sensor and the so existing color information in the output image of the digital camera sensor are often arranged in the so-called Bayer mosaic pattern, which a certain arrangement of red, green and blue information in a 5x3 matrix describes.
Beim De-Mosaik-Vorgang werden die fehlenden Farbinformationen des Bildes interpoliert, wobei auffällige und störende Fehler (Artefakte) auftreten können. Diese sind vom angewendeten Algorithmus und von dem Bildinhalt abhängig. Besonders störend für den Betrachter sind so genannte Feder- oder Fransen-Artefakte, die beim Interpolieren an Kanten auftreten.At the De-mosaic process will be the missing color information of the image interpolated, being conspicuous and disturbing Errors (artifacts) can occur. These depend on the algorithm used and the image content. Especially disturbing to the viewer are so-called feather or fringe artifacts that interpolate occur at edges.
Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren zur Reduzierung von Blockartefakten zu schaffen, bei dem die Interpolation ausgewählter Farbwerte verbessert wird.outgoing It is an object of the present invention to provide an improved To provide a method of reducing block artifacts, in which the interpolation of selected ones Color values is improved.
Die Aufgabe wird mit dem Verfahren der eingangs genannten Art gelöst durch:
- – Bestimmen von mindestens einem Überblendungsfaktor aus der Ähnlichkeit von Helligkeitswerten von Bildpixeln, und
- – Interpolation ausgewählter Farbwerte von Bildpixeln in Abhängigkeit von dem Überblendungsfaktor.
- Determining at least one blending factor from the similarity of brightness values of image pixels, and
- Interpolation of selected color values of image pixels as a function of the blending factor.
Anstelle der bislang eingesetzten linearen Interpolation wird vorgeschlagen, mit einem aus der Ähnlichkeit der Helligkeiten von Bildpunkten gebildeten Überblendungsfaktor ein Überblenden zwischen den Chrominaz-Werten der für die die Interpolation herangezogenen Bildpunkte anzuwenden. Hierbei wird erreicht, dass für Bildpunkte gleicher Luminanz ähnliche Chrominanz-Werte resultieren. Bei der Interpolation der Farbwerte wird somit die Luminanz mit berücksichtigt.Instead of the linear interpolation used so far is proposed with one of the similarity blending factor formed by the brightnesses of pixels between the chrominance values of those used for the interpolation Apply pixels. This ensures that for pixels same luminance similar Chrominance values result. In the interpolation of the color values Thus, the luminance is taken into account.
Hierdurch werden Interpolations-Fehler zusätzlich basierend auf der Annahme reduziert, dass die Chrominanz-Werte lokal betrachtet mit bestimmten Luminanz-Werten verbunden sind und ähnliche Luminanz-Werte in ähnlichen Chrominanz-Werten resultieren.hereby In addition, interpolation errors are added based on the assumption that reduces the chrominance values locally considered to be associated with certain luminance values and similar luminance values in similar Chrominance values result.
Farbartefakte können damit noch besser reduziert werden.color artifacts can to be even better reduced.
Der Überblendungsfaktor wird vorzugsweise aus der Differenz zwischen dem absoluten Differenzwert des Helligkeitswertes des Bildpixels im Mittelpunkt der Bildblockmatrix und einem ersten weiteren Helligkeitswert eines angrenzenden Bildpixels sowie dem absoluten Differenzwert des Helligkeitswertes des Bildpixels im Mittelpunkt der Bildblockmatrix und einem zweiten weiteren Helligkeitswert eines angrenzenden Bildpixels berechnet.The crossfade factor is preferably the difference between the absolute difference value the brightness value of the image pixel in the center of the image block matrix and a first further brightness value of an adjacent image pixel and the absolute difference value of the brightness value of the image pixel in the center of the image block matrix and a second further brightness value of an adjacent image pixel.
So kann beispielsweise bei einer horizontalen Textur der absolute Differenzwert mit dem horizontal an das Bildpixel im Mittelpunkt der Bildblockmatrix angrenzenden Werte und bei vertikaler Textur der absolute Differenzwert mit den vertikal an das Bildpixel im Mittelpunkt der Bildblockmatrix angrenzenden Werte berechnet werden.So For example, for a horizontal texture, the absolute difference value with the horizontal to the image pixel in the center of the image block matrix adjacent values and for vertical texture the absolute difference value with the vertical to the image pixel in the center of the image block matrix adjacent values are calculated.
Auch die ermittelte Differenz kann vorzugsweise ein Helligkeitsgrundwert, vorzugsweise der Wert 128, aufaddiert werden, um den Überblendungsfaktor zu erhalten.Also the determined difference may preferably be a brightness base value, preferably the value 128, are added up to the crossfade factor to obtain.
Die Texturrichtung kann beispielsweise in horizontaler und/oder vertikaler Richtung der Bildblöcke ermittelt werden. Damit werden diagonale oder sonstige Texturrichtungen nicht berücksichtigt.The Texture direction can, for example, in horizontal and / or vertical Direction of the image blocks be determined. This will be diagonal or other texture directions not considered.
Die Texturrichtung kann beispielsweise eine Richtung von gleichförmigen Strukturen im Bildinhalt sein, die in an sich bekannter Weise bestimmt wird.The For example, texture direction may be a direction of uniform structures be in the image content, which is determined in a conventional manner.
Vorteilhaft ist es, wenn die Interpolation in an sich bekannter Weise in einer von der Texturrichtung abhängigen Richtung erfolgt. Dabei können folgende Fälle unterschieden werden:
- a) Interpolation von Bildpixeln eines Bildblocks in horizontaler Richtung bei einer ermittelten horizontalen Textur;
- b) Interpolation von Bildpixeln eines Bildblocks in vertikaler Richtung bei einer ermittelten vertikalen Textur; und
- c) Interpolation von Bildpixeln eines Bildblocks in horizontaler und vertikaler Richtung, wenn keine Textur oder eine horizontale und vertikale Textur erkannt wurde.
- a) interpolation of image pixels of an image block in the horizontal direction with a determined horizontal texture;
- b) interpolation of image pixels of an image block in the vertical direction with a determined vertical texture; and
- c) interpolation of image pixels of an image block in the horizontal and vertical directions when no texture or horizontal and vertical texture has been detected.
Die Ermittlung der Texturrichtung kann beispielsweise durch Berechnen der Summe von absoluten Differenzen zwischen Farb- oder Helligkeitswerten von Bildpixeln eines Bildblocks erfolgen. D. h., dass Farb- oder Helligkeitswerte von Bildpixeln eines Bildblocks miteinander vergleichen werden und aus den Unterschieden die Textur bestimmt wird.The Determination of the texture direction can be done, for example, by calculation the sum of absolute differences between color or brightness values take place of image pixels of an image block. That is, that color or Compare brightness values of image pixels of an image block and from the differences the texture is determined.
Beispielsweise kann eine Ermittelung eines Indikators für die Texturrichtung in Abhängigkeit von der Farbe des Bildpixels im Mittelpunkt der Bildblockmatrix erfolgen. Das mittlere Bildpixel gibt somit das Zentrum der zu ermittelnden Texturrichtung an und bildet den Basispunkt für die Bestimmung der die Textur kennzeichnenden Farb- oder Helligkeitsunterschiede der Bildpixel.For example may be a determination of an indicator for the texture direction depending from the color of the image pixel in the center of the image block matrix respectively. The middle image pixel thus gives the center of the to be determined Texture direction and forms the base point for the determination of the texture distinctive color or brightness differences of the image pixels.
Eine horizontale Texturrichtung kann beispielsweise durch Berechnung eines zugeordneten Indikators als Summe der absoluten Differenzen der jeweils in horizontaler Richtung nächsten Bildpixelwerte für die Luminanz oder die Farbe Grün berechnet werden, wenn der Bildpixel im Mittelpunkt des Bildblocks eine Chrominanz-, eine Rot- oder eine Blau-Komponente ist.A horizontal texture direction can be calculated, for example an associated indicator as the sum of the absolute differences each in the horizontal direction next image pixel values for the luminance or the color green are calculated when the image pixel is at the center of the image block is a chrominance, a red, or a blue component.
Die vertikale Texturrichtung kann mit einem Indikator erkannt werden, der als Summe der absoluten Differenzen der jeweils in vertikaler Richtung nächsten Bildpixelwerte für die Luminanz oder die Farbe Grün berechnet wird, wenn der Bildpixel im Mittelpunkt des Bildblocks eine Chrominanz-, Rot- oder Blau-Komponente ist.The vertical texture direction can be detected with an indicator as the sum of the absolute differences of each in vertical Direction next Image pixel values for the luminance or the color green is calculated when the image pixel is at the center of the image block is a chrominance, red or blue component.
Eine bestimmte Texturrichtung wird beispielsweise dann erkannt, wenn der entsprechende Indikator für die horizontale oder vertikale Texturrichtung einen vorgegebenen Schwellwert überschreitet.A certain texture direction is recognized, for example, if the corresponding indicator for the horizontal or vertical texture direction a given Threshold exceeds.
Das Verfahren wird bevorzugt für Bildblöcke im sogenannten Bayer-Mosaik mit einer Bildblockgröße von 5×3-Bildblöcken eingesetzt.The Method is preferred for Picture blocks in the so-called Bayer mosaic with an image block size of 5 × 3 image blocks used.
Die Aufgabe wird weiterhin mit einer Schaltungsanordnung der eingangs genannten Art dadurch gelöst, dass die Textur-Detektionseinheit weiterhin zur Bestimmung von mindestens einem Überblendungsfaktor aus der Ähnlichkeit von Helligkeitswerte von Bildpixeln und der Interpolator zur Interpolation ausgewählter Farbwerte von Bildpixeln in Abhängigkeit von dem Überblendungsfaktor ausgebildet ist.The object is further achieved by a circuit arrangement of the type mentioned above in that the texture detection unit further for determining at least one cross-fading factor from the similarity of brightness values of image pixels and the interpolator is designed to interpolate selected color values of image pixels as a function of the blending factor.
Der Interpolator ist dabei beispielsweise durch Programmierung oder geeignete Hardware so eingerichtet, dass er das oben beschriebene Verfahren ausführt.Of the Interpolator is, for example, by programming or appropriate hardware is set up to be the one described above Performs method.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels mit den beigefügten Zeichnungen näher erläutert. Es zeigen:The Invention will now be described with reference to an embodiment with the accompanying drawings explained in more detail. It demonstrate:
Die
Die
Textur-Detektionseinheit
Der
Interpolator erhält
die 5×3-Matrix
(5×3×8 Bit)
jeweils eine Bildblocks
Die Interpolation wird im Folgenden erläutert.The Interpolation is explained below.
Für jeden
Bildpunkt werden zunächst
in einer 5×3
Matrix eines Bildblocks
Die
5×3-Matrix
eines Bildblocks
Die
Vergleichbar mit dem dargestellten Fall A ist auch der nicht skizzierte Fall, wenn in der Mitte des Bildblocks eine Rot-Information vorhanden ist.Comparable with the illustrated case A is also the case not sketched, if there is red information in the middle of the image block is.
Der
in der
Die Kalkulation einer Grün-Komponente bei vorhandener Blau- und Rot-Komponente, wie auch die Interpolation von Rot und Blau bei vorhandener Grün-Komponente in roter oder blauer Reihe ist jeweils identisch und wird deswegen auch jeweils als ein Fall betrachtet.The Calculation of a green component with existing blue and red component, as well as the interpolation of red and blue with green component present in red or blue blue row is identical in each case and therefore also in each case considered as a case.
Mit der Textur-Detektionseinheit wird in einem ersten Schritt untersucht, ob horizontale und vertikale Texturen vorhanden sind. Hierzu wird das Vorhandensein von nur kleinen Detail-Änderungen in horizontaler bzw. vertikaler Richtung detektiert. Die Information über bestehende Textur-Richtungen wird für die Interpolation herangezogen, die entweder horizontal, vertikal oder bilinear sein kann. Eine bilineare Interpolation wird nur in dem Fall durchgeführt, wenn keine Textur gefunden wurde oder eine Textur sowohl in horizontaler und vertikaler Richtung vorliegt.With the texture detection unit is examined in a first step, whether horizontal and vertical textures are present. For this purpose is the presence of only small detail changes in horizontal or vertical direction detected. The information about existing texture directions is for used the interpolation, which is either horizontal, vertical or bilinear. Bilinear interpolation is only possible in carried out the case, if no texture was found or a texture in both horizontal and vertical direction.
Durch die Interpolation in einer bestimmten Richtung in Abhängigkeit von dem festgestellten Textur-Indikator T werden die bekannten Feder- oder Franse-Artefakte beim Interpolieren an Kanten verhindert oder zumindest reduziert.By the interpolation in a certain direction depending on of the detected texture indicator T, the known spring or fringe artifacts when interpolating on edges prevented or at least reduced.
Fehlende
Grün-Informationen
im Fall A werden ausschließlich
unter Einbeziehung der Grün-Informationen
der Punkte in der 5×3-Matrix
eines Bildblocks
Im
Fall B (
Im an sich bekannten Standard-Modus werden fehlende Rot- und Blau-Farbwerte durch lineare Interpolation der Chrominanzen berechnet, z. B. die Differenzen von Rot und Blau zu dem Grün-Wert, der hier als Luminanz genutzt wird.in the Standard mode known per se becomes missing red and blue color values calculated by linear interpolation of chrominances, e.g. For example, the differences from red and blue to the green value, which is used here as luminance.
Im erfindungsgemäßen erweiterten Modus werden Interpolations-Fehler zusätzlich basierend auf der Annahme reduziert, dass die Chrominanz-Werte lokal betrachtet mit bestimmten Luminanz-Werten verbunden sind und ähnliche Luminanz-Werte in ähnlichen Chrominanz-Werten resultieren.in the extended according to the invention Mode, interpolation errors are additionally based on the assumption reduces the chrominance values locally with certain ones Luminance values are related and similar luminance values in similar Chrominance values result.
Eingangsdaten
des Verfahrens sind einzelne 8-bit Werte von roter, grüner oder
blauer Farbe für Bildpixel,
abhängig
von der Sample-Position in dem Bayer-Muster. Die Schaltungsanordnung
Für die Erkennung
von vorhandenen Texturen in der Textur-Detektionseinheit
Die
Berechnung der Textur-Indikatoren T ist abhängig von der Farbe des Bildpunktes
im Mittelpunkt eines Bildblocks
Fall A:
Case A:
Dabei
ist Th ein Textur-Indikator für eine horizontale
Textur Tv ein Textur-Indikator für die vertikale Textur.
Eine vertikale Textur. Eine horizontale oder vertikale Textur wird
in jedem Fall erkannt, in dem die Textur-Indikatoren Th und
Tv mit einem vorgegebenen Schwellwert und
gegeneinander verglichen werden:
Horizontale Textur:
Horizontal texture:
Die Interpolation erfolgt in Abhängigkeit von einer erkannten horizontalen oder vertikalen oder keiner erkannten Textur. Im Folgenden werden die Ausführungsbeispiele auf die Beschreibung für den Fall A mit vorhandener Blau-Information und für den Fall B mit vorhandener Grün-Information in einer Bildzeile mit vorhandenen blauen Farbwerten beschränkt. Für den Fall der vorhandenen Rot-Informationen und der Grün-Information wird die Interpolation identisch aber unter Austausch von Rot- und Grün-Komponenten durchgeführt.The interpolation takes place depending on a recognized horizontal or vertical or no recognized texture. In the following, the embodiments are limited to the description for the case A with existing blue information and for the case B with existing green information in a picture line with existing blue color values. In the case of the existing red information and the green information, the interpolation on identical but with replacement of red and green components performed.
Die fehlenden Grün-Werte werden unter Berücksichtigung einer erkannten Textur-Richtung linear interpoliert. Ansonsten wird die grüne Farbe bilinear interpoliert.The missing green values be considered a recognized texture direction linear interpolated. Otherwise, the green color is interpolated bilinearly.
Die Chrominanz wird durch lineare bzw. bilineare Interpolation der Differenz des Rot- und Grün-Wertes berechnet.The Chrominance is determined by linear or bilinear interpolation of the difference the red and green value calculated.
Fall A (beschrieben für den Fall einer vorhandenen Blau-Information):
- a) horizontale Textur: G23= (G22 + G24)/2 R13 = (R12 + R14)/2 R33 = (R32 + R34)2 R23 = G23 + (R13 – G13)/2 + (R33 – G33)/2 = G23 + (R12 + R14 + R32 + R34)/4 – (G13 + G33)/2
- b) vertikale Textur G23 = (G13 + G33)/2 R22 = (R12 + R32)/2 R24 = (R14 + R34)/2 R23 = G23 + (R22 – G22)/2 + (R24 – G24)/2 = G23 + (R12 + R14 + R32 + R34)/4 – (G22 + G24)/2
- c) keine Textur erkannt: G23 = (G13 + G33 + G22 + G24)/4 R23 = (R12 + R14 + R32 + R34)/4.
- a) horizontal texture: G 23 = (G 22 + G 24 ) / 2 R 13 = (R 12 + R 14 ) / 2 R 33 = (R 32 + R 34 ) 2 R 23 = G 23 + (R 13 - G 13 ) / 2 + (R 33 - G 33 ) / 2 = G 23 + (R 12 + R 14 + R 32 + R 34 ) / 4 - (G 13 + G 33 ) / 2
- b) vertical texture G 23 = (G 13 + G 33 ) / 2 R 22 = (R 12 + R 32 ) / 2 R 24 = (R 14 + R 34 ) / 2 R 23 = G 23 + (R 22 - G 22 ) / 2 + (R 24 - G 24 ) / 2 = G 23 + (R 12 + R 14 + R 32 + R 34 ) / 4 - (G 22 + G 24 ) / 2
- c) no texture detected: G 23 = (G 13 + G 33 + G 22 + G 24 ) / 4 R 23 = (R 12 + R 14 + R 32 + R 34 ) / 4.
Fall B (beschrieben für den Fall eines grünen Farbwertes in blauer Bildzeile):
- a) horizontale Textur: G13 = (G12 + G14)/2 G33 = (G32 + G34)/2 R23 = G23 + (R13 – G13)/2 + (R33 – G33)/2 = G23 + (R13 + R33)/2 – (G12 + G14 + G32 + G34)/4 B23 = (B22 + B24)/2
- b) vertikale Textur: G22 = (G12 + G32)/2 G24 = (G14 + G34)/2 R23 = (R13 + R33)/2 B23 = (B22 – G22)/2 + (B24 – G24)/2 = G23 + (B22 + B24)/2 – (G12 + G14 + G32 + G34)/4
- c) keine Textur erkannt: R23 = G23 + (R13 + R33)/2 – (G12 + G14 + G32 + G34)/4 B23 = G23 + (B22 + B24)/2 – (G12 + G14 + G32 + G34)/4
- a) horizontal texture: G 13 = (G 12 + G 14 ) / 2 G 33 = (G 32 + G 34 ) / 2 R 23 = G 23 + (R 13 - G 13 ) / 2 + (R 33 - G 33 ) / 2 = G 23 + (R 13 + R 33 ) / 2 - (G 12 + G 14 + G 32 + G 34 ) / 4 B 23 = (B 22 + B 24 ) / 2
- b) vertical texture: G 22 = (G 12 + G 32 ) / 2 G 24 = (G 14 + G 34 ) / 2 R 23 = (R 13 + R 33 ) / 2 B 23 = (B 22 - G 22 ) / 2 + (B 24 - G 24 ) / 2 = G 23 + (B 22 + B 24 ) / 2 - (G 12 + G 14 + G 32 + G 34 ) / 4
- c) no texture detected: R 23 = G 23 + (R 13 + R 33 ) / 2 - (G 12 + G 14 + G 32 + G 34 ) / 4 B 23 = G 23 + (B 22 + B 24 ) / 2 - (G 12 + G 14 + G 32 + G 34 ) / 4
Die Interpolation erfolgt in einem erfindungsgemäßen erweiterten Modus für ausgewählte Farbwerte von Bildpixeln in Abhängigkeit von einem Überblendungsfaktor k. Dieser Modus wird für den Fall A) mit vorhandener Blau-Information und für den Fall mit vorhandener Grün-Information in einer Bildzeile mit vorhandenen blauen Farbwerten beschrieben. Die fehlenden Grün-Werte werden identisch zum oben beschriebenen Standard-Modus linear oder bilinear interpoliert. Im Falle keiner erkannten Textur ist die Chrominanz-Berechnung ebenfalls identisch zum Standard-Modus.The Interpolation takes place in an extended mode according to the invention for selected color values of image pixels in dependence from a crossfade factor k. This mode is for case A) with blue information available and in case with existing green information described in an image line with existing blue color values. The missing green values are identical to the standard mode described above linear or interpolated bilinearly. In the case of no recognized texture, the chrominance calculation is also identical to the standard mode.
Im Falle einer Textur wird bei einer Chrominanz-Berechnung anstelle der linearen Interpolation ein Überblenden zwischen den Chrominanz-Werten der für die Interpolation herangezogenen Bildpunkte angewendet. Der Überblendungsfaktor k wird dabei aus der Ähnlichkeit der Helligkeiten der Bildpunkte gebildet, so dass für Bildpunkte gleicher Luminanz ähnliche Chrominanz-Werte resultieren.in the Trap of a texture is used in a chrominance calculation cross-fading the linear interpolation between the chrominance values of those used for the interpolation Pixels applied. The crossfade factor k becomes from the similarity the brightnesses of the pixels formed, so for pixels same luminance similar Chrominance values result.
Fall A (beschrieben für den Fall einer vorhandenen Blau-Information):
- a) horizontale Textur: G23 = (G22 + G24)/2 R13 = (R12 + R14)/2 R33 = (R32 – R34)/2 k = abs(G13 – G23) – abs(G33 – G23) – 128 R23 = G23 + (1 – k)·(R13 – G13) + k·(R33 – G33) = G23 + R13 – G13 + k·(R33 – G33 – R13 + G13)
- b) vertikale Textur: G23 = (G13 + G33)/2 R22 = (R12 + R32)/2 R24 = (R14 + R34)/2 k = abs(G22 – G23) – abs(G24 – G23) + 128 R23 = G23 + (1 – k)·(R22 – G22) + k·(R24 – G24) = G23 + R22 – G22 + k·(R24 – G24 – R22 + G22)
- c) keine Textur erkannt: G23 = (G13 + G33 + G22 + G24)/4 R23 = (R12 + R14 + R32 + R34)/4
- a) horizontal texture: G 23 = (G 22 + G 24 ) / 2 R 13 = (R 12 + R 14 ) / 2 R 33 = (R 32 - R 34 ) / 2 k = abs (G 13 - G 23 ) - abs (G 33 - G 23 ) - 128 R 23 = G 23 + (1 - k) · (R 13 - G 13 ) + k · (R 33 - G 33 ) = G 23 + R 13 - G 13 + k · (R 33 - G 33 - R 13 + G 13 )
- b) vertical texture: G 23 = (G 13 + G 33 ) / 2 R 22 = (R 12 + R 32 ) / 2 R 24 = (R 14 + R 34 ) / 2 k = abs (G 22 - G 23 ) - abs (G 24 - G 23 ) + 128 R 23 = G 23 + (1 - k) · (R 22 - G 22 ) + k · (R 24 - G 24 ) = G 23 + R 22 - G 22 + k · (R 24 - G 24 - R 22 + G 22 )
- c) no texture detected: G 23 = (G 13 + G 33 + G 22 + G 24 ) / 4 R 23 = (R 12 + R 14 + R 32 + R 34 ) / 4
Fall B (beschrieben für den Fall eines grünen Farbwertes in blauer Bildzeile):
- a) horizontale Textur: G13 = (G12 + G14)/2 G33 = (G32 + G34)/2 k = abs(G13 – G23) – abs(G33 – G23) + 128 R23 = G23 + (1 – k)·(R13 – G13) + k·(R33 – G33) = G23 + R13 – G13 + k·(R33 – G33 – R13 + G13) B23 = (B22 + B24)/2
- b) vertikale Textur: G22 = (G12 + G32)/2 G24 = (G14 + G34)/2 R23 = (B13 + R33)/2 k = abs(G22 – G23) – abs(G24 – G23) + 128 B23 = G23 +(1 – k)·(B22 – G22) + k·(B24 – G24) = G23 + B22 – G22 + k·(B24 – G24 – B22 + G22)
- c) keine Textur erkannt: R23 = G23 + (R13 + R33)/2 – (G12 + G14 + G32 + G34)/4 B23 = G23 + (B22 + R24)/2 – (G12 + G14 + G32 + G34)/4.
- a) horizontal texture: G 13 = (G 12 + G 14 ) / 2 G 33 = (G 32 + G 34 ) / 2 k = abs (G 13 - G 23 ) - abs (G 33 - G 23 ) + 128 R 23 = G 23 + (1 - k) · (R 13 - G 13 ) + k · (R 33 - G 33 ) = G 23 + R 13 - G 13 + k · (R 33 - G 33 - R 13 + G 13 ) B 23 = (B 22 + B 24 ) / 2
- b) vertical texture: G 22 = (G 12 + G 32 ) / 2 G 24 = (G 14 + G 34 ) / 2 R 23 = (B 13 + R 33 ) / 2 k = abs (G 22 - G 23 ) - abs (G 24 - G 23 ) + 128 B 23 = G 23 + (1 - k) · (B 22 - G 22 ) + k · (B 24 - G 24 ) = G 23 + B 22 - G 22 + k · (B 24 - G 24 - B 22 + G 22 )
- c) no texture detected: R 23 = G 23 + (R 13 + R 33 ) / 2 - (G 12 + G 14 + G 32 + G 34 ) / 4 B 23 = G 23 + (B 22 + R 24 ) / 2 - (G 12 + G 1 4 + G 32 + G 34 ) / 4.
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006028734A DE102006028734A1 (en) | 2006-06-20 | 2006-06-20 | Reduction method for block artifacts from multiple images, involves interpolating image pixels, which results image block as function of determined texture direction of image pixels |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006028734A DE102006028734A1 (en) | 2006-06-20 | 2006-06-20 | Reduction method for block artifacts from multiple images, involves interpolating image pixels, which results image block as function of determined texture direction of image pixels |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102006028734A1 true DE102006028734A1 (en) | 2007-12-27 |
Family
ID=38721106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102006028734A Ceased DE102006028734A1 (en) | 2006-06-20 | 2006-06-20 | Reduction method for block artifacts from multiple images, involves interpolating image pixels, which results image block as function of determined texture direction of image pixels |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102006028734A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508783A (en) * | 2020-11-19 | 2021-03-16 | 西安全志科技有限公司 | Image processing method based on directional interpolation, computer device and computer readable storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
US6563537B1 (en) * | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
US20030117507A1 (en) * | 2001-12-21 | 2003-06-26 | Nasser Kehtarnavaz | Color filter array interpolation |
DE10344397A1 (en) * | 2003-08-07 | 2005-03-17 | Samsung Electro-Mechanics Co., Ltd., Suwon | Edge enhancement apparatus for portable digital camera, has edge enhancement unit to enhance output of interpolation unit according to edge detection value, which is obtained by edge detection unit |
WO2006052306A2 (en) * | 2004-11-09 | 2006-05-18 | Eastman Kodak Company | Interpolation method for captured color image data |
-
2006
- 2006-06-20 DE DE102006028734A patent/DE102006028734A1/en not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
US6563537B1 (en) * | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
US20030117507A1 (en) * | 2001-12-21 | 2003-06-26 | Nasser Kehtarnavaz | Color filter array interpolation |
DE10344397A1 (en) * | 2003-08-07 | 2005-03-17 | Samsung Electro-Mechanics Co., Ltd., Suwon | Edge enhancement apparatus for portable digital camera, has edge enhancement unit to enhance output of interpolation unit according to edge detection value, which is obtained by edge detection unit |
WO2006052306A2 (en) * | 2004-11-09 | 2006-05-18 | Eastman Kodak Company | Interpolation method for captured color image data |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508783A (en) * | 2020-11-19 | 2021-03-16 | 西安全志科技有限公司 | Image processing method based on directional interpolation, computer device and computer readable storage medium |
CN112508783B (en) * | 2020-11-19 | 2024-01-30 | 西安全志科技有限公司 | Image processing method based on direction interpolation, computer device and computer readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60221757T2 (en) | Method and apparatus for simultaneously removing the mosaic effect and resizing raw image data | |
DE60314692T2 (en) | Digital image method and apparatus for assembling removal of the mosaic effect and correction of bad pixels | |
DE69628866T2 (en) | Adaptive interpolation of color areas in an electronic color camera with only one sensor | |
DE19712295B4 (en) | Luminance / Chrominanzsignaltrennvorrichtung | |
DE69733978T2 (en) | image data interpolating | |
DE3814627C2 (en) | ||
DE10344397B4 (en) | Device and method for edge enhancement in image processing | |
DE69733882T2 (en) | CAMERA WITH A SINGLE PICTORIAN | |
DE4345015C2 (en) | Digital signal processing device | |
DE102015111787A1 (en) | Deinterleave a nested high dynamic range image using YUV interpolation | |
DE102006038646B4 (en) | Image processing apparatus for color image data | |
DE10243306A1 (en) | Image sensor output data processor has adaptive interpolator which determines red green and blue components of respective pixels, using output from delay module in response to output from direction coefficient selector | |
DE3907118A1 (en) | CIRCUIT ARRANGEMENT FOR EXPANDING A CONTROL SIGNAL IN VIDEO SIGNAL PROCESSING | |
DE3720163C2 (en) | Method and arrangement for freezing a television picture | |
DE3636077C2 (en) | Method for masking errors in a video signal and circuit for carrying out the method | |
DE2740795A1 (en) | DEVICE FOR ELIMINATING SCANNING ERRORS IN SOLID-STATE TV CAMERAS | |
DE102014008686B4 (en) | Method and device for color interpolation | |
DE60224125T2 (en) | Signal processing device, signal processing method of the device, operation process program of the method and storage medium for storing the program | |
DE102006050864B4 (en) | Method and apparatus for correcting defective pixels for a solid state imaging device | |
DE60114520T2 (en) | Color imaging device | |
DE4228532B4 (en) | Video signal processor for superimposing on-screen information | |
EP1246452B1 (en) | Method and device for steepening signal transitions in television pictures | |
DE102006028734A1 (en) | Reduction method for block artifacts from multiple images, involves interpolating image pixels, which results image block as function of determined texture direction of image pixels | |
DE3035532C2 (en) | ||
DE69630651T2 (en) | Down video format conversion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: SILICON IMAGE GMBH, 30419 HANNOVER, DE |
|
8131 | Rejection |