DE102009001520A1

DE102009001520A1 - Apparatus and method for interframe interpolation

Info

Publication number: DE102009001520A1
Application number: DE200910001520
Authority: DE
Inventors: Peter Rieder; Markus Schu; Kilian Jabob
Original assignee: Trident Microsystems Far East Ltd Cayman Islands
Current assignee: Entropic Communications LLC
Priority date: 2009-03-12
Filing date: 2009-03-12
Publication date: 2010-09-23
Anticipated expiration: 2029-03-13
Also published as: DE102009001520B4; WO2010103106A1

Abstract

Beschrieben werden ein Verfahren und eine Vorrichtung zur Zwischenbildinterpolation.A method and apparatus for interframe interpolation will be described.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Zwischenbildinterpolation.The The present invention relates to an apparatus and a method for interframe interpolation.

Vorrichtungen und Verfahren zur Zwischenbildinterpolation sind grundsätzlich bekannt und dienen beispielsweise dazu, aus einem Bildsignal, das eine Bildfolge mit einer ersten Bildfrequenz repräsentiert, ein interpoliertes Bildsignal, das eine Bildfolge mit einer zweiten, höheren Bildfrequenz repräsentiert, zu erzeugen. Anwendung finden solche Vorrichtungen und Verfahren beispielsweise in der Fernsehtechnik, um aus einem Bildsignal, das eine 50 Hz-(Halb)-Bildfolge repräsentiert, ein Bildsignal zu erzeugen, das eine 100 Hz-Bildfolge repräsentiert, oder um aus einem Kinofilmsignal, das eine 24 Hz-Bildfolge repräsentiert, ein 100 Hz-Bildsignal zu interpolieren.devices and methods for inter-frame interpolation are basically known and serve, for example, from an image signal, which is an image sequence represented with a first frame rate, an interpolated one Image signal, which is an image sequence with a second, higher frame rate represents to create. Application find such devices and methods For example, in the television industry, from an image signal, the represents a 50 Hz (half) image sequence, to generate an image signal representing a 100 Hz image sequence or from a Motion picture signal representing a 24 Hz picture sequence, a 100 Hz picture signal to interpolate.

Um die Zwischenbilder bewegungsrichtig interpolieren zu können, ist es bekannt, die Bilder der zu interpolierenden Bildfolge in Bildblöcke zu unterteilen und durch Vergleich der Bildinhalte aufeinanderfolgender Bilder Bewegungsinformationen zu den einzelnen Bildblöcken, beispielsweise in Form von Bewegungsvektoren, zu ermitteln. Diese Bewegungsinformation wird anschließend für die Interpolation der Inhalte der Bildblöcke der Zwischenbilder verwendet.Around it is possible to interpolate the intermediate images in the correct direction it is known to subdivide the images of the image sequence to be interpolated into image blocks and by comparing the image contents of successive images Movement information about the individual image blocks, for example in form of motion vectors. This movement information will follow for the Interpolation of the contents of the image blocks of the intermediate images used.

Die Bewegungsschätzung, d. h. die Ermittlung von Bewegungsinformationen zu Bildblöcken der zu interpolierenden Zwischenbilder kann sehr rechenaufwendig sein, insbesondere dann, wenn den Bildpunkten der Bilder der zu interpolierenden Bildfolge Bildinformationswerte zugeordnet sind, die aus einem großen Wertebereich stammen können. Dies ist beispielsweise dann der Fall, wenn die zu interpolierende Bildfolge eine Folge von Bildern mit hohem Dynamikbereich ist. Eine solche Bildfolge wird nachfolgend auch als HDR-Bildfolge (HDR = High Dynamic Range) bezeichnet. Den Bildpunkten der Bilder einer solchen HDR-Bildfolge sind beispielsweise Bildinformationen in Form von Datenworten mit einer Datenwortbreite von 32 Bit zugeordnet.The Motion estimation, d. H. the determination of movement information to image blocks of to be interpolated intermediate images can be very compute-consuming, especially when the pixels of the images to be interpolated Image sequence image information values are assigned, which consist of a large value range can come. This is the case, for example, when the interpolated Image sequence is a sequence of high dynamic range images. A such image sequence is also referred to below as HDR image sequence (HDR = High Dynamic Range). The pixels of the images of such HDR image sequence are, for example, image information in the form of Data words with a data word width of 32 bits assigned.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Zwischenbildinterpolation zur Verfügung zu stellen, das einen reduzierten Rechenaufwand benötigt, und eine Vorrichtung zur Durchführung eines solchen Verfahrens zur Verfügung zu stellen.task The present invention is a method for inter-frame interpolation to disposal to provide, which requires a reduced computational effort, and a device for carrying out to provide such a method.

Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und durch ein Verfahren gemäß Anspruch 2 gelöst.These The object is achieved by a device according to claim 1 and by a Method according to claim 2 solved.

Die erfindungsgemäße Vorrichtung umfasst: einen Eingang zur Zuführung eines Eingangsbildsignals, das eine Folge von Bildern repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils wenigstens ein Bildinformationswert zugeordnet ist; eine Kompandereinheit, der das Eingangsbildsignal zugeführt ist und die dazu ausgebildet ist, aus dem Eingangsbildsignal durch Kompandieren der Bildinformationswerte ein kompandiertes Bildsignal zu erzeugen; eine Bewegungsschätzeinheit, der das kompandierte Bildsignal zugeführt ist und die dazu ausgebildet ist, basierend auf dem kompandierten Bildsignal eine Bewegungsinformation zu dem Eingangsbildsignal zu ermitteln; eine Interpolationseinheit, der das Eingangsbildsignal und die Bewegungsinformation zugeführt ist und die dazu ausgebildet ist, ein interpoliertes Bildsignal zu erzeugen, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist.The inventive device includes: an input to the feeder an input image signal representing a sequence of images, each having a number of pixels, each of which at least one image information value is assigned; a compander unit, the supplied the input image signal is and is adapted to, from the input image signal through Companding the image information values a companded image signal to create; a movement estimation unit, which the companded image signal is supplied and which is formed is motion information based on the companded image signal to determine the input image signal; an interpolation unit, the input image signal and the motion information are supplied and which is adapted to generate an interpolated image signal, the represents a sequence of images, the compared to the image sequence represented by the input image signal a higher one Frame rate and / or images with other motion phases has.

Das erfindungsgemäße Verfahren zur Zwischenbildinterpolation umfasst: Bereitstellen eines Eingangsbildsignals, das eine Folge von Bildern repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils wenigstens ein Bildinformationswert zugeordnet ist; Erzeugen eines kompandierten Bildsignals aus dem Eingangsbildsignal durch Kompandieren der Bildinformationswerte des Eingangsbildsignals; Ermitteln einer Bewegungsinformation zu dem Eingangsbildsignal anhand des kompandierten Bildsignals; Erzeugen eines interpolierten Bildsignals, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, aus dem Eingangsbildsignal unter Verwendung der Bewegungsinformation.The inventive method for inter-frame interpolation comprises: providing an input image signal, that represents a sequence of images, each having a number of pixels, each of which at least one image information value is assigned; Generating a Companded image signal from the input image signal by companding the image information values of the input image signal; Determine a Motion information to the input image signal based on the companded Image signal; Generating an interpolated image signal, the one Image sequence represents, which are compared to that represented by the input image signal Picture sequence a higher Has frame rate and / or images with other motion phases, from the input image signal using the motion information.

Unter einem Kompandieren der Bildinformationswerte ist im Zusammenhang mit der vorliegenden Beschreibung eine Reduktion des Wertebereichs der Bildinformationswerte zu verstehen. Diese Reduktion des Wertebereichs kann wahlweise unter Verwendung einer linearen oder einer nicht-linearen Kompanderkennlinie erfolgen. Bei einem Beispiel ist vorgesehen, dass die Bildinformationswerte des Eingangsbildsignals jeweils durch Datenworte mit einer Datenwortbreite von 32 Bit repräsentiert sind und dass diese Bildinformationswerte auf kompandierte Bildinformationswerte abgebildet werden, die jeweils durch ein Datenwort mit einer Datenwortbildbreite Von 8 Bit repräsentiert sind. Im einfachsten Fall erfolgt eine solche Kompandierung beispielsweise dadurch, dass das zu kompandierende Datenwort in eine Anzahl von Teildatenworten unterteilt wird, die jeweils gleiche oder unterschiedliche Datenwortbreiten besitzen und dass sich das kompandierte Datenwort jeweils aus den signifikantesten Bits (MSB) der Teildatenworte zusammensetzt.Under Composing the image information values is related With the present description, a reduction of the value range of Understand picture information values. This reduction of the value range Optionally, using a linear or a nonlinear compander characteristic respectively. In one example, it is provided that the image information values the input image signal in each case by data words with a data word width represented by 32 bits and that these image information values are based on companded image information values each represented by a data word having a data word image width of 8 bits represented are. In the simplest case, such companding takes place, for example in that the data word to be companded is divided into a number of Subdivisions, each of which is the same or different Have data word widths and that the companded data word each composed of the most significant bits (MSB) of the partial data words.

Indem bei dieser Vorrichtung bzw. bei diesem Verfahren die Bewegungsschätzung nicht auf das Eingangsbildsignal sondern auf das hinsichtlich seines Datenumfangs reduzierte kompandierte Bildsignal angewendet wird, lässt sich der Rechenaufwand im Zusammenhang mit der Bewegungsschätzung erheblich reduzieren.By doing in this device or in this method, the motion estimation not on the input image signal but on the extent of its data reduced companded image signal is applied, can be the computational effort associated with the motion estimation significantly to reduce.

Ausführungsbeispiele werden nachfolgend unter Bezugnahme auf Figuren näher erläutert. Diese Figuren dienen zur Veranschaulichung des Grundprinzips, so dass lediglich die zur Veranschaulichung dieses Grundprinzips notwendigen Aspekte dargestellt sind. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung.embodiments will be explained in more detail with reference to figures. These Figures serve to illustrate the basic principle, so that only necessary to illustrate this basic principle Aspects are shown. In the figures, if not otherwise indicated, like reference numerals same features with the same Importance.

1 veranschaulicht schematisch eine durch ein Eingangsbildsignal repräsentierte Eingangsbildfolge und ein aus dieser Eingangsbildfolge resultierende interpolierte Bildfolge. 1 schematically illustrates an input image sequence represented by an input image signal and an interpolated image sequence resulting from this input image sequence.

2 veranschaulicht ein Beispiel einer Vorrichtung zur Erzeugung der interpolierten Bildfolge aus der Eingangsbildfolge, die eine Kompandereinheit, eine Bewegungsschätzeinheit und eine Interpolationseinheit aufweist. 2 Fig. 12 illustrates an example of an apparatus for generating the interpolated image sequence from the input image sequence, which comprises a companding unit, a motion estimation unit and an interpolation unit.

3 veranschaulicht die Funktionsweise eines Beispiels einer Kompandereinheit. 3 illustrates the operation of an example of a compander unit.

4 veranschaulicht anhand eines Blockschaltbilds ein Beispiel der Bewegungsschätzeinheit. 4 illustrates, by way of a block diagram, an example of the motion estimation unit.

5 veranschaulicht anhand eines Blockschaltbilds ein Beispiel einer Interpolationseinheit. 5 illustrates a block diagram of an example of an interpolation unit.

6 veranschaulicht anhand eines Blockschaltbilds ein weiteres Beispiel einer Vorrichtung zur Erzeugung einer interpolierten Bildfolge aus einer Eingangsbildfolge. 6 illustrates a block diagram of another example of a device for generating an interpolated image sequence from an input image sequence.

1 zeigt schematisch eine Bildfolge, die nachfolgend auch als Eingangsbildfolge bezeichnet wird und die zeitlich aufeinanderfolgende Bilder F(i – 1), F (i) aufweist. Diese Bil der sind in 1 als zeitlich aufeinanderfolgende Bilder dargestellt, wobei t die Zeit und k eine diskrete Zeitvariable bezeichnet. Die einzelnen Bilder F(i – 1), F(i) weisen jeweils eine Anzahl von Bildpunkten (Pixel) auf, denen jeweils wenigstens ein Bildinformationswert zugeordnet ist. Sind diese Bilder Farbbilder, so sind jedem Bildpunkt beispielsweise drei Bildinformationswerte zugeordnet, entweder ein Rot-Wert (R), ein Grün-Wert (G) und ein Blau-Wert (B) bei einer RGB-Darstellung, oder ein Luminanzwert (Y-Wert) und zwei Chrominanzwerte (U-Wert und V-Wert) bei einer YUV-Darstellung. Aus verschiedenen Gründen kann es wünschenswert sein, an zeitlichen Positionen zwischen zwei aufeinanderfolgenden Bildern F(i – 1), F(i) der Eingangsbildfolge bewegungsrichtig Zwischenbilder zu interpolieren. ”Bewegungsrichtig” heißt in diesem Zusammenhang, dass diese Zwischenbilder so interpoliert werden, dass sich bewegende Objekte, die sich in einem Bild F(i – 1) der Eingangsbildfolge an einer ersten Position und in dem zweiten Bild F(i) an einer zweiten Position befinden, sich in dem wenigstens einen Zwischenbild an einer räumlichen Position zwischen der ersten und zweiten Position befinden. Die relative räumliche Lage dieses Objekts zwischen der ersten und zweiten Position entspricht dabei der relativen zeitlichen Lage des interpolierten Zwischenbilds zwischen den zeitlichen Positionen des ersten und zweiten Bilds F(i – 1), F(i). In 1 sind beispielhaft zwei solcher zu interpolierender Zwischenbilder F(i–)(α₁ – 1)) und F(i – (α₂ – 1)) dargestellt. Diese Zwischenbilder unterscheiden sich von den Eingangsbildern F(i – 1), F(i) hinsichtlich ihrer Bewegungsphase α, die grundsätzlich zwischen 0 und 1 liegen kann. In dem dargestellten Beispiel besitzen die Eingangsbilder beispielsweise die Bewegungsphase α = 0 oder α = 1, während die Zwischenbilder Bewegungsphasen α = α₁ und α = α₂ besitzen, die zwischen 0 und 1 liegen. 1 schematically shows an image sequence, which is hereinafter also referred to as input image sequence and the temporally successive images F (i - 1), F (i). These pictures are in 1 as temporally successive images, where t denotes the time and k denotes a discrete time variable. The individual images F (i-1), F (i) each have a number of pixels (pixels), to each of which at least one image information value is assigned. For example, if these images are color images, each pixel is associated with three image information values, either a red value (R), a green value (G) and a blue value (B) in an RGB representation, or a luminance value (Y). Value) and two chrominance values (U value and V value) in a YUV representation. For various reasons, it may be desirable to interpolate intermediate images at temporal positions between two successive images F (i-1), F (i) of the input image sequence. "Moving correctly" in this context means that these intermediate images are interpolated such that moving objects located in an image F (i-1) of the input image sequence at a first position and in the second image F (i) at a second position are located in the at least one intermediate image at a spatial position between the first and second position. The relative spatial position of this object between the first and second position corresponds to the relative temporal position of the interpolated intermediate image between the temporal positions of the first and second image F (i-1), F (i). In 1 By way of example, two such intermediate images F (i -) (α ₁ - 1)) to be interpolated and F (i - (α ₂ - 1)) are shown. These intermediate images differ from the input images F (i-1), F (i) in terms of their motion phase α, which may in principle be between 0 and 1. For example, in the illustrated example, the input images have the motion phase α = 0 or α = 1, while the intermediate images have motion phases α = α ₁ and α = α ₂ ranging from 0 to 1.

Die Eingangsbildfolge kann hinsichtlich der Bildinformationswerte, die den einzelnen Pixel zugeordnet sind, insbesondere eine hochaufgelöste Bildfolge, wie z. B. eine HDR-Bildfolge sein. Diese Bildinformationswerte können dabei im Vergleich zu herkömmlichen Fernsehbildern einem hohen Wertebereich entstammen. Bei HDR-Bildfolgen ist jedem Pixel beispielsweise ein digitales Datenwort mit einer Wortbreite von 32 Bit zugeordnet, von denen 24 bit die Farbverteilung und 8 bit die Helligkeit bestimmen. Ein digitales Datenwort für ein Pixel eines HDR-Bilds umfasst also: 8 bit für einen Rotanteil (R); 8 bit für einen Grünanteil (G); 8 bit für einen Blauanteil (G); 8 bit für einen die Helligkeit bestimmenden Exponenten.The Input image sequence may be in terms of image information values, the associated with the individual pixels, in particular a high-resolution image sequence, such as B. be an HDR image sequence. These image information values can be compared to conventional Television images come from a high value range. For HDR image sequences For example, each pixel is a digital data word with a word width of 32 bits assigned, of which 24 bits are the color distribution and 8 bit determine the brightness. A digital data word for a pixel So an HDR image includes: 8 bits for a red component (R); 8 bits for one green component (G); 8 bit for a blue component (G); 8 bit for a brightness determining exponent.

Zu Zwecken einer Zwischenbildinterpolation ist es grundsätzlich bekannt, eine sogenannte Bewegungsschätzung zu einzelnen Bildblöcken des zu interpolierenden Zwischenbildes durchzuführen. Das Zwischenbild wird hierbei in einzelne Blöcke unterteilt, die matrixartig angeordnet sind und die beispielsweise 8×8 oder 16×16 Bildpunkte umfassen. Zu jedem dieser Bildblöcke wird eine Bewegungsinformation ermittelt, die für jeden zu interpolierenden Bildblock angibt, unter Verwendung der Bildinhalte welcher Bildblöcke in dem ersten und zweiten Bild F(i – 1), F(i) der Bildinhalt des zu interpolierenden Bildblocks zu interpolieren ist. Diese Bewegungsinformation liegt beispielsweise in Form eines sogenannten Bewegungsvektors vor. Die Ermittlung dieser Bewegungsinformation kann beispielsweise mittels eines rekursiven Bewegungsschätzverfahrens erfolgen. Ein solches Verfahren ist grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann.To For purposes of inter-frame interpolation, it is generally known a so-called motion estimation to individual image blocks perform the intermediate image to be interpolated. The intermediate picture becomes here in individual blocks divided, which are arranged like a matrix and the example 8 × 8 or 16 x 16 Include pixels. Each of these image blocks becomes motion information determines that for indicates each image block to be interpolated, using the Image content of which image blocks in the first and second images F (i-1), F (i), the image content of the is to interpolate to be interpolated image block. This movement information is for example in the form of a so-called motion vector in front. The determination of this movement information can, for example by means of a recursive motion estimation method. One such procedure is basically known, so that to be dispensed with further explanations can.

Die Ermittlung einer Bewegungsinformation zu einem zu interpolierenden Bildblock erfordert abhängig vom verwendeten Schätzverfahren mehrere Vergleiche zwischen den Bildinhalten von Bildblöcken in dem ersten Bild F(i – 1) einerseits und dem zweiten Bild F(i) andererseits. Ein solcher ”Blockvergleich” ist dabei umso rechenaufwendiger, je größer die Wertebereiche sind, denen die einzelnen Pixelwerte entstammen. Eine Vorrichtung und ein mit dieser Vorrichtung durchführbares Verfahren zur Zwischenbildinterpolation mit der bzw. mit dem sich dieser Rechenaufwand reduzieren lässt, wird nachfolgend anhand von 2 veranschaulicht.The determination of motion information for an image block to be interpolated requires, depending on the estimation method used, several comparisons between the image contents of image blocks in the first image F (i-1) on the one hand and the second image F (i) on the other hand. Such a "block comparison" is all the more computationally intensive, the larger the value ranges to which the individual pixel values originate. A device and a method for inter-frame interpolation that can be carried out with this device and with which this computational complexity can be reduced will be described below with reference to FIG 2 illustrated.

2 zeigt schematisch eine Vorrichtung zur Zwischenbildinterpolation. Diese Vorrichtung besitzt einen Eingang zur Zuführung eines Eingangsbildsignals F, das eine Eingangsbildfolge, wie beispielsweise die anhand von 1 veranschaulichte Bildfolge mit den Bildern F(i – 1), F(i) repräsentiert. Dieses Eingangsbildsignal F enthält also eine Abfolge der Pixelwerte, die den Pixeln in den einzelnen Bildern zugeordnet sind. Dieses Eingangsbildsignal F ist zum Einen einer Kompandereinheit 1 und zum Anderen einer Interpolationseinheit 4 zugeführt. Optional ist zwischen den Eingang und die Interpolationseinheit 4 ein Verzögerungsglied 2 geschaltet, das dazu dient, eine Signalverzögerung, die durch die noch zu erläuternde Verarbeitung des Eingangsbildsignals F in der Kompandereinheit 1 resultiert, zu ”kompensieren”. Die Kompandereinheit 1 ist dazu ausgebildet, aus dem Eingangsbildsignal F ein kompandiertes Bildsignal F1 zu erzeugen, indem sie die in dem Eingangsbildsignal F enthaltenen Pixelwerte kompandiert. Die Eingangsbildfolge F umfasst beispielsweise eine Abfolge von Datenworten einer Wortbreite von jeweils n Bit, und das kompandierte Bildsignal F1 umfasst beispielsweise eine Abfolge von Datenworten mit einer Wortbreite von m Bit, wobei m kleiner als n ist. 2 schematically shows an apparatus for inter-frame interpolation. This device has an input for supplying an input image signal F which has an input image sequence such as that described with reference to FIG 1 illustrated image sequence with the images F (i-1), F (i) represents. This input image signal F thus contains a sequence of the pixel values which are assigned to the pixels in the individual images. This input image signal F is on the one hand a compander unit 1 and on the other hand, an interpolation unit 4 fed. Optional is between the input and the interpolation unit 4 a delay element 2 , which serves to provide a signal delay, by the processing of the input image signal F in the compander unit to be explained later 1 results in "compensating". The compander unit 1 is adapted to generate from the input image signal F a companded image signal F1 by companding the pixel values contained in the input image signal F. The input image sequence F comprises, for example, a sequence of data words of a word width of n bits each, and the companded image signal F1 comprises, for example, a sequence of data words with a word width of m bits, where m is smaller than n.

Das kompandierte Bildsignal F1 repräsentiert eine Bildfolge, die dieselbe Bildfrequenz besitzt, wie die durch die Eingangsbildfolge F repräsentierte Bildfolge, und deren Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder der Eingangbildfolge. Mit anderen Worten: Die durch die kompandierte Bildfolge F1 repräsentierte Bildfolge resultiert aus der Eingangsbildfolge durch Reduzieren der Darstellungsgenauigkeit der Pixelwerte und somit der hierfür benötigten Datenmenge. Bei einem Beispiel ist vorgesehen, dass die Pixelwerte der Eingangsbildfolge Datenworte der Breite n = 32 Bit sind, während die Pixelwerte der ”kompandierten Bildfolge” Datenworte der Breite m = 8 Bit sind. In diesem Fall liegt eine Reduktion der Datenmenge um einen Faktor 4 vor. Diese Reduktion der Datenmenge kann auf beliebige Weise sowohl unter Verwendung einer linearen als auch unter Verwendung einer nicht-linearen Kompanderkennlinie erfolgen. Kompander zur Kompandierung eines HDR-Bilds, beispielsweise auf ein 8-Bit-Bild sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann.The Companded image signal F1 represents an image sequence that has the same frame rate as the one through the input image sequence F represented image sequence, and their images have the same number of pixels as the pictures of the input sequence. In other words, the through the companded image sequence represented F1 Image sequence results from the input image sequence by reducing the representation accuracy of the pixel values and thus the amount of data required for this purpose. In one example, it is provided that the pixel values of the input image sequence Data words of width n = 32 bits, while the pixel values of the "companded Picture sequence "Data words the width m = 8 bits. In this case, there is a reduction of Amount of data by a factor of 4. This reduction in the amount of data can be done in any way using both a linear as well as using a non-linear compander characteristic respectively. Compander for companding an HDR image, for example to an 8-bit image are basically known, so that to be dispensed with further explanations can.

Lediglich zum besseren Verständnis veranschaulicht 3 die Funktionsweise eines Beispiels eines Kompanders, der ein HDR-Bild mit 32 Bit je Pixel auf ein Bild mit 8 Bit je Pixel kompandiert. Mit D ist in 3 ein Datenwort eines Pixels eines HDR-Bilds bezeichnet. Von den 32 Bit dieses Datenworts repräsentieren 8 Bit einen Rotanteil R des Bildpunkts, 8 Bit einen Grünanteil G, 8 Bit einen Blauanteil B und 8 Bit einen die Helligkeit bestimmenden Exponenten E. In einem kompandierten Datenwort D' mit 8 Bit repräsentieren beispielsweise nur noch 2 Bit einen Rotanteil R, 2 Bit einen Grünanteil G, 2 Bit einen Blauanteil B und 2 Bit einen die Helligkeit bestimmenden Exponenten E. Die Umsetzung der die Farbanteile repräsentierenden Teildatenworte von je 8 Bit in dem ursprünglichen Datenwort auf die Farbanteile repräsentierenden Teildatenworte von je 2 Bit in dem kompandierten Datenwort kann unter Verwendung einer beliebigen linearen oder nicht-linearen Kompanderkennlinie erfolgen. Bei einem Beispiel ist vorgesehen, von den 8 Bit breiten Teildatenworten jeweils die 6 am wenigstens signifikanten Bits (LSBs, Least Significant Bits) zu streichen, um die 2 Bit breiten Teildatenworte zu erhalten. In entsprechender Weise kann der Exponent kompandiert werden. In diesem Zusammenhang sei noch angemerkt, dass die Farbanteile und der Exponent auf unterschiedliche Weise, d. h. unter Verwendung unterschiedlicher Kompanderkennlinien, kompandiert werden können.Only illustrated for a better understanding 3 how an example of a compander compandes a 32-bit per pixel HDR image to an 8-bit per pixel image. With D is in 3 denotes a data word of a pixel of an HDR image. Of the 32 bits of this data word, 8 bits represent a red component R of the pixel, 8 bits a green component G, 8 bits a blue component B and 8 bits a brightness determining exponent E. For example, in a compiled data word D 'with 8 bits only 2 represent Bit a red component R, 2 bits a green component G, 2 bits a blue component B and 2 bits a brightness-determining exponent E. The conversion of the color components representing partial data words of 8 bits in the original data word to the color components representing partial data words of 2 bits in the companded data word can be done using any linear or non-linear compander characteristic. In one example, it is intended to delete from the 8-bit-wide partial data words in each case the 6 least significant bits (LSBs, Least Significant Bits) in order to obtain the 2-bit-wide partial data words. In a similar way, the exponent can be companded. In this context, it should be noted that the color components and the exponent can be companded in different ways, ie using different compander characteristics.

Bei einem weiteren Beispiel (nicht dargestellt) ist vorgesehen, das Datenwort D durch Streichen des Exponenten E zu kom pandieren. Das hieraus resultierende Datenwort besitzt in diesem Fall eine Wortlänge von 24 Bit. Zusätzlich zum Streichen des Exponenten, der die Helligkeitsinformation repräsentiert, besteht die Möglichkeit, die Farbinformationen für Rot, Grün und Blau zu kompandieren, um die Datenwortbreite weiter zu reduzieren. Der Kompandierungsfaktor ist dabei abhängig von der im Ergebnis gewünschten Wortbreite des Datenworts D'. Die Wortbreite der die Farben repräsentierenden Teildatenworte im kompandierten Datenwort D' ist beispielsweise zwischen 3 Bit und 6 Bit, wobei die einzelnen Farben sowohl bezüglich des Kompandierungsfaktors als auch bezüglich der Kompanderkennlinie unterschiedlich kompandiert werden können.at another example (not shown) is provided, the To compress data word D by deleting the exponent E. The The resulting data word in this case has a word length of 24 bits. additionally for deleting the exponent representing the brightness information, it is possible, the color information for Red Green and compand blue to further reduce the data word width. The companding factor depends on the desired result Word width of the data word D '. The word width of the partial data words representing the colors in the companded data word D 'is for example, between 3 bits and 6 bits, with each color both regarding the companding factor as well as the compander characteristic can be companded differently.

Bei einem weiteren Beispiel ist vorgesehen, das Datenwort D durch Streichen der Farbanteile zu kompandieren. Das kompandierte Datenwort entspricht in diesem Fall dem Exponenten E. Eine Bewegungsschätzung wird in diesem Fall ausschließlich unter Verwendung der durch den Exponenten repräsentierten Helligkeitsinformation durchgeführt.at In another example, the data word D is provided by swiping to compander the color components. The companded data word corresponds in this case the exponent E. A motion estimation becomes in this case exclusively using the brightness information represented by the exponent carried out.

Das kompandierte Bildsignal F1 ist einer Bewegungsschätzeinheit 3 zugeführt, die dazu ausgebildet ist, eine Bewegungsinformation zu dem Eingangsbildsignal F basierend auf dem kompandierten Bildsignal F1 zu ermitteln. Diese Bewegungsschätzeinheit 3 kann eine herkömmliche Bewegungsschätzeinheit sein, beispielsweise eine Bewegungsschätzeinheit, die zu jedem zu interpolierenden Bildblock eines gewünschten Zwischenbildes eine Bewegungsinformation durch Vergleich einzelner Bildblöcke aufeinanderfolgender Bilder der durch das kompandierte Bildsignal F1 repräsentierten ”kompandierten Bildfolge” ermittelt. Ein solcher Blockvergleich umfasst einen Vergleich der einzelnen Bildpunkte (Pixel) dieser Blöcke. Bei diesem Vergleich können alle Bildinformationen verglichen werden, die durch die kompandierten Datenworte einzelnen Bildpunkten zugeordnet sind. Es können allerdings auch nur Teile der kompandierten Datenworte miteinander verglichen werden, wie z. B. nur eine oder mehrere der Farbinformationen oder nur die Helligkeitsinformation.The companded image signal F1 is a motion estimation unit 3 supplied, which is adapted to determine a movement information to the input image signal F based on the companded image signal F1. This movement estimation unit 3 may be a conventional motion estimation unit, for example a motion estimation unit which determines motion information for each image block of a desired intermediate image to be interpolated by comparing individual image blocks of successive images of the "companded image sequence" represented by the companded image signal F1. Such a block comparison comprises a comparison of the individual pixels of these blocks. In this comparison, all image information can be compared, which are assigned by the companded data words individual pixels. However, only parts of the companded data words can be compared with each other, such. B. only one or more of the color information or only the brightness information.

Die Bewegungsinformation wird beispielsweise in Form von Bewegungsvektoren ermittelt, wobei beispielsweise jedem Bildblock eines zu interpolierenden Bildes ein solcher Bewegungsvektor zugeordnet ist. Diese Bewegungsinformation M ist der Interpolationseinheit 4 zugeführt, die dazu ausgebildet ist, basierend auf dem Eingangsbildsignal F und dieser Bewegungsinformation M ein interpoliertes Bildsignal F2 zu erzeugen, das eine Bildfolge mit interpolierten Bildern repräsentiert. Diese Bildfolge mit interpolierten Bildern kann bezugnehmend auf 1 eine Bildfolge sein, die die Eingangsbilder und die interpolierten Zwischenbilder umfasst, die also eine höhere Bildfrequenz als die Eingangsbildfolge besitzt. Diese Bildfolge mit interpolierten Bilder kann jedoch auch eine Bildfolge sein, die die Eingangsbilder nicht mehr enthält und die lediglich Bilder mit anderen Bewegungsphasen als die Eingangsbilder umfasst.The motion information is determined, for example, in the form of motion vectors, wherein, for example, each image block of an image to be interpolated is assigned such a motion vector. This motion information M is the interpolation unit 4 supplied, which is adapted to generate based on the input image signal F and this motion information M an interpolated image signal F2, which represents an image sequence with interpolated images. This image sequence with interpolated images can refer to 1 an image sequence comprising the input images and the interpolated intermediate images, which thus has a higher frame rate than the input image sequence. However, this image sequence with interpolated images can also be an image sequence that no longer contains the input images and that only includes images with different motion phases than the input images.

Bei dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung ist der Rechenaufwand für die Bewegungsschätzung reduziert, da die Bewegungsschätzung nicht auf die Eingangsbildfolge F sondern auf die eine verringerte Datenmenge umfassende kompandierte Bildfolge F1 angewendet wird. Die Bewegungsschätzeinheit 3 und die Interpolationseinheit 4 können dabei herkömmliche Bewegungsschätzeinheiten und Interpolationseinheiten 4 sein.In the method according to the invention or the device according to the invention, the computational outlay for the motion estimation is reduced since the motion estimation is not applied to the input image sequence F but to the companded image sequence F1 comprising a reduced data quantity. The movement estimation unit 3 and the interpolation unit 4 can use conventional motion estimation units and interpolation units 4 be.

Ein Beispiel einer Bewegungsschätzeinheit 3 ist schematisch in 4 dargestellt. Diese Bewegungsschätzeinheit 3 umfasst zwei Speicher 31, 32, die dazu ausgebildet sind, je ein kompandiertes Bild der durch das kompandierte Bildsignal F1 repräsentierten Bildfolge zu speichern. Das kompandierte Bildsignal F1 ist hierbei einem ersten Speicher 31 unmittelbar und einem zweiten Speicher 32 über ein Verzögerungsglied 33 zeitverzögert zugeführt. Eine Verzögerungsdauer des Verzö gerungsglieds 33 entspricht hierbei der Bilddauer eines Bildes, so dass zu einem Zeitpunkt in den beiden Speichern 31, 32 zwei Bilder abgespeichert sind, die in der kompandierten Bildfolge zeitlich aufeinanderfolgen. Die Bewegungsschätzeinheit 3 umfasst außerdem einen Bewegungsschätzer 34, der auf die beiden Speicher 31, 32 zugreift, um einzelne Bildblöcke der abgespeicherten Bilder miteinander zu vergleichen. Die Bewegungsschätzeinheit 3 kann außerdem einen Bewegungsvektorspeicher 35 umfassen, in dem Bewegungsvektoren abgespeichert sind, die der Bewegungsschätzer 34 zur Bewegungsschätzung verwendet. Die Bewegungsinformation M steht am Ausgang des Bewegungsschätzers 34 zur Verfügung. Diese Bewegungsinformation M liegt beispielsweise in Form von Bewegungsvektoren vor, wobei der Bewegungsschätzer 34 zu jedem Bildblock eines zu interpolierenden Zwischenbildes einen Bewegungsvektor erzeugt. Bei einem Beispiel ist dabei vorgesehen, dass für Bewegungsphasen α = 0 und α = 1 keine Bewegungsschätzung durchgeführt wird, sondern dass für diese Bewegungsphasen unmittelbar die Bilder der Eingangsbildfolge in die interpolierte Bildfolge übernommen werden.An example of a motion estimator 3 is schematic in 4 shown. This movement estimation unit 3 includes two memories 31 . 32 , which are each designed to store a companded image of the image sequence represented by the companded image signal F1. The companded image signal F1 is in this case a first memory 31 immediately and a second memory 32 via a delay element 33 supplied delayed. A delay time of the delay element 33 This corresponds to the image duration of an image, so that at one time in the two memories 31 . 32 two images are stored, which follow one another temporally in the companded image sequence. The movement estimation unit 3 also includes a motion estimator 34 that is on the two memories 31 . 32 accesses to compare individual image blocks of the stored images with each other. The movement estimation unit 3 also has a motion vector memory 35 in which motion vectors are stored, that of the motion estimator 34 used for motion estimation. The motion information M is at the output of the motion estimator 34 to disposal. This motion information M is present, for example, in the form of motion vectors, wherein the motion estimator 34 generates a motion vector for each image block of an intermediate image to be interpolated. In one example, it is provided that no motion estimation is performed for motion phases α = 0 and α = 1, but that the images of the input image sequence are directly taken over into the interpolated image sequence for these motion phases.

Ein Beispiel einer Interpolationseinheit 4, die dazu ausgebildet ist, unter Verwendung der Bewegungsinformation M aus dem Eingangsbildsignal F das interpolierte Bildsignal F2 zu erzeugen, ist in 5 dargestellt. Diese Interpolationseinheit 4 umfasst zwei Speicher 41, 42, die jeweils in der Lage sind, ein Bild der Eingangsbildfolge zu speichern. Das Eingangsbildsignal F ist hierbei einem der Speicher 41 unmittelbar und einem zweiten 42 der Speicher über ein Verzögerungsglied 43, das eine Verzögerungsdauer von 1 Bit besitzt, zugeführt. Die Interpolationseinheit 4 umfasst außerdem einen Interpolator 44, der auf die beiden Speicher 41, 42 zugreift und der dazu ausgebildet ist, jeden Bildblock eines zu interpolierenden Zwischenbildes dadurch zu interpolieren, dass unter Verwendung des dem Bildblock zugeordneten Bewegungsvektors die Bildinhalte je eines in dem ersten Speicher 41 abge speicherten Bildblock und eines in dem zweiten Speicher 42 abgespeicherten Bildblocks gemischt werden.An example of an interpolation unit 4 , which is adapted to generate the interpolated image signal F2 from the input image signal F using the motion information M, is shown in FIG 5 shown. This interpolation unit 4 includes two memories 41 . 42 each capable of storing an image of the input image sequence. The input image signal F is one of the memories 41 immediately and a second 42 the memory via a delay element 43 which has a delay time of 1 bit supplied. The interpolation unit 4 also includes an interpolator 44 that is on the two memories 41 . 42 which is adapted to interpolate each image block of an intermediate image to be interpolated by using the motion vector associated with the image block, the image contents of each one in the first memory 41 abge stored image block and one in the second memory 42 stored image blocks are mixed.

6 veranschaulicht anhand eines Blockschaltbilds eine weitere Vorrichtung zur Zwischenbildinterpolation und ein durch diese Vorrichtung durchführbares Verfahren. Bei dieser Vorrichtung ist das Eingangsbildsignal F unmittelbar der Bewegungsschätzeinheit 3 zugeführt, die in diesem Fall dazu ausgebildet ist, eine Bewegungsschätzung zu dem unkompandierten Eingangssignal F durchzuführen und eine Bewegungsinformation M zu dem Eingangsbildsignal F zu erzeugen. Diese Bewegungsinformation M wird in der Interpolationseinheit 4 dazu verwendet, das interpolierte Bildsignal F2 zu erzeugen. Dieses interpolierte Bildsignal F2 kann beispielsweise eine Bildfolge mit Eingangsbildern und interpolierten Zwischenbildern repräsentieren, wie es in 1 dargestellt ist. Dieses interpolierten Bildsignal ist einer Kompandereinheit 1 zugeführt, die dazu ausgebildet ist, aus diesem interpolierten Zwischenbildsignal F2 ein kompandiertes interpoliertes Bildsignal F3 zu erzeugen. Das kompandierte Bildsignal F3 besitzt die gleiche Bildfrequenz wie das interpolierte Bildsignal F2, jedoch einen reduzierten Dynamikbereich hinsichtlich der Pixelwerte der einzelnen Pixel. Der Umfang der Kompandierung ist beispielsweise an die Darstellungsmöglichkeiten eines Anzeigegerätes angepasst, auf dem das kompandierte interpolierte Bildsignal F3 dargestellt werden soll. Diese Vorrichtung ermöglicht es, beispielsweise eine Eingangsbildfolge, die eine HDR-Bildfolge ist, zu interpolieren und auf einem herkömmlichen Fernsehgerät darzustellen. Die Anwendung der Bewegungsschätzung auf die Eingangsbildfolge ist zwar rechenaufwendig, bietet jedoch den Vorteil einer genaueren Bewegungsschätzung. 6 illustrates a block diagram of another device for inter-frame interpolation and a feasible method by this device. In this device, the input image signal F is immediately the motion estimation unit 3 which, in this case, is adapted to perform a motion estimation on the uncompensated input signal F and to generate a motion information M to the input image signal F. This motion information M is stored in the interpolation unit 4 to used to generate the interpolated image signal F2. This interpolated image signal F2 can represent, for example, an image sequence with input images and interpolated intermediate images, as shown in FIG 1 is shown. This interpolated image signal is a compander unit 1 supplied, which is adapted to generate from this interpolated intermediate image signal F2 a companded interpolated image signal F3. The companded image signal F3 has the same frame rate as the interpolated image signal F2 but has a reduced dynamic range with respect to the pixel values of the individual pixels. The scope of the companding is adapted, for example, to the display options of a display device on which the companded interpolated image signal F3 is to be displayed. This device makes it possible, for example, to interpolate an input image sequence which is an HDR image sequence and to display it on a conventional television set. Although the application of the motion estimation to the input image sequence is computation-intensive, it offers the advantage of a more accurate motion estimation.

Claims

An intermediate image information apparatus comprising: an input for supplying an input image signal (F) representing a sequence of images (F (i-1), F (i)) each having a number of pixels each having at least one image information value assigned; a compander unit ( 1 to which the input image signal (F) is applied and which is adapted to generate from the input image signal (F) a companded image signal (F1) by companding the image information values; a motion estimation unit ( 3 ) to which the companded image signal (F1) is supplied and which is adapted to determine, based on the companded image signal (F1), a movement information (M) to the input image signal (F); an interpolation unit ( 4 ) to which the input image signal (F) and the motion information (M) are applied and which is adapted to produce an interpolated image signal (F2) representing an image sequence which is one compared to the image sequence represented by the input image signal (F) has higher frame rate and / or images with other motion phases.

Interpolation interpolation method comprising: Provide an input image signal (F) having a sequence of images (F (i-1), F (i)) represents each having a number of pixels, each of which at least one image information value is assigned; Produce a companded image signal (F1) from the input image signal (F) by companding the image information values of the input image signal (F); Determining a movement information (M) to the input image signal (F) based on the companded image signal (F1); Generating a interpolated image signal (F2) representing an image sequence, the image sequence represented by the input image signal (F) a higher one Has frame rate and / or images with other motion phases, from the input image signal (F) using the motion information.