DE10301341A1

DE10301341A1 - Real time processing of video data, e.g. using a restoration algorithm, whereby in a first playback step only a section of the image is played back and processing parameters then selected for processing the whole image sequence

Info

Publication number: DE10301341A1
Application number: DE2003101341
Authority: DE
Inventors: Jörg Bitzer; Andreas Weihusen
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-01-16
Filing date: 2003-01-16
Publication date: 2004-08-05

Abstract

Real-time image sequence processing method in which the image sequence to be processed is played back. During playback only a section of the image is played back and processed. Finally the whole image is played back using the processing parameters determined solely for the image section. An independent claim is made for a device for real-time processing of image sequences. The invention also relates to a corresponding computer program and data medium for the computer program.

Description

Die Erfindung betrifft ein Verfahren zur Bearbeitung von Bildsequenzen, insbesondere in Echtzeit, bei dem zur Bearbeitung die zu bearbeitende Bildsequenz wiedergegeben wird. Außerdem betrifft die Erfindung eine entsprechende Vorrichtung mit einer Wiedergabeeinrichtung und einer Bildbearbeitungseinrichtung sowie ein Computerprogramm zur Umsetzung des Verfahrens auf einem Computer. Unter einer Bildsequenz soll eine zusammenhängende Folge von Einzelbildern, insbesondere eines Films, verstanden werden. Echtzeit bedeutet, dass die Bildsequenz während der Bearbeitung vom Anwender als Film und nicht als Einzelbilder wahrgenommen werden Im Zuge der Digitalisierung werden vermehrt auch Video- und Filmdaten, die bisher ausschließlich auf analogen Aufzeichnungsmedien gespeichert wurden, auf neue digitale Medien, wie beispielsweise VCD, SVCD, DVD, transferiert. Bei vielen Anwendungen ist es wünschenswert, vor der endgültigen Speicherung eine Bearbeitung (z.B. Restauration) der Bilddaten vorzunehmen. Insbesondere Anwender im Heimbereich, die große Datenbestände eigener Aufnahmen besitzen, möchten diese vor einer Speicherung auf einem Datenträger von Rauschen, Farbstichen und anderen Störungen im Bild befreien. Weiterhin können auch Bildverfremdungen, Kontrastveränderungen und ähnliche Bildmanipulationen im Digitalen durchgeführt werden, die auf den analogen Medien nicht möglich gewesen wären. Für die Veränderung und für die Restauration sind bereits viele Verfahren bekannt, allerdings bereitet die geschmacksabhängige Einstellung der Bearbeitungsparameter immer noch Schwierigkeiten, insbesondere solange die Rechenleistung von Personal-Computern nicht ausreicht, Video- und Filmdaten in Echtzeit zu berechnen.The invention relates to a method for processing image sequences, especially in real time reproduced the image sequence to be edited for editing becomes. Moreover The invention relates to a corresponding device with a Playback device and an image processing device as well a computer program for implementing the method on a computer. Under a picture sequence, a coherent sequence of individual pictures, especially a film. Real time means that the image sequence during processing by the user as a film and not as individual images Be noticed in the course of digitization Video and film data previously only on analog recording media have been stored on new digital media such as VCD, SVCD, DVD, transferred. For many applications, it is desirable before final storage processing (e.g. restoration) of the image data. Especially home users who own large amounts of data Want to own recordings this before storage on a data medium from noise, color casts and other disorders free in the picture. Can continue also image alienations, changes in contrast and the like Image manipulations in digital are carried out on the analog media not possible would have been. For the change and for Many procedures are already known for the restoration, however prepares the taste-dependent Setting the machining parameters still difficulties especially as long as the computing power of personal computers is insufficient, Calculate video and film data in real time.

Ein erstes bekanntes Verfahren zur Bearbeitung digitalisierten Video- oder Filmmaterials, welches bei im Markt befindlichen Videoschnittsystemen angewendet wird, arbeitet in Echtzeit auf dem vollständigen Bild (Vollbild). Diese Echtzeitbearbeitung ist nur dann möglich, wenn die Bearbeitungsalgorithmen relativ einfach gehalten werden oder wenn spezielle Prozessoren, die ausschließlich für bestimmte Aufgaben optimiert wurden, verwendet werden.A first known method for Processing of digitized video or film material, which at video editing systems on the market is working in real time on the full Image (full screen). This real-time processing is only possible if the processing algorithms are kept relatively simple or when special processors that are optimized only for certain tasks were used.

Eine solche Lösung ist relativ teuer und findet sich nur in sehr wenigen Firmen,. die auf Videobearbeitung, insbesondere Restauration, spezialisiert sind.Such a solution is relatively expensive and is found only in very few companies. those on video editing, especially restoration, are specialized.

Eine weiteres bekanntes Verfahren, welches in im Markt befindlichen, im Bereich der Consumer-Videosoftware genutzten Programmen verwendet wird, zeigt die Ergebnisse der Bearbeitung (Restauration) nur für einzelne Bilder an. Der Benutzer kann also Einstellungen vornehmen, die sich aber nur auf dieses Bild auswirken. Da jetzt nur ein einziges Bild berechnet werden muss und nicht die üblichen 24 oder 25 Bilder pro Sekunde für eine Filmwiedergabe, können die durch die Benutzereinstellungen erzeugten Veränderungen direkt berechnet werden. Nachdem der Benutzer die Einstellungen für gut befunden hat, wird in einem weiteren Arbeitsschritt die Restauration auf allen Bildern durchgeführt und abschließend als Bildsequenz gezeigt. Die Berechnung der Bildsequenz dauert dabei für übliche Rechner sehr viel länger als die Wiedergabe der Bildsequenz selbst.Another known method which is in the market in the field of consumer video software used programs shows the results of the processing (Restoration) only for individual pictures. So the user can make settings but that only affect this picture. Since now only one Image must be calculated and not the usual 24 or 25 images per Second for a movie playback, can the changes created by the user settings can be calculated directly. After the user made the settings considered good restoration is opened in a further step all pictures done and finally shown as image sequence. The calculation of the image sequence takes time for common computers much longer than the rendering of the image sequence itself.

Problematisch bei diesem Verfahren ist, dass bestimmte Effekte und bestimmte unerwünschte Artefakte nur dann zu erkennen sind, wenn die Einzelbilder als Bildsequenz betrachtet werden. Diese Bildsequenz bekommt der Nutzer aber erst nach seinen Einstellungen zu sehen, was ihn gegebenenfalls zu einer wiederholten Korrektur der Einstellungen zwingt. Eine direkte Interaktion des Nutzers ist nicht möglich.Problematic with this procedure is that certain effects and certain unwanted artifacts only to are recognizable when the individual images are viewed as an image sequence become. The user only gets this image sequence after his Attitudes to see what may cause him to repeat Correction of the settings forces. A direct interaction of the User is not possible.

Der Erfindung liegt daher die Aufgabe zugrunde, eine direkte Interaktion zwischen den Einstellungen des Nutzers und der entsprechenden Bearbeitung (Restauration) des Film-/Videomaterials zu ermöglichen, wobei dem Nutzer bei der Bearbeitung die Bildsequenz und nicht Einzelbilder gezeigt wird, die Bearbeitung also anhand der Bildsequenz und nicht anhand eines oder mehrerer Einzelbilder erfolgt.The invention is therefore the object based on a direct interaction between the settings of the Users and the corresponding processing (restoration) of the film / video material to allow where the user when editing the image sequence and not single images is shown, the processing based on the image sequence and not based on one or more individual images.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren nach Anspruch 1 gelöst, das dadurch gekennzeichnet ist, dass bei der Wiedergabe der Bildsequenz ein Bildausschnitt der Bilder der Bildsequenz wiedergegeben wird, dass die Bearbeitung der Bildsequenz nur in dem Bildausschnitt erfolgt und dass anschließend die Vollbilder der Bildsequenz mittels der bei der Bearbeitung des Bildausschnitts ermittelten Bearbeitungsparameter bearbeitet werden.This object is achieved by a Method according to claim 1 solved, which is characterized in that when the image sequence is reproduced an image section of the images of the image sequence is reproduced, that the image sequence is only processed in the image section and that afterwards the full images of the image sequence by means of the when editing the Processing parameters determined in the image section can be processed.

Eine entsprechende erfindungsgemäße Vorrichtung ist in Anspruch 15 angegeben. Ein Computerprogramm zur Umsetzung der erfindungsgemäßen Verfahren ist in Anspruch 15 angegeben. Ein Datenträger mit einem solchen Computerprogramm ist in Anspruch 17 angegeben. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.A corresponding device according to the invention is specified in claim 15. A computer program for implementation the inventive method is specified in claim 15. A data carrier with such a computer program is specified in claim 17. Advantageous embodiments of the invention are specified in the subclaims.

Der Erfindung liegt die Erkenntnis zugrunde, dass nur ein Bildausschnitt, der bevorzugt vom Nutzer gewählt wurde, bei der Bearbeitung betrachtet und zur Ermittlung geeigneter Bearbeitungsparameter, stellvertretend für das gesamte Vollbild, herangezogen wird. Das Resultat wird dem Nutzer jeweils in dem ausgewählten Bildausschnitt angezeigt und kann somit laufend verbessert werden, bis die optimale Bearbeitungsparameter gefunden sind. Diese werden dann auf den gesamten Bildbereich, also die Vollbilder der Bildsequenz angewandt.The invention is based on the knowledge based on the fact that only an image section preferred by the user chosen was considered during processing and to determine more suitable Processing parameters, representative of the entire full screen, are used becomes. The result is shown to the user in the selected image section displayed and can thus be continuously improved until the optimal Machining parameters are found. These are then on the whole Image area, i.e. the full images of the image sequence applied.

Insbesondere die geschmacksabhängige Wahl der Bearbeitungsparameter für den Bearbeitungsalgorithmus wird somit durch das erfindungsgemäße Verfahren vereinfacht. Darüber hinaus wird ermöglicht, dass Benutzer während der Einstellung der Bearbeitungsparameter für die unterschiedlichen Bearbeitungsalgorithmen die Ergebnisse der Bearbeitung, z.B. einer Restauration, unmittelbar sehen und so eine optimale Einstellung vornehmen können. Da die Einstellung der Bearbeitungsparameter nicht anhand der Vollbilder, sondern nur anhand eines Bildausschnitts der einzelnen Bilder erfolgt, wird deutlich weniger Rechenzeit für Bearbeitung und Berechnung des bearbeiteten Bildausschnitts benötigt als bei dem bekannten Verfahren.In particular, the taste-dependent selection of the processing parameters for the processing algorithm is thus simplified by the method according to the invention. In addition, he will enables users to immediately see the results of the processing, for example a restoration, while setting the processing parameters for the different processing algorithms and thus to make an optimal setting. Since the setting of the processing parameters does not take place on the basis of the full images, but only on the basis of an image section of the individual images, significantly less computing time is required for processing and calculating the processed image section than in the known method.

Bei einer bevorzugten Ausgestaltung der Erfindung sind Größe und/oder Position des Bildausschnitts frei wählbar. Bevorzugt sind die Größe und Position dann für die gesamte Bearbeitung festgelegt, es ist jedoch ebenso denkbar, dass auch während der Bearbeitung Veränderungen vorgenommen werden können.In a preferred embodiment of the invention are size and / or Position of the image section freely selectable. The size and position are preferred then for the entire processing is fixed, but it is also conceivable that even during editing changes can be made.

In einer weiteren Ausgestaltung sind Größe und/oder Position des Bildausschnitts für die einzelnen Bilder der Bildsequenz veränderbar, insbesondere an ein in dem Bildausschnitt dargestelltes Bildelement anpassbar. So kann beispielsweise der zu bearbeitende Bildausschnitt mit einem Bildobjekt, dessen Position sich innerhalb der Bildsequenz verändert, entsprechend „mitwandern", um Bearbeitungsschritte, die sich auf das Bildobjekt auswirken, auch über die gesamte Bildsequenz sichtbar zu machen. Dies wird durch die Ausnutzung zeitlicher Informationen aufeinander folgender Einzelbilder möglich. So kann beispielsweise die Bewegung eines Objekts von einem Bild zum nächsten verfolgt und diese Information für die weitere Bearbeitung der Bildsequenz genutzt werden.In a further embodiment Size and / or Position of the image section for the individual images of the image sequence can be changed, especially on one Image element shown in the image detail adjustable. So can for example the image section to be edited with an image object, the position of which changes within the image sequence, correspondingly "migrate" to processing steps, that affect the image object, including the entire image sequence make visible. This is done through the use of temporal information successive single images possible. For example tracks the movement of an object from one image to the next and this information for the further processing of the image sequence can be used.

Davon ausgehend ist in einer Weiterbildung vorgesehen, dass bei einer auf dem Rand des Bildausschnitts liegenden Störung die Größe und/oder Position des Bildausschnitts so angepasst wird, dass die Störung innerhalb des Bildausschnitts liegt. In einer anderen Weiterbildung ist dagegen vorgesehen, dass bei einem auf dem Rand des Bildausschnitts liegenden Bildobjekt, also nicht einer Störung, die Größe und/oder Position des Bildausschnitts so angepasst wird, dass das Bildobjekt außerhalb des Bildausschnitts liegt. Durch diese Weiterbildungen kann verhindert werden, dass eine Störung zwar im Bildausschnitt, nicht aber am Schluss in den Vollbildern beseitigt wird, oder dass ein Bildobjekt fälschlicherweise als Störung betrachtet und somit beseitigt wird.Based on this, a further development provides that with a disturbance lying on the edge of the image section, the Size and / or position the image detail is adjusted so that the disturbance within of the image section. In another training is against provided that one lying on the edge of the image section Image object, not a malfunction, the size and / or Position of the image section is adjusted so that the image object outside of the image section. This training can prevent be that a disturbance removed in the image section, but not in the end in the full images or that an image object is wrong as a disturbance is considered and thus eliminated.

Bei einer besonders vorteilhaften Ausgestaltung wird der Bildausschnitt während und/oder nach der Bearbeitung der Bildsequenz innerhalb der Vollbilder der Bildsequenz wiedergegeben. Der bearbeitete (restaurierte) Bildausschnitt wird also jeweils in das zugehörige Originalbild kopiert, um so einen direkten Vergleich zu ermöglichen und die Veränderungen aufgrund der Bearbeitung deutlicher sichtbar zu machen. Um den Bildausschnitt dabei erkennbar zu machen, ist bevorzugt vorgesehen, dass der Bildausschnitt bei der Wiedergabe innerhalb der Vollbilder von einem sichtbaren, z.B. farbigen Rahmen umrandet ist.With a particularly advantageous The image section is designed during and / or after processing the image sequence is reproduced within the frames of the image sequence. The edited (restored) image section is therefore each into the associated Copied original image to allow a direct comparison and the changes to make it more visible due to the processing. Around the image section To make it recognizable, it is preferably provided that the image section when playing within the full frames of a visible, e.g. colored frame is outlined.

In einer weiteren vorteilhaften Ausgestaltung wird zur Berechnung des zu bearbeitenden Bildausschnitts die Vollbildstruktur der Sequenzbilder genutzt und in die besondere Struktur des Bildausschnitts überführt. Wenn beispielsweise für die Analyse und/oder die Bearbeitung der Sequenzbilder die Vollbilder in eine Blockstruktur aufgeteilt werden, dann wird auch für die Bildausschnitte der Sequenzbilder eine deckungsgleiche Blockstruktur verwendet.In a further advantageous embodiment the full-screen structure for calculating the image section to be processed the sequence images used and transferred into the special structure of the image section. If for example for the analysis and / or the processing of the sequence images the full images be divided into a block structure, then also for the image sections the sequence images use a congruent block structure.

Zusätzlich können Informationen über die Bildsequenz enthaltende Hilfsdaten, beispielsweise Analysedaten oder Metadaten bestimmt werden, welche bei der Bestimmung des Bildausschnitts und/oder der Sequenzlänge der zu bearbeitenden Bildsequenz verwendet werden. So können durch eine vorherige Analyse der Bildsequenz, wie zum Beispiel einer Szenenerkennung und/oder einer Rauschabschätzung, bestimmte Rechenschritte aus der Echtzeitberechnung herausgenommen werden, um so Rechenleistung zu sparen. Weiterhin bietet sich die Möglichkeit, vorab szenenspezifische Daten, wie z.B. die durchschnittliche Helligkeit einer Szene, für eine effizientere Bearbeitung der Bildsequenz zu sammeln. Weitere Analysedaten oder Metadaten sind beispielsweise Daten der Bildtransformationen (z.B. 2D-Fourier-Transformation), die Filmlänge, die Farbverteilung (z.B. Farbhistogramme) und/oder Informationen über den Inhalt der Bildsequenz (z.B. die Dauer und zeitliche Position von Werbeblöcke).In addition, information about the image sequence containing auxiliary data, for example analysis data or metadata be determined which when determining the image section and / or the sequence length of the image sequence to be processed. So through a previous analysis of the image sequence, such as scene recognition and / or a noise estimate, certain calculation steps are removed from the real-time calculation to save computing power. Furthermore, the Possibility, scene-specific data in advance, such as the average brightness one scene for one collect more efficient editing of the image sequence. Further analysis data or metadata are, for example, data of the image transformations (e.g. 2D Fourier transform), the film length, the color distribution (e.g. Color histograms) and / or information about the content of the image sequence (e.g. the duration and temporal position of advertising blocks).

Wie die vorherigen Überlegungen zeigen, ist die Rechenleistung eine entscheidende Größe. Das erfindungsgemäße Verfahren ist deshalb in einer bevorzugten Weiterbildung so ausgestaltet, dass aus der bekannten Rechenleistung der maximal darzustellende und zu bearbeitende Bildausschnitt für die Echtzeitberechnung ermittelt wird.Like the previous considerations show, the computing power is a crucial parameter. The method according to the invention is therefore designed in a preferred further development that from the known computing power the maximum to be displayed and image section to be processed is determined for the real-time calculation becomes.

Eine weitere Möglichkeit zur Einsparung von Rechenleistung ergibt sich, wenn in einem anfänglichen Schritt die meist kodiert (bzw. komprimiert) vorliegenden Daten decodiert (bzw. dekomprimiert) und beispielsweise in einem Speicher abgelegt werden. Während der Echtzeitdarstellung werden nun diese im Speicher vorliegenden Daten bearbeitet und angezeigt.Another way to save computing power arises when in an initial The most encoded (or compressed) data decoded (or decompressed) and for example in a memory be filed. While the real-time display, these are now available in the memory Edited and displayed data.

Das erfindungsgemäße Verfahren ist daher bevorzugt so ausgestaltet, dass aus der Größe des Bildausschnitts und in Abhängigkeit von der Größe des Arbeitsspeichers die Länge der bearbeitbaren Bildsequenz berechnet wird, die zur Echtzeitbearbeitung im Speicher gehalten werden kann. Alternativ kann in Abhängigkeit von der Größe des Arbeitsspeichers und der vorgegebenen Länge der Vorschausequenz auch die Größe des Bildausschnitts bestimmt werden. Zum Beispiel können die Vorschausequenzen aus den Szenen einer vorherigen Szenenanalyse gebildet werden.The method according to the invention is therefore preferred designed so that from the size of the image section and depending on the amount of RAM the length the editable image sequence is calculated, for real-time editing can be kept in memory. Alternatively, depending on the amount of RAM and the given length the preview sequence also the size of the image section be determined. For example, you can the preview sequences from the scenes of a previous scene analysis be formed.

Durch die Erfindung wird für den Benutzer gewährleistet, dass er immer eine Bewegung sieht und nicht auf eine Einzelbilddarstellung angewiesen ist. Die Grenze, bei der von einer Bewegtbilddarstellung anstelle von Einzelbildern ausgegangen wird, ist dabei im wesentlichen vom Benutzer abhängig. Grundsätzlich ist bevorzugt, dass mindestens drei Bilder (bzw. Bildausschnitte) pro Sekunde berechnet und dargestellt werden können.The invention is for the user ensures that he always sees movement and is not dependent on single image display. The limit at which a moving image display is assumed instead of individual images is essentially dependent on the user. In principle, it is preferred that at least three images (or image sections) can be calculated and displayed per second.

Die Erfindung soll nachfolgend anhand der in den Zeichnungen dargestellten Ausführungsbeispiele näher erläutert werden. Es zeigen:The invention is based on the following of the embodiments shown in the drawings are explained in more detail. Show it:

1 ein Blockschaltbild eines bekannten Verfahrens mit Vollbild-Restauration, 1 2 shows a block diagram of a known method with full-screen restoration,

2 ein Blockschaltbild eines bekannten Verfahrens mit Einzelbild-Restauration, 2 2 shows a block diagram of a known method with single image restoration,

3 ein Blockschaltbild einer ersten Ausgestaltung des erfindungsgemäßen Verfahrens, 3 2 shows a block diagram of a first embodiment of the method according to the invention,

4 ein Blockschaltbild zur Verdeutlichung der Bearbeitung eines Bildausschnitts in einer nicht bearbeiteten Umgebung, 4 1 shows a block diagram to illustrate the processing of an image section in a non-edited environment,

5 die Auswirkungen des erfindungsgemäßen Verfahrens an einem Beispiel, 5 the effects of the method according to the invention using an example,

6 Veränderungen des Bildausschnitts gemäß bevorzugten Weiterbildungen der Erfindung, 6 Changes in the image section according to preferred developments of the invention,

7 ein Blockschaltbild einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens und 7 a block diagram of a further embodiment of the inventive method and

8 die Auswirkungen der Struktur der Bearbeitungsalgorithmen auf die Auswahl des Bildausschnitts. 8th the effects of the structure of the processing algorithms on the selection of the image section.

1 zeigt ein typisches Verfahren zur Restauration von Bildsequenzen. Die vorliegend N Bilder umfassende Originalbildsequenz 11 wird durch einen einstellbaren Restaurationsalgorithmus 12 verändert. Durch die benötigte Rechenleistung kommen hierbei nur sehr spezielle Hardware-Lösungen in Frage oder sehr einfache Softwarelösungen. Die bearbeiteten Daten werden auf einem Anzeigegerät 16, z.B. einem Bildschirm, dargestellt. Ein Nutzer 14 dieses Systems kann entsprechend seiner Geschmacksmusterpräferenz nun durch Ansehen der Ergebnisse auf die Parameter 13 der Restauration Einfluss nehmen und so durch diese Rückkopplung 15 optimale Ergebnisse erzielen. Nach Einstellung erfolgt eine Speicherung der bearbeiteten (restaurierten) Bilddaten auf einem geeigneten Medium, zum Beispiel einer Festplatte 17 eines Computers. Bei dieser Ausführung einer Bearbeitung (Restauration) liegen die Beschränkungen im wesentlichen in der zur Verfügung stehenden Rechenleistung des Bearbeitungssystems. 1 shows a typical process for the restoration of image sequences. The original image sequence comprising N images 11 is made possible by an adjustable restoration algorithm 12 changed. Due to the required computing power, only very special hardware solutions or very simple software solutions come into question. The processed data are on a display device 16 , such as a screen. A user 14 this system can now according to its design preference by looking at the results on the parameters 13 influence the restoration and so through this feedback 15 achieve optimal results. After setting, the edited (restored) image data is saved on a suitable medium, for example a hard disk 17 of a computer. In this type of machining (restoration), the restrictions essentially lie in the available computing power of the machining system.

Ein weiteres bekanntes Verfahren zur digitalen Video-/Filmbearbeitung (Restauration) ist in 2 gezeigt. Hierbei wird aus der Originalsequenz 21 in einem ersten Schritt ein geeignetes Einzelbild in einem Restaurationsalgorithmus 22 bearbeitet. Dieses Einzelbild wird auf einem Anzeigegerät 23 angezeigt und durch Benutzerinteraktion 24, 25 optimiert. Nachdem eine geeignete Parameterauswahl 26 stattgefunden hat, wird die Bearbeitung (Restauration) mit den Parametern, die nur auf dem Einzelbild optimiert wurden, in einem zweiten Schritt auf der Originalbildfolge 21 durchgeführt und das Ergebnis auf einem geeigneten Medium, zum Beispiel einer Festplatte 28, gespeichert. Dieses Verfahren hat den Nachteil, dass Artefakte des Algorithmus und bestimmte Eigenschaften des Bildsignals, die nur durch das sequentielle Ansehen der Bildsequenz in Erscheinung treten, nicht in die Parameterwahl einfließen. Gegebenenfalls müssen die zuvor beschriebenen Schritte daher so lange wiederholt werden, bis ein zufriedenstellendes Ergebnis erreicht wird.Another known method for digital video / film processing (restoration) is in 2 shown. This turns the original sequence 21 in a first step, a suitable single image in a restoration algorithm 22 processed. This single image is on a display device 23 displayed and through user interaction 24 . 25 optimized. After a suitable parameter selection 26 has taken place, the processing (restoration) with the parameters that were optimized only on the single image is in a second step on the original image sequence 21 carried out and the result on a suitable medium, for example a hard disk 28 , saved. This method has the disadvantage that artifacts of the algorithm and certain properties of the image signal, which only appear through the sequential viewing of the image sequence, are not included in the parameter selection. If necessary, the previously described steps must therefore be repeated until a satisfactory result is achieved.

Ein Blockschaltbild einer ersten Ausgestaltung des erfindungsgemäßen Verfahrens ist in 3 gezeigt. Die Originalbildsequenz 31 wird in einem ersten Schritt auf einem Anzeigegerät 32a dargestellt. Automatisch oder durch den Benutzer wird nun ein Bildausschnitt 30 aus dem Vollbild V ausgewählt, der mittels einer Bildbearbeitungseinrichtung 33, insbesondere einem darin ausgeführten Restaurationsalgorithmus, bearbeitet wird. Der bearbeitete Bildausschnitt kann nun auf demselben oder auf einem anderen Anzeigegerät 32b angezeigt werden. Der Benutzer 35 kann nun, da er eine Bildsequenz in Echtzeit sieht, eine optimale Wahl der Bearbeitungsparameter 36, insbesondere in Bezug auf zeitliche Effekte wie zum Beispiel Signalrauschen und/oder Helligkeits-/Farbschwankungen, vornehmen. Gleichzeitig steht eine verbesserte Rechenleistung zur Bearbeitung (Restauration) zur Verfügung, da nur der Bildausschnitt bearbeitet werden muss und nicht das gesamte Vollbild V. In einem zweiten Schritt werden diese neuen optimalen, nun festen Bearbeitungsparameter 38 verwendet, um die Original-Bildsequenz 31 im Vollbild mittels einer Bildbearbeitungseinrichtung 37b, wozu ggf. auch die Bildbearbeitungseinrichtung 33 verwendet werden kann, zu restaurieren und geeignet auf einem Speichermedium 39, z.B. einer Festplatte, zu speichern.A block diagram of a first embodiment of the method according to the invention is shown in 3 shown. The original image sequence 31 is in a first step on a display device 32a shown. An image section is now created automatically or by the user 30 selected from the full image V by means of an image processing device 33 , in particular a restoration algorithm executed therein. The edited image section can now on the same or on a different display device 32b are displayed. The user 35 Now that he sees an image sequence in real time, he can make an optimal choice of the processing parameters 36 , especially with regard to temporal effects such as signal noise and / or brightness / color fluctuations. At the same time, improved processing power is available for processing (restoration), since only the image section has to be processed and not the entire full image V. In a second step, these new, optimal, now fixed processing parameters 38 used the original image sequence 31 in full screen using an image processing device 37b , which may include the image processing device 33 Can be used to restore and suitable on a storage medium 39 , eg a hard disk.

Als besonders vorteilhaft für die Einstellung der Parameter erweist es sich, wenn der restaurierte Bildausschnitt wieder in das nichtrestaurierte Vollbild zurück kopiert wird. Dies zeigt 4. Im Anzeigegerät 41 wird der in dem Vollbild V gewählte Bildausschnitt 42 der Bildsequenz durch den Restaurationsalgorithmus 43 restauriert. Dieser veränderte Bildausschnitt wird nun an dieselbe Stelle in dem Vollbild V kopiert, wo vorher der nicht-restaurierte Bildausschnitt war. Als Effekt kann die Veränderung durch den Algorithmus sehr deutlich wahrgenommen werden, da hier das unbearbeitete und das restaurierte Material unmittelbar aneinander grenzen. Diese Möglichkeit bietet insbesondere bei der Einstellung von Rauschfiltern große Vorteile.It proves to be particularly advantageous for the setting of the parameters if the restored image section is copied back into the unrestored full image. this shows 4 , In the display device 41 becomes the image section selected in the full frame V. 42 the image sequence through the restoration algorithm 43 restored. This changed image section is now copied to the same position in the full image V where the non-restored image section was previously. As an effect, the change can be perceived very clearly by the algorithm, since here the unprocessed and the restored material directly adjoin one another. This option offers great advantages, especially when setting noise filters.

Um dies zu verdeutlichen ist zusätzlich in 5 ein Beispiel angegeben. Die gestörte Bildsequenz (hier dargestellt als ein Bild) besteht aus dem Originalbild 44, im allgemeinen unbekannt, und einer Störgröße 45 (z.B. Rauschen). In dieser gestörten Bildsequenz 46 wird ein Bildausschnitt 47 gewählt und einem Restaurationsalgorithmus 48 zugeführt. Der Bildausschnitt 49 nach der Restauration, der keine Störung (vorliegend kleine graue Punkte) mehr aufweist, da diese durch die Restauration beseitigt wurde, wird an die Stelle des gestörten Bildausschnitts 47 in das gestörte Originalbild 46 (bzw. die Original-Bildsequenz) zurückkopiert. Der Benutzer sieht schließlich nur diese (in 5 untere) Bildsequenz und kann so optimal den Restaurationsalgorithmus an die Bildsequenz anpassen.To clarify this is also in 5 given an example. The disturbed image sequence (shown here as an image) consists of the original image 44 , generally unknown, and a disturbance variable 45 (e.g. noise). In this disturbed picture sequence 46 becomes an image section 47 chosen and a restoration algorithm 48 fed. The image section 49 after the restoration, which no longer has any faults (small gray dots in the present case), as this has been eliminated by the restoration, is replaced by the disturbed image section 47 into the disturbed original picture 46 (or the original image sequence) copied back. After all, the user only sees this (in 5 lower) image sequence and can optimally adapt the restoration algorithm to the image sequence.

Je nach Auswahl des Bildausschnittes kann es zu Randeffekten kommen, die den Benutzer bei der Einstellung der Restaurationsparameter beeinflussen können. So kann es vorkommen, dass eine Störung nur zum Teil im restaurierten Bereich liegt, oder dass ein Bildobjekt zu einem geringen Anteil im Restaurationsbereich liegt und dieser Teil als Störung interpretiert würde. Diese Fälle werden in 6 gezeigt.Depending on the selection of the image section, there may be marginal effects that can influence the user when setting the restoration parameters. It can happen that a malfunction is only partly in the restored area, or that a small part of the image object is in the restoration area and this part would be interpreted as a malfunction. These cases are in 6 shown.

Im ersten, in 6a gezeigten Fall wurde im Anzeigegerät 51 für das Vollbild V ein Bildausschnitt 52 gewählt, der zufällig bei einem Bild der zu bearbeitenden Bildsequenz eine Störung 53 aufteilt. Im zweiten, in 6b gezeigten Fall wurde im Anzeigegerät 51 für das Vollbild V ein Bildausschnitt 52 gewählt, der zufällig bei einem Bild der zu bearbeitenden Bildsequenz eine Bildobjekt 55 aufteilt.In the first, in 6a case was shown in the display device 51 an image detail for the full frame V. 52 selected, which happens to be a disturbance in an image of the image sequence to be processed 53 divides. In the second, in 6b case was shown in the display device 51 an image detail for the full frame V. 52 chosen, which happens to be an image object for an image of the image sequence to be processed 55 divides.

Da viele Restaurationsalgorithmen zeitliche Informationen, also die Bildsequenz, aber auch örtliche Informationen, also den Aufbau der Einzelbilder berücksichtigen, kann eine solche Trennung dazu führen, dass im ersten Fall die Störung im Bildausschnitt beseitigt wird, aber bei der nachfolgenden Berechnung im Vollbild nicht, insbesondere aufgrund der veränderten Form der Störung. Im zweiten Fall kann die Trennung dazu führen, dass das Bildobjekt teilweise als Störung interpretiert wird und in der nachfolgenden Berechnung des Vollbildes daraus resultierende Artefakte entstehen.Because many restoration algorithms temporal information, i.e. the image sequence, but also local Information, i.e. taking into account the structure of the individual images, such a separation can lead to that in the first case the disturbance is eliminated in the image section, but in the subsequent calculation not in full screen, especially due to the changed form of the disturbance. in the Second, the separation can result in the image object being partially as a disturbance is interpreted and in the subsequent calculation of the full screen resulting artifacts arise.

Um dies zu verhindern, wird in einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens die Bearbeitung des ausgewählten Bildausschnitts an die jeweilige Situation angepasst. Das Verfahren prüft bei entsprechenden Randobjekten, ob es sich um eine Störung oder um ein Bildobjekt handelt, die in den Bearbeitungsbereich hineinragen. Dazu werden entsprechende räumliche und zeitliche Informationen aus der Umgebung des Bildausschnitts oder auch Daten aus einer vorherigen Analyse verwertet: Ein Bildobjekt wird z.B. in den benachbarten Bildern der Sequenz ebenfalls vorkommen, während eine Störung meistens nur in einem einzelnen Bild der Sequenz zu finden ist.To prevent this from happening, one preferred execution of the method according to the invention editing the selected one Image section adapted to the respective situation. The procedure checks at corresponding border objects, whether it is a malfunction or is an image object that protrudes into the processing area. To be corresponding spatial and temporal information from the area surrounding the image section or also utilizes data from a previous analysis: an image object e.g. also occur in the adjacent images of the sequence, while a disorder usually only found in a single image of the sequence.

Bei dem Fall gemäß 6a wird also der zu bearbeitende Bereich über den Bildausschnitt 54 (gestrichelte Linie) hinaus so vergrößert, dass auch die Störung 53 vollständig bearbeitet wird. Damit kann der Benutzer seine Parameter entsprechend der Größe der Störung so einstellen, dass sie bei der späteren Bearbeitung des Vollbilds korrekt restauriert wird.In the case according to 6a So the area to be edited is over the image section 54 (dashed line) enlarged so that the disturbance 53 is fully processed. This allows the user to set his parameters according to the size of the fault so that it is correctly restored when the full screen is subsequently edited.

Bei dem Fall gemäß 6b wird der Bildausschnitt 56 (gestrichelte Linie) dagegen so verkleinert, dass das Bildobjekt 55 bei der Bearbeitung des Ausschnitts nicht mit betroffen ist. Damit wird vermieden, dass der Benutzer seine Parameter schwächer als nötig einstellt, um das Objekt im Bildausschnitt zu erhalten.In the case according to 6b becomes the image section 56 (dashed line) on the other hand reduced so that the image object 55 is not affected when editing the section. This avoids the user setting his parameters weaker than necessary in order to preserve the object in the image section.

Die Darstellung des bearbeiteten Bildausschnitts bleibt in beiden Fällen unbeeinflusst. Somit entspricht der bearbeitete Bildausschnitt auch immer dem entsprechenden Bildausschnitt des restaurierten Vollbilds.The representation of the edited The image section remains unaffected in both cases. Thus corresponds the edited image section always corresponds to the corresponding image section of the restored full screen.

Für die Anwendung des erfindungsgemäßen Verfahrens ist es besonders wichtig, möglichst viel Rechenleistung für die Algorithmenteile zur Verfügung zu stellen, die vom Benutzer abhängig sind. Bei vielen Verfahren ist es aber möglich, zunächst eine Analyse der Eingangsbildsequenz vorzunehmen und diese Analyse dann in der Bearbeitung (Restauration) zu verwenden. Beispielsweise kann eine vorhergehende Szenenanalyse Informationen über die Helligkeit der einzelnen Szenen sammeln. Bei der Bearbeitung des Bildausschnitts können diese Informationen von einem Kontrastfilter dazu genutzt werden, einerseits dunkle Szenen besser auszuleuchten und andererseits überbelichtete Szenen etwas abzudämpfen.For the application of the method according to the invention it is particularly important, if possible a lot of computing power for the algorithm parts are available to ask that depends on the user are. However, with many methods it is possible to first analyze the input image sequence and this analysis is then being processed (restoration) to use. For example, a previous scene analysis information about collect the brightness of each scene. When editing of the image section can this information is used by a contrast filter to on the one hand to better illuminate dark scenes and on the other hand overexposed Dampen scenes a little.

Ein solches Vorgehen zeigt 7. Die Eingangsbildsequenz 61 wird zunächst in einem ersten Schritt mit Hilfe eines Analysealgorithmus 62 bearbeitet. Die Ausgangsanalysedaten 63 werden gespeichert. In einem zweiten Schritt wird nun die Bildsequenz in einem Anzeigegerät 64 dargestellt, ein Bildausschnitt 60 wird ausgewählt und bearbeitet (restauriert) und entweder auf einem weiteren Bildschirm 66 dargestellt oder in das Originalbild zurück kopiert. Im Restaurationsalgorithmus 65 werden nun zusätzlich zu den vom Benutzer einstellbaren Parametern die vorher berechneten Analysedaten 63 verwendet, um so die Rechenleistung, die normalerweise für die Analyse notwendig wäre, zu sparen.Such an approach shows 7 , The input image sequence 61 is first in a first step with the help of an analysis algorithm 62 processed. The initial analysis data 63 are saved. In a second step, the image sequence is now in a display device 64 shown, an image detail 60 is selected and edited (restored) and either on another screen 66 shown or copied back into the original image. In the restoration algorithm 65 are the previously calculated analysis data in addition to the parameters that can be set by the user 63 used in order to save the computing power that would normally be required for the analysis.

Die endgültige Bearbeitung (Restauration) des Vollbildes V geschieht in einem dritten Schritt, wobei nun im Bearbeitungsalgorithmus 69 die festen Parameter 680 der Benutzerpräferenz verwendet werden. Dabei können die Analysedaten 63 zusätzlich Verwendung finden oder alternativ erneut berechnet werden, da es für diesen dritten Schritt keine Begrenzung der Rechenleistung gibt. Die Ergebnisse der Restauration werden abschließend geeignet in einem Speichermedium 690 gespeichert.The final processing (restoration) of the full image V takes place in a third step, now in the processing algorithm 69 the fixed parameters 680 user preference. The analysis data can 63 find additional use or alternatively be recalculated since there is no limit to the computing power for this third step. The results of the restoration are finally suitable in a storage medium 690 saved.

Ein weiteres Problem bei der Bearbeitung von Bilddaten kann sich ergeben, wenn die Bearbeitungsalgorithmen eine Blockstruktur der Bilddaten erwarten. Dies wird mit Hilfe der 8 verdeutlicht. Das Anzeigegerät 71 zeigt eine Bildsequenz, in der der Nutzer seinen zu restaurierenden Bildausschnitt 72 frei wählen soll. Der verwendete Algorithmus benötigt aber eine Blockstruktur 73, d.h. die Sequenzbilder in einem bestimmten Raster aufgeteilt. Da der Nutzer dieses Raster nicht kennt, ist es notwendig, dass die Blockstruktur des verwendeten Bildbereichs deckungsgleich mit der Blockstruktur des Vollbilds ist. In 8 ist der nun vergrößerte Bereich 74 Grundlage der Bearbeitung. Die Anzeige erfolgt dennoch bevorzugt nur in dem vom Nutzer gewünschten Bildausschnitt 72.Another problem with the processing of image data can arise if the processing algorithms expect a block structure of the image data. This is done with the help of 8th clarified. The display device 71 shows an image sequence in which the user has his image section to be restored 72 should choose freely. However, the algorithm used requires a block structure 73 , ie the sequence bil which is divided into a certain grid. Since the user does not know this grid, it is necessary that the block structure of the image area used is congruent with the block structure of the full image. In 8th is the now enlarged area 74 Basis of processing. However, the display is preferably only in the image section desired by the user 72 ,

Claims

Method for processing image sequences, in particular in real time, in which the image sequence to be processed is reproduced for processing, characterized in that when the image sequence is reproduced, an image section of the images of the image sequence is reproduced, that the image sequence is only processed in the image section and that the full images of the image sequence are then processed using the processing parameters determined during the processing of the image section.

A method according to claim 1, characterized in that size and / or Position of the image section are freely selectable.

Method according to one of the preceding claims, characterized characterized that size and / or Position of the image section for the individual images of the image sequence can be changed, in particular adaptable to a picture element shown in the picture section are.

A method according to claim 3, characterized in that in the event of a disturbance lying on the edge of the image section, the Size and / or Position of the image section is adjusted so that the disturbance within of the image section.

A method according to claim 3, characterized in that with an image object lying on the edge of the image section the size and / or Position of the image section is adjusted so that the image object outside of the image section.

Method according to one of the preceding claims, characterized characterized that during and / or after editing the image sequence in the image section the image section is reproduced within the frames of the image sequence.

A method according to claim 6, characterized in that the frame when playing back within the frames is surrounded by a visible frame.

Method according to one of the preceding claims, characterized marked that the maximum image section to be edited is determined by analyzing the existing computing power.

Method according to one of the preceding claims, characterized characterized that before editing the image sequence in the Image section by means of preprocessing the image sequence Full images information about the auxiliary data containing the image sequence are determined, which at the determination of the image section and / or the sequence length of the image sequence to be processed.

Method according to one of the preceding claims, characterized characterized that before editing the image sequence in the Image section by means of preprocessing the image sequence Full images and / or the image details about the Auxiliary data containing image sequence are determined, which in the Editing the image sequence can be used.

A method according to claim 9 or 10, characterized in that that the auxiliary data provides information about the scene division of the Image sequence, data of the image transformations, a noise estimate, the Image sequence length, contain the color distribution and / or the content of the image sequence.

Method according to one of the preceding claims, characterized characterized in that the temporal Information of the successive individual images is used.

A method according to claim 12, characterized in that the temporal information for the noise reduction, the removal of individual errors, to estimate the Movements in the image and / or used for the detection and reduction of color fluctuations becomes.

Method according to one of the preceding claims, characterized characterized in that coded image data of the image sequence is first decoded and that the decoded image data when determining the Image detail can be used.

Device for processing image sequences, in particular in real time, with a playback device for reproducing the image sequence for processing and with an image processing device for processing the reproduced image sequence, characterized in that the playback device is designed to reproduce an image section of the images of the image sequence during processing and that the processing device is designed for processing the image sequence only in the image section and for subsequent processing of the full images of the image sequence by means of the processing determined during the processing of the image section processing parameters.

Computer program with computer program means for Causing a computer to perform the method of claim 1 if the Computer program running on a computer.

disk with a computer program after 16.