DE102010016140A1

DE102010016140A1 - Verfahren zur Hoch- und Rückskalierung von Bildern

Info

Publication number: DE102010016140A1
Application number: DE102010016140A
Authority: DE
Inventors: Shih-Hsiang Lin; Pei-Chi Hsiao
Original assignee: Micro Star International Co Ltd
Current assignee: Micro Star International Co Ltd
Priority date: 2009-12-02
Filing date: 2010-03-25
Publication date: 2011-06-09
Also published as: TWI399703B; TW201120805A; US8275218B2; US20110129164A1

Abstract

Verfahren zur Hoch- und Rückskalierung von Bildern zur Umwandlung geringpixeliger Bildaufnahmen in hochpixelige Bildaufnahmen. Bei diesem Bildskalierungsverfahren wird zuerst eine geringpixelige Bildaufnahme aufgenommen. Anschließend wird ein Programm zur Hoch- und Rückskalierung von Bildern ausgeführt, um die geringpixelige Bildaufnahme zur hochpixeligen Bildaufnahme mit Vielfach-Auflösung zu vergrößern. Das Programm zur Hoch- und Rückskalierung von Bildern enthält folgende Schritte:
– Vergrößern einer geringpixeligen Bildaufnahme um ein Vielfaches, damit das geringpixelige Bild ein primärvergrößertes Bild mit vielfacher Auflösung wird;
– Vergrößern der primärvergrößerten Bildaufnahme nochmal um das Zweifache, damit es ein sekundärvergrößertes Bild wird;
– Verkleinern der sekundärvergrößerten Bildaufnahme um das Zweifache, damit es ein hoch aufgelöstes Bild wird.

Description

Die Erfindung betrifft ein Bildskalierungsverfahren, insbesondere ein Verfahren zur Hoch- und Rückskalierung von Bildern, mit dem eine Bildaufnahme zunächst zweimal vergrößert und schließlich zu Bildaufnahme mit hoher Pixelzahl verkleinert wird.
Mit bestimmten Geräten können keine Bilder mit hoher Pixelzahl gemacht werden. So etwa Webcams, Monitorkameras, oder Handykameras (Pixelzahl von hunderttausend bis Mio.). Dem gegenüber stehen hochpixelige Aufzeichnungen bei der Wiedergabe durch Stream-Medien, die aber einen großen Speicherplatz belegen, was aufgrund der eingeschränkten Frequenzbandbreite in einer langsamen Wiedergabe resultiert. Deshalb werden die Aufnahmedaten in der Regel in ein niederpixeliges Format übertragen. Des Weiteren werden die Abmessungen der Monitore immer größer. Wenn die niederpixeligen Bilder auf einem relativ großen Bildschirm angezeigt werden, bleiben sie völlig undeutlich.
Angesichts der genannten Probleme sind viele Bildverarbeitungsverfahren entstanden, welche die niederpixeligen Bildaufzeichnungen anhand ihrer eigenen implizierten Daten auf deutliches Format vergrößern.
Beim Stand der Technik wird zur Erhöhung der Bildauflösung vorwiegend die ”Interpolation-Pixelkompensation” verwendet. Mit der Interpolation-Pixelkompensation wird ein bekannter Pixel unmittelbar vergrößert, zugleich werden zwischen den bekannten Pixeln Leerfelder für unbekannte Pixel reserviert. Anschließend werden die unbekannten Pixel beim Vergrößern durch eine Auswertung der bekannten Pixel sowie verschiedene Kombinationen errechnet und in die reservierten Leerfelder eingetragen. Dieses Verfahren ermöglicht zwar eine höhere Kalkulationsgeschwindigkeit, hat aber häufig eine Überglätte bzw. eine uneindeutige visuelle Wahrnehmung zur Folge.
Neben der ”Interpolation-Pixelkompensation” finden noch die ”Inversionsbild-Modellierung” und das ”Training” zur Erhöhung der Bildauflösung häufig Anwendung.
Bei der sogenannten Inversionsbild-Modellierung wird die Generierung der niederpixeligen Bildaufzeichnungen als ein serienmäßiger Bildverarbeitungsablauf vorausgesetzt, d. h. die bekannte Niederpixelaufzeichnung wird als ein Resultat aus Trübung, Pixel- und Störungsverminderung an einer Hochpixelaufnahme angenommen. In diesem Fall ist ein Generierungsmodell für Niederpixelaufzeichnungen zu erstellen, mit dem sich die Hochpixelaufzeichnungen in niederpixelige Aufzeichnungen umwandeln lassen. Mit diesem Generierungsmodell für Niederpixelbilder wird ein Inversionsgenerierungsmodell für Hochpixelbilder erstellt, mit dem unbekannte Fuzzy-Wellenfilter vermutet werden, mit denen die ursprüngliche Hochpixelauflösung wiederhergestellt wird. Das Inversionsbild-Modellierungsverfahren weist zwar schärfere Bildränder auf, muss aber aufgrund der Optimalwerte-Ermittlung mehrmals durchgeführt werden, was aber sehr lange dauert.
Beim ”Training” werden zahlreiche Niederauflösungs- und Hochauflösungsbilder als Trainingskriterien zur Erinnerung und Speicherung der Verhältnisse zwischen den Spuren in jedem Niederauflösungsbereich und den im Hochauflösungsbereich angesammelt, um eine Datenbank zu erstellen.
Bei der Verarbeitung der Niederpixelbilder mittels ”Training” wird die Bildaufnahme zunächst in zahlreiche Kleinfelder untergliedert, wobei jedes Kleinfeld ein seinem Spurverhalten ein ähnliches kleines Niederauflösungsfeld in der Datenbank heraussucht und anschließend ein entsprechendes kleines Hochauflösungsfeld herausfindet sowie zuletzt ein Hochauflösungsbild erstellt. Obwohl das ”Training” echte Bildaufzeichnungen zur Berechnung einbezieht und deshalb visuell viel natürlichere Bilder ausgeben kann, ist seine Beschaffenheit sehr stark von der Datenbank abhängig. Darüber hinaus nehmen der Trainings- und Suchprozess in der Datenbank viel Zeit in Anspruch.
Die herkömmlichen Verfahren zur Erhöhung der Bildauflösung können nicht bei verzerrten Bildern angewendet werden. Vor dem Hintergrund der stetigen Vergrößerung des Bildschirms können die Bildformate der üblichen Stream-Medien im Fall einer Vollbildschirmanzeige unscharf bleiben. Bei der Anwendung des herkömmlichen Algorithmus an den Verzerrungsbildern ist das größte Problem die Verstärkung von Störungen. Wenn aber Störungen und Fehler vor der Erhöhung der Bildauflösung beseitigt werden, gehen die im gering aufgelösten Bild vorhandenen Details verloren, sind die vergrößerten Bilder zu glatt und verringert sich die Qualität der erhöhten Bildauflösung.
Die herkömmlichen Verfahren zur Erhöhung der Bildauflösung sind für die Echtzeitwiedergabe von Stream-Medien nicht geeignet, da Störungen und Fehler nicht herausgefiltert werden können bzw. zu hohe Leistung verbraucht wird.
Ausgehend von der Mangelhaftigkeit der herkömmlichen Verfahren zur Erhöhung der Bildauflösung liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zur Hoch- und Rückskalierung von Bildern zu entwickeln, welches einen niedrigen Leistungsverbrauch aufweist und Störungen und Fehler bei den ursprünglichen Aufnahmen verbessern kann.
Um diese Aufgabe zu lösen, wird ein Verfahren zur Hoch- und Rückskalierung von Bildern bereitgestellt, welches geringpixelige Bildaufnahmen in hochpixelige Bildaufnahmen umwandelt. Bei diesem Bildskalierungsverfahren wird eine geringpixelige Bildaufnahme zunächst hoch- und dann rückskaliert, um die geringpixelige Bildaufnahme zu einer hochpixeligen Bildaufnahme mit einer vielfachen Auflösung zu vergrößern.
Das Programm zur Hoch- und Rückskalierung weist folgende Verfahrensschritte auf Vergrößern der geringpixeligen Bildaufnahme um ein Vielfaches, damit das geringpixelige Bild ein primärvergrößertes Bild mit vielfacher Auflösung wird; erneutes Vergrößern der primärvergrößerten Bildaufnahme um das Zweifache, wodurch es ein sekundärvergrößertes Bild wird; Verkleinern der sekundärvergrößerten Bildaufnahme um das Zweifache, wodurch das Bild eine hoher Auflösung erhält.
Bei der vorliegenden Ausführungsform wird das Bild mit niedriger Auflösung doppelt vergrößert, damit die Auflösung höher ist als die des erwarteten Hochpixelbildes, um so mehr Details zu erzeugen. Das vergrößerte Bild wird anschließend zum endgültigen Bild mit hoher Auflösung verkleinert. Nach der doppelten Vergrößerung und der anschließenden Verkleinerung werden die in der Bildaufnahme enthaltenen Störungen beseitigt, wobei die Linienmerkmale übrig bleiben und eine bessere Bildqualität entsteht. Darüber hinaus verbraucht das erfindungsgemäße Verfahren nur eine geringe Betriebsleistung. Das erfindungsgemäße Verfahren kann somit in Stream-Medien integriert werden. Die von den Stream-Medien versendeten serienmäßigen Bilder werden empfangen, in Echtzeit verarbeitet und ausgegeben, um eine bessere Bildqualität zu erreichen.
Im Folgenden wird die Erfindung mit Bezug auf die nachfolgenden Abbildungen im Detail beschreiben. Es zeigt:
1: ein Diagramm des erfindungsgemäßen Verfahrens zur Hoch- und Rückskalierung von Bildern,
2: ein Diagramm des erfindungsgemäßen Programms für das Verfahren zur Hoch- und Rückskalierung von Bildern,
3: eine Ansicht der Originalpixelmatrix des primärvergrößerten Bilds gemäß der vorliegenden Erfindung,
4: eine Ansicht der vergrößerten Pixelmatrix nach zweifacher Vergrößerung der ursprünglichen Pixelmatrix gemäß der vorliegenden Erfindung,
5: eine Ansicht der leeren Zielpixelmatrix gemäß der vorliegenden Erfindung,
6: eine Ansicht der vergrößerten Pixelmatrix gemäß der vorliegenden Erfindung,
7: eine Ansicht der definierten Ausgleichungspixelmatrix in der vergrößerten Pixelmatrix gemäß der vorliegenden Erfindung,
8: eine Ansicht des Kompensationsablaufs der Ausgleichungsmatrix in die Zielpixelmatrix gemäß der vorliegenden Erfindung,
9: eine Ansicht des Kompensationsablaufs des Bewertungswertes in die Bewertungsmatrix gemäß der vorliegenden Erfindung,
10: eine Ansicht des Kompensationsablaufs der Ausgleichungsmatrix und der Bewertungswerte-Multiplikationswerte in die Zielpixelmatrix gemäß der vorliegenden Erfindung,
11: eine Ansicht der vollständig abgeglichenen Zielpixelmatrix gemäß der vorliegenden Erfindung,
12: eine Ansicht der vollständig abgeglichenen Bewertungsmatrix gemäß der vorliegenden Erfindung,
13: eine Ansicht des durch die Ausgleichungsmatrix ersetzten Originalpixels gemäß der vorliegenden Erfindung,
14: ein Bild, das mit Hilfe eines normalen bi-kubischen Interpolationsverfahrens um das Doppelte vergrößert wurde,
15: ein Bild, das mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Doppelte vergößert wurde,
16: eine Haar-Transformationsanalyse an dem mit Hilfe des normalen bi-kubischen Interpolationsverfahrens um das Doppelte vergrößerten Bilds,
17: eine Haar-Transformationsanalyse an dem mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Doppelte vergrößerten Bilds,
18: ein Bild, das mit dem unpartiellen Durchschnittsfilterungs-Vergrößerungsprogramm um das Doppelte vergrößert wurde,
19: ein Bild, des mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Doppelte vergrößert wurde,
20: eine Haar-Transformationsanalyse an dem mit dem unpartiellen Durchschnittsfilterungs-Vergrößerungsprogramm um das Doppelte vergrößerten Bilds,
21: eine Haar-Transformationsanalyse an dem mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramm um das Doppelte vergrößerten Bilds,
22: ein Originalbild mit Störungen,
23: ein Bild, das mit Hilfe eines normalen bi-kubischen Interpolationsverfahrens um das Doppelte vergrößert wurde,
24: ein Bild, das mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Doppelte vergrößert wurde,
25: ein Diagramm eines anderen erfindungsgemäßen weiteren Hoch- und Rückskalierungsverfahrens,
1 und 2 sind Diagramme des erfindungsgemäßen Verfahrens zur Hoch- und Rückskalierung von Bildern.
Wie 1 zeigt, dient das erfindungsgemäße Verfahren zur Hoch- und Rückskalierung von Bildern dazu, niederpixelige Bildaufnahmen in hochpixelige Bildaufnahmen umzuwandeln. Der in den folgenden Abschnitten angewendete Begriff ”Vergrößern” bedeutet nicht nur die Zunahme der Bildgröße sondern auch die Erhöhung der Bildauflösung. Die so genannte ”Vergrößerung um das N-fache” bedeutet, dass die Pixelanzahl an der X- und Y Achse jeweils um das N-Fache erhöht wird, d. h. die Gesamtpixelanzahl wird um das N²-Fache erhöht.
Wie 2 zeigt, wird bei dem erfindungsgemäßen Verfahren zur Hoch- und Rückskalierung von Bildern zunächst eine Niederpixelbildaufnahme gewonnen sowie in ein Konvertierungsmodul eingegeben (Schritt 110). Das Konvertierungsmodul kann eine Datenverarbeitungseinrichtung in einer installierten Konvertierungssoftware sein. Diese Konvertierungssoftware kann entweder eine separate Software zur Verarbeitung eines einzelnen Bilds bzw. mehrerer Bilder oder eine in einer anderen Mediensoftware integrierte Software, welche die Niederauflösungsbilder zuerst verarbeitet und anschließend der Mediensoftware die daraus resultierenden Hochauflösungsbilder zur Wiedergabe zuführt.
Wie 1 ferner zeigt, führt das Konvertierungsmodul ein Programm zur Hoch- und Rückskalierung aus, um die niederpixelige Bildaufnahme zur hochpixeligen Bildaufnahme mit doppelter Auflösung zu vergrößern (Schritt 120).
Zur Vergrößerung um 2^N sind in diesem Zusammenhang N-malige Hoch- und Rückskalierungsvorgänge zu wiederholen. Sollte der Vergrößerungsmaßstab bei 2^N liegen, setzt das Konvertierungsmodul nach jedem Empfang der Niederauflösungsbilder den Zählwert ”i” auf Null zurück (i = 0). Nachdem jedes Hoch- und Rückskalierungsprogramm durchgeführt wurde, addiert das Konvertierungsmodul den Zählwert ”i” mit 1 (i = i + 1) und vergleicht anschließend, ob der Wert ”i” dem Wert ”N” gleicht (i = N). Falls i gleich N ist, sind die N-maligen Hin- und Rückskalierungsvorgänge abgeschlossen, wonach der nächste Schritt erfolgt; falls i kleiner als N ist, ist der nächste Hoch- und Rückskalierungsvorgang auszuführen.
Es ist zu bemerken, dass die besagten N-maligen Hoch- und Rückskalierungszyklen nur ein Ausführungsbeispiel darstellen, und keine Einschränkung des Anwendungsumfangs darstellen. Das Konvertierungsmodul kann den Zählwert auch auf ”N” setzen, wobei nach jedem Hoch- und Rückskalierungszyklus von ”N” 1 subtrahiert wird (N = N – 1), und bei N = 0 ein nächster Schritt erfolgt.
Die N-malige Hoch- und Rückskalierung lässt sich als ein progressives Hoch- und Rückskalierungsprogramm betrachten, da das Konvertierungsmodul das Hoch- und Rückskalierungsprogramm zwecks einer gewünschten Vergrößerung um 2^N-Fach N-mal ausführen soll, um die Niederauflösungsbilder schrittweise zu Hochpixelbildern mit erwarteter Vergrößerungsrate zu vergrößern.
In 1 ist dargestellt, dass die Hochpixelbilder vom Konvertierungsmodul zunächst verglichen bzw. verarbeitet (Schritt 130) und zuletzt ausgegeben (Schritt 140) werden. Der Schritt 130 lässt sich auch vernachlässigen, da das erfindungsgemäße Programm zur Hoch- und Rückskalierung von Bildern funktionsmäßig die Stärke der Hochfrequenzzonen erhöhen kann.
2 ist das Programm für das Verfahren zur Hoch- und Rückskalierung von Bildern (Schritt 120).
Im Schritt 120 wird das Niederauflösungsbild durch das Konvertierungsmodul mit Hilfe des Interpolationsverfahrens um das Zweifache vergrößert (Schritt 121), um das Niederauflösungsbild auf ein primärvergrößertes Bild mit zweifach größerer Auflösung umzuwandeln, d. h. das primärvergrößerte Bild ergibt sich aus einer zweidimensionalen Schnittfläche mit X und Y aus der zweifachen Erhöhung der Pixelanzahl jeweils an der X-Achse und Y-Achse.
Anschließend wird die Auflösung der primärvergrößerten Bildaufnahme durch das Konvertierungsmodul mittels des unpartiellen Durchschnittsfilterungs-Vergrößerungsprogramms ein weiteres Mal um das Zweifache erhöht, damit es ein sekundärvergrößertes Bild entsteht (Schritt 122).
Das sekundärvergrößerte Bild wird zuletzt mittels des bi-kubischen Interpolationsverfahrens um das Zweifache verkleinert, d. h. die zweifach vergrößerte Bildaufnahme wird um die Hälfte der ursprünglichen Auflösung verkleinert (Schritt 123). Die zweifache Verkleinerung der sekundärvergrößerten Bilder ist nicht auf das bi-kubische Interpolationsverfahren beschränkt, sondern es kann ein beliebiges anderes Bildverkleinerungsverfahren verwendet werden, welches hauptsächlich zur Rückstellung der vergrößerten Bildskalen dient.
Nach den oben genannten Modifikationsabläufen werden die Niederauflösungsbilder um das Zweifache vergrößert, in Hochauflösungsbilder umgewandelt sowie zur Ausgabe bereitgestellt.
In dem in 3 dargestellten unpartiellen Durchschnittsfilterungs-Vergrößerungsprogramm sind die um das Zweifache primärvergrößerten Bilder als Eingabebilder zu sehen. Das Eingabebild ist als ursprüngliche Pixelmatrix ”Xi” definiert. Wie in 3 zu sehen ist, bedeutet das ”n” ein Originalpixel ”n” in der Pixelmatrix ”Xi”.
Wie 4 zeigt, wird die Originalpixelmatrix ”Xi” beim unpartiellen Durchschnittsfilterungs-Vergrößerungsprogramm durch das Konvertierungsmodul mittels des bi-kubischen Interpolationsverfahrens berechnet, um eine um das Zweifache vergrößerte Pixelmatrix ”Xb” zu gewinnen. Hier bedeutet das Bildzeichen ”n” ein Originalpixel ”n” aus der Pixelmatrix ”Xi”, während das Pixel ohne das Bildzeichen ”n” ein aus dem bi-kubischen Interpolationsverfahren resultierendes Ausgleichungspixel ist, welches sich zwischen den benachbarten Originalpixeln ”n” befindet.
Anschließend gleicht das Konvertierungsmodul anhand der Abweichungen zwischen der vergrößerten Pixelmatrix ”Xb” und des benachbarten Ursprungspixels ”n” das jeweilige Pixel auf das Zielpixelmatrix ”R” aus, um ein sekundärvergrößertes Bild zu gewinnen.
Die Ausgleichung jedes Pixelpunktes ”a” geht wie folgt vor:
Das Konvertierungsmodul erstellt eine leere Zielpixelmatrix ”R” und eine leere Bewertungsmatrix ”W”, wobei die jeweilige Größe von R und W identisch ist mit der vergrößerten Pixelmatrix ”Xb” oder der Pixelmatrix eines auszugebenden Hochauflösungsbildes. Wie oben beschrieben, besteht die Zielpixelmatrix ”R” aus mehreren Zielpixelpunkten ”a”, welche vor der Ausgleichung noch leer bleiben.
Wie 5 zeigt, enthält der Zielpixelpunkt ”a” im Zielpixelmatrix ”R” nicht nur den abzugleichenden Pixelpunkt sondern auch den Originalpixelpunkt ”n”, d. h. jeder Pixelpunkt in der Zielpixelmatrix ”R” ist auszubessern. Das Konvertierungsmodul wird einen Suchbereich, z. B. den zweiten Pixelpunkt, für jeden Zielpixelpunkt definieren und alle Pixelpunkte zwischen den beiden gegenüberstehenden Pixelpunkten ringsum den Zielpixelpunkt ”a” in den Suchbereich zuordnen. In 5 ist ein Zielpixelpunkt ”a” in Bezug zum abzugleichenden Pixel im vergrößerten Pixelmatrix ”Xb” genommen. Das Zeichen ”a” in 5 steht für den Zielpixelpunkt und bedeutet, dass dieser Zielpixelpunkt ”a” mit dem abzugleichenden Pixel ”a'” in der vergrößerten Pixelmatrix ”Xb” korrespondiert.
Wie in 6 dargestellt, wählt da Konvertierungsmodul zunächst einen abzugleichenden Zielpixelpunkt ”a” in der Zielpixelmatrix ”R” aus, sucht anschließend einen mit dem Zielpixelpunkt ”a” korrespondierenden Pixelpunkt ”a'” in der vergrößerten Pixelmatrix ”Xb” sowie die Originalpixelpunkte ”n” innerhalb des Suchbereichs zur Festlegung der benachbarten Pixelpunkte heraus. Zur deutlichen Kennzeichnung sind die benachbarten Pixelpunkte in 6 als benachbarte Pixelpunkte 1 bis 6 gekennzeichnet. Je nach Zielpixelpunkt ”a” kann der erwartete Pixelpunkt ”a'” ein Originalpixelpunkt ”n” oder ein abzugleichendes Pixel zwischen den Originalpixelpunkten sein.
Wie 6 zeigt, vergleicht das Konvertierungsmodul die Ähnlichkeit der benachbarten Pixelpunkten 1 bis 6 mit dem Pixelpunkt ”a'”, wobei die Ähnlichkeit der Differenzwert zwischen den benachbarten Pixelpunkten 1 bis 6 und dem Pixelpunkt ”a'” ist. Anschließend berechnet das Konvertierungsmodul den jeweiligen Bewertungswert W1 bis W6 der benachbarten Pixelpunkte 1 bis 6 anhand ihrer Ähnlichkeit, wobei der jeweilige Bewertungswert von W1 bis W6 die Funktion des Bild-Differenzwertes ist.
Wie 7 zeigt, definiert das Konvertierungsmodul für die benachbarten Pixelpunkte 1 bis 6 eine Ausgleichungsmatrix, in der sich die benachbarten Pixelpunkte 1 bis 6 in der Mitte befinden, während sich die Originalpixelpunkte ”n” in der Mitte der vergrößerten Pixelmatrix ”Xb” bzw. neben den jeweiligen Pixelpunkten 1 bis 6 befinden. In 7 ist der benachbarte Pixelpunkt 1 als Beispiel dargestellt.
Wie 8 zeigt, wird die Ausgleichungsmatrix durch das Konvertierungsmodul mit Hilfe des Akkumulationsverfahrens zur Zielpixelmatrix ”R” hinzugefügt, wobei die Ausgleichungsmatrix keine direkte Ausgleichung ausübt, sondern zunächst den entsprechenden Bewertungswert W1 bis W6 multipliziert.
Wie 9 zeigt, werden die oben genannten Bewertungswerte W1 bis W6 durch das Konvertierungsmodul mit Hilfe des Akkumulationsverfahrens abgleichend zur Bewertungsmatrix ”W” hinzugefügt, und zwar der jeweiligen Position der Zielpixelpunkte ”a” und der benachbarten Zielpixelpunkte ”a” entsprechend, z. B. die in 8 dargestellten schwarzen Felder mit den Zielpixelpunkten ”a”. Allen Zielpixelpunkten ”a” und allen benachbarten Pixelpunkten wird der Bewertungswert w = w1 + w2 + w3 + w4 + w5 + w6 gegeben, da die besagte Ausgleichung von den Bewertungswerten W1 bis W6 als Akkumulation erfolgt. Sollte ein anderer Pixelpunkt als der nächste bestimmte Pixelpunkt ”a'” bewertet werden, wird der bereits mit dem Bewertungswert abgeglichene Pixelpunkt weiterhin akkumulierend in den neu gewonnenen Bewertungswert aufgenommen.
Wie 10 zeigt, lässt das Konvertierungsmodul die jeweilige vom benachbarten Pixelpunkt 1 bis 6 abhängige Ausgleichungsmatrix den jeweiligen vom benachbarten Pixelpunkt 1 bis 6 abhängigen Bewertungswert W1 bis W6 multiplizieren und anschließend die Multiplikationsergebnisse akkumulierend in die Zielpixelmatrix ”R” aufnehmen, wobei der jeweilige benachbarte Pixelpunkt 1 bis 6 zum Zielpixelpunkt ”a” hinzugefügt wird, während der jeweilige Originalpixelpunkt ”n” neben den Zielpixelpunkt ”a” gesetzt wird. Sollte ein anderer Pixelpunkt als der nächste bestimmte Pixelpunkt ”a'” für die Ausgleichungsmatrix multipliziert werden, wird der bereits mit dem Multiplikationswert abgeglichene Pixelpunkt weiterhin akkumulierend ins neu gewonnene Multiplikationsergebnis aufgenommen.
Wie in 11 und 12 dargestellt, führt das Konvertierungsmodul an jedem Zielpixelpunkt ”a” das oben genannte Verfahren wiederholt aus, um jeden jeweiligen Pixelpunkt in der Bewertungsmatrix ”W” und in der Zielpixelmatrix ”R” mit der Änderung des bestimmten Pixelpunktes ”a'” wiederholt mit dem Ausgleichungsergebnis zu akkumulieren. Die Ausgleichung der Bewertungsmatrix ”W” und der Zielpixelmatrix ”R” erfolgt solange jeder Pixelpunkt im vergrößerten Pixelmatrix ”Xb” als ein bestimmter Pixelpunkt ”a'” definiert und eine jeweilige entsprechende Ausgleichung ausgeführt wurde.
Wie 13 zeigt, wird die Zielpixelmatrix R(i, j) durch die Bewertungsmatrix W(i, j) dividiert, woraus sich eine Ergebnismatrix Xh(i, j) ergibt Die Ergebnismatrix ”Xh” ersetzt alle Pixel in der vergrößerten Pixelmatrix ”Xb” und steht anschließend als ein sekundärvergrößertes Bild zur Ausgabe bereit.
Zuletzt wird das sekundärvergrößerte Bild durch das Konvertierungsmodul mit Hilfe des bi-kubischen Verkleinerungsverfahrens um das Zweifache verkleinert, woraus sich ein hochpixeliges Bild ergibt.
In 14 ist ein mit Hilfe des normalen bi-kubischen Interpolationsverfahrens um das Zweifache vergößertes Bild dargestellt, während in 15 ein mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Zweifache vergrößerten Bilds dargestellt ist. Bei einem Vergleich ist davon auszugehen, dass das mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms vergrößerte Bild eine bessere Bildqualität aufweist und auch die aus Störungen resultierende Undeutlichkeit auch entfernt wurde.
In 16 ist eine Haar-Transformationsanalyse an dem mit Hilfe des normalen bi-kubischen Interpolationsverfahrens um das Zweifache vergrößerte Bild dargestellt, während in 17 eine Haar-Transformationsanalyse an dem mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Zweifache vergrößerte Bild dargestellt ist. Bei einem Vergleich ist davon auszugehen, dass das mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Zweifache vergrößerte Bild einen stärkeren Hochfrequenzteil am Haar-Band in der zweiten Stufe aufweist, was bedeutet, dass beim Einsatz dieses Verfahrens mehr Bilddetails zurückgeblieben sind. Im Hochfrequenzteil des Haar-Bands in der ersten Stufe ist auffällig, dass das erfindungsgemäße Hoch- und Rückskalierungsprogramms die Hochfrequenzstörungen des Bilds verringert hat.
18 und 19 zeigen ein aus einem Teil des erfindungsgemäßen Hoch- und Rückskalierungsverfahrens resultierendes Bild mit einem aus dem Gesamtablauf des erfindungsgemäßen Hoch- und Rückskalierungsverfahrens resultierenden Bild im Vergleich. 18 zeigt ein durch das unpartielle Durchschnittsfilterungs-Vergrößerungsprogramm um das Zweifache vergrößerte Bild, während in 19 ein mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Zweifache vergrößerte Bild dargestellt ist Der Unterschied zwischen dem durch das unpartielle Durchschnittsfilterungs-Vergrößerungsprogramm um das Zweifache vergrößerte Bild und dem mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Zweifache vergrößerte Bild liegt dabei, dass das aus dem erfindungsgemäßen Hoch- und Rückskalierungsprogramm resultierende Bild mehr Hochfrequenzinformationen beinhaltet.
In 20 ist eine Haar-Transformationsanalyse an dem durch das unpartielle Durchschnittsfilterungs-Vergrößerungsprogramm um das Zweifache vergrößerte Bild dargestellt, während in 21 eine Haar-Transformationsanalyse an dem mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramm um das Zweifache vergrößerte Bild dargestellt ist. Ausgehend von dem Vergleich ist davon auszugehen, dass das mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramm um das Zweifache vergrößerte Bild einen stärkeren Hochfrequenzteil am Haar-Band in der zweiten Stufe aufweist. Das erfindungsgemäße Hoch- und Rückskalierungsprogramm kann somit die wichtigen Bilddetails verstärken.
In 22 ist ein Originalbild mit Störungen dargestellt, während in 23 ein mit Hilfe des normalen bi-kubischen Interpolationsverfahrens um das Zweifache vergrößerte Bild und in 24 ist ein mit Hilfe des erfindungsgemäßen Hoch- und Rückskalierungsprogramms um das Zweifache vergrößerte Bild dargestellt ist. Wie in 23 zu sehen ist, sind die ursprünglichen Störungen bei dem mit Hilfe des normalen bi-kubischen Interpolationsverfahrens um das Zweifache vergrößerten Bilds zugleich unmittelbar verstärkt, so dass die ursprünglichen Störungen weiterhin vorhanden sind. Das in 24 dargestellte Bild enthält deutlich weniger Störungen als das in 23 dargestellte Bild, da das von dem erfindungsgemäßen Hoch- und Rückskalierungsprogramm enthaltene unpartielle Durchschnittsfilterungs-Vergrößerungsprogramm den größten Teil der Störungen herausgefiltert hat.
25 ist ein weiteres Verfahren zur Hoch- und Rückskalierung von Bildern dargestellt.
Bei dem ersten Hoch- und Rückskalierungsverfahren erfolgt die Vergrößerung von einem gering aufgelösten zu einem hoch aufgelösten Bild auf das 2^N-fache, d. h. das gering aufgelöste Bild wird nach N-maligen Hoch- und Rückskalierungszyklen um das 2^N-fache vergrößert. Um übermäßigen Rechenzeitverbrauch durch mehrmaliges Hoch- und Rückskalieren zu vermeiden, kann das erfindungsgemäße Hoch- und Rückskalierungsverfahren einen einzelnen Hoch- und Rückskalierungszyklus ausführen, um ein gering aufgelöstes Bild direkt auf eine gewünschte Vergrößerungsrate zu vergrößern.
Wie in 25 abgebildet, wird ein gering aufgelöstes Bild durch das Konvertierungsmodul mit Hilfe eines normalen Vergrößerungsverfahrens zu einem primärvergrößerten Bild mit M-facher Auflösung vergrößert (Schritt 221), wenn die Zielvergrößerungsrate bei M (2 oder eine Intergralzahl größer als 2) liegt Hierbei kann das primärvergrößerte Bild aufgrund der im ursprünglichen niedrig aufgelösten Bild enthaltenen Störungen auch Störungen enthalten.
Anschließend führt das Konvertierungsmodul einen einzelnen Hoch- und Rückskalierungszyklus aus. Bei diesem Hoch- und Rückskalierungszyklus wird die Auflösung der primärvergrößerten Bildaufnahme durch das Konvertierungsmodul mit Hilfe des unpartiellen Durchschnittsfilterungs-Vergrößerungsprogramms nochmal um das Zweifache erhöht, damit es ein sekundärvergrößertes Bild wird (Schritt 222).
Das sekundärvergrößerte Bild wird zuletzt mittels des bi-kubischen Interpolationsverfahrens oder eines beliebigen anderen Interpolationsverfahrens um das Zweifache verkleinert, d. h. die um das Zweifache vergrößerte Bildaufnahme wird um die Hälfte der ursprünglichen Auflösung verkleinert (Schritt 223).
Nach den oben genannten Modifikationsabläufen werden die gering aufgelösten Bilder um das M-fache vergrößert, in hoch aufgelöste Bilder umgewandelt und ausgegeben.
Nachdem das gering aufgelöste Bild in ein hoch aufgelöstes Bild umgewandelt wurde, werden die im gering aufgelösten Bild enthaltenen Störungen herausgefiltert, da die erste Vergrößerung mit dem Hoch- und Rückskalierungsprogramm erfolgte, das noch das unpartielle Durchschnittsfilterungs-Vergrößerungsprogramm enthält.
Bei der vorliegenden Ausführungsform wird das gering aufgelöste Bild um das zweifache vergrößert, um seine Auflösung höher als die des erwarteten hoch aufgelösten Bilds zu erhöhen und mehr Details zu erzeugen. Das vergrößerte Bild wird anschließend zu einem auszugebenden hoch aufgelösten Bild verkleinert. Nach den zweimaligen Vergrößerungen und der anschließenden. Verkleinerung werden die in der Bildaufnahme enthaltenen Störungen beseitigt, wobei die Linienmerkmale zurückbleiben und eine bessere Bildqualität entsteht, auch wenn eine verzerrte Kompression oder eine Stream-Bildaufnahme vergrößert wird.
Bei dem erfindungsgemäßen Hoch- und Rückskalierungsverfahren liegt ein einzelnes Bild zugrunde, bei dem die Bilddetails nach der Verbindlichkeit des eigenen partiellen Feldes mit den benachbarten Zonen verstärkt werden, wofür nur eine kurze Betriebsdauer notwendig ist, d. h. das erfindungsgemäße Hoch- und Rückskalierungsverfahren kann die zur Erhöhung der Bildauflösung notwendige Kalkulationsleistung heruntersetzen, ohne die Verbindung zwischen mehreren Frames zu berücksichtigen oder das hoch aufgelöste Bild mit den vorbereiteten Daten abzugleichen.
Das erfindungsgemäße Verfahren kann somit in Stream-Medien integriert werden, die von den Stream-Medien versendeten Bilder empfangen, jedes empfangene Bild realzeitig verarbeiten und ausgeben, um eine bessere Bildqualität zu erreichen.

Claims

Verfahren zur Hoch- und Rückskalierung von Bildern zur Umwandlung geringpixeliger Bildaufnahmen in hochpixelige Bildaufnahmen, mit folgenden Verfahrensschritten: • Aufnehmen eines geringpixeligen Bildes; und • Ausführen eines Hoch- und Rückskalierungsprogramms, um die geringpixelige Bildaufnahme zur hochpixeligen Bildaufnahme mit Intergralfach-Auflösung zu vergrößern. Das Hoch- und Rückskalierungsprogramm besteht aus folgenden Schritten: • Vergrößern der geringpixeligen Bildaufnahme um ein Vielfaches, damit das geringpixelige Bild ein primärvergrößertes Bild mit Vielfach-Auflösung wird; • Vergrößern der primärvergrößerten Bildaufnahme nochmal um das Zweifache, damit es ein sekundärvergrößertes Bild wird; und • Verkleinern der sekundärvergrößerten Bildaufnahme um das Zweifache, damit es ein hoch aufgelöstes Bild wird.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 1, dadurch gekennzeichnet, dass die besagten Schritte durch ein Konvertierungsmodul ausgeführt werden.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 2, dadurch gekennzeichnet, dass das Konvertierungsmodul als Datenverarbeitungseinrichtung in einer installierten Konvertierungssoftware ist.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 3, dadurch gekennzeichnet, dass die Konvertierungssoftware in einer Medienwiedergabesoftware integrierte ist, geringpixelige Bilder zuerst verarbeitet und anschließend der Medienwiedergabesoftware die daraus resultierenden hoch aufgelösten Bilder wiedergibt
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 1, dadurch gekennzeichnet, dass das Vielfache das Zweifache ist
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 5, dadurch gekennzeichnet, dass N-malig die Hoch- und Rückskalierung ausgeführt wird, um ein gering aufgelöstes Bild um das 2^N-fache zu vergrößern.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 1, dadurch gekennzeichnet, dass das sekundärvergrößerte Bild mit Hilfe des bi-kubischen Interpolationsverfahrens um das Zweifache verkleinert wird.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 1, dadurch gekennzeichnet, dass der Ablauf zur Generierung des sekundärvergrößerten Bildes wie folgt aussieht: • Definieren des primärvergrößerten Bildes als eine Originalpixelmatrix mit mehreren Originalpixeln; • Gewinnen eines um das Zweifache vergrößerten Pixelmatrix auf der Grundlage der Originalpixelmatrix, wobei die vergrößerte Pixelmatrix die Originalpixel und mehrere zwischen den Originalpixeln liegende Ausgleichungspixel enthält; und • Gewinnen eines sekundärvergrößerten Bilds durch erneute Ausgleichung des jeweiligen Originalpixels und des jeweiligen Ausgleichungspixels nach der Abweichung zwischen dem jeweiligen Ausgleichungspixel und dem jeweiligen benachbarten Originalpixel.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 8, dadurch gekennzeichnet, dass die Originalpixelmatrix zur Gewinnung der vergrößerten Pixelmatrix aus der Originalpixelmatrix mit Hilfe des bi-kubischen Interpolationsverfahrens gerechnet wird.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 8, dadurch gekennzeichnet, dass der Ablauf zur erneuten Ausgleichung des jeweiligen Ausgleichungspixels wie folgt aussieht: • Erstellen einer leeren Zielpixelmatrix und einer leeren Bewertungsmatrix, deren Größe identisch mit der vergrößerten Pixelmatrix ist; • Definieren jedes Pixelpunktes in der Zielpixelmatrix als ein Zielpixelpunkt, für den ferner ein Suchbereich zu definieren ist; • Auswählen eines Zielpixelpunktes und Heraussuchen eines mit diesem Zielpixelpunkt korrespondierenden Vorgabepixelpunktes in der vergrößerten Pixelmatrix; • Die Originalpixelpunkte werden innerhalb des Suchbereichs herausgesucht und dann jeweils als ein benachbarter Pixelpunkt definiert, anschließend wird die Ähnlichkeit des jeweiligen benachbarten Pixelpunktes mit dem Zielpixelpunkt berechnet; • Der jeweilige Bewertungswert wird nach der jeweiligen Ähnlichkeit berechnet und dann mittels des Akkumulationsverfahrens abgleichend in die Bewertungsmatrix hinzugefügt, und zwar dem Zielpixelpunkt und den von diesem Zielpixelpunkt benachbarten Positionen entsprechend; • Definieren einer Ausgleichungsmatrix für den jeweiligen benachbarten Pixelpunkt, wobei die Ausgleichungsmatrix den in der Mitte liegenden benachbarten Pixelpunkt und den im Originalpixelmatrix befindlichen Originalpixelpunkt enthält; • Das jeweilige von den benachbarten Pixelpunkten abhängige Ausgleichungsmatrix wird mit dem jeweiligen von den benachbarten Pixelpunkten abhängigen Bewertungswert multipliziert anschließend werden die Multiplikationsergebnisse akkumulativ in die Zielpixelmatrix aufgenommen, wobei der jeweilige benachbarte Pixelpunkt zum Zielpixelpunkt hinzugefügt wird, während der jeweilige Originalpixelpunkt in die benachbarte Position des Zielpixelpunkts hinzugefügt wird; • Wiederholen der oben genannten Schritte, bis die Bewertungsmatrix und die Zielpixelmatrix vollständig abgeglichen sind; und • Dividieren der Zielpixelmatrix durch die Bewertungsmatrix, anschließend wird die sich daraus ergebene Ergebnismatrix als das sekundärvergrößerte Bild ausgegeben.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 10, dadurch gekennzeichnet, dass die Ähnlichkeit der Differenzwert zwischen dem jeweiligen benachbarten Pixelpunkt und dem Zielpixelpunkt ist.
Verfahren zur Hoch- und Rückskalierung von Bildern nach Anspruch 11, dadurch gekennzeichnet, dass der jeweilige Bewertungswert die Funktion des Bild-Differenzwertes ist.