DE602004009219T2

DE602004009219T2 - Verfahren und system zur bestimmung der verschiebung eines pixels und aufzeichnungsmedium dafür

Info

Publication number: DE602004009219T2
Application number: DE602004009219T
Authority: DE
Inventors: Laurent Blonde; David Sahuc; Paul Kerbiriou
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2004-01-06
Filing date: 2004-12-30
Publication date: 2008-06-26
Anticipated expiration: 2024-12-31
Also published as: WO2005076628A3; WO2005076628A2; US7379565B2; FR2864878B1; US20070076919A1; EP1702472B1; DE602004009219D1; EP1702472A2; FR2864878A1

Description

Die Erfindung betrifft ein Verfahren und ein System zur Bestimmung der Verschiebung eines Pixels zwischen zwei Bildern sowie ein Verfahren zur Bildsynthese und ein Informationsaufzeichnungsmedium für die Durchführung des Verfahrens.
Genauer gesagt, betrifft die Erfindung ein Verfahren zur Bestimmung der Verschiebung eines Pixels zwischen einem ersten und einem zweiten Bild, wobei das erste Bild von einer ein Objekt und einen gegebenen Aufnahmepunkt enthaltenden ersten Szene synthetisiert wird und das zweite Bild von einer dasselbe Objekt enthaltenden zweiten Szene synthetisiert wird, wobei die zweite Szene von der ersten Szene gewonnen wird, indem das Objekt in der ersten Szene verschoben und/oder der Aufnahmepunkt der ersten Szene verschoben wird.
Für zahlreichen numerische Bildbearbeitungen ist es notwendig, die Position eines Punktes eines Objekts im ersten Bild und die Position dieses selben Punkten in einem zweiten Bild zu kennen. Zum Beispiel werden diese Informationen zum Bestimmen eines Verschiebungsvektors dieses Punktes zwischen dem ersten und dem zweiten Bild verwendet, d. h. der Amplitude und der Verschieberichtung oder der Translation dieses Punktes zwischen diesen beiden Bildern.
Die Gesamtheit der Verschiebungsvektoren sämtlicher Punkte eines Objekts oder eines Bildes wird als Verschiebungsvektorfelder bezeichnet.
Diese Verschiebungsfelder oder -vektoren werden insbesondere bei Verfahren zur Ausarbeitung von Zwischenbildern mit Hilfe des Prozesses der zeitlichen Interpolation verwendet. Zum Beispiel liefert bei den bekannten Verfahren zur Bildsynthese ein Synthesemodul allein solche Bilder ab wie ebene Bilder einer in drei Dimensionen definierten Szene. So muß gegenwärtig zur Bestimmung der Anfangsposition eines Pixels im ersten Bild und dessen Endposition im zweiten Bild ein auf diese Aufgabe ausgerichteter Berechnungsmodul zusätzlich zu dem Synthesemodul verwendet werden. Zu diesem Zweck arbeitet der Berechnungsmodul direkt mit den die dreidimensionale Szene definierenden Daten, d. h. mit denselben Daten wie denjenigen, die durch den Synthesemodul bearbeitet werden.
Zum Beispiel ermittelt der Berechnungsmodul die Endposition eines Pixels aus Informationen über die Verschiebung von Objekten in einer Szene zwischen Momenten, wo ein erstes und ein zweites Bild aufgenommen wird, sowie aus Informationen über die Verschiebung des Aufnahmepunktes zwischen diesen selben Momenten. Diese Berechnungen sind langwierig und kompliziert, so daß der Berechnungsmodul als solcher komplex und langsam ist.
Die Erfindung beabsichtigt, diesen Nachteil zu beseitigen, indem ein Verfahren zur Bestimmung der Verschiebung eines Pixels zwischen einem ersten und einem zweiten Bild vorgeschlagen wird, das es ermöglicht, den Berechnungsmodul zu vereinfachen.
Die Erfindung setzt sich somit ein Verfahren, wie oben beschrieben, zur Aufgabe, das dadurch gekennzeichnet ist, daß

– es vor der Synthese des zweiten Bildes einen Schritt der Farbdefinition zumindest eines Punktes des Objekts in der zweiten Szene auf der Grundlage der Position dieses Punktes in der ersten Szene umfaßt, derart, daß die Farbe des diesem Punkt entsprechenden Pixels des zweiten Bildes die Position dieses Punktes im ersten Bild angibt, wobei dieser Definitionsschritt folgendes umfaßt:
– eine Operation zur Projektion eines von einer Pixelmenge gebildeten dritten Bildes auf das Objekt der zweiten Szene, wobei die Farbe jedes Pixels seine Position im dritten Bild angibt und das dritte Bild von einem Projektor projiziert wird, dessen Position in Bezug auf das Objekt, das er in der zweiten Szene beleuchtet, so gewählt ist, daß sie die gleiche ist wie die relative Position des Aufnahmepunktes in Bezug auf das Objekt in der ersten Szene,
– eine Operation zur Modifizierung der Oberflächenaspekte des beleuchteten Objekts in der Weise, daß die Oberfläche diese Objekts die Beleuchtung des Projektors zum Aufnahmepunkt hin verteilt und
– eine Operation zur Unterdrückung von Streulichtquellen, die in der Lage sind, die durch einen oder mehrere Punkte des Objekts verteilte Farbe zu verändern, und
– dadurch, daß es nach der Synthese des zweiten Bildes von der zweiten Szene, bei der die Farbe zumindest eines Punktes des Objekts in der Definitionsstufe definiert worden ist, folgendes für diesen oder jeden Punkt des Objekts umfaßt:
– eine Operation zur Aufnahme der Position und der Farbe eines diesem Punkt entsprechenden Pixels des zweiten Bildes,
– eine Operation zur Deduktion der Position des Punktes des Objekts im ersten Bild von der aufgenommenen Farbe und
– eine Operation zur Bestimmung der Verschiebung des Pixels von der im zweiten Bild aufgenommenen Position und der deduzierten Position der Farbe des Pixels.

Dank dieses zweiten Bildes ist die Bestimmung der Anfangsposition und der Endposition eines Punktes eines Objektes vereinfacht, da es hierzu ausreicht, die Position und die Farbe eines Pixels in das zweite Bild aufzunehmen, um die Position des entsprechenden Punktes des Objekts im zweiten Bild bzw. im ersten Bild zu kennen. Der Berechnungsmodul muß daher nicht mehr komplizierte Berechnungen zur Bestimmung dieser Informationen ausführen. Des weiteren ist zu bemerken, daß der Berechnungsmodul nicht mehr mit den Eingabedaten des Synthesemoduls arbeitet, d. h. den Daten, die die dreidimensionale Szene definieren, sondern allein mit einem Bild, d. h. zweidimensionalen Daten.
Die Erfindung setzt sich ferner ein Verfahren zur Bildsynthese zur Aufgabe, wobei jedes Bild von einer Pixelmenge gebildet ist, und dieses Verfahren folgendes umfaßt:

– einen ersten Schritt zur Synthese eines ersten Bildes von einer ersten Szene, wobei das erste Bild außerdem ein Objekt in der ersten Szene darstellt, das von einem gegebenen Aufnahmepunkt aufgenommen ist, und
– einen zweiten Schritt zur Synthese eines zweiten Bildes von einer zweiten Szene, wobei diese zweite Szene von der ersten Szene unter Verschiebung des Objekts in der ersten Szene und/oder durch Verschiebung des Aufnahmepunktes der ersten Szene gewonnen wird,
– einen Schritt zur Bestimmung der Verschiebung zumindest eines Pixels zwischen dem ersten und dem zweiten Bild, wobei dieser Schritt dadurch ausgeführt wird, daß ein Verfahren zur Bestimmung der Verschiebung eines Pixels nach der Erfindung eingesetzt wird, und
– einen Schritt zur Ausarbeitung durch zeitliche Interpolation zumindest eines Zwischenbildes zwischen dem ersten dem zweiten Bild, die mit Hilfe von Informationen über die zuvor bestimmte Verschiebung des oder jedes Pixels synthetisiert worden sind.

Die Erfindung hat ferner ein Aufzeichnungsmedium für Informationen zur Aufgabe, das dadurch gekennzeichnet ist, daß es Instruktionen zur Einsetzung des Bestimmungs- oder Syntheseverfahrens nach der Erfindung umfaßt, wobei diese Instruktionen von einem elektronischen Rechner ausgeführt werden.
Die Erfindung hat ferner ein System zur Bestimmung der Verschiebung eines Pixels zwischen einem ersten und einem zweiten Synthesebild zur Aufgabe, wobei die Bilder von einer Pixelmenge gebildet sind, das erste Bild von einer ein Objekt und einen gegebenen Aufnahmepunkt enthaltenden ersten Szene und das zweite Bild von einer dasselbe Objekt enthaltenden zweiten Szene synthetisiert ist, wobei diese zweite Szene von der ersten Szene durch Verschiebung des Objekts in der ersten Szene und/oder durch Verschiebung des Aufnahmepunktes der ersten Szene gewonnen wird, und wobei dieses System folgendes umfaßt:

– einen zum Erzeugen von Bildern von einer dreidimensionalen Szene geeigneten Bildsynthesemodul und
– einen Steuermodul, dazu geeignet, ein erstes Mal den Synthesemodul zum Erzeugen des ersten Bildes von der ersten Szene zu aktivieren und den Synthesemodul zum Erzeugen des zweiten Bildes von der zweiten Szene ein zweites Mal zu aktivieren, dadurch gekennzeichnet,
– daß der Steuermodul in der Lage ist, automatisch die Farbe zumindest eines Punktes des Objekts in der zweiten Szene auf der Grundlage der Position dieses Punktes in der ersten Szene zu definieren, derart, daß die diesem Punkt entsprechende Farbe des Pixels im zweiten Bild die Position dieses Pixels im ersten Bild angibt, wobei der Steuermodul hierzu geeignet ist, folgendes auszuführen:
– eine Operation zur Projektion eines von einer Pixelmenge gebildeten dritten Bildes auf das Objekt der zweiten Szene, wobei die Farbe jedes Pixels seine Position in diesem dritten Bild anzeigt und dieses dritte Bild von einem Projektor aus projiziert wird, dessen Relativstellung in Bezug auf das Objekt, das er in der zweiten Szene beleuchtet, so gewählt ist, daß sie die gleiche ist wie die Relativstellung des Aufnahmepunktes in Bezug auf dieses Objekt in der ersten Szene,
– eine Operation zur Modifikation der Oberflächenaspekte des beleuchteten Objekts, derart, daß die Oberfläche des Objekts die Beleuchtung des Projektors zum Aufnahmepunkt hin verteilt, und
– eine Operation zur Unterdrückung von Streulichtquellen, die in der Lage sind, die von einem oder mehreren Punkten des Objektes verteilte Farbe zu modifizieren, und
– dadurch, daß das System einen Modul zur Berechnung der Verschiebung zumindest eines Pixels zwischen dem ersten und zweiten Bild umfaßt, mit der Fähigkeit, für den oder jeden Punkt des Objekts,
– die Position und die Farbe eines Pixels des zweiten Bildes entsprechend diesem Punkt aufzunehmen,
– die Position des Punktes des Objekts im ersten Bild von der aufgenommen Farbe zu deduzieren, und
– die Verschiebung dieses Pixels von der aufgenommenen Position im zweiten Bild und der deduzierten Position der Farbe des Pixels zu bestimmen.

Die Erfindung wird besser verständlich beim Lesen der jetzt folgenden Beschreibung, die allein beispielhaft gegeben ist und unter Bezugnahme auf die Zeichnungen erfolgt, in denen
1 eine schematische Darstellung des Aufbaus eines Systems nach der Erfindung st,
die 2 und 3 jeweils perspektivische Ansichten einer dreidimensionalen Szene sind,
die 4 und 5 jeweils zweidimensionale Bilder entsprechend den dreidimensionalen Szenen der 2 und 3 sind,
6 ein Organigramm eines Verfahrens nach der Erfindung ist,
7 eine perspektivische Ansicht der dreidimensionalen Szene der 3 ist,
8 eine schematische Darstellung eines auf die Szene der 7 projizierten Bildes ist und
9 ein zweidimensionales Bild entsprechend der Szene der 7 ist.
Die 1 stellt ein elektronisches System zur Bildsynthese dar, das allgemein mit der Bezugszahl 2 bezeichnet ist. Das System 2 umfaßt einen elektronischen Rechner 4 wie etwa eine Zentraleinheit eines herkömmlichen Computers, in Verbindung mit einem Bildschirm 6 und einem Speicher 8.
Das System 2 umfaßt ferner eine Schnittfläche Mensch/Maschine 10, die es einem Benutzer ermöglicht, Objektverschiebungsbefehle vorzunehmen. Beispielsweise ist diese Schnittfläche 10 hier von einer alphanumerischen Tastatur 11 und einem Steuerhebel 12 gebildet, der bekannter ist unter dem englischen Ausdruck "joystick". Der Rechner 4 umfaßt einen Modul 20 zur Synthese numerischer Bilder und einen Modul 22 zum Steuern des Moduls 20.
Der Modul 22 ist in der Lage, ein numerisches Modell einer dreidimensionalen Szene zu definieren, wie etwa eine Szene 28, die in Perspektive in 2 in einem Moment T dargestellt ist.
Als Beispiel umfaßt die zur Veranschaulichung der vorliegenden Beschreibung verwendete dreidimensionale Szene nur zwei Objekte, d. h. hier einen Kegel 30 und einen Zylinder 32.
Die geometrische Form jedes Objekts ist durch eine Anordnung mehrerer aneinandergrenzender Facetten definiert. In 2 sind hier diese Facetten durch Dreiecke 34 dargestellt.
Jede Facette jedes Objekts bietet einen Oberflächenaspekt dar. Dieser Oberflächenaspekt ist regulierbar. Zum Beispiel sind die Textur oder das Material der Facette, ihr Lichtreflexionskoeffizient und ihre Leitfähigkeit regulierbar.
Typischerweise umfaßt eine Szene ferner einen oder mehrere Projektoren, die dazu dienen, die Objekte der Szene zu beleuchten. Hier sind als Veranschaulichungsbeispiel zwei Projektoren 36 und 38 in 2 dargestellt.
Für jeden Projektor ist es möglich, seine Position, seine Ausrichtung, sein Sichtfeld sowie das auf die Szene projizierte Bild zu definieren. Darüber hinaus ist es möglich, die Lichtwirkung des Projektors zu definieren, d. h. beispielsweise die Facetten jedes Objekts, die durch den Projektor beleuchtet werden.
Schließlich umfaßt jede Szene zumindest einen Aufnahmepunkt, der hier durch eine Kamera 40 dargestellt ist. Die Position, die Ausrichtung sowie das Sichtfeld dieser Kamera 40 sind regulierbar.
Die Position der Objekte, der Projektoren und der Kamera ist hier in Bezug auf eine fixe orthonormale Markierung definiert, die in 2 durch die Achsen X, Y und Z dargestellt ist.
Der Steuermodul 22 ermöglicht es dem Benutzer, die verschiedenen Parameter dieser Szene einzustellen und insbesondere die Objekte, den Aufnahmepunkt oder die Position der Projektoren zu verschieben.
Zum Beispiel stellt die 3 eine Szene 42 entsprechend der Szene 28 in einem Moment T + 1 dar, nachdem der Kegel 30 entlang der Achse Z verschoben worden ist, während der Zylinder 32 unbewegt geblieben ist. Diese Steuerung der Verschiebung des Kegels 30 ist zum Beispiel vom Benutzer mit Hilfe des Steuerhebels 12 erzeugt worden. Die Verschiebung ist mit D bezeichnet und durch einen Pfeil D in 3 dargestellt.
Der Synthesemodul 20 ist in der Lage, ein Bild mit zwei Dimensionen von der durch den Steuermodul 22 definierten Szene zu erzeugen. Genauer gesagt, ist der Modul 20 in der Lage, das Bild der dreidimensionalen Szene zu erzeugen, die die Kamera 40 filmt. Zum Beispiel setzt der Modul 20 zu diesem Zweck ein bekanntes Verfahren in Gang, das mit Hilfe der Open-GL-Technologie realisiert wird. Informationen über diese Technologie können online unter der folgenden Adresse erhalten werden: http://developer.apple.com/documentation/Graphicslmaging/Conceptual/OpenGL/chap2/Chapter_2_section_3.html.
Die 4 und 5 stellen Bilder 44 und 46 dar, die vom Modul 20 für die Szene 28 bzw. 42 synthetisiert worden sind.
Bei den Bildern 44 und 46 entsprechen die Achsen Y und Z denjenigen der orthonormalen Markierung der Szenen 28 und 42.
Die vom Modul 20 synthetisierten Bilder können auf dem Bildschirm 6 sichtbar gemacht werden. Zum Beispiel sind diese Bilder hier Bilder von 256×256 Pixel.
In den 4 und 5 ist eine orthonormale Markierung α, β dargestellt, die in Pixelzahlen unterteilt ist und deren Ursprung dem Pixel im linken unteren Winkel des Bildes entspricht. Diese orthonormale Markierung α, β ermöglicht es, die Position jedes Pixels des Bildes durch ein Paar von Koordinaten (i, j) zu definieren, wobei i und j den Koordinaten des Pixels auf der Achse α bzw. β entsprechen.
Der Modul 20 umfaßt ferner einen Untermodul 48 zur Farbglättung. Wenn die Oberfläche eines Punktes eines Objekts entsprechend einem Pixel zwei verschiedene Farben umfaßt, die durch eine Grenze getrennt sind, ist es nämlich notwendig, eine Maßnahme anzuwenden, die es dem Modul 20 ermöglicht, diesem Pixel eine einzige Farbe zuzuweisen. In einer solchen Situation wirkt der Untermodul 48 hier in der Weise, daß dieser Farbunterschied geglättet und somit eine Zwischenfarbe zwischen den auf beiden Seiten der Grenze vorhandenen Farben gewählt wird. Genauer gesagt, bestimmt der Untermodul 48 diese dem Pixel zuzuweisende Zwischenfarbe durch lineare Interpolation.
Der Rechner 4 umfaßt ferner einen Modul 50 zur Berechnung eines Verschiebungsvektorenfeldes sowie einen Modul 52 zur Ausarbeitung von Zwischenbildern. Der Modul 50 dient dazu, den Verschiebungsvektor der Pixel zwischen zwei aufeinanderfolgenden synthetisierten Bildern zu berechnen. Zum Beispiel ist der Modul 50 in der Lage, den Verschiebungsvektor sämtlicher Pixel des Bildes 44 zwischen den Momenten T und T + 1 zu berechnen.
Der Modul 52 ist in der Lage, Zwischenbilder zu berechnen, die die von der Kamera 40 gefilmte Szene in einem Zwischenmoment zwischen den Momenten T und T + 1 darstellen. Zu diesem Zweck setzt der Modul 52 einen bekannten zeitlichen Interpolationsprozeß ein, wie er etwa im EP-Patent 0 294 282 B1 beschrieben ist.
Schließlich ist der Rechner 4 in der Lage, auf dem Bildschirm 6 die Sichtbarmachung einer zeitlich geordneten Bildsequenz oder Videosequenz zu steuern, die von den durch den Modul 20 synthetisierten Bildern gebildet sind, zwischen denen Zwischenbilder eingeschoben sind, die durch den Modul 52 hergestellt sind.
Der Rechner 4 ist hierbei ein herkömmlicher programmierbarer elektronischer Rechner und die verschiedenen Module 20, 22, 50 und 52 sind zum Beispiel Softwaremodule.
Die diesen Softwaremodulen entsprechenden Instruktionen sind beispielsweise im Speicher 8 aufgezeichnet. Diese Instruktionen sind dazu geeignet, das Verfahren gemäß 6 auszuführen.
Die Funktionsweise des Systems 2 wird nun mit Blick auf die 6 und für den speziellen Fall der Szenen 28 und 42 beschrieben.
Zu Beginn synthetisiert der Modul 20 in einem Schritt 70 das Bild 44 von der durch den Steuermodul 22 definierten Szene 28.
Sodann synthetisiert der Modul 20 in einem Schritt 72 das Bild 46 von der durch den Steuermodul 22 definierten Szene 42.
Das System 2 geht sodann über zu einem Schritt 74 der Erzeugung eines dritten Bildes, das beispielsweise identisch ist mit dem zweiten Bild 46 mit Ausnahme der Tatsache, daß jedes Pixel eines Objekts eine Farbe auf der Grundlage des Platzes darbietet, den im Moment T der diesem Pixel entsprechende Punkt des Objektes einnahm.
Zu diesem Zweck definiert der Modul 22 automatisch, in einer Operation 76, eine dritte Szene 80 (7). Diese Szene 80 ist geometrisch identisch mit der Szene 42 mit Ausnahme der Stellung der Projektoren.
Vorzugsweise wird diese Szene 80 von der Szene 42 gebildet, um die Identität der Position der Objekte 30 und 32 und der Kamera 40 beizubehalten.
Zur Herstellung der Szene 80 von der Szene 42 unterdrückt der Modul 22 in einer Unteroperation 46 sämtliche Projektoren oder Lichtquellen der Szene 42. Nachfolgend weist der Modul 22, in einer Unteroperation 88, sämtlichen Objekten der Szene 42 den gleichen Oberflächenaspekt zu. Der Oberflächenaspekt wird hierbei so gewählt, daß die Oberfläche sämtlicher Objekte perfekt streut, d. h. daß die Oberfläche nicht die Farbe des Lichtes, das sie zurücksendet, verändert und daß sie es im gan zen Raum mit dem gleichen Wert verteilt. Somit verteilt, wenn ein Punkt eines Objekts mit einem roten Lichtstrahl beleuchtet wird, dieser Punkt im ganzen Raum ein Licht von exakt dem gleichen Rot.
Anschließend installiert der Modul 22, in einer Unteroperation 90, einen Projektor für jedes statische Teil oder statische Objekt in der Szene und einen Projektor für jedes bewegliche Objekt der Szene. Die statischen Objekte oder Teile sind die Teile oder Objekte, die zwischen dem Moment T und dem Moment T + 1 nicht verschoben werden, hier zum Beispiel der Zylinder 32. Die beweglichen Objekte sind im Gegensatz dazu die Objekte, die zwischen dem Moment T und dem Moment T + 1 verschoben werden. Vorzugsweise weist man ein und denselben Projektor einer Gruppe mehrerer beweglicher Objekte zu, wenn die relative Position dieser Objekte zueinander zwischen dem Moment T und dem Moment T + 1 unverändert bleibt.
Ein Projektor 82 ist hier zum Beleuchten des Zylinders 32 installiert, während ein Projektor 84 zum Beleuchten des Kegels 30 installiert ist.
Der Modul 22 reguliert, in der Unteroperation 90, die Richtwirkung der Projektoren 82 und 84 in der Weise, daß sie nur die Facetten des Objekts, dem sie zugeordnet sind, beleuchten, die auf dem Bild 44 sichtbar sind.
In einer Unteroperation 92 bestimmt der Modul 22 die Position jedes Projektors gegenüber dem Objekt, das er beleuchtet. Zu diesem Zweck wird die Position jedes Projektors gegenüber dem Objekt, das er beleuchtet, in der Weise gewählt, daß diese Position identisch ist mit derjenigen, die die Kamera 40 gegenüber diesem gleichen Objekt in der Szene 28 einnimmt. Folglich ist, da hier weder die Position des Zylinders 32 noch die Position der Kamera 40 zwischen den Momenten T und T + 1 verändert worden sind, der Projektor 82, der den Zylinder 32 beleuchtet, in der gleichen Position plaziert wie die Kamera 40. Im Gegensatz dazu wird, damit der Projektor 84 gegenüber dem Kegel 30 in der gleichen Position plaziert ist wie die Kamera 40 in der Szene 28, die Position des Projektors 84 mit einer Distanz D entlang der Achse Z von der Position der Kamera 40 verschoben. Diese Distanz D ist identisch mit dem Ausmaß der Verschiebung D des Kegels 30.
Somit bleibt der Projektor 34 in gewisser Weise unbeweglich in Bezug auf den Kegel 30 trotz dessen Verschiebung zwischen den Momenten T und T + 1.
Diese Vorgehensweise zur Plazierung der Projektoren der Szene 80 ermöglicht es, einen Relation zwischen der Position im Bild 44 der Punkte jedes von dem Projektor beleuchteten Objekts und der Farbe zu schaffen, mit der diese Punkte bei einer der folgenden Unteroperationen beleuchtet werden. Außerdem ermöglicht es die Wahl, den Projektor gegenüber dem Objekt, das er beleuchtet, in der gleichen Position wie derjenigen zu plazieren, die die Kamera 40 im vorausgehenden Moment einnimmt, d. h. im Moment T, die beleuchtete Oberfläche des Objekts zu maximieren, die für die Bestimmung beispielsweise der Verschiebungsvektorfelder nutzbar ist.
In einer Unteroperation 94 wird das Sichtfeld jedes Projektors so eingestellt, daß es demjenigen der Kamera 40 im Moment T entspricht; sodann wird, in einer Unteroperation 96, jeder Projektor ferner wie die Kamera 40 im Moment T ausgerichtet.
Schließlich definiert, in einer Unteroperation 98, der Modul 22 das von jedem Projektor auf das Objekt, das er beleuchtet, projizierte Bild. In dem projizierten Bild ist die Farbe jedes Pixels durch eine eindeutige Funktion mit der Position dieses Pixels in diesem Bild verbunden, so daß die Farbe des Pixels seine Position anzeigt oder, anders ausgedrückt, die Zeile und Spalte des Pixels im Bild identifiziert.
Die Anzahl möglicher Farben ist größer als die Anzahl von Pixeln der synthetisierten Bilder und vorzugsweise mindestens 2, 3 oder 4 mal größer als die Anzahl von Pixeln der synthetisierten Bilder. Um die Beschreibung zu vereinfachen, wird jede Farbe durch ein Paar von Werten (k, l) dargestellt, wobei k beispielsweise die Menge von Rot und l beispielsweise die Menge von Grün darstellt. Bei dem hier beschriebenen Beispiel wird angenommen, daß drei mal mehr mögliche Farben als Pixel vorhanden sind. Somit wird, da die synthetisierten Bilder Bilder von 256/256 Pixel sind, die ma ximale Menge von Rot oder von Grün durch den Wert 768 dargestellt, während die minimale Menge durch den Wert 1 dargestellt wird, wobei die Werte k und l alle ganzen Werte zwischen 1 und 768 annehmen können.
Sämtliche Projektoren der Szene 80 projizieren hier das gleiche Bild, d. h. ein Bild 104 (8). Die 8 umfaßt eine Markierung α, β, die mit derjenigen der 4 und 5 identisch ist, um die Position der Pixel des Bildes 104 zu orten. Zum Zwecke der Veranschaulichung sind lediglich einige Pixel des Bildes 104 durch Quadrate 106 dargestellt. Die jedem der Pixel zugeordneten Farben sind durch ein Paar von Werten (k, l) dargestellt, die in dieser Figur in Klammern angegeben sind. Die den Pixeln des Bildes 104 zugeordneten Farben sind in der Weise organisiert, daß ein Farbgradient entlang der Achse α und entlang der Achse β erzeugt wird. Somit ist das am Ursprung der Achsen α und β gelegene Pixel mit der Farbe (1, 1) assoziiert. Ausgehend von diesem Pixel bilden die jedem Pixel des Bildes 104 zugewiesenen Werte des Parameters k eine geometrische Progression mit dem Quotienten 3 im Verlauf von links nach rechts entlang der Achse α. In gleicher Weise bilden die Werte des Parameters l jedes Pixels eine geometrische Progression mit dem Quotienten 3 entlang der Achse β und unter Entfernung vom Pixel mit der Farbe (1, 1).
Somit ist das im oberen rechten Winkel gelegene Pixel, d. h. das an der Schnittstelle der 256sten Zeile und der 256sten Spalte der Pixel liegende, mit der Farbe (768, 768) verbunden. Infolgedessen ist es bei dem Bild 104 in Kenntnis der Farbe eines Pixels möglich, seine Koordinaten i, j in der Markierung α, β durch einen einfachen Dreisatz aufzufinden.
Es zeigt sich somit, daß in der Szene 80 aufgrund der Wahl der Position der Projektoren 82 und 84 gegenüber den Objekten 32 und 30 und der Kodierung der Farben im projizierten Bild 104 jeder Punkt des beleuchteten Objekts eine Farbe in Funktion der Position zugewiesen bekommt, die er im Bild 44 einnahm.
Nachdem die Konstruktion der Szene 80 abgeschlossen ist, geht der Modul 20 über zu einem Syntheseschritt 116 eines Bildes 118 (9), das von der Kamera 40 der Szene 80 gefilmt ist. Das Bild 118 ist identisch mit dem Bild 46 mit Ausnahme der Tatsache, daß die Farbe der verschiedenen Pixel eines Objekts eine Funktion der Position des entsprechenden Punktes des Objekts im Bild 44 ist. Insbesondere ist die Position der Objekte 30 und 32 identisch mit der Position dieser gleichen Objekte im Bild 46.
Nach der Synthese des Bildes 118 geht der Untermodul 48 zu einer Farbglättungsoperation 119 über, wobei die Pixel des Bildes 118 eine Zwischenfarbe zwischen denjenigen der Pixel 106 des Bildes 104 zugewiesen bekommen können. Dieses ist möglich geworden aufgrund der Tatsache, daß die mögliche Anzahl von Farben größer ist als die Anzahl von Pixeln des Bildes. Infolgedessen ist es möglich, Verschiebungen mit einer dem Pixel untergeordneten Genauigkeit zu messen, wie es beim Lesen der weiteren Beschreibung verständlich wird.
Wenn die Synthese des Bildes 118 abgeschlossen ist, berechnet der Modul 50 in einem Schritt 120 das Verschiebungsvektorenfeld. Zu diesem Zweck nimmt er, in einer Operation 122, die Position und die Farbe der Pixel des Bildes 118 auf. Zum Beispiel nimmt er auf, daß die Position eines Pixels 120 (9) (225; 128) und seine Farbe (599; 384) ist.
Sodann deduziert er, in einer Operation 124, die Position dieses Pixels im Bild 44 ausgehend von der aufgenommene Farbe. Zum Beispiel deduziert er für das Pixel 120, daß die Farbe (599; 384) der Position (199; 6666; 128) in der Markierung α, β entspricht.
Schließlich bestimmt er, in einer Operation 126, den Verschiebungsvektor jedes Pixels, indem er von der aufgenommenen Position die bei der Operation 124 deduzierte Anfangsposition subtrahiert.
Zum Beispiel ist für den Pixel 120 der Verschiebungsvektor gleich (25, 3333; 0).
Die Operationen 122 bis 126 werden für sämtliche Pixel jedes Objekts wiederholt, die von einem der Projektoren der Szene 80 beleuchtet werden.
Nachdem das Vektorenverschiebungsfeld berechnet ist, stellt der Modul 52, in einem Schritt 130, Zwischenbilder her, die die Objekte 30 und 32 in Zwischenmomenten zwischen den Momenten T und T + 1 darstellen. Zu diesem Zweck setzt der Modul 52 einen zeitlichen Interpolationsprozeß ein und verwendet das im Schritt 120 berechnete Verschiebungsvektorenfeld.
Nach diesem Schritt 130 stellt der Modul 52 zumindest ein Zwischenbild und vorzugsweise mehr als zwei, fünf oder zehn Zwischenbilder zwischen den Momenten T und T + 1 her.
Schließlich wird die zeitliche Bildsequenz, die von den zu den Momenten T und T + 1 synthetisierten Bildern 44 und 46 gebildet ist, zwischen denen im Schritt 130 hergestellte Zwischenbilder zwischengeschoben sind, auf dem Bildschirm 6 sichtbar gemacht.
Der Schritt 130 zur Herstellung eines Zwischenbildes durch zeitliche Interpolation ist schneller als die Synthese eines Bildes durch den Modul 20. Infolgedessen bietet das obige Verfahren den Vorteil, schneller zu sein als die bekannten Verfahren zur Bildsynthese. Die bekannten Verfahren zur Bildsynthese synthetisieren nämlich mit Hilfe des Moduls 20 jedes der Bilder einer zeitlichen Bildsequenz. Folglich wird der Modul 20 für eine zeitliche Sequenz von sieben Bildern sieben mal gefahren. Im Gegensatz dazu wird bei dem Verfahren gemäß 6 zur Erzeugung einer zeitlichen Sequenz von sieben Bildern der Modul 20 jeweils drei mal zum Erzeugen der Bilder 44, 46 und 118 aktiviert, während die fünf Zwischenbilder der zeitlichen Sequenz durch zeitliche Interpolation hergestellt werden. Somit wurde gemessen, daß die Gesamtzeit, die notwendig ist, um diese zeitliche Sequenz von sieben Bildern mit Hilfe des Verfahrens nach 6 herzustellen, sehr deutlich unter der Zeit liegt, die notwenig ist, um eine zeitliche Sequenz von sieben Bildern mit Hilfe der bekannten Bildsyntheseverfahren herzustellen.
Das Verfahren ist für den speziellen Fall beschrieben, daß allein ein Bild 118 zur Bestimmung des Verschiebungsvektorenfeldes hergestellt wird. In einer Variante ist das Verfahren nach 6 abgewandelt zur Herstellung eines Bildes, bei dem die Farben der Pixel die Position der Punkte der Objekte entsprechend dem Moment T anzeigen, und eines weiteren Bildes, bei dem die Farben der Pixel die Position der Punkte der Objekte im Moment T + 1 anzeigen. Um diese beiden Bilder herzustellen, wird der Schritt 74 so ausgeführt, daß einmal als Anlaufbild das in einem Moment T aufgenommene Bild und als Einlaufbild das zu einem Moment T + 1 aufgenommene Bild und ein zweites Mal als Anlaufbild das zum Moment T + 1 und als Einlaufbild das zum Moment T aufgenommene Bild genommen wird. Bei dieser Abwandlung wird der Schritt 120 für diese beiden Bilder in der Weise ausgeführt, daß man zwei Verschiebungsvektorenfelder erhält, und dem Schritt 130 geht ein Schritt voraus, der darin besteht, daß gewichtete Mittel dieser beiden Verschiebungsvektorenfelder zu errechnen. Die Berechnung des Verschiebungsvektorenfeldes einmal in dem einen Sinn, d. h. vom Moment T zum Moment T + 1, und einmal in dem anderen Sinn, d. h. vom Moment T + 1 zum Moment T, ermöglicht es, die Genauigkeit der Berechnung des Verschiebungsvektorenfeldes zu verbessern.

Claims

Verfahren zur Bestimmung der Verschiebung eines Pixels zwischen einem ersten und einem zweiten Synthesebild, wobei die Bilder von einer Pixelmenge gebildet sind, das erste Bild von einer ein Objekt und einen gegebenen Aufnahmepunkt enthaltenden ersten Szene und das zweite Bild von einer dasselbe Objekt enthaltenden zweiten Szene synthetisiert ist und wobei diese zweite Szene ausgehend von der ersten Szene durch Verschieben des Objekts in der ersten Szene und/oder durch Verschieben des Aufnahmepunktes der ersten Szene gewonnen wird, dadurch gekennzeichnet, daß: – es vor der Synthese des zweiten Bildes einen Schritt der Farbdefinition (bei 76) zumindest eines Punktes des Objekts in der zweiten Szene auf der Grundlage der Position dieses Punktes in der ersten Szene umfaßt, derart, daß die Farbe des diesem Punkt entsprechenden Pixels des zweiten Bildes die Position dieses Punktes im ersten Bild angibt, wobei dieser Definitionsschritt folgendes umfaßt: – eine Operation (92) zur Projektion eines von einer Pixelmenge gebildeten dritten Bildes (104) auf das Objekt der zweiten Szene, wobei die Farbe jedes Pixels seine Position im dritten Bild angibt und das dritte Bild von einem Projektor projiziert wird, dessen Position in Bezug auf das Objekt, das er in der zweiten Szene beleuchtet, so gewählt ist, daß sie die gleiche ist wie die relative Position des Aufnahmepunktes in Bezug auf das Objekt in der ersten Szene, – eine Operation (88) zur Modifizierung der Oberflächenaspekte des beleuchteten Objekts in der Weise, daß die Oberfläche diese Objekts die Beleuchtung des Projektors zum Aufnahmepunkt hin verteilt und – eine Operation (86) zur Unterdrückung von Streulichtquellen, die in der Lage sind, die durch einen oder mehrere Punkte des Objekts verteilte Farbe zu verändern, und – dadurch, daß es nach der Synthese des zweiten Bildes von der zweiten Szene, bei der die Farbe zumindest eines Punktes des Objekts in der Definitionsstufe definiert worden ist, folgendes für diesen oder jeden Punkt des Objekts umfaßt: – eine Operation (122) zur Aufnahme der Position und der Farbe eines diesem Punkt entsprechenden Pixels des zweiten Bildes, – eine Operation (124) zur Deduktion der Position des Punktes des Objekts im ersten Bild von der aufgenommenen Farbe und – eine Operation (126) zur Bestimmung der Verschiebung des Pixels von der im zweiten Bild aufgenommenen Position und der deduzierten Position der Farbe des Pixels.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Anzahl möglicher Farben für ein Pixel des dritten Bildes strikt größer ist als die Anzahl von Pixeln des ersten Bildes.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Farbe der Pixel des dritten Bildes eine monoton wachsende oder abnehmende Funktion der Position des Pixels im dritten Bild ist.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß das dritte Bild einen Farbgradienten in zwei nicht-kolinearen Richtungen darbietet.
Verfahren zur Bildsynthese, wobei jedes Bild von einer Pixelmenge gebildet ist und das Verfahren folgendes umfaßt: – einen ersten Schritt (70) zur Synthese eines ersten Bildes von einer ersten Szene, wobei das erste Bild außerdem ein Objekt in der ersten Szene darstellt, das von einem gegebenen Aufnahmepunkt aufgenommen ist, und – einen zweiten Schritt (72) zur Synthese eines zweiten Bildes von einer zweiten Szene, wobei diese zweite Szene von der ersten Szene unter Verschiebung des Objekts in der ersten Szene und/oder durch Verschiebung des Aufnahmepunktes der ersten Szene gewonnen wird, dadurch gekennzeichnet, daß das Verfahren folgendes umfaßt: – einen Schritt (74, 120) zur Bestimmung der Verschiebung zumindest eines Pixels zwischen dem ersten und dem zweiten Bild, wobei dieser Schritt dadurch ausgeführt wird, daß ein Verfahren zur Bestimmung der Verschiebung eines Pixels einem der vorhergehenden Ansprüche eingesetzt wird, und – einen Schritt (130) zur Ausarbeitung durch zeitliche Interpolation zumindest eines Zwischenbildes zwischen dem ersten dem zweiten Bild, die mit Hilfe von Informationen über die zuvor bestimmte Verschiebung des oder jedes Pixels synthetisiert worden sind.
Medium zur Informationsaufzeichnung, dadurch gekennzeichnet, daß es Instruktionen zur Ausführung eines Verfahrens nach einem der vorhergehenden Ansprüche umfaßt, wobei diese Instruktionen von einem elektronischen Rechner ausgeführt werden.
System zur Bestimmung der Verschiebung eines Pixels zwischen einem ersten und einem zweiten Synthesebild, wobei die Bilder von einer Pixelmenge gebildet sind, das erste Bild von einer ein Objekt und einen gegebenen Aufnahmepunkt enthaltenden ersten Szene und das zweite Bild von einer dasselbe Objekt enthaltenden zweiten Szene synthetisiert ist, wobei diese zweite Szene von der ersten Szene durch Verschiebung des Objekts in der ersten Szene und/oder durch Verschiebung des Aufnahmepunktes der ersten Szene gewonnen wird, und wobei dieses System folgendes umfaßt: – einen zum Erzeugen von Bildern von einer dreidimensionalen Szene geeigneten Bildsynthesemodul (20) und – einen Steuermodul (22), dazu geeignet, ein erstes Mal den Synthesemodul zum Erzeugen des ersten Bildes von der ersten Szene zu aktivieren und den Synthesemodul zum Erzeugen des zweiten Bildes von der zweiten Szene ein zweites Mal zu aktivieren, dadurch gekennzeichnet, – daß der Steuermodul in der Lage ist, automatisch die Farbe zumindest eines Punktes des Objekts in der zweiten Szene auf der Grundlage der Position dieses Punktes in der ersten Szene zu definieren, derart, daß die diesem Punkt entsprechende Farbe des Pixels im zweiten Bild die Position dieses Pixels im ersten Bild angibt, wobei der Steuermodul hierzu geeignet ist, folgendes auszuführen: – eine Operation (92) zur Projektion eines von einer Pixelmenge gebildeten dritten Bildes auf das Objekt der zweiten Szene (104), wobei die Farbe jedes Pixels seine Position in diesem dritten Bild anzeigt und dieses dritte Bild von einem Projektor aus projiziert wird, dessen Relativstellung in Bezug auf das Objekt, das er in der zweiten Szene beleuchtet, so gewählt ist, daß sie die gleiche ist wie die Relativstellung des Aufnahmepunktes in Bezug auf dieses Objekt in der ersten Szene, – eine Operation (88) zur Modifikation der Oberflächenaspekte des beleuchteten Objekts, derart, daß die Oberfläche des Objekts die Beleuchtung des Projektors zum Aufnahmepunkt hin verteilt, und – eine Operation (86) zur Unterdrückung der Streulichtquellen, die in der Lage sind, die von einem oder mehreren Punkten des Objektes verteilte Farbe zu modifizieren, und – dadurch, daß das System einen Modul zur Berechnung der Verschiebung zumindest eines Pixels zwischen dem ersten und zweiten Bild umfaßt, mit der Fähigkeit, für den oder jeden Punkt des Objekts, – die Position und die Farbe eines Pixels des zweiten Bildes entsprechend diesem Punkt aufzunehmen, – die Position des Punktes des Objekts im ersten Bild von der aufgenommen Farbe zu deduzieren, und – die Verschiebung dieses Pixels von der aufgenommenen Position im zweiten Bild und der deduzierten Position der Farbe des Pixels zu bestimmen.