-
Die
Erfindung betrifft ein Verfahren und ein System zur Bestimmung der
Verschiebung eines Pixels zwischen zwei Bildern sowie ein Verfahren
zur Bildsynthese und ein Informationsaufzeichnungsmedium für die Durchführung des
Verfahrens.
-
Genauer
gesagt, betrifft die Erfindung ein Verfahren zur Bestimmung der
Verschiebung eines Pixels zwischen einem ersten und einem zweiten Bild,
wobei das erste Bild von einer ein Objekt und einen gegebenen Aufnahmepunkt
enthaltenden ersten Szene synthetisiert wird und das zweite Bild
von einer dasselbe Objekt enthaltenden zweiten Szene synthetisiert
wird, wobei die zweite Szene von der ersten Szene gewonnen wird,
indem das Objekt in der ersten Szene verschoben und/oder der Aufnahmepunkt
der ersten Szene verschoben wird.
-
Für zahlreichen
numerische Bildbearbeitungen ist es notwendig, die Position eines
Punktes eines Objekts im ersten Bild und die Position dieses selben
Punkten in einem zweiten Bild zu kennen. Zum Beispiel werden diese
Informationen zum Bestimmen eines Verschiebungsvektors dieses Punktes
zwischen dem ersten und dem zweiten Bild verwendet, d. h. der Amplitude
und der Verschieberichtung oder der Translation dieses Punktes zwischen diesen
beiden Bildern.
-
Die
Gesamtheit der Verschiebungsvektoren sämtlicher Punkte eines Objekts
oder eines Bildes wird als Verschiebungsvektorfelder bezeichnet.
-
Diese
Verschiebungsfelder oder -vektoren werden insbesondere bei Verfahren
zur Ausarbeitung von Zwischenbildern mit Hilfe des Prozesses der
zeitlichen Interpolation verwendet. Zum Beispiel liefert bei den
bekannten Verfahren zur Bildsynthese ein Synthesemodul allein solche
Bilder ab wie ebene Bilder einer in drei Dimensionen definierten
Szene. So muß gegenwärtig zur
Bestimmung der Anfangsposition eines Pixels im ersten Bild und dessen
Endposition im zweiten Bild ein auf diese Aufgabe ausgerichteter
Berechnungsmodul zusätzlich
zu dem Synthesemodul verwendet werden. Zu diesem Zweck arbeitet
der Berechnungsmodul direkt mit den die dreidimensionale Szene definierenden
Daten, d. h. mit denselben Daten wie denjenigen, die durch den Synthesemodul
bearbeitet werden.
-
Zum
Beispiel ermittelt der Berechnungsmodul die Endposition eines Pixels
aus Informationen über
die Verschiebung von Objekten in einer Szene zwischen Momenten,
wo ein erstes und ein zweites Bild aufgenommen wird, sowie aus Informationen über die
Verschiebung des Aufnahmepunktes zwischen diesen selben Momenten.
Diese Berechnungen sind langwierig und kompliziert, so daß der Berechnungsmodul
als solcher komplex und langsam ist.
-
Die
Erfindung beabsichtigt, diesen Nachteil zu beseitigen, indem ein
Verfahren zur Bestimmung der Verschiebung eines Pixels zwischen
einem ersten und einem zweiten Bild vorgeschlagen wird, das es ermöglicht,
den Berechnungsmodul zu vereinfachen.
-
Die
Erfindung setzt sich somit ein Verfahren, wie oben beschrieben,
zur Aufgabe, das dadurch gekennzeichnet ist, daß
- – es vor
der Synthese des zweiten Bildes einen Schritt der Farbdefinition
zumindest eines Punktes des Objekts in der zweiten Szene auf der Grundlage
der Position dieses Punktes in der ersten Szene umfaßt, derart,
daß die
Farbe des diesem Punkt entsprechenden Pixels des zweiten Bildes
die Position dieses Punktes im ersten Bild angibt, wobei dieser
Definitionsschritt folgendes umfaßt:
- – eine
Operation zur Projektion eines von einer Pixelmenge gebildeten dritten
Bildes auf das Objekt der zweiten Szene, wobei die Farbe jedes Pixels seine
Position im dritten Bild angibt und das dritte Bild von einem Projektor
projiziert wird, dessen Position in Bezug auf das Objekt, das er
in der zweiten Szene beleuchtet, so gewählt ist, daß sie die gleiche ist wie die
relative Position des Aufnahmepunktes in Bezug auf das Objekt in
der ersten Szene,
- – eine
Operation zur Modifizierung der Oberflächenaspekte des beleuchteten
Objekts in der Weise, daß die
Oberfläche
diese Objekts die Beleuchtung des Projektors zum Aufnahmepunkt hin verteilt
und
- – eine
Operation zur Unterdrückung
von Streulichtquellen, die in der Lage sind, die durch einen oder
mehrere Punkte des Objekts verteilte Farbe zu verändern, und
- – dadurch,
daß es
nach der Synthese des zweiten Bildes von der zweiten Szene, bei
der die Farbe zumindest eines Punktes des Objekts in der Definitionsstufe
definiert worden ist, folgendes für diesen oder jeden Punkt des
Objekts umfaßt:
- – eine
Operation zur Aufnahme der Position und der Farbe eines diesem Punkt
entsprechenden Pixels des zweiten Bildes,
- – eine
Operation zur Deduktion der Position des Punktes des Objekts im
ersten Bild von der aufgenommenen Farbe und
- – eine
Operation zur Bestimmung der Verschiebung des Pixels von der im
zweiten Bild aufgenommenen Position und der deduzierten Position der
Farbe des Pixels.
-
Dank
dieses zweiten Bildes ist die Bestimmung der Anfangsposition und
der Endposition eines Punktes eines Objektes vereinfacht, da es
hierzu ausreicht, die Position und die Farbe eines Pixels in das
zweite Bild aufzunehmen, um die Position des entsprechenden Punktes
des Objekts im zweiten Bild bzw. im ersten Bild zu kennen. Der Berechnungsmodul
muß daher
nicht mehr komplizierte Berechnungen zur Bestimmung dieser Informationen
ausführen. Des
weiteren ist zu bemerken, daß der Berechnungsmodul
nicht mehr mit den Eingabedaten des Synthesemoduls arbeitet, d.
h. den Daten, die die dreidimensionale Szene definieren, sondern
allein mit einem Bild, d. h. zweidimensionalen Daten.
-
Die
Erfindung setzt sich ferner ein Verfahren zur Bildsynthese zur Aufgabe,
wobei jedes Bild von einer Pixelmenge gebildet ist, und dieses Verfahren folgendes
umfaßt:
- – einen
ersten Schritt zur Synthese eines ersten Bildes von einer ersten
Szene, wobei das erste Bild außerdem
ein Objekt in der ersten Szene darstellt, das von einem gegebenen
Aufnahmepunkt aufgenommen ist, und
- – einen
zweiten Schritt zur Synthese eines zweiten Bildes von einer zweiten
Szene, wobei diese zweite Szene von der ersten Szene unter Verschiebung
des Objekts in der ersten Szene und/oder durch Verschiebung des
Aufnahmepunktes der ersten Szene gewonnen wird,
- – einen
Schritt zur Bestimmung der Verschiebung zumindest eines Pixels zwischen
dem ersten und dem zweiten Bild, wobei dieser Schritt dadurch ausgeführt wird,
daß ein
Verfahren zur Bestimmung der Verschiebung eines Pixels nach der
Erfindung eingesetzt wird, und
- – einen
Schritt zur Ausarbeitung durch zeitliche Interpolation zumindest
eines Zwischenbildes zwischen dem ersten dem zweiten Bild, die mit
Hilfe von Informationen über
die zuvor bestimmte Verschiebung des oder jedes Pixels synthetisiert
worden sind.
-
Die
Erfindung hat ferner ein Aufzeichnungsmedium für Informationen zur Aufgabe,
das dadurch gekennzeichnet ist, daß es Instruktionen zur Einsetzung
des Bestimmungs- oder Syntheseverfahrens nach der Erfindung umfaßt, wobei
diese Instruktionen von einem elektronischen Rechner ausgeführt werden.
-
Die
Erfindung hat ferner ein System zur Bestimmung der Verschiebung
eines Pixels zwischen einem ersten und einem zweiten Synthesebild
zur Aufgabe, wobei die Bilder von einer Pixelmenge gebildet sind,
das erste Bild von einer ein Objekt und einen gegebenen Aufnahmepunkt
enthaltenden ersten Szene und das zweite Bild von einer dasselbe
Objekt enthaltenden zweiten Szene synthetisiert ist, wobei diese
zweite Szene von der ersten Szene durch Verschiebung des Objekts
in der ersten Szene und/oder durch Verschiebung des Aufnahmepunktes
der ersten Szene gewonnen wird, und wobei dieses System folgendes
umfaßt:
- – einen
zum Erzeugen von Bildern von einer dreidimensionalen Szene geeigneten
Bildsynthesemodul und
- – einen
Steuermodul, dazu geeignet, ein erstes Mal den Synthesemodul zum
Erzeugen des ersten Bildes von der ersten Szene zu aktivieren und den
Synthesemodul zum Erzeugen des zweiten Bildes von der zweiten Szene
ein zweites Mal zu aktivieren,
dadurch gekennzeichnet,
- – daß der Steuermodul
in der Lage ist, automatisch die Farbe zumindest eines Punktes des
Objekts in der zweiten Szene auf der Grundlage der Position dieses
Punktes in der ersten Szene zu definieren, derart, daß die diesem
Punkt entsprechende Farbe des Pixels im zweiten Bild die Position
dieses Pixels im ersten Bild angibt, wobei der Steuermodul hierzu
geeignet ist, folgendes auszuführen:
- – eine
Operation zur Projektion eines von einer Pixelmenge gebildeten dritten
Bildes auf das Objekt der zweiten Szene, wobei die Farbe jedes Pixels seine
Position in diesem dritten Bild anzeigt und dieses dritte Bild von
einem Projektor aus projiziert wird, dessen Relativstellung in Bezug
auf das Objekt, das er in der zweiten Szene beleuchtet, so gewählt ist,
daß sie
die gleiche ist wie die Relativstellung des Aufnahmepunktes in Bezug
auf dieses Objekt in der ersten Szene,
- – eine
Operation zur Modifikation der Oberflächenaspekte des beleuchteten
Objekts, derart, daß die
Oberfläche
des Objekts die Beleuchtung des Projektors zum Aufnahmepunkt hin
verteilt, und
- – eine
Operation zur Unterdrückung
von Streulichtquellen, die in der Lage sind, die von einem oder
mehreren Punkten des Objektes verteilte Farbe zu modifizieren, und
- – dadurch,
daß das
System einen Modul zur Berechnung der Verschiebung zumindest eines
Pixels zwischen dem ersten und zweiten Bild umfaßt, mit der Fähigkeit,
für den
oder jeden Punkt des Objekts,
- – die
Position und die Farbe eines Pixels des zweiten Bildes entsprechend
diesem Punkt aufzunehmen,
- – die
Position des Punktes des Objekts im ersten Bild von der aufgenommen
Farbe zu deduzieren, und
- – die
Verschiebung dieses Pixels von der aufgenommenen Position im zweiten
Bild und der deduzierten Position der Farbe des Pixels zu bestimmen.
-
Die
Erfindung wird besser verständlich
beim Lesen der jetzt folgenden Beschreibung, die allein beispielhaft
gegeben ist und unter Bezugnahme auf die Zeichnungen erfolgt, in
denen
-
1 eine
schematische Darstellung des Aufbaus eines Systems nach der Erfindung
st,
-
die 2 und 3 jeweils
perspektivische Ansichten einer dreidimensionalen Szene sind,
-
die 4 und 5 jeweils
zweidimensionale Bilder entsprechend den dreidimensionalen Szenen
der 2 und 3 sind,
-
6 ein
Organigramm eines Verfahrens nach der Erfindung ist,
-
7 eine
perspektivische Ansicht der dreidimensionalen Szene der 3 ist,
-
8 eine
schematische Darstellung eines auf die Szene der 7 projizierten
Bildes ist und
-
9 ein
zweidimensionales Bild entsprechend der Szene der 7 ist.
-
Die 1 stellt
ein elektronisches System zur Bildsynthese dar, das allgemein mit
der Bezugszahl 2 bezeichnet ist. Das System 2 umfaßt einen elektronischen
Rechner 4 wie etwa eine Zentraleinheit eines herkömmlichen
Computers, in Verbindung mit einem Bildschirm 6 und einem
Speicher 8.
-
Das
System 2 umfaßt
ferner eine Schnittfläche
Mensch/Maschine 10, die es einem Benutzer ermöglicht,
Objektverschiebungsbefehle vorzunehmen. Beispielsweise ist diese
Schnittfläche 10 hier von
einer alphanumerischen Tastatur 11 und einem Steuerhebel 12 gebildet,
der bekannter ist unter dem englischen Ausdruck "joystick". Der Rechner 4 umfaßt einen
Modul 20 zur Synthese numerischer Bilder und einen Modul 22 zum
Steuern des Moduls 20.
-
Der
Modul 22 ist in der Lage, ein numerisches Modell einer
dreidimensionalen Szene zu definieren, wie etwa eine Szene 28,
die in Perspektive in 2 in einem Moment T dargestellt
ist.
-
Als
Beispiel umfaßt
die zur Veranschaulichung der vorliegenden Beschreibung verwendete dreidimensionale
Szene nur zwei Objekte, d. h. hier einen Kegel 30 und einen
Zylinder 32.
-
Die
geometrische Form jedes Objekts ist durch eine Anordnung mehrerer
aneinandergrenzender Facetten definiert. In 2 sind hier
diese Facetten durch Dreiecke 34 dargestellt.
-
Jede
Facette jedes Objekts bietet einen Oberflächenaspekt dar. Dieser Oberflächenaspekt
ist regulierbar. Zum Beispiel sind die Textur oder das Material
der Facette, ihr Lichtreflexionskoeffizient und ihre Leitfähigkeit
regulierbar.
-
Typischerweise
umfaßt
eine Szene ferner einen oder mehrere Projektoren, die dazu dienen,
die Objekte der Szene zu beleuchten. Hier sind als Veranschaulichungsbeispiel
zwei Projektoren 36 und 38 in 2 dargestellt.
-
Für jeden
Projektor ist es möglich,
seine Position, seine Ausrichtung, sein Sichtfeld sowie das auf die
Szene projizierte Bild zu definieren. Darüber hinaus ist es möglich, die
Lichtwirkung des Projektors zu definieren, d. h. beispielsweise
die Facetten jedes Objekts, die durch den Projektor beleuchtet werden.
-
Schließlich umfaßt jede
Szene zumindest einen Aufnahmepunkt, der hier durch eine Kamera 40 dargestellt
ist. Die Position, die Ausrichtung sowie das Sichtfeld dieser Kamera 40 sind
regulierbar.
-
Die
Position der Objekte, der Projektoren und der Kamera ist hier in
Bezug auf eine fixe orthonormale Markierung definiert, die in 2 durch
die Achsen X, Y und Z dargestellt ist.
-
Der
Steuermodul 22 ermöglicht
es dem Benutzer, die verschiedenen Parameter dieser Szene einzustellen
und insbesondere die Objekte, den Aufnahmepunkt oder die Position
der Projektoren zu verschieben.
-
Zum
Beispiel stellt die 3 eine Szene 42 entsprechend
der Szene 28 in einem Moment T + 1 dar, nachdem der Kegel 30 entlang
der Achse Z verschoben worden ist, während der Zylinder 32 unbewegt
geblieben ist. Diese Steuerung der Verschiebung des Kegels 30 ist
zum Beispiel vom Benutzer mit Hilfe des Steuerhebels 12 erzeugt
worden. Die Verschiebung ist mit D bezeichnet und durch einen Pfeil
D in 3 dargestellt.
-
Der
Synthesemodul 20 ist in der Lage, ein Bild mit zwei Dimensionen
von der durch den Steuermodul 22 definierten Szene zu erzeugen.
Genauer gesagt, ist der Modul 20 in der Lage, das Bild
der dreidimensionalen Szene zu erzeugen, die die Kamera 40 filmt.
Zum Beispiel setzt der Modul 20 zu diesem Zweck ein bekanntes
Verfahren in Gang, das mit Hilfe der Open-GL-Technologie realisiert
wird. Informationen über
diese Technologie können
online unter der folgenden Adresse erhalten werden: http://developer.apple.com/documentation/Graphicslmaging/Conceptual/OpenGL/chap2/Chapter_2_section_3.html.
-
Die 4 und 5 stellen
Bilder 44 und 46 dar, die vom Modul 20 für die Szene 28 bzw. 42 synthetisiert
worden sind.
-
Bei
den Bildern 44 und 46 entsprechen die Achsen Y
und Z denjenigen der orthonormalen Markierung der Szenen 28 und 42.
-
Die
vom Modul 20 synthetisierten Bilder können auf dem Bildschirm 6 sichtbar
gemacht werden. Zum Beispiel sind diese Bilder hier Bilder von 256×256 Pixel.
-
In
den 4 und 5 ist eine orthonormale Markierung α, β dargestellt,
die in Pixelzahlen unterteilt ist und deren Ursprung dem Pixel im
linken unteren Winkel des Bildes entspricht. Diese orthonormale Markierung α, β ermöglicht es,
die Position jedes Pixels des Bildes durch ein Paar von Koordinaten
(i, j) zu definieren, wobei i und j den Koordinaten des Pixels auf
der Achse α bzw. β entsprechen.
-
Der
Modul 20 umfaßt
ferner einen Untermodul 48 zur Farbglättung. Wenn die Oberfläche eines Punktes
eines Objekts entsprechend einem Pixel zwei verschiedene Farben
umfaßt,
die durch eine Grenze getrennt sind, ist es nämlich notwendig, eine Maßnahme anzuwenden,
die es dem Modul 20 ermöglicht,
diesem Pixel eine einzige Farbe zuzuweisen. In einer solchen Situation
wirkt der Untermodul 48 hier in der Weise, daß dieser
Farbunterschied geglättet
und somit eine Zwischenfarbe zwischen den auf beiden Seiten der
Grenze vorhandenen Farben gewählt
wird. Genauer gesagt, bestimmt der Untermodul 48 diese
dem Pixel zuzuweisende Zwischenfarbe durch lineare Interpolation.
-
Der
Rechner 4 umfaßt
ferner einen Modul 50 zur Berechnung eines Verschiebungsvektorenfeldes sowie
einen Modul 52 zur Ausarbeitung von Zwischenbildern. Der
Modul 50 dient dazu, den Verschiebungsvektor der Pixel
zwischen zwei aufeinanderfolgenden synthetisierten Bildern zu berechnen. Zum
Beispiel ist der Modul 50 in der Lage, den Verschiebungsvektor
sämtlicher
Pixel des Bildes 44 zwischen den Momenten T und T + 1 zu
berechnen.
-
Der
Modul
52 ist in der Lage, Zwischenbilder zu berechnen,
die die von der Kamera
40 gefilmte Szene in einem Zwischenmoment
zwischen den Momenten T und T + 1 darstellen. Zu diesem Zweck setzt
der Modul
52 einen bekannten zeitlichen Interpolationsprozeß ein, wie
er etwa im
EP-Patent
0 294 282 B1 beschrieben ist.
-
Schließlich ist
der Rechner 4 in der Lage, auf dem Bildschirm 6 die
Sichtbarmachung einer zeitlich geordneten Bildsequenz oder Videosequenz
zu steuern, die von den durch den Modul 20 synthetisierten Bildern
gebildet sind, zwischen denen Zwischenbilder eingeschoben sind,
die durch den Modul 52 hergestellt sind.
-
Der
Rechner 4 ist hierbei ein herkömmlicher programmierbarer elektronischer
Rechner und die verschiedenen Module 20, 22, 50 und 52 sind
zum Beispiel Softwaremodule.
-
Die
diesen Softwaremodulen entsprechenden Instruktionen sind beispielsweise
im Speicher 8 aufgezeichnet. Diese Instruktionen sind dazu
geeignet, das Verfahren gemäß 6 auszuführen.
-
Die
Funktionsweise des Systems 2 wird nun mit Blick auf die 6 und
für den
speziellen Fall der Szenen 28 und 42 beschrieben.
-
Zu
Beginn synthetisiert der Modul 20 in einem Schritt 70 das
Bild 44 von der durch den Steuermodul 22 definierten
Szene 28.
-
Sodann
synthetisiert der Modul 20 in einem Schritt 72 das
Bild 46 von der durch den Steuermodul 22 definierten
Szene 42.
-
Das
System 2 geht sodann über
zu einem Schritt 74 der Erzeugung eines dritten Bildes,
das beispielsweise identisch ist mit dem zweiten Bild 46 mit
Ausnahme der Tatsache, daß jedes
Pixel eines Objekts eine Farbe auf der Grundlage des Platzes darbietet,
den im Moment T der diesem Pixel entsprechende Punkt des Objektes
einnahm.
-
Zu
diesem Zweck definiert der Modul 22 automatisch, in einer
Operation 76, eine dritte Szene 80 (7).
Diese Szene 80 ist geometrisch identisch mit der Szene 42 mit
Ausnahme der Stellung der Projektoren.
-
Vorzugsweise
wird diese Szene 80 von der Szene 42 gebildet,
um die Identität
der Position der Objekte 30 und 32 und der Kamera 40 beizubehalten.
-
Zur
Herstellung der Szene 80 von der Szene 42 unterdrückt der
Modul 22 in einer Unteroperation 46 sämtliche
Projektoren oder Lichtquellen der Szene 42. Nachfolgend
weist der Modul 22, in einer Unteroperation 88,
sämtlichen
Objekten der Szene 42 den gleichen Oberflächenaspekt
zu. Der Oberflächenaspekt
wird hierbei so gewählt,
daß die
Oberfläche sämtlicher
Objekte perfekt streut, d. h. daß die Oberfläche nicht
die Farbe des Lichtes, das sie zurücksendet, verändert und
daß sie
es im gan zen Raum mit dem gleichen Wert verteilt. Somit verteilt,
wenn ein Punkt eines Objekts mit einem roten Lichtstrahl beleuchtet
wird, dieser Punkt im ganzen Raum ein Licht von exakt dem gleichen
Rot.
-
Anschließend installiert
der Modul 22, in einer Unteroperation 90, einen
Projektor für
jedes statische Teil oder statische Objekt in der Szene und einen
Projektor für
jedes bewegliche Objekt der Szene. Die statischen Objekte oder Teile
sind die Teile oder Objekte, die zwischen dem Moment T und dem Moment
T + 1 nicht verschoben werden, hier zum Beispiel der Zylinder 32.
Die beweglichen Objekte sind im Gegensatz dazu die Objekte, die
zwischen dem Moment T und dem Moment T + 1 verschoben werden. Vorzugsweise
weist man ein und denselben Projektor einer Gruppe mehrerer beweglicher
Objekte zu, wenn die relative Position dieser Objekte zueinander
zwischen dem Moment T und dem Moment T + 1 unverändert bleibt.
-
Ein
Projektor 82 ist hier zum Beleuchten des Zylinders 32 installiert,
während
ein Projektor 84 zum Beleuchten des Kegels 30 installiert
ist.
-
Der
Modul 22 reguliert, in der Unteroperation 90,
die Richtwirkung der Projektoren 82 und 84 in
der Weise, daß sie
nur die Facetten des Objekts, dem sie zugeordnet sind, beleuchten,
die auf dem Bild 44 sichtbar sind.
-
In
einer Unteroperation 92 bestimmt der Modul 22 die
Position jedes Projektors gegenüber
dem Objekt, das er beleuchtet. Zu diesem Zweck wird die Position
jedes Projektors gegenüber
dem Objekt, das er beleuchtet, in der Weise gewählt, daß diese Position identisch
ist mit derjenigen, die die Kamera 40 gegenüber diesem
gleichen Objekt in der Szene 28 einnimmt. Folglich ist,
da hier weder die Position des Zylinders 32 noch die Position
der Kamera 40 zwischen den Momenten T und T + 1 verändert worden sind,
der Projektor 82, der den Zylinder 32 beleuchtet,
in der gleichen Position plaziert wie die Kamera 40. Im
Gegensatz dazu wird, damit der Projektor 84 gegenüber dem
Kegel 30 in der gleichen Position plaziert ist wie die
Kamera 40 in der Szene 28, die Position des Projektors 84 mit
einer Distanz D entlang der Achse Z von der Position der Kamera 40 verschoben. Diese
Distanz D ist identisch mit dem Ausmaß der Verschiebung D des Kegels 30.
-
Somit
bleibt der Projektor 34 in gewisser Weise unbeweglich in
Bezug auf den Kegel 30 trotz dessen Verschiebung zwischen
den Momenten T und T + 1.
-
Diese
Vorgehensweise zur Plazierung der Projektoren der Szene 80 ermöglicht es,
einen Relation zwischen der Position im Bild 44 der Punkte
jedes von dem Projektor beleuchteten Objekts und der Farbe zu schaffen,
mit der diese Punkte bei einer der folgenden Unteroperationen beleuchtet
werden. Außerdem
ermöglicht
es die Wahl, den Projektor gegenüber
dem Objekt, das er beleuchtet, in der gleichen Position wie derjenigen
zu plazieren, die die Kamera 40 im vorausgehenden Moment
einnimmt, d. h. im Moment T, die beleuchtete Oberfläche des
Objekts zu maximieren, die für
die Bestimmung beispielsweise der Verschiebungsvektorfelder nutzbar
ist.
-
In
einer Unteroperation 94 wird das Sichtfeld jedes Projektors
so eingestellt, daß es
demjenigen der Kamera 40 im Moment T entspricht; sodann
wird, in einer Unteroperation 96, jeder Projektor ferner
wie die Kamera 40 im Moment T ausgerichtet.
-
Schließlich definiert,
in einer Unteroperation 98, der Modul 22 das von
jedem Projektor auf das Objekt, das er beleuchtet, projizierte Bild.
In dem projizierten Bild ist die Farbe jedes Pixels durch eine eindeutige
Funktion mit der Position dieses Pixels in diesem Bild verbunden,
so daß die
Farbe des Pixels seine Position anzeigt oder, anders ausgedrückt, die Zeile
und Spalte des Pixels im Bild identifiziert.
-
Die
Anzahl möglicher
Farben ist größer als die
Anzahl von Pixeln der synthetisierten Bilder und vorzugsweise mindestens
2, 3 oder 4 mal größer als die
Anzahl von Pixeln der synthetisierten Bilder. Um die Beschreibung
zu vereinfachen, wird jede Farbe durch ein Paar von Werten (k, l)
dargestellt, wobei k beispielsweise die Menge von Rot und l beispielsweise
die Menge von Grün
darstellt. Bei dem hier beschriebenen Beispiel wird angenommen,
daß drei mal
mehr mögliche
Farben als Pixel vorhanden sind. Somit wird, da die synthetisierten
Bilder Bilder von 256/256 Pixel sind, die ma ximale Menge von Rot oder
von Grün
durch den Wert 768 dargestellt, während die minimale Menge durch
den Wert 1 dargestellt wird, wobei die Werte k und l alle ganzen
Werte zwischen 1 und 768 annehmen können.
-
Sämtliche
Projektoren der Szene 80 projizieren hier das gleiche Bild,
d. h. ein Bild 104 (8). Die 8 umfaßt eine
Markierung α, β, die mit
derjenigen der 4 und 5 identisch
ist, um die Position der Pixel des Bildes 104 zu orten.
Zum Zwecke der Veranschaulichung sind lediglich einige Pixel des Bildes 104 durch
Quadrate 106 dargestellt. Die jedem der Pixel zugeordneten
Farben sind durch ein Paar von Werten (k, l) dargestellt, die in
dieser Figur in Klammern angegeben sind. Die den Pixeln des Bildes 104 zugeordneten
Farben sind in der Weise organisiert, daß ein Farbgradient entlang
der Achse α und
entlang der Achse β erzeugt
wird. Somit ist das am Ursprung der Achsen α und β gelegene Pixel mit der Farbe
(1, 1) assoziiert. Ausgehend von diesem Pixel bilden die jedem Pixel
des Bildes 104 zugewiesenen Werte des Parameters k eine
geometrische Progression mit dem Quotienten 3 im Verlauf von links
nach rechts entlang der Achse α.
In gleicher Weise bilden die Werte des Parameters l jedes Pixels eine
geometrische Progression mit dem Quotienten 3 entlang der Achse β und unter
Entfernung vom Pixel mit der Farbe (1, 1).
-
Somit
ist das im oberen rechten Winkel gelegene Pixel, d. h. das an der
Schnittstelle der 256sten Zeile und der 256sten Spalte der Pixel
liegende, mit der Farbe (768, 768) verbunden. Infolgedessen ist
es bei dem Bild 104 in Kenntnis der Farbe eines Pixels möglich, seine
Koordinaten i, j in der Markierung α, β durch einen einfachen Dreisatz
aufzufinden.
-
Es
zeigt sich somit, daß in
der Szene 80 aufgrund der Wahl der Position der Projektoren 82 und 84 gegenüber den
Objekten 32 und 30 und der Kodierung der Farben
im projizierten Bild 104 jeder Punkt des beleuchteten Objekts
eine Farbe in Funktion der Position zugewiesen bekommt, die er im
Bild 44 einnahm.
-
Nachdem
die Konstruktion der Szene 80 abgeschlossen ist, geht der
Modul 20 über
zu einem Syntheseschritt 116 eines Bildes 118 (9),
das von der Kamera 40 der Szene 80 gefilmt ist.
Das Bild 118 ist identisch mit dem Bild 46 mit
Ausnahme der Tatsache, daß die
Farbe der verschiedenen Pixel eines Objekts eine Funktion der Position
des entsprechenden Punktes des Objekts im Bild 44 ist.
Insbesondere ist die Position der Objekte 30 und 32 identisch
mit der Position dieser gleichen Objekte im Bild 46.
-
Nach
der Synthese des Bildes 118 geht der Untermodul 48 zu
einer Farbglättungsoperation 119 über, wobei
die Pixel des Bildes 118 eine Zwischenfarbe zwischen denjenigen
der Pixel 106 des Bildes 104 zugewiesen bekommen
können.
Dieses ist möglich
geworden aufgrund der Tatsache, daß die mögliche Anzahl von Farben größer ist
als die Anzahl von Pixeln des Bildes. Infolgedessen ist es möglich, Verschiebungen
mit einer dem Pixel untergeordneten Genauigkeit zu messen, wie es
beim Lesen der weiteren Beschreibung verständlich wird.
-
Wenn
die Synthese des Bildes 118 abgeschlossen ist, berechnet
der Modul 50 in einem Schritt 120 das Verschiebungsvektorenfeld.
Zu diesem Zweck nimmt er, in einer Operation 122, die Position
und die Farbe der Pixel des Bildes 118 auf. Zum Beispiel
nimmt er auf, daß die
Position eines Pixels 120 (9) (225;
128) und seine Farbe (599; 384) ist.
-
Sodann
deduziert er, in einer Operation 124, die Position dieses
Pixels im Bild 44 ausgehend von der aufgenommene Farbe.
Zum Beispiel deduziert er für
das Pixel 120, daß die
Farbe (599; 384) der Position (199; 6666; 128) in der Markierung α, β entspricht.
-
Schließlich bestimmt
er, in einer Operation 126, den Verschiebungsvektor jedes
Pixels, indem er von der aufgenommenen Position die bei der Operation 124 deduzierte
Anfangsposition subtrahiert.
-
Zum
Beispiel ist für
den Pixel 120 der Verschiebungsvektor gleich (25, 3333;
0).
-
Die
Operationen 122 bis 126 werden für sämtliche
Pixel jedes Objekts wiederholt, die von einem der Projektoren der
Szene 80 beleuchtet werden.
-
Nachdem
das Vektorenverschiebungsfeld berechnet ist, stellt der Modul 52,
in einem Schritt 130, Zwischenbilder her, die die Objekte 30 und 32 in Zwischenmomenten
zwischen den Momenten T und T + 1 darstellen. Zu diesem Zweck setzt
der Modul 52 einen zeitlichen Interpolationsprozeß ein und
verwendet das im Schritt 120 berechnete Verschiebungsvektorenfeld.
-
Nach
diesem Schritt 130 stellt der Modul 52 zumindest
ein Zwischenbild und vorzugsweise mehr als zwei, fünf oder
zehn Zwischenbilder zwischen den Momenten T und T + 1 her.
-
Schließlich wird
die zeitliche Bildsequenz, die von den zu den Momenten T und T +
1 synthetisierten Bildern 44 und 46 gebildet ist,
zwischen denen im Schritt 130 hergestellte Zwischenbilder
zwischengeschoben sind, auf dem Bildschirm 6 sichtbar gemacht.
-
Der
Schritt 130 zur Herstellung eines Zwischenbildes durch
zeitliche Interpolation ist schneller als die Synthese eines Bildes
durch den Modul 20. Infolgedessen bietet das obige Verfahren
den Vorteil, schneller zu sein als die bekannten Verfahren zur Bildsynthese.
Die bekannten Verfahren zur Bildsynthese synthetisieren nämlich mit
Hilfe des Moduls 20 jedes der Bilder einer zeitlichen Bildsequenz.
Folglich wird der Modul 20 für eine zeitliche Sequenz von
sieben Bildern sieben mal gefahren. Im Gegensatz dazu wird bei dem
Verfahren gemäß 6 zur
Erzeugung einer zeitlichen Sequenz von sieben Bildern der Modul 20 jeweils
drei mal zum Erzeugen der Bilder 44, 46 und 118 aktiviert,
während
die fünf
Zwischenbilder der zeitlichen Sequenz durch zeitliche Interpolation hergestellt
werden. Somit wurde gemessen, daß die Gesamtzeit, die notwendig
ist, um diese zeitliche Sequenz von sieben Bildern mit Hilfe des
Verfahrens nach 6 herzustellen, sehr deutlich
unter der Zeit liegt, die notwenig ist, um eine zeitliche Sequenz
von sieben Bildern mit Hilfe der bekannten Bildsyntheseverfahren
herzustellen.
-
Das
Verfahren ist für
den speziellen Fall beschrieben, daß allein ein Bild 118 zur
Bestimmung des Verschiebungsvektorenfeldes hergestellt wird. In einer
Variante ist das Verfahren nach 6 abgewandelt
zur Herstellung eines Bildes, bei dem die Farben der Pixel die Position
der Punkte der Objekte entsprechend dem Moment T anzeigen, und eines weiteren
Bildes, bei dem die Farben der Pixel die Position der Punkte der
Objekte im Moment T + 1 anzeigen. Um diese beiden Bilder herzustellen,
wird der Schritt 74 so ausgeführt, daß einmal als Anlaufbild das
in einem Moment T aufgenommene Bild und als Einlaufbild das zu einem
Moment T + 1 aufgenommene Bild und ein zweites Mal als Anlaufbild
das zum Moment T + 1 und als Einlaufbild das zum Moment T aufgenommene
Bild genommen wird. Bei dieser Abwandlung wird der Schritt 120 für diese
beiden Bilder in der Weise ausgeführt, daß man zwei Verschiebungsvektorenfelder
erhält,
und dem Schritt 130 geht ein Schritt voraus, der darin
besteht, daß gewichtete Mittel
dieser beiden Verschiebungsvektorenfelder zu errechnen. Die Berechnung
des Verschiebungsvektorenfeldes einmal in dem einen Sinn, d. h.
vom Moment T zum Moment T + 1, und einmal in dem anderen Sinn, d.
h. vom Moment T + 1 zum Moment T, ermöglicht es, die Genauigkeit
der Berechnung des Verschiebungsvektorenfeldes zu verbessern.