DE69632755T2

DE69632755T2 - Vorrichtung zur Erzeugung von rechnererzeugten stereoskopischen Bildern

Info

Publication number: DE69632755T2
Application number: DE69632755T
Authority: DE
Inventors: Kenya Hirakata-shi Uomori; Masamichi Hirakata-shi Nakagawa; Atsushi Nara-shi Morimura
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-06-29
Filing date: 1996-06-28
Publication date: 2004-11-04
Anticipated expiration: 2016-06-29
Also published as: US6175379B1; US20020024592A1; KR970004916A; EP0751689A3; US6268880B1; US6417880B1; EP1328129B1; EP1328129A1; EP0751689B1; DE69619308T2; US6005607A; DE69631496T2; DE69619308D1; EP0751689A2; EP1168852B1; EP1168852A1; US6353457B2; DE69632755D1; US20010033327A1; DE69631496D1

Description

Die vorliegende Erfindung bezieht sich auf ein stereoskopisches Computergrafik-(CG-)Bilderzeugungsgerät nach dem Oberbegriff von Anspruch 1, um die stereoskopische Sicht möglich zu machen, indem zweidimensionale Bilder angezeigt werden, die aus dreidimensional strukturierter Information erzeugt werden.
Ein solches stereoskopisches CG-Bilderzeugungsgerät ist bereits aus der Druckschrift EP-A-0 583 060 bekannt, das Bilder eines Objekts entsprechend den Augenpositionen eines Betrachters erzeugt und die Bilder so anzeigt, als wenn sie von den Positionen betrachtet würden, ohne dreidimensionale Verzerrung.
Eine weitere Druckschrift EP-A 0 641 132 beschreibt ein stereoskopisches Bildaufnahme- und Anzeigegerät, die Druckschrift EP-A 0 607 000 beschreibt ein Verfahren und ein Gerät zum Erzeugen von 3D-Bildern, und EP-A 0 328 357 ein stereoskopisches Grafikanzeigesystem mit mehreren Fenstern zum Anzeigen mehrerer Bilder, wobei Tiefenmarkierungswidersprüche zwischen gestapelten Fenstern durch Wiedergabe der Bilder in verdeckten Fenstern mit Null-Binokularverschiedenartigkeit.
Ein Beispiel einer bekannten Stereoskopbilderzeugungsvorrichtung ist in 10 gezeigt. Bei dieser Vorrichtung wird eine dreidimensional strukturierte Information, die eine dreidimensionale Gestalt eines Gegenstandes durch ein Oberflächenmodell beschreibt, eingegeben (der Gegenstand wird durch mehrere, Polygone genannte kleine Oberflächen angenähert, und die Strukturinformation definiert die dreidimensionalen Positionen der Scheitel eines jeden Polygons und der Flächen und der Ränder, die von den Polygonen gebildet werden), und der durch diese Information definierte Gegenstand wird in einem Weltkoordinatensystem angeordnet.
Die Projektionstransformationseinheiten 1 und 2 berechnen dann die zweidimensionalen Positionen des Objektes, die auf einen Film projiziert würden, wenn mit einer imaginären Kamera fotografiert würde, und Wiedergabeeinheiten 3 und 4 bestimmen die Helligkeit und Farbe (z. B. R-, G-, B-Werte) eines Bildes innerhalb jedes Polygons auf der Basis des Materials des Objektes, der Art der verwendeten Lichtquelle und der dreidimensionalen Positionen.
Beispielsweise wird ein geometrisches Modell eines Polyeders, wie beispielsweise desjenigen, der in 11(a) gezeigt ist, durch die dreidimensionalen Koordinaten der Scheitel V1 bis V8 und die Datenstruktur (die Flächen und Kanten bilden) des geometrischen Modells beschrieben, wie in 11(b) gezeigt, und das durch diese Information beschriebene Objekt ist im Weltkoor dinatensystem, so wie in 12(a) gezeigt, angeordnet. Dann wird ein Bild (Scheitel) des auf einen Schirm 50 projizierten Objekts, wie vom Betrachtungspunkt E der Kamera gesehen, berechnet. Als nächstes werden die Positionen der Flächen und Kanten, die von den Scheiteln gebildet werden, auf dem Schirm und ihre Helligkeit und Farbe berechnet, um ein Bild für die Ausgabe zu erzeugen. Dabei müssen für die Erzeugung eines stereoskopischen Bildes Bilder, wie sie aus wenigstens zwei Betrachtungspunkten gesehen werden, berechnet werden; daher müssen Kameraparameter wie in 12(b) spezifiziert, beschrieben werden, d. h. 2Wc, was der Abstand zwischen mehreren Kameras ist, CL und CR, die die Positionen der Kamerabetrachtungspunkte sind, P, das die dreidimensionale Koordinate des Konvergenzpunktes der Kamera ist, und F, das die Brennweite der Kameras ist (oder θ, was das Sichtfeld ist).
18 zeigt ein Beispiel eines bekannten stereoskopischen Fernsehgeräts zum Anzeigen eines stereoskopischen Bildes.
Dieses Gerät enthält zwei Kathodenstrahlröhren mit gekreuzten Polarisationsfiltern, die vor ihren jeweiligen Bildschirmen angeordnet sind, und ein halbversilberter Spiegel wird dazu verwendet, die zwei Anzeigebilder zu kombinieren. Wenn die Bilder durch eine Brille betrachtet werden, die aus entsprechenden Polarisationsfiltern besteht, werden sie dem linken bzw. dem rechten Auge des Betrachters dargeboten.
Bei dem obigen bekannten Gerät, das eine stereoskopische Computergraphik erzeugt, müssen die vielen Kameraparameter jedoch entsprechend der Betrachtungsdistanz und der Bildschirmgröße geändert werden, und wirklich werden diese Parameter durch einen Computergraphikfachmann mit Hilfe von dessen Erfahrung eingestellt, indem er die erzeugten stereoskopischen Computergraphikbilder betrachtet und die Parameter so einstellt, dass dem Zuschauer ein einfach zu betrachtendes Bild angeboten werden kann. Es besteht daher das Problem, dass wenn die stereoskopischen Computergraphikbilder mit unpassend eingestellten Parametern erzeugt und auf einer stereoskopischen Bildanzeigevorrichtung dargestellt werden, die Binokularparallaxe der stereoskopischen Bilder (die beispielsweise die Differenz zwischen den horizontalen Positionen derselben Scheitel in den linken und rechten Bildern als Sichtwinkel ausdrückt) häufig den zulässigen Bereich des Betrachters überschreitet, was zu unnatürlichen stereoskopischen Bildern führt, die zu einer Überanstrengung des Auges neigen.
Im Hinblick auf das obige Problem des bekannten stereoskopischen CG-Bilderzeugungsgeräts ist es eine Aufgabe der vorliegenden Erfindung, ein Gerät zum Erzeugen stereoskopischer Bilder anzugeben, das automatisch natürliche stereoskopische Bilder erzeugt, die von einem Be trachter einfach ohne Rücksicht auf den Betrachtungsabstand und die Schirmgröße zu betrachten sind.
Bei dem bekannten stereoskopischen Fernsehgerät ist bei gleichem stereoskopischen Bildsignal bei unterschiedlichen Bildschirmgrößen auch die Binokularparallaxe der angezeigten Bilder verschieden. 19 erläutert dies; das bedeutet, die Binokularparallaxe δs auf einem kleinen Anzeigeschirm (a) nimmt auf ΔL auf einem großen Anzeigeschirm (b) zu. Wenn diese Binokularparallaxe zu groß wird, hat der Betrachter Schwierigkeiten, einen stereoskopischen Eindruck zu gewinnen, wodurch die Augen angestrengt werden.
Die Schwierigkeit beim Gewinnen eines stereoskopischen Eindrucks bedeutet, dass wenn die Binokularparallaxe ΔN groß wird und die Distanz zwischen dem Bildanzeigeschirm und dem Punkt, wo das Objekt wahrgenommen wird, für die stereoskopische Betrachtung zunimmt, wie in 20(a) gezeigt, ein Konflikt zwischen der Adaption der Augenlinsen des Betrachters und der durch den stereoskopischen Eindruck wahrgenommenen Distanz entsteht, und (wenn P sich weiter annähert) ein binokularer stereoskopischer Eindruck nicht erzielt werden kann. Im Falle von 20(b) wird bei stereoskopischen Bildern ein Objekt in einer Distanz ∞ mit einer binokularen Parallaxe dargestellt, die mit dem Pupillenabstand des Betrachters übereinstimmt. Wenn die Binokularparallaxe ΔF größer als diese wird, dann ist der Betrachter nicht in der Lage, einen binokularen stereoskopischen Eindruck zu erzielen.
Bei Computergraphikarbeitsplätzen der letzten Zeit sind Mehrfachsynchronisationsbildschirme in breitem Einsatz, die zwischen mehreren Auflösungsbetriebsarten umgeschaltet werden können. Die Auflösung (Anzeigefrequenz) kann über einen breiten Bereich umgeschaltet werden, beispielsweise von einer Betriebsart niedriger Auflösung eines 640 × 400 Pixelschirms, der gewöhnlich für PCs benutzt wird, auf eine Betriebsart hoher Auflösung mit 2000 × 1000 Pixel für Arbeitsplätze. Wenn ein Multisynchronanzeigeschirm benutzt wird, um zwischen Bildsignalen umzuschalten, variiert die angezeigte Größe eines Bildes, das aus der gleichen Zahl Bildpunkten besteht, entsprechend der Auflösung des Bildsignals, weil die Anzeigeschirmgröße die gleiche ist. 19 zeigt dieses; das bedeutete, Teil (c) zeigt eine Anzeige eines Bildsignals niedriger Auflösung und Teil (d) zeigt eine Anzeige eines Bildsignals hoher Auflösung. Im Teil (d) ist das angezeigte Bild klein, während im Teil (c) die Binokularparallaxe Δs größer als Δt ist.
Wenn stereoskopische Computergraphikbilder oder dgl. auf einer solchen Anzeige dargestellt werden, variiert die Binokularparallaxe der angezeigten Bilder sehr stark in Übereinstimmung mit der Bildauflösung, und in manchen Fällen macht es dieses für den Betrachter schwierig, einen stereoskopischen Eindruck zu erhalten, und somit werden die Augen angestrengt.
Gegenwärtig gibt es drei Typen von Rundfunkvideosignalen, HDTV, EDTV und NTSC. Diese Signalformate unterscheiden sich nicht nur in der Auflösung, sondern auch im Bildseitenverhältnis, und daher ergeben sich Unterschiede in der Bildgröße. Außerdem kann bei manchen Anzeigeverfahren die Größe verändert werden, wie in einer Fensterumgebung. Dementsprechend variiert die Binokularparallaxe der angezeigten Bilder stark, und in manchen Fällen macht es dieses dem Betrachter schwierig, einen stereoskopischen Eindruck zu erzielen, was wieder die Augen anstrengt.
Diese Aufgabe wird durch die kennzeichnenden Merkmale des Anspruchs 1 gelöst.
ÜBERSICHT ÜBER DIE ERFINDUNG
Gemäß der vorliegenden Erfindung berechnet die Verschmelzungsbereichs-Berechnungseinrichtung den Binorkularverschmelzungsbereich des Betrachters, der den Schirm des stereoskopischen Bildanzeigegeräts zum Anzeigen des stereoskopischen Bildes eines Objekts betrachtet, auf der Grundlage der zuvor eingegebenen Parameter, die wenigstens aus der Größe des Schirms und dem Betrachtungsabstand zwischen dem Schirm und dem Betrachter bestehe, und die Kamaraparameter-Berechnungseinrichtung berechnet die Bedingungen für Kameraparameter auf der Grundlage des Binokularverschmelzungsbereichs und der Objekt-Kamera-Distanz, die von der Distanzinformations-Extraktionseinheit erzeugt wird, so dass das Objekt in seiner Gesamtheit in den Binokularverschmelzungsbereich des Betrachters gebracht werden kann; dann ermittelt der CG-Operator unter Verwendung der Kameraparameter-Ermittlungseinheit die Kameraparameter auf der Grundlage der Ausgabe der Kameraparameter-Berechnungseinrichtung, und auf der Grundlage einer dreidimensionalen Strukturinformation, die eine dreidimensionale Gestalt eines Objekts beschreibt, erzeugt die Projektionstransformationseinheit unter Verwendung der so ermittelten Kameraparameter die mehreren zweidimensionaler Projektionsbilder, wie sie von den mehreren Kameras gesehen werden.
1 ist ein Diagramm, das die Konfiguration einer Vorrichtung zum Erzeugen stereoskopischer CG-Bilder zeigt, nicht gemäß der vorliegenden Erfindung;
2 ist ein Diagramm, das das Verhältnis zwischen einem Objekt und Kamerapositionen in einem CG-Raum (Weltkoordinatensystem) zeigt und für das Verständnis der vorliegenden Erfindung hilfreich ist;
3 ist ein Diagramm, das einen Betrachterraum (das den Raum definiert, wo stereoskopische Bilder betrachtet werden) zeigt;
4 ist ein Diagramm, das ein Verfahren zum Parallelaufnehmen eines stereoskopischen Bildes zeigt;
5(a) ist ein Diagramm, das ein Beispiel einer Anzeige zeigt, die auf einer Anzeigeeinheit in einer Betriebseinheit gemäß dem ersten Beispiel erzeugt wird, und 5(b) ist ein Diagramm, das ein Bedienfeld der Betriebseinheit zeigt;
6 ist ein Diagramm, das den Aufbau einer Vorrichtung zur Erzeugung eines stereoskopischen CG-Bildes zeigt, nicht gemäß der vorliegenden Erfindung;
7 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes zeigt, nicht gemäß der vorliegenden Erfindung;
8(a) ist ein Diagramm, das das Konzept des Nah-Abschneidens und Fern-Abschneidens (unabhängig für linke und rechte Kameras) zeigt, und 8(b) ist ein Diagramm, das das Konzept des Nah-Abschneidens und Fern-Abschneidens (gemeinsam für die linken und rechten Kameras) gemäß dem dritten Beispiel zeigt;
9 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes zeigt und für das Verständnis der vorliegenden Erfindung hilfreich ist;
10 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes zeigt, gemäß dem Stand der Technik;
11(a) ist ein Diagramm, das ein Beispiels eines geometrischen Modells zur Erläuterung dreidimensionaler Strukturinformation zeigt, und 11(b) ist ein Diagramm, das die Datenstruktur des geometrischen Modells zeigt;
12(a) ist ein Diagramm, das ein Weltkoordinatensystem und Projektionstransformation zeigt und 12(b) ist ein Diagramm, das Kameraparameter zeigt;
13 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes zeigt, gemäß der vorliegenden Erfindung;
14 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgerätes nach einer Ausführungsform nicht gemäß der vorliegenden Erfindung zeigt;
15 ist ein Diagramm, das den Betrieb einer Parallaxenberechnungseinheit nicht gemäß der vorliegenden Erfindung zeigt;
16 ist ein Diagramm, das den Aufbau eines weiteren stereoskopischen Fernsehgerätes nicht gemäß der vorliegenden Erfindung zeigt;
17 ist ein Diagramm, das ein zeitmultiplexiertes stereoskopisches Bildsignal gemäß dem sechsten Beispiel der vorliegenden Erfindung zeigt;
18 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgeräts gemäß dem Stand der Technik zeigt;
19 ist ein Diagramm, das die Verhältnisse zwischen binokularer Parallaxenanzeigebildgröße und Bildauflösung zeigt;
20 ist ein Diagramm, das einen Binokular-Verschmelzungsbereich eines Betrachters zeigt;
21 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgeräts nicht gemäß der vorliegenden Erfindung zeigt, und
22 ist ein Diagramm, das den Zusammenhang zwischen dem Betrachtungswinkel des Anzeigeschirms und den Binokular-Verschmelzungsgrenzen zeigt.
Beispiel 1
1 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einem ersten Beispiel zeigt, das für das Verständnis der vorliegenden Erfindung hilfreich ist. In 1 sind die Bezugszeichen 1 und 2 Projektionstransformationseinheiten und 3 und 4 sind Wiedergabeeinheiten; diese Einheiten sind vergleichbar jenen, die in der bekannten Vorrichtung zum Erzeugen stereoskopischer Computergraphik verwendet werden. Das vorliegende Beispiel unterscheidet sich von der bekannten Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes dadurch, dass die Distanzinformations-Extraktionseinheit 5, eine Verschmelzungsbereichs-Prüfeinheit 11, eine Kameraparameter-Ermittlungseinheit 6 und eine Betriebseinheit 12 hinzugefügt sind. Die Verschmelzungsbereichs-Prüfeinheit 11 enthält eine Verschmelzungsbereichs-Berechnungseinrichtung und eine Kameraparameter-Berechnungseinrichtung.
Der Betrieb der Vorrichtung zur Erzeugung eines stereoskopischen CG-Bildes des vorliegenden Beispiels wird nun erläutert. Zunächst wird die dreidimensionale Strukturinformation, die eine dreidimensionale Gestalt eines Objekts durch ein Oberflächenmodell beschreibt, in die Projektionstransformationseinheiten 1 und 2 sowie in die Distanzinformations-Extraktionseinheit 5 eingegeben. Während die Ausgabebilder, die auf einer stereoskopischen Bildanzeigevorrichtung (nicht dargestellt), die mit den Ausgabeeinheiten 3 und 4 verbunden ist, von ihm geprüft werden, ordnet eine CG-Bedienperson das Objekt und eine imaginäre Kamera (in der Mitte zwischen linken und rechten Kameras) an geeigneten Stellen im Weltkoordinatensystem an, wie sie wünscht, um so ihre Richtung zu bestimmen. Die linken und rechten Kameras werden an Positionen –Wc und +Wc längs der x-Achse mit der imaginären Kameraposition V als Ursprung angeordnet (siehe 2). Es sei hier angenommen, dass die Kameraparameter dabei als Anfangswerte eingestellt sind (der Kameraabstand Wc, die Brennweite f und die Distanz dx zum später unter Bezugnahme auf 3 beschreibenden Konvergenzpunkt). (Der Kameraabstand Wc, wie hier verwendet, bezieht sich auf die Hälfte der Distanz zwischen den linken und rechten Kameras. Gleiches gilt nachfolgend, falls nicht anders angegeben.)
Als nächstes extrahiert die Distanzinformations-Extraktionseinheit 5 vom Objekt einen Punkt, der der imaginären Kamera am nächsten ist (Nahpunkt N) und einen Punkt, der von der imaginären Kamera am weitesten entfernt ist (Fernpunk F). Die x-, y-Koordinaten dieser Punkte werden berechnet und als N (XN, YN, ZN) und F (XF, YF, ZF) bezeichnet (siehe 2) Wenn diese zwei Punkte beide in den Binokularverschmelzungsbereich des Betrachters fallen, wird ein gutes stereoskopisches CG-Bild erhalten. In diesem Falle können der Fernpunkt und der Nahpunkt umfassend bestimmt werden, indem der Mittelwert der Distanzen zu der imaginären Kamera berechnet werden usw..
Auf der Grundlage der dreidimensionalen Koordinaten des Nahpunktes N und des Fernpunktes F und auf der Betrachtungsdistanz ds des Betrachters und der Bildschirmgröße M der stereoskopischen Bildanzeigevorrichtung, auf der stereoskopische CG-Bilder zur Betrachtung dargestellt werden (ds und M sind zuvor eingegebene Parameter) berechnet die Verschmelzungsbereichs-Prüfeinheit 11 einen wirksamen Bereich (in dem der Betrachter eine binokulare Verschmelzung erreichen kann), der Kameraparameter (Kameraabstand Wc, Kamerabrennweite f und Distanz dx zwischen dem Kamerakonvergenzpunkt und der imaginären Kameraposition V). Die Betrachterraumparameter sind wie in 3 gezeigt definiert.
Mathematische Ausdrücke für die Berechnungen werden unten angegben. Nahpunktbedingung (Gleichung 1)
Fernpunktbedingung: (Gleichung 2)
wobei
wobei 2 × ΔS die Phasendifferenz zwischen linken und rechten Bildern auf dem stereoskopischen Bildanzeigeschirm angibt; gewöhnlich wird 2 × ΔS auf den Pupillenabstand des Betrachters eingestellt (etwa 60 mm). Weiterhin stellen D– und D+ Binokularparallaxen am nächsten Punkt und fernsten Punkt innerhalb des Bereiches dar, in dem der Betrachter eine binokulare Verschmelzung erreichen kann.
Die Brennweite f und das Sichtfeld Θ einer Kamera haben ein festes Verhältnis zueinander, wie ausgedrückt durch (Gleichung 3);
Gleichung 3
Daher kann jeder von ihnen benutzt werden, um den Parameter zu bestimmen. Auch kann dx automatisch durch die Kameraposition und die dreidimensionale Position eines Punktes, auf den die Kamera gerichtet ist bestimmt werden. Die Verschmelzungsbereichs-Prüfeinheit 11 berechnet jede mögliche Kombination des Kameraabstandes Wc, der Kamerabrennweite f und der Distanz dx vom Kamerakonvergenzpunkt P zur imaginären Kameraposition V, die beide der obigen Ausdrücke befriedigt.
In der Gleichung 1 geben D+ und D– die Grenzwerte an, innerhalb der der Betrachter Binokularverschmelzung erreichen kann. Diese Werte hängen von der Größe des Bildanzeigeschirms ab, der sich dem Betrachter darbietet. Die Verschmelzungsbereichs-Prüfeinheit 11 speichert im voraus die Werte des Binokularverschmelzungsbereichs entsprechend dem Bildanzeigeschirm, und auf der Grundlage von ihnen bewertet sie den Verschmelzungsbereichs des Betrachters.
Als nächstes bestimmt die Kameraparameter-Bestimmungseinheit 6, welche der Kameraparameterkombinationen, die von der Verschmelzungsbereichs-Prüfeinheit 11 berechnet wurden, verwendet werden soll.
Beispielsweise wird eines der nachfolgenden Verfahren benutzt.

(1) Beim Prüfen der ausgegebene Bilder durch Betrieb der Betriebseinheit 12 versucht der CG-Betreiber zahlreiche Kameraparameterkombinationen, die durch die Verschmelzungsbereichs-Prüfeinheit 11 berechnet wurden, und wählt jene aus, von der er denkt, dass sie das beste Ergebnis bringt.
(2) Der CG-Betreiber bestimmt zunächst einen der Kameraparameter Wc, f und dx und ändert dann die verbliebenen zwei Parameter durch Betreiben der Betriebseinheit 12 in wahlfreier Weise innerhalb der Parameterkombinationen, die von der Verschmelzungsbereichs-Prüfeinheit 11 angeboten werden (Kombinationen der zwei Parameter, die die Ausdrücke der Gleichung 1 und der Gleichung 2 befriedigen), während er die ausgegebenen Bilder prüft, und bestimmt die Kombination, von der er denkt, dass sie das beste Ergebnis bringt.
(3) Der CG-Betreiber bestimmt zunächst zwei der Kameraparameter Wc, f und dx und ändert dann den verbliebenen Parameter durch Betreiben der Betriebseinheit 12 wahlfrei innerhalb des Parameterbereiches, der von der Verschmelzungsbereichs-Prüfeinheit 11 dargeboten wird (der Bereich von einem der Parameter, der die Ausdrücke der Gleichung 1 und der Gleichung 2 befriedigt), während er die ausgegebenen Bilder prüft, und bestimmt jene, von der er denkt, dass sie das beste Ergebnis bringt.

Die Verfahren (1) bis (3) werden nachfolgend weiter erläutert.
Im Falle (1) wird ein Bereich (wirksamer Bereich), der Kombinationen der Parameter Wc, f und dx definiert, in dem der Betrachter eine Binokularverschmelzung erreichen kann, zusammen mit einem Zeiger 13 angezeigt, der die laufende Kombination von Wc, f und dx angibt, auf eine Anzeigeeinheit, die in der Betriebseinheit 12 angeordnet ist, wie in 5(a) gezeigt.
Der CG-Betreiber ändert die Position des Zeigers durch Verwendung einer dreidimensionalen Maus oder dgl.. Dabei ändern sich die Werte von Wc, f und dx, wenn sich die Zeigerposition ändert, jedoch kann der Zeiger nicht außerhalb des wirksamen Bereichs bewegt werden. Die Parameter an der Koordinatenposition, die von dem Zeiger angezeigt wird, werden an die Kameraparameter-Ermittlungseinheit 6 ausgegeben, und die auszugebenden stereoskopischen Bilder werden durch die Projektionstransformationseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 berechnet. Durch Betrachtung des von der stereoskopischen Bildanzeigevorrichtung erzeugten Bildes stellt der CG-Betreiber die Position des Zeigers so ein, wie er es wünscht. Auf diese Weise wird die Steuerung derart ausgeführt, dass die ausgegebenen stereoskopischen CG-Bilder immer innerhalb des Binokularverschmelzungsbereiches des Betrachters erzeugt werden.
Im Falle von (2) und (3) ist, wie in 5(b) gezeigt, ein Steuerfeld 12a vorgesehen, das drei Größensteuerungen 14, 15 und 16 zum Einstellen der betreffenden Parameter und drei Verriegelungsknöpfe 17, 18 und 19 zum Verriegeln der entsprechenden Parameter aufweist. Es sei hier angenommen, dass zu Anfang die Verriegelungsknöpfe nicht EIN-gedrückt sind. Beim Betrachten des ausgegebenen stereoskopischen CG-Bildes wählt der CG-Betreiber beispielsweise zunächst die Brennweite f aus den Kameraparametern aus und bestimmt, ihn auf f0 auf dem Steuerfeld 12a einzustellen (5(b)), indem er das Gesichtsfeld betrachtet. Der Betreiber setzt dann die Größensteuerung 14 auf f0 und drückt den Verriegelungsknopf 17. Der Parameter f wird somit auf f0 verriegelt. Wenn der Parameter f verriegelt ist, berechnet die Verschmelzungsbereichs-Prüfeinheit 11 Kombinationen der übrigen Parameter Wc und dx, die die Gleichung 1 und Gleichung 2 befriedigen.
Als nächstes ändert der CG-Betreiber die Parameter Wc und dx durch Betätigen der Größensteuerungen 15 und 16, während die ausgegebenen Bilder geprüft werden. Hier sind Vorkehrungen derart getroffen, dass die Parameter Wc und dx, die der CG-Betreiber gerade einstellt, nur innerhalb der Bereiche von Wc- und dx-Werten geändert werden können, die sowohl die Gleichung 1 als auch die Gleichung 2 befriedigen. Dabei kann einer der beiden Parameter Wc oder dx durch die Verriegelungsknöpfe 18 oder 19 verriegelt werden. Dann wird nur der verbliebene Parameter geändert, während die ausgegebenen stereoskopischen CG-Bilder geprüft werden. Auf diese Weise können die Parameter nacheinander bestimmt werden, während das ausgegebene stereoskopische CG-Bild beständig innerhalb des Binokularverschmelzungsbereiches des Betrachters gehalten wird.
Unter Verwendung der Kameraparameter Wc, f und dx, die auf oben beschriebene Weise bestimmt wurden, berechnen die Projektionstransformationseinheiten 1 und 2 die zweidimensionalen Positionen des Objekts, die auf Filme projiziert würden, wenn mit rechten und linken Kameras fotografiert würde, und die Ausgabeeinheiten 3 und 4 bestimmen die Helligkeit und Farbe eines Bildes innerhalb eines jeden Polygons auf der Basis des Materials des Objekts, der Art der verwendeten Lichtquelle und der dreidimensionalen Positionen. Schließlich werden stereoskopische CG-Bilder für das linke und das rechte Auge ausgegeben.
Das vorliegende Beispiel ist unter der Annahme beschrieben worden, dass die Kameraanordnung für konvergierendes Fotografieren eingerichtet ist (in 2 sind die linken und rechten Kameras 7 und 8 so angeordnet, dass beide in die Richtung des Punktes P zeigen). Alternativ können die linken und rechten Kameras parallel zueinander angeordnet sein, wie in 4 gezeigt. In diesem Falle braucht die Verschmelzungsbereichs-Prüfeinheit 11 nicht die dreidimensionalen Koordinatenwerte des Fernpunktes des Objekts verwenden, sondern muss nur Kombinationen von Wc und f berechnen, die die durch die Gleichung 4 ausgedrückte Bedingung befriedigen. Gleichung 4
(Diese Einstellung ist äquivalent der Einstellung dx auf ∞.)
Im vorliegenden Beispiel werden die Grenzen des Binokularverschmelzungsbereiches des Betrachters durch die Gleichung 1 und die Gleichung 2 angegeben. Alternativ können D– und D+ in diesen Ausdrücken oder Tiefendistanzen entsprechend dieser Parameter manuell durch den CG-Betreiber eingegeben werden.
Beim vorliegenden Beispiel werden die Kameraparameter auf der Grundlage der Daten eines CG-Bildes bestimmt, im Falle von bewegten Bildern können die Kameraparameter aber auch in gleicher Weise durch Verwendung von CG-Bilddaten in jedem der aufeinanderfolgenden Zeitpunkte bestimmt werden. Weiterhin, wenn eine Kameraparameterfolge über eine gewisse Zeitperiode im voraus bestimmt und gespeichert wird, ist es möglich, die gleiche Szene immer wieder abzuspielen, indem die stereoskopischen Kameraparameter verwendet werden, die das gleiche Änderungsmuster haben.
Wie oben beschrieben, werden gemäß dem vorliegenden Beispiel die Distanzinformation Kamera-Objekt und die Größe der Parallaxe der auf der Anzeigevorrichtung erzeugten stereoskopischen CG-Bilder aus der Größe der Anzeigeeinrichtung und der Betrachtungsdistanz berechnet, und durch Prüfung, ob die CG-Bilder in den Binokularverschmelzungsbereich des Betrachters fallen, werden geeignete Kameraparameter (Brennweite oder Gesichtsfeld, Kameraabstand und Konvergenzpunkt) bestimmt. Auf diese Weise können einfach zu betrachtende stereoskopische CG-Bilder automatisch erhalten werden.
Beispiel 2
6 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes zeigt, die für das Verständnis der vorliegenden Erfindung hilfreich ist. In 6 sind die Bezugszeichen 1 und 2 Projektionstransformationseinheiten, 3 und 4 sind Ausgabeeinheiten und 6 ist eine Kameraparameter-Ermittlungseinheit; diese Einheiten sind gleich jenen, die in der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes des ersten Beispiel verwendet wurden. Das vorliegende Beispiel unterscheidet sich von der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes des ersten Beispiels dahingehend, dass die Distanzinformations-Extraktionseinheit 5 und Verschmelzungsbereichs-Prüfeinheit 11 in 1 durch eine Parallaxenumrechnungseinheit 20 und eine Verschmelzungsbereichs-Beurteilungseinheit A21 ersetzt sind, welch letztere als eine Pixelzahlberechnungseinrichtung wirkt.
Der Betrieb der Vorrichtung zum Erzeugen des stereoskopischen CG-Bildes des o. g. Aufbaus wird nun erläutert.
Das vorliegende Beispiel ist speziell in Fällen wirksam, in denen von den Kameraparametern Wc, f und dx wenigstens ein Parameter, insbesondere Wc, durch den CG-Betreiber festgelegt wird und, wenn ohne jegliche Einstellung ausgegeben, die gesamten stereoskopischen CG-Bilder nicht in den Binokularverschmelzungsbereich des Betrachters gebracht werden können.
Die dreidimensionale Strukturinformation, die eine dreidimensionale Gestalt eines Objektes durch ein Oberflächenmodell beschreibt, wird in die Projektionstransformationseinheiten 1 und 2 eingegeben. Wie beim ersten Beispiel rangiert der CG-Betreiber unter Prüfung der ausgegebenen Bilder, die auf der stereoskopischen Bildanzeigevorrichtung (nicht dargestellt) erzeugt werden, die mit den Ausgabeeinheiten 3 und 4 verbunden sind, das Objekt und die imaginäre Kamera (in der Mitte zwischen linken und rechten Kameras) an geeigneten Positionen im Weltkoordinatensystem, wie er es wünscht, und bestimmt so ihre Richtung. Die linken und rechten Kameras werden an Positionen von –Wc und +Wc längs der x-Achse angeordnet, wobei die imaginäre Kameraposition V in ihrem Ursprung liegt (siehe 2). Die Kameraparameter Wc, f und dx, die hier benutzt werden, sind als Anfangswerte eingestellt (wenigstens einer dieser Parameter ist fest).
Unter Verwendung dieser vorgegebenen Parameter wandeln die Projektionstransformationseinheiten 1 und 2 die dreidimensionale Strukturinformation in Bilder um, die auf einen zweidimensionalen Schirm projiziert werden, und die resultierenden Bilder werden den Ausgabeeinheiten 3 und 4 zugeführt, die dann die CG-Bilder erzeugen.
Aus den Ausgaben der Ausgabeeinheiten 3 und 4 und der dreidimensionalen Strukturinformation berechnet die Parallaxenumrechnungseinheit 20 die Tiefendaten der linken und rechten Bilder an jedem Punkt der Projektions-gewandelten Bilder, d. h. eine Parallaxenumwandlung (ein Bild, das den Umfang von Tiefe an jeden Pixel zeigt). Beispielsweise durch Verwendung der Ergebnisse von Z-Pufferverarbeitung, eine bei CG populäre Technik, ist es möglich, den Umfang an Tiefe an einem jeden Punkt auf dem Schirm zu erhalten, und es ist einfach, eine Parallaxenumrechnung unter Verwendung dieser Technik zu konstruieren. Im Falle von Bildern, wie beispielsweise einer Drahtgitterdarstellung, die keine Ausgabe umfassen, wird eine Parallaxenumrechnung unter Verwendung der Ausgaben der Projektionstransformationseinheiten 1 und 2 und der dreidimensionalen Strukturinformation aufgebaut.
Auf der Grundlage der Parallaxenumrechnung berechnet die Verschmelzungsbereichs-Beurteilungseinheit A21 die Anzahl der Pixel (dies wird durch die effektive Pixelzahl definiert) oder der Polygonscheitel oder die Anzahl der Mittelpunkte von Polygonen, die in einem Bereich auf dem Bildschirm enthalten sind, der innerhalb des Binokularverschmelzungsbereichs des Be trachters liegt, der die stereoskopischen CG-Bilder betrachtet (der Verschmelzungsbereich ist ein Bereich, in dem die Parallaxe einen Wert zwischen D– und D+ annimmt, wobei diese Werte von der Bildschirmgröße abhängig sind, und eine Datenbank, die diese Werte speichert, ist in der Verschmelzungsbereichs-Beurteilungseinheit A21 enthalten).
Während nacheinander die Kameraparameter Wc, f und dx verändert werden, berechnet die Verschmelzungsbereichs-Beurteilungseinheit A21 auf der Grundlage der Ausgabe der Parallaxenumrechnungseinheit 20 die effektive Pixelzahl für jede mögliche Kombination von Wc, f und dx innerhalb vorgegebener Variationsbereiche mit Ausnahme jedoch des Parameters, dessen Wert fest ist.
Die Kameraparameter-Ermittlungseinheit 6 berechnet dann die Parameter Wc, f und dx, die die größte effektive Pixelzahl für alle Kombinationen der Parameter Wc, f und dx ergeben, für die die effektive Pixelzahl berechnet worden ist. Die so berechneten Parameter Wc, f und dx werden den Projektionstransformationseinheiten 1 und 2 zugeführt.
Dabei wird anstelle der Auswahl des Maximalwertes der effektiven Pixelzahl eine Zahl von Kombinationen, die die effektive Pixelzahl dicht am Maximalwert ergibt, dem CG-Betreiber zur Wahl präsentiert, und die ausgewählte Kombination kann den Projektionstransformationseinheiten 1 und 2 zugeführt werden.
Weiterhin kann von den drei Parametern einer oder mehrere Parameter fest sein, und die Kameraparameter-Ermittlungseinheit 6 kann so eingerichtet sein, dass sie die Kombination der verbliebenen Parameter, die die größte effektive Pixelzahl liefert, anbietet, oder eine Anzahl von Kombinationen der verbliebenen Parameter anbietet, die die effektive Pixelzahl liefert, die nahe am Maximalwert liegt, damit der CG-Betreiber auswählen kann.
Unter Verwendung der so gelieferten Parameter rechnen die Projektionstransformationenseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 die endgültigen stereoskopischen CG-Bilder. Auf diese Weise können die Kameraparameter automatisch so bestimmt werden, dass sie den Bildanteil maximieren, der in den Binokularverschmelzungsbereich des Betrachters fällt.
Wenn die effektive Pixelzahl mehrere Maximalwerte hat, werden stereoskopische CG-Bilder erzeugt, die die Parameter für die betreffenden Fälle verwenden, und der CG-Betreiber wählt die gewünschte Parameterkombination durch Prüfen der Ergebnisse an der stereoskopischen Bildanzeigevorrichtung aus.
Wie beschrieben, können gemäß dem vorliegenden Beispiel selbst in Fällen, in denen es Beschränkungen bei den Kameraparametern gibt und die gesamten stereoskopischen CG-Bilder, die für die endgültige Ausgabe erzeugt werden, nicht in den Binokularverschmelzungsbereich des Betrachters gebracht werden können, die Kameraparameter Wc, f und dx automatisch so bestimmt werden, dass der Bildbereich maximiert wird, der in den Binokularverschmelzungsbereich fällt.
Bei dem zweiten Beispiel können der Nahpunkt und der Fernpunkt des Objektes aus der Parallaxenumrechnung berechnet werden, und anschließend können auf der Grundlage dieser Ergebnisse die stereoskopischen Kameraparameter unter Verwendung des gleichen Verfahrens bestimmt werden, wie bei dem ersten Beispiel beschrieben.
Beispiel 3
In 7 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einem dritten Beispiel zeigt, das für das Verständnis der vorliegenden Erfindung hilfreich ist. In 7 sind die Bezugszeichen 1 und 2 Projektionstransformationseinheiten, 3 und 4 sind Ausgabeeinheiten, 6 ist eine Kameraparameter-Ermittlungseinheit und 20 ist eine Parallaxenumrechnungseinheit; diese Einheiten sind gleich jenen, die bei der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes des zweiten Beispiels verwendet werden.
Die Unterschiede gegenüber dem zweiten Beispiel der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes bestehen darin, dass die Verschmelzungsbereichs-Beurteilungseinheit A21 durch eine Verschmelzungsbereichs-Beurteilungseinheit B21' als Pixelzahlberechnungseinrichtung ersetzt ist und dass eine Abschneidewert-Bestimmungeinheit 22 als spezielle Bildverarbeitungseinheit hinzugefügt ist.
Der Betrieb der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes des oben beschriebenen Aufbaus wird nun erläutert. Zunächst bestimmt die Kameraparameter-Ermittlungseinheit 6 die Kameraparameter (Wc, dx, f), um die Projektionstransformationseinheiten 1 und 2 in der gleichen Weise zu versorgen, wie bei dem vorangegangenen zweiten Beispiel.
Während er die ausgegebenen Bilder prüft, die auf der stereoskopischen Bildanzeigevorrichtung erzeugt werden, die mit den Ausgabeeinheiten 3 und 4 verbunden sind, arrangiert der CG-Betreiber das Objekt und die imaginäre Kamera an geeigneten Positionen im Weltkoordinatensystem, wie er es wünscht, und bestimmt dadurch ihre Richtung.
Unter Verwendung der so eingestellten Parameter wandeln die Projektionstransformationenseinheiten 1 und 2 die dreidimensionale Strukturinformation in Bilder um, die auf einen zweidimensionalen Schirm projiziert werden, und die resultierenden Bilder werden den Ausgabeeinheiten 3 und 4 zugeführt, die dann die CG-Bilder erzeugen.
Aus den Ausgängen der Ausgabeeinheiten 3 und 4 und der dreidimensionalen Strukturinformation berechnet die Parallaxenumrechnungseinheit 20 eine Parallaxenumrechnung an jedem Punkt der Projektions-gewandelten Bilder.
Auf der Grundlage dieser Parallaxenumrechnung berechnet die Verschmelzungsbereichs-Beurteilungseinheit B21' die effektive Pixelzahl des Bereichs auf dem Bildschirm, der innerhalb des Binokularverschmelzungsbereiches des Betrachters liegt, der die stereoskopischen CG-Bilder betrachtet, und während der aufeinanderfolgenden Änderung der Kameraparameter Wc, f und dx berechnet die effektive Pixelzahl auf der Grundlage der Ausgabe der Parallaxenumrechnungseinheit 20.
Die Verschmelzungsbereichs-Beurteilungseinheit B21' besitzt eine Datenbank, die Verhältnisse zwischen Bildschirmgröße und Verschmelzungsbereich definiert, und sie berechnet die wirksame Pixelzahl durch Bezugnahme auf diese Datenbank.
Als nächstes berechnet die Kameraparameter-Bestimmungseinheit die Parameter Wc, f und dx, die die größte effektive Pixelzahl aller Kombinationen der Parameter Wc, f und dx liefern, für die die effektive Pixelzahl berechnet worden ist. Die so berechnen Parameter Wc, f und dx werden den Projektionstransformationseinheiten 1 und 2 zugeführt.
Unter Verwendung der so zugeführten Parameter berechnen die Projektionstransformationseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 die endgültigen stereoskopischen CG-Bilder. Sobald die Kameraparameter bestimmt worden sind, werden ihre Werte festgelegt.
Es sei hier die Situation betrachtet, bei der das Objekt bewegt wird oder die linken und rechten Kameras bewegt werden, während ihr gegenseitiges Verhältnis aufrechterhalten wird. Wenn die Kameras in Richtung auf das Objekt bewegt werden, nimmt die Distanz zum Objekt ab und nimmt die Binokularparallaxe zu, die eventuell den Binokularverschmelzungsbereich des Betrachters überschreitet. Gleiches gilt für den Fernpunkt. Um dieses Problem zu lösen, wird ein Abschneidevorgang ausgeführt, wobei die Kameraparameter unverändert gehalten werden.
Bei der konventionellen CG-Bildverarbeitung würden die Ausgabeeinheiten 3 und 4 das Abschneiden an einem nahen Objekt und einem fernen Objekt so ausführen, dass dieses nicht angezeigt werden würde. Bei dem vorliegenden Beispiel werden andererseits Werte, die solche Abschneidepositionen definieren, für die Ausgabeeinheiten 3 und 4 so bestimmt, wie in 8(a) gezeigt, dass Bilder außerhalb des Binokularverschmelzungsbereiches nicht ausgegeben werden.
Dieses bedeutet, die Verschmelzungsbereichsbeurteilungseinheit B21' berechnet die Grenzen (nahe Grenze und ferne Grenze) des Binokularverschmelzungsbereiches des Betrachters. Genauer gesagt, im Weltkoordinatensystem von 8(a) werden alle Punkte, die die Gleichung 1 und 2 erfüllen, berechnet. In 8(a) wird der Bereich, der aus solchen Punkten besteht, durch den schattierten Bereich dargestellt.
Als nächstes werden ein Nahabschneidewert CLN und ein Fernabschneidewert CLF so bestimmt, dass jene Punkte, die außerhalb des schattierten Bereiches liegen, nicht in den endgültigen CG-Bildern enthalten sind, die zur Anzeige ausgegeben werden (CLNR und CLNL sind Nah-Abschneideebenen für die rechte Kamera und die linke Kamera und CLFR und CLFL sind Fern-Abschneideebenen für die rechte Kamera und die linke Kamera).
Nur Objekte, die innerhalb des von den Nah-Abschneideebenen und Fern-Abschneideebenen begrenzten Bereich liegen, werden von den Ausgabeeinheiten 3 und 4 ausgegeben.
Im obigen Beispiel sind die Abschneideebenen CLNR, CLNL, CLFR und CLFL für die rechten und linken Kameras vorgegeben, aber alternativ können eine Nah-Abschneideebene CLCN und eine Fern-Abschneideebene CLCF in Bezug auf die imaginäre Kamera (Ursprung) bestimmt werden, wie in 8(b) gezeigt, und diese können gemeinsam für die rechten und linken Kameras verwendet werden.
Wenn im vorliegenden Beispiel ein Objekt in einem abzuschneidenden Bereich liegt, werden Einstellungen so getroffen, dass ein solches Objekt nicht in den endgültigen Bildern enthalten ist, die zur Anzeige ausgegeben werden. Alternativ können Vorkehrungen getroffen werden, um den Kontrast des Objekts graduell herabzusetzen oder die Farbintensität des Objekts zu vermindern, wenn das Objekt nahe an einem abzuschneidenden Bereich liegt. Da in diesem Falle das Objekt in natürlicher Weise verschwindet, wenn es in einen Bereich außerhalb des Binekularverschmelzungsbereiches des Betrachters eintritt, kann eine Unnatürlichkeit in den stereoskopischen CG-Bildern, die zur Anzeige ausgegeben werden, großteils vermindert werden.
Wie oben beschrieben, können gemäß dem vorliegenden Beispiel selbst dann, wenn die Kameraparameter fest sind, durch Einstellung geeigneter Abschneideebenen unter Beachtung des Binokularverschmelzungsbereiches des Betrachters die endgültigen stereoskopischen CG-Bilder, die zur Anzeige ausgegeben werden, in den Binokularverschmelzungsbereich des Betrachters gebracht werden.
Beispiel 4
9 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen stereoskopischer CG-Bilder gemäß einem vierten Beispiel der vorliegenden Erfindung zeigt, das für das Verständnis der vorliegenden Erfindung hilfreich ist. In 9 sind Bezugszeichen 1 und 2 Projektionstransformationseinheiten, 3 und 4 sind Ausgabeeinheiten, 6 ist eine Kameraparameter-Ermittlungseinheit, 20 ist eine Parallaxenumrechnungseinheit und 21' ist eine Verschmelzungsbereichs-Beurteilungseinheit B; diese Einheiten sind gleich jenen, die in der Vorrichtung zum Erzeugen eines stereoskopischen Bildes des dritten Beispiels verwendet werden.
Der Unterschied gegenüber der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes des dritten Beispiels besteht darin, dass die Abschneidewert-Bestimmungseinheit 22 durch eine Fokusparameter-Bestimmungseinheit 23 und eine Verschleierungseffektparameter-Bestimmungseinheit 24 ersetzt sind, wobei diese Parameter in Übereinstimmung mit der Größe der Binokularparallaxe des betroffenen Objekts beeinflußt werden. Die Fokusparameter-Bestimmungseinheit 23 und die Verschleierungseffektparameter-Bestimmungseinheit 24 bilden zusammen eine spezielle Bildverarbeitungseinheit.
Der Betrieb der Vorrichtung zur Erzeugung eines stereoskopischen CG-Bildes mit dem oben beschriebenen Aufbau wird nun erläutert. Zunächst bestimmt die Kameraparameter-Bestimmungseinheit 6 die Kameraparameter (Wc, dx, f) für die Projektionstransformationseinheiten 1 und 2 in der gleichen Weise wie bei dem vorangegangenen dritten Beispiel.
Während er die ausgegebenen Bilder prüft, die auf der stereoskopischen Bildanzeigevorrichtung erzeugt werden, die mit den Ausgabeeinheiten 3 und 4 verbunden ist, arrangiert der CG-Betreiber das Objekt und die imaginäre Kamera an geeigneten Positionen im Weltkoordinatensystem, wie er wünscht, um so ihre Richtung zu bestimmen.
Anschließend wandeln die Projektionstransformationseinheiten 1 und 2 die dreidimensionale Strukturinformation in Bilder um, die auf einen zweidimensionalen Bildschirm projiziert werden, und die resultierenden Bilder werden den Ausgabeeinheiten 3 und 4 zugeführt, die dann die CG-Bilder erzeugen.
Als nächstes berechnet die Parallaxenumrechnungseinheit 20 aus den Ausgaben der Ausgabeeinheiten 3 und 4 und der dreidimensionalen Strukturinformation eine Parallaxenumrechnung an jedem Punkt der Projektions-gewandelten Bilder. Auf der Grundlage der Parallaxenumrechnung berechnet die Fusionsbereichs-Beurteilungseinheit B21' die effektive Pixelzahl des Bereichs auf dem Schirm, die innerhalb des Binokularverschmelzungsbereiches des Betrachters liegt, der die stereoskopischen CG-Bilder betrachtet, und berechnet die wirksame Pixelzahl auf der Grundlage der Ausgabe der Parallaxenumrechnungseinheit 20, während nacheinander die Kameraparameter Wc, f und dx geändert werden. Die Verschmelzungsbereichs-Beurteilungseinheit B21' hat eine Datenbank, die Verhältnisse zwischen Bildschirmgröße und Verschmelzungsbereich definiert und die wirksame Pixelzahl durch Bezugnahme auf diese Datenbank berechnet.
Als nächstes berechnet die Kameraparameter-Bestimmungseinheit 6 die Parameter Wc, f und dx, die die größte effektive Pixelzahl aller Kombinationen der Parameter Wc, f und dx ergeben, für die die effektive Pixelzahl berechnet worden ist. Die so berechneten Parameter Wc, f und dx werden den Projektionstransformationseinheiten 1 und 2 zugeführt.
Unter Verwendung der so zugeführten Parameter berechnen die Projektionstransformationseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 endgültige stereoskopische CG-Bilder. Sobald die Kameraparameter berechnet worden sind, werden ihre Werte festgehalten.
In einigen Fällen führen die Ausgabeeinheiten 3 und 4 vorsätzliche Fehler, wie defokussierende oder verschleiernde entfernte Objekte ein, um den Perspektiveffekt auszudrücken, wenn endgültige CG-Bilder erzeugt werden.
Die Parameterbestimmungseinheit 23 und die Verschleierungseffektparamete-Bbestimmungseinheit 24 bestimmen das Ausmaß der Defokussierung und Verschleierung auf der Grundlage der Parallaxenumrechnung und des Binokularverschmelzungsbereiches des Betrachters.
Beispielsweise berechnet auf der Grundlage der Ausgabe der Verschmelzungsbereichs-Beurteilungseinheit B21' die Fokusparameter-Bestimmungseinheit 23 jene Bereiche im Weltkoordinatensystem, in denen der Betrachter keine Binokularverschmelzung erreichen kann. Genauer gesagt, es werden die dreidimensionalen Koordinatenpositionen, die entweder die Gleichung 1 oder die Gleichung 2 oder beide nicht befriedigen, berechnet.
Beim Ausgeben von Objekten, die innerhalb solcher Bereiche in den Ausgabeeinheiten 3 und 4 liegen, gibt die Fokusparameter-Bestimmungseinheit 23 einen solchen Fokusparameter aus, dass dem ausgegebenen Bild ein fehlfokussiertes und unklares Aussehen verliehen wird.
Wenn dieser Effekt allmählich zunehmend angewendet wird, wenn sich das Bild einer Grenze des Binokularverschmelzungsbereiches des Betrachters nähert, kann dem Bild eine natürlichere Fehlfokussierungswirkung gegeben werden.
Um den Fehlfokussierungseffekt zu erzielen, kann ein Unschärfezustand der Kamera unter Verwendung traditioneller CG-Techniken simuliert werden, wie beispielsweise der Strahlverfolgung, oder es kann eine räumliche Filterung (z. B. Tiefpaßfilterung) an den erzeugten CG-Bildern ausgeführt werden. Es gibt auch eine Technik, bei der während der aufeinanderfolgenden Änderung der Position des Objekts um kleine Größen entsprechend dem Maß der Fehlfokussierung das gleiche Objekt mehrmals in den selben Bildspeicher eingeschrieben wird, um dadurch die Kanten zu verwischen. Wenn die Bewegung beim Ändern der Position des Objekts proportional zur Distanz von der Kamerafokussierebene gemacht wird, kann ein Fehlfokussierungseffekt erreicht werden (in der vorliegenden Ausführungsform sollte die Bewegung proportional zur Distanz zu einem Grenzwert des Binokularverschmelzungsbereichs des Betrachters gemacht werden).
Auf diese Weise wird eine Fehlfokussierung an Objekten angewendet, für die der Betrachter keine Binokularverschmelzung erreichen kann. Dies hat die Wirkung, dass eine Unnatürlichkeit vermindert wird, die auftritt, wenn eine Binokularverschmelzung nicht erreicht werden kann.
In gleicher Weise berechnet auf der Grundlage der Ausgabe der Verschmelzungsbereichs-Beurteilungseinheit B21' die Verschleierungseffektparameter-Bestimmungseinheit 24 jene Bereiche im Weltkoordinatensystem, in denen der Betrachter keine Binokularverschmelzung erreichen kann (speziell jene Bereiche, wo der Fernpunktzustand, der durch Gleichung 2 ausgedrückt wird, nicht gilt). Die Verschleierungseffektparameter-Bestimmungseinheit 24 beeinflußt den Verschleierungseffektparameter derart, dass ein Effekt erzeugt wird, der diese Bereiche so erscheinen läßt, als wenn sie von Nebel verdeckt werden, wenn die Ausgabeeinheiten 3 und 4 Objekte ausgeben, die in diesen Bereichen liegen.
Wenn der Nebel dicker gemacht wird, wenn das Bild sich einer Grenze des Binokularverschmelzungsbereichs des Betrachters nähert, kann die in den CG-Bildern beschriebene Szene so gemacht werden, dass sie natürlicher aussieht, wobei entfernte Bereiche so erscheinen, als wenn sie hinter dem Nebel verborgen wären.
Auf diese Weise kann das unnatürliche Gefühl, das der Betrachter haben kann, weil er nicht in der Lage ist, eine Binokularverschmelzung zu erreichen, erleichtert werden, indem der Verschleierungseffekt angewendet wird, wenn die Binokularparallaxe so groß ist, dass eine Binokularverschmelzung nicht erreicht werden kann, wie es bei entfernten Gegenständen der Fall ist.
Bei einem speziellen Verfahren zum Erzeugen eines Verschleierungseffektes bei der Ausgabe von Gegenständen wird ein Verschleierungskoeffizient f (0,0 bis 1,0) betrachtet, der mit beispielsweise zunehmender Distanz abnimmt. Hier bedeutet f = 1 keine Verschleierung, und wenn f = 0, dann erscheint das Bild vollständig ausgelöscht.
Das Ausmaß dieses Effektes kann durch die Gleichung 5, die Gleichung 6 usw. definiert werden, wobei z die Distanz zur Kamera bezeichnet.
Gleichung 5
f = (fern – z)/fern – nah
Gleichung 6
f = exp(–Dichte × z)n
Hier bedeuten fern und nah der fernste Punkt und der nächste Punkt zur Kamera im erzeugten CG-Bild, und Dichte bedeutet die Dichte des Nebels. Die Farbausgabe wird durch Gleichung 7 berechnet.
Gleichung 7
C = f × Co + (1 – f) × Cf
Hier ist C_o die Farbe des ausgegebenen Objekts und Cf ist die Farbe des Nebels. Die Verschleierungseffektparamete-Bestimmungseinheit 24 setzt den Koeffizienten f auf 1, wenn das Bild sich innerhalb des Binokularverschmelzungsbereichs des Betrachters befindet, und ändern f sanft hinab auf 0, wenn sich das Bild der Grenze des Binokularverschmelzungsbereiches nähert oder die Grenze überschreitet.
Auf diese Weise erzeugen die Ausgabeeinheiten 3 und 4 Bilder derart, dass entfernte Objekte außerhalb des Binokularverschmelzungsbereiches wie im Nebel verdeckt erscheinen, wodurch die Unnatürlichkeit vermindert wird, die auftritt, wenn der Binokularverschmelzungsbereich überschritten wird.
Wie oben beschrieben, wird gemäß dem vorliegenden Beispiel die schlechte Wirkung vermindert und können einfach zu betrachtende stereoskopische CG-Bilder erzeugt werden, wenn gemäß dieser Ausführungsform Objekte dargestellt werden, die eine solche Binokularparallaxe haben, dass eine Binokularverschmelzung nicht erreicht werden kann, weil eine Verschleierung an entfernten Objekten und eine Fehlfokussierung bei nahen und entfernten Objekten angewendet werden.
Ausführungsform 1
13 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer Ausführungsform der Erfindung zeigt. In 13 bezeichnen die Bezugszeichen 1 und 2 Projektionstransformationseinheiten, 3 und 4 sind Ausgabeeinheiten, 6 ist eine Kameraparameter-Ermittlungseinheit, 12 ist eine Betriebseinheit, 13 ist eine Verschmelzungsbereichs-Prüfeinheit, 5 ist eine Distanzinformations-Extraktionseinheit und 127 ist eine CG-Bild-Erzeugungseinheit; diese Einheiten sind die gleichen wie beim ersten Beispiel. Der Unterschied zum ersten Beispiel ist die Hinzufügung der folgenden Einheiten: eine Fensterinformations-Managementeinheit 128, eine Fensterinformations-Managementsteuereinheit 129, eine Mauszustands-Ermittlungseinheit 130, eine Anzeigeschirmgröße/Punktzählungsermittlungseinheit 131, eine Fenstergrößen-Ermittlungseinheit 132, eine Fenstererzeugungs/Auslassungsermittlungseinheit 133, eine Fensteranzeigepositions-Ermittlungseinheit 134, eine Fensterfokussänderungs-Ermittlungseinheit 135, eine Videosignal-Umwandlungseinheit 136, eine stereoskopische Anzeigeeinheit 137, eine Maus 138, eine Brille mit Flüssigkristallverschlüssen 139 und eine Betrachtungsabstandsmesseinrichtung 140.
Der Betrieb der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes mit dem oben beschriebenen Aufbau wird nun erläutert.
Bei der vorliegenden Ausführungsform werden mehrere Arten stereoskopischer Bilder gleichzeitig in unterschiedlichen Fenstern unterschiedlicher Größen auf einem Rechnerbildschirm in einer Fensterumgebung gezeigt, die in letzter Zeit eine vorherrschende Betriebsumgebung ge worden ist. Andererseits war bei den ersten bis vierten Beispielen die Bildanzeigegröße die Bildschirmgröße der Anzeigevorrichtung selbst.
Es sei hier angenommen, dass wir in der stereoskopischen Anzeigeeinheit 137 von 13 gezeigt, auf ein und demselben Bildschirm unterschiedliche Fenster A, B und C vorhanden sind, die jeweils ein anderes stereoskopisches Bild zeigen.
Existierende stereoskopische Anzeigetechniken können dazu verwendet werden, stereoskopische Bilder darzustellen. Bei der vorliegenden Ausführungsform wird eine sogenannte Zeitmultiplex-Stereoskopbildanzeigetechnik verwendet, bei der stereoskopische Bilder durch die Videosignal-Umwandlungseinheit 136 in Videosignale umgewandelt werden, die der stereoskopische Anzeigeeinheit 137 zugeführt werden, und der Betrachter sieht die stereoskopische Bilder durch die Flüssigkristallverschlußbrille 139. Genauer gesagt, die Videosignal-Umwandlungseinheit 136 liefert R- und L-Videosignale alternierend, d. h. zuerst R, dann L, dann R, dann L usw. im Zeitmultiplex zur Anzeige auf der stereoskopischen Anzeigeeinheit 137; wenn das Bild für das rechte Auge angezeigt wird, läßt das Brillenglas für das rechte Auge der Flüssigkristallbrille 139 Licht durch, während das linke Brillenglas blockiert, und wenn das Bild für das linke Auge dargestellt wird, dann ist die Situation umgekehrt. Auf diese Weise können die Bilder für das rechte Auge und das linke Auge unabhängig dem rechten Auge und linken Auge des Betrachters angeboten werden. Eine weitere existierende stereoskopische Bildanzeigetechnik (beispielsweise eine solche, die polarisierende oder linsenförmige Linsen verwenden) können ebenfalls verwendet werden. Gewöhnlich ist es dem Betrachter gestattet, die Fenster A, B und C in der Größe neu festzusetzen, wie er es wünscht, indem er die Maus 138 verwendet.
Wenn die Anzeigeschirmgröße stereoskopischer Bilder sich als Folge eines Änderung der Fenstergröße ändert, dann ändert sich auch der Binokularverschmelzungsbereich des Betrachters. 22 zeigt den Zusammenhang zwischen der Bildschirmgröße (Sichtwinkel) für die Anzeige stereoskopischer Bilder und der maximalen Verschmelzuungsparallaxe (ausgedrückt in Winkeln, wobei die Einheit (arc min) ist). Es ist dargestellt, dass sich der zulässige Binokularverschmelzungsbereich ändert, wenn sich die Anzeigeschirmgröße ändert. Eine größere Schirmgröße ergibt einen größeren Verschmelzungsbereich. Wenn dementsprechend die Fenstergröße vermindert wird, während das Fenster das gleiche stereoskopische Bild anzeigt, dann kann die resultierende Parallaxe den Binokularverschmelzungsbereich überschreiten; daher müssen die Größen aller Fenster konstant überwacht werden, und die Kameraparameter müssen stets entsprechend bestimmt werden. Genauer gesagt, die Information über das vom Betrachter betriebene Fenster unter Verwendung der Maus wird durch die Fensterinformations-Managementsteuerungseinheit 129 erfasst, und auf der Grundlage der ermittelten Information werden die Schirmgrößen aller gegenwärtig angezeigter Fenster der Verschmelzungsbereichs-Prüfeinheit 11 zugeführt. Im Betrieb werden die gegenwärtig angezeigten Fenster durch die Fenstererzeugungs/Auslassungserfassungseinheit 133 verwaltet, und die Größe eines jeden einzelnen Fensters wird durch Fensteranzeigepositions-Ermittelungseinheit 134, die Fenstergrößenermittlungseinheit 132 und die Anzeigeschirmgröße/Punktzahlermittlungseinheit 131 bestimmt. Genauer gesagt, die Größe eines jeden augenblicklich angezeigten Fensters (in Zoll, cm usw.) wird aus der Anzeigeschirmgröße (in Zoll), den horizontalen und vertikalen Punktzählungen der Anzeige (diese können durch Erfassung des Synchronisationsfrequenz berechnet werden) und der Größe des Fensters (Punktanzahl) berechnet werden, und die so berechnete Fenstergröße wird der Verschmelzungsbereichs-Prüfeinheit 11 zugeführt. Die Schirmgröße kann beispielsweise dadurch erzielt werden, dass man die Fensterinformations-Managementinformation 128 die Videosignal-Umwandlungseinheit 136 und die Anzahl der auf der stereoskopischen Anzeigeeinheit 137 angezeigten Punkte steuern läßt.
Der Rest des Prozesses ist der gleiche wie der beim ersten Beispiel beschriebene. Das bedeutet, die Distanzinformation, die aus der dreidimensionalen Strukturinformation erhalten wurde, wird durch die Distanzinformations-Extraktionseinheit 5 erfasst, und unter Verwendung dieser Distanzinformation und der Distanz ds zwischen dem Betrachter und der Anzeigeoberfläche, die durch die Betrachtungsdistanzmesseinrichtung 140 gemessen wird, werden die Kameraparameter durch Gleichung 1 und Gleichung 2 berechnet. Die Kameraparameter werden den Projektionstransformationseinheiten 1 und 2 zugeführt, und die Bilder R und L für das rechte Auge und das linke Auge werden durch die Ausgabeeinheiten 3 bzw. 4 berechnet. Diese Bearbeitung wird getrennt für jedes der stereoskopischen Anzeigefenster ausgeführt, die durch die Fensterinformations-Managementeinheit 128 erfasst werden.
Wie oben beschrieben, überwacht in einem Anzeigesystem, das eine Fensterumgebung zur Anzeige mehrerer stereoskopischer Bilder aufweist, die Fensterinformations-Managementeinheit 128 die Größe eines jeden Fensters, und die Kameraparameter werden gesteuert, und daher wird die Parallaxe so gesteuert, dass das in jedem Fenster angezeigte stereoskopische Bild in den Binokularverschmelzungsbereich des Betrachters fällt. Auf diese Weise können einfach zu betrachtende, natürlich aussehende Bilder erzeugt werden.
Bei der Ausführungsform können unter Verwendung der Ausgabe der Fensterfokusänderungs-Erfassungseinheit 135 die Kameraparameter nur für das Fenster geändert werden, das durch die Mausbetätigung des Betrachters spezifiziert wird, so dass nur das stereoskopische Bild, das in dem von dem Betrachter betrachteten Fenster dargestellt wird, in den Binokularverschmel zungsbereich gesteuert wird. Auf diese Weise kann der Betriebswirkungsgrad der vorliegenden Erfindung verbessert werden.
In jedem der ersten bis vierten Beispiele kann der Betrachtungsabstand zwischen dem Betrachter und dem Anzeigeschirm unter Verwendung der Betrachtungsabstandmesseinrichtung 140 gemessen werden, die in der Ausführungsform dargestellt ist.
Wie insoweit beschrieben, werden gemäß der vorliegenden Erfindung die Distanzinformation zwischen der Kamera und dem Objekt und die Größe der Parallaxe der erzeugten, auf der Anzeigevorrichtung dargestellten stereoskopischen CG-Bilder aus der Anzeigegröße und dem Betrachtungsabstand berechnet, und auf deren Grundlage werden geeignete Kameraparameter (Brennweite oder Sichtfeld, Kameraabstand und Konvergenzpunkt) bestimmt. Auf diese Weise können einfach zu betrachtende, stereoskopische CG-Bilder automatisch erhalten werden.
Die ersten bis vierten Beispiele und die Ausführungsform dieser Erfindung sind unter Verwendung binokularer stereoskopischer Bilder beschrieben worden, jedoch hierauf nicht eingeschränkt. Auch bei multi-Okularen stereoskopischen Bildern können leicht multi-Okulare stereoskopische CG-Bilder erzeugt werden, wenn die gleichen Techniken, wie oben beschrieben, verwendet werden, um die Kameraparameter für alle Bildpaare zu bestimmen, die den rechten und linken Augen des Betrachters dargeboten werden.
Bei den ersten bis vierten Beispielen und der Ausführungsform dieser Erfindung sind die Kameraparameter so bestimmt worden, dass sie die stereoskopischen CG-Bilder in den Binokularverschmelzungsbereich des Betachters für den gesamten erzeugten Bildschirm bringen. Im Falle einer Szene jedoch, die den Betrachter dazu zwingt, seine Aufmerksamkeit beispielsweise auf ein spezielles Objekt auf dem Bildschirm zu richten, können andere Bereiche als das aufmerksam verfolgte Objekt so eingestellt werden, dass eine Binokularverschmelzung für diese Bereiche nicht erreicht werden kann. In solchen Fällen kann der CG-Betreiber einfach solche Bereiche auf dem Ausgabeschirm so einstellen, dass sie nicht in den Binokularverschmelzungsbereich des Betrachters gebracht werden, so dass Daten aus diesen Bereichen nicht dazu verwendet werden, die Kameraparameter zu bestimmen.
Bei den ersten bis vierten Beispielen und der Ausführungsform dieser Erfindung werden stereoskopische Bilder für die linken und rechten Augen durch CG erhalten, jedoch ist jede der Ausführungsformen auch für echte Bilder anwendbar, die von einer stereoskopischen Kamera aufgenommen worden sind. In diesem Falle können die Brennweite f der mehreren Kameras, der Kameraabstand Wc, die Distanz dx zwischen Kamera und Konvergenzpunkt (die Distanz zwi schen dem Schnittpunkt der optischen Achsen der Kameras zum Mittenpunkt zwischen den mehreren Kameras) direkt als Kameraparameter für die jeweilige Kamera verwendet werden. In diesem Falle ist die Variable m in Gleichung 1 und Gleichung 2 jedoch nicht die Schirmgröße, sondern das Verhältnis zwischen der Größe der Bildempfangsfläche der Kameraabbildungsvorrichtung und der Größe des Bildschirms, wenn stereoskopische Bilder wirklich angezeigt werden.
Beim vierten Beispiel sind sowohl die Fokusparameter-Bestimmungseinheit 23 und die Verschleierungseffektparameter-Bestimmungseinheit 24 vorgesehen gewesen, jedoch braucht auch nur die eine oder die andere der beiden vorgesehen zu sein.
In jedem der ersten bis vierten Beispiele und der Ausführungsform dieser Erfindung sind die Kameraparameter so bestimmt worden, dass sie die stereoskopischen CG-Bilder in den Binokularverschmelzungsbereich des Betrachters für den gesamten erzeugten Bildschirm bringen, jedoch ist dieses nicht zwingend. Vielmehr können Vorkehrungen getroffen werden, dass der CG-Betreiber solche Bereiche auf dem Ausgabeschirm so einstellen kann, dass sie nicht in den Binokularverschmelzungsbereich des Betrachters gebracht zu werden brauchen, und so dass Daten aus diesen Bereichen nicht zur Bestimmung der Kameraparameter verwendet werden.
In jedem der ersten bis vierten Beispiele und bei der Ausführungsform dieser Erfindung sind Prozeßeinheiten, wie beispielsweise die Distanzinformations-Extraktionseinheit und die Verschmelzungsbereichs-Prüfeinheit unter Verwendung eigens zugewiesener Hardware ausgeführt worden, statt dessen können aber auch gleiche Funktionen in Software unter Verwendung eines Rechners ausgeführt werden.
Beispiel 5
14 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgeräts gemäß einem fünften Beispiel gezeigt, das für das Verständnis der vorliegenden Erfindung nützlich ist. In 14 sind A1 und A2 Kathodenstrahlröhren, A3 und A4 sind Linearpolarisierer, A5 ist ein halbversilberter Spiegel, A6 ist eine Brille, die aus Polarisationsfiltern besteht, A7 ist ein Betrachter, A8 ist eine Parallaxenberechnungseinheit, A9 ist eine Auflösungsunterscheidungseinheit, A10 ist eine die optimale Parallaxe bestimmende Einheit, A11 ist eine Grundsynchronisations-Zeitgeneratoreinheit, A12a und A12b sind Synchronisationseinheiten, A13a und A13b sind Parallaxensteuereinheiten, A14a und A14b sind RGB-Trenneinheiten, A15a und A15b sind Kathodenstrahlröhren-Steuereinheiten und A16 ist eine Betrachtungsabstandsmesseinheit.
Der Betrieb des stereoskopischen Fernsehgerätes mit dem o. g. Aufbau wird nun beschrieben. Zunächst wird ein Bildsignal für das rechte Auge der Auflösungsunterscheidungseinheit A9, der Synchronisationseinheit A12a und der Parallaxenberechnungseinheit 8A zugeführt.
Die Auflösungsunterscheidungseinheit A9 ermittelt die Horizontal- und Vertikalfrequenzen des eingegebenen Bildsignals und ermittelt die Auflösung des eingegebenen Bildes. Die Grundsynchronisations-Zeitgeneratoreinheit A11 erzeugt Synchronisationszeitdaten, die zu den erfassten Horizontal- und Vertikalfrequenzen des eingegebenen Bildes passen, und liefert die Daten an die Synchronisationseinheiten A12a und A12b, die auf diese Weise auf das eingegebene Bildsignal synchronisiert werden, und die Synchronisationszeitgabe erzeugen, die für die nachfolgende Verarbeitung erforderlich ist.
Aus den Bildsignalen für das rechte Auge und das linke Auge berechnet die Parallaxenberechnungseinheit A8 Tiefeninformation (dieses ist als eine Parallxenumrechnung definiert) an jedem Punkt des eingegebenen Bildes. Eine Vielzahl von Verfahren sind für die Parallaxenumrechnung vorgeschlagen worden. Ein Blockabgleichverfahren, das eine Korrelationsberechnung ausführt, wird nun erläutert.
In 15 sei angenommen, dass die Bilder für das linke Auge und das rechte Auge jeweils eine Größe N × M haben. In dem Bild für das linke Auge sei ein Blockfenster von n × n Pixel (in der Zeichnungen 3 × 3 Pixel) angenommen. Das gleiche Bild, wie in diesem Blockfenster gezeigt, liegt im Bild für das rechte Auge durch Verwendung eines Fensters der gleichen Größe. Dabei wird die Verschiebung zwischen den linken und rechten Blöcken durch einen Vektor (Δx, Δy) dargestellt, dessen Horizontalkomponente Δx die Binokularparallaxe der Bilder für linkes und rechtes Auge bei den Mittenkoordinaten der Blockfenster angibt.
Durch Horizontalverschiebung der Blockfensterposition im Bezug genommenen Bild für das linke Auge in Sequenz über den gesamten Bildschirm und durch Auffindung der entsprechenden Blockposition (die die Binokularparallaxe darstellt) im Bild für das rechte Auge für jede verschobene Blockposition kann eine Parallaxenumrechung (die die Tiefen-Distanz an jeder Position des Schirms zeigt) für den gesamten Bildschirm erhalten werden. Die Verschiebung zwischen den Bildern für linkes Auge und rechtes Auge bei den Koordinaten (x, y), d. h. die Binokularparallaxe (Δx, Δy) kann ausgedrückt werden als
Gleichung 8
Δx = i, für Min ⎨Corr (i, j)⎬ wobei
Gleichung 9
Corr (i, j) = Σn×nk=1 |GL(Xk, Yk) – GR(Xk – i, Yk – j)|
In der Gleichung 9 bedeutet das Σ die Bildung der Summe der Absolutwerte durch Variation der Koordinaten xk, yk innerhalb des Blockfensters von n × n. Gr(xk, yk) und GL(xk, yk) stellen Luminanzwerte bei Koordinaten (xk, yk) in den Bildern für das rechte Auge bzw. linke Auge dar.
In der Binokularparallaxe Δx, Δy ist die Komponente, die die Tiefenposition direkt anzeigt, Δx. Wenn der Wert der Binokularparallaxe positiv ist, liegt das Bild für das rechte Auge zur Rechten und das Bild für das linke Auge zur Linken des Bezugsbildes, und das Objekt liegt hinter der Tiefenposition, wo die Binokularparallaxe gleich 0 ist; andererseits, wenn der Wert der Binokularparallaxe negativ ist, bedeutet dies, dass das Objekt vor der Tiefenposition liegt, wo die Binokularparallaxe gleich 0 ist.
Aus der Parallaxenumrechnung, die man in der obigen Weise erhält, gibt die Parallaxenberechnungseinheit A8 beispielsweise den größten Wert (die Binokularparallaxe des fernsten Objekts) aus. Anstelle einfach den Maximalwert der Binokularparallaxe zu extrahieren, kann eine räumliche Tiefpaßfilterung ausgeführt werden, oder es können mehrere Extraktionsbereiche vorgegeben werden, und Berechnungen können unter Verwendung einer Statistiktechnik ausgeführt werden.
Als nächstes bestimmt die Optimalparallaxen-Ermittlungseinheit A10 die Größe der horizontalen Verschiebung der Bilder für linkes und rechtes Auge derart, dass der Betrachter des stereoskopischen Fernsehgerätes die angezeigten stereoskopischen Bilder verschmelzen kann.
Diese Verschiebungsgröße wird auf der Grundlage der Ausgabe der Auflösungsunterscheidungseinheit A9 bestimmt (das Ergebnis, das man durch Beurteilung der Bildauflösung und des Bildseitenverhältnisses auf der Grundlage der Art des erfassten eingegebenen Bildsignals erhält), der Bildanzeigegröße (in diesem Falle die in Zoll ausgedrückte Bilddiagonale der Kathodenstrahlröhre) der Ausgabe der Parallaxenberechnungseinheit A8 (die Parallaxenumrech nung) und der Distanz zwischen dem Betrachter und der Anzeigeoberfläche, gemessen durch die Betrachtungsabstandsmesseinheit A16.
Die Optimalparallaxen-Bestimmungseinheit A10 besitzt eine Datenbank, die Verhältnisse zwischen Anzeigeschirmgröße und Betrachterverschmelzungsgrenzen definiert, und durch Bezugnahme auf diese Datenbank die Größe der Horizontalverschiebung so bestimmt, dass der Betrachter eine Binokularverschmelzung erreichen kann.
Das Bestimmungsverfahren wird hier weiter im Detail erläutert. Wenn man die größte Binokularparallaxe, die von der Parallaxenberechnungseinheit A8 ausgegeben wird, mit δ (Punkte) bezeichnet, die Horizontalpunktzählung des eingegebenen Bildsignals, die durch die Auflösungsunterscheidungseinheit A9 erfasst wird, mit DH bezeichnet, und die horizontale Länge der Anzeige-Kathodenstrahlröhren A1 und A2 mit L bezeichnet und den Betrachtungsabstand des Betrachters, gemessen durch die Betrachtungsabstandsmesseinheit A16 mit ds bezeichnet, dann ist die größte Parallaxe Dm auf dem Schirm gegeben durch (Gleichung 10).
Gleichung 10
(Δ/DH)L = Dm
Die Bilder für linkes Auge und rechtes Auge werden horizontal so übersetzt, dass Dm fast gleich dem Binokularparallelzustand des Betrachters wird oder einen kleineren Winkel als diese ergibt. Um beispielsweise den Maximalwert der Binokularparallaxe mit dem Binokularparallelzustand des Betrachters in Übereinstimmung zu bringen, ist die Größe der Horizontalverschiebung Dc gegeben durch (Gleichung 11).
Gleichung 11
Dc = Dm – We
Hier ist We die Distanz zwischen den Pupillen des Betrachters, die in der Praxis durch Verschiebung der Bilder für das linke Auge und das rechte Auge in entgegengesetzten Richtungen horizontal um Dc/2 eingestellt wird. Der Umfang der Verschiebung Dc kann, falls notwendig, auf der Grundlage des Ergebnisses eingestellt werden, das aus der obigen Gleichung abgeleitet wird.
Wenn weiterhin in Gleichung 10 die kleinste Binokularparallaxe (die größte Parallaxe, wenn das Objekt im Vordergrund des Bildschirm angezeigt wird) als δ eingestellt wird, dann bestimmt die Optimalparallaxen-Bestimmungseinheit A10 den Umfang der Horizontalverschiebung des Bildschirms derart, dass Dm kleiner wird als die größte Verschmelzungsparallaxe des Betrachters, (die in Abhängigkeit von der Bildschirmgröße variiert).
Auf der Grundlage der so erhaltenen Größe der Horizontalverschiebung Dc bewegen die Parallaxensteuereinheiten A13a und A13b die Bilder für rechtes Auge und linkes Auge in zueinander entgegengesetzten Richtungen horizontal um Dc/2. Sodann werden die Bildsignale durch die ERG-Trenneinheiten A14a und A14b in die R-, G- und B-Signale getrennt, die den Kathodenstrahlröhren A1 und A2 über die Kathodenstrahlröhren-Treibereinheiten A15a und A15b zugeführt werden. Die auf den Kathodenstrahlröhren A1 und A2 dargestellten Bilder werden linear durch die betreffenden Polarisierer A4 und A5 polarisiert, die unter zueinander rechten Winkeln orientiert sind, und die polarisierten Bilder werden durch den halbversilberten Spiegel A5 miteinander kombiniert. Indem er die Polarisationsbrille A6 so trägt, dass deren Ebenen linearer Polarisation in Richtungen weisen, die den Polarisierern A4 und A5 entsprechen, kann der Betrachter A7 das Bild für das linke Auge mit seinem linken Auge und das Bild für das rechte Auge mit seinem rechten Auge sehen und so einen stereoskopische Wahrnehmung erhalten.
Wie oben beschrieben kann gemäß dem vorliegenden Beispiel durch Unterscheidung der Art des eingegebenen Bildsignals und durch Berechnen der Größe des Anzeigeschirms der Betrachter stets natürlich aussehende stereoskopische Bilder sehen, die mit optimaler Binokularparallaxe angezeigt werden.
Beispiel 6
16 ist ein Diagramm, das den Aufbau eines weiteren stereoskopischen Fernsehgerätes gemäß einem sechsten Beispiel zeigt, das für das Verständnis der vorliegenden Erfindung nützlich ist. In 16 ist A1 eine Kathodenstrahlröhre, A18 ist eine Flüssigkristallverschlußbrille, A7 ist ein Betrachter, A8 ist eine Parallaxenberechnungseinheit, A9 ist eine Auflösungsunterscheidungseinheit, A10 ist eine Optimalparallaxen-Bestimmungseinheit, A11 ist eine Grundsynchronisationszeitgebereinheit, A12 ist eine Synchronisationseinheit, A13 ist eine Parallaxensteuereinheit, A14 ist eine RGB-Trenneinheit, A15 ist eine Kathodenstrahlröhren-Treibereinheit, A16 ist eine Betrachtungsabstandsmesseinheit und A17 ist eine Flüssigkristallschalter-Schaltimpulserzeugungseinheit.
Dieser Aufbau ist eine Adaption des stereoskopischen Fernsehgerätes des fünften Beispiels zur Verwendung in einem Bildfeld-sequentiellen stereoskopischen Bildsignal.
Der Betrieb des stereoskopischen Fernsehgeräts des oben beschriebenen Aufbaus wird nachfolgend erläutert. Der grundsätzliche Betrieb ist der gleiche wie beim fünften Beispiel, da jedoch die Bilder für das linke Auge und das rechte Auge in einem einzigen stereoskopischen Bildsignal zeitmultiplexiert sind und einander alternierend eingegeben werden, wie in 17 gezeigt, wird die nachfolgende Verarbeitung notwendig.
Das bedeutet, die Flüssigkristallschließschaltimpuls-Erzeugungseinheit A17 gibt das Steuersignal zum Schließen des Flüssigkristalls aus, wie in 17 gezeigt, als Folge dessen der Verschluß für das linke Auge in der Flüssigkristallverschlußbrille A18 geöffnet wird, um Licht durchzulassen, wenn der Verschluß für das rechte Auge geschlossen ist, um Licht zu blockieren, und umgekehrt.
Zunächst wird das Bildsignal für das rechte Auge in den Auflösungsunterscheidungseinheit A9, die Synchronisationseinheit A12 und die Parallaxenberechnungssektikon A8 eingegeben. Die Auflösungsunterscheidungseinheit A9 ermittelt die Horizontal- und Vertikalfrequenzen des eingegebenen Bildsignals und ermittelt die Auflösung des eingegebenen Bildes. Die Grundsynchronisationszeitgebereinheit A11 gibt Synchronisationszeitdaten aus, die zu den ermittelten Horizontal- und Vertikalfrequenzen des eingegebenen Bildes passen, und die Synchronisationseinheits A12 synchronisiert die Zeitlage des Bildsignals.
Die Parallaxenberechnungseinheit A8 berechnet die Parallaxenumrechnung des angegebenen Bildes aus den Bildsignalen für rechtes und linkes Auge, die alternierend durch Zeitmultiplexierung eingegeben werden. Die Berechnung der Parallaxenumrechnung kann in exakt der gleichen Weise wie beim fünften Beispiel ausgeführt werden.
Dann gibt die Parallaxenberechnungseinheit A8 beispielsweise die Binokularparallaxe für das am weitesten entfernte Objekt unter den Binokularparallaxen aus, die an den entsprechenden Punkten des Bildes erhalten werden. Dabei kann bei der Berechnung der Binokularparallaxen eine räumliche Tiefpaßfilterung ausgeführt werden, oder es können mehrere Extraktionsbereiche vorgegeben werden und die Berechnungen können unter Verwendung statistischer Technik ausgeführt.
Als nächstes wird auf der Grundlage der Ausgabe der Auflösungsunterscheidungseinheit A9, der Bildanzeigegröße, der Ausgabe der Parallaxenberechnungseinheit A8 und der Distanz zwi schen dem Betrachter und der Anzeigeoberfläche durch die Parallaxenermittlungseinheit A10 der Umfang der Horizontalverschiebung der Bilder für linkes und rechtes Auge so bestimmt, dass die angezeigten stereoskopischen Bilder mit beiden Augen verschmolzen werden können.
Das Verfahren zum Ermitteln des Verschiebungsumfangs ist genau das gleiche wie jenes, das beim fünften Beispiel beschrieben worden ist. Das bedeutet, wenn man die Binokularparallaxe, die von der Parallaxenberechnungseinheit A8 mit Δ (Punkte) bezeichnet, die Horizontalpunktzählung des eingegebenen Bildsignals, wie durch die Auflösungsunterscheidungseinheit A9 ermittelt, mit DH bezeichnet, die horizontale Länge der Anzeigekathodenstrahlröhre A1 mit L bezeichnet und den Betrachtungsabstand des Betrachters, wie gemessen durch die Betrachtungsabstandsmesseinheit A16 gemessen, mit ds bezeichnet, dann wird die größte Parallaxe Dm auf dem Bildschirm (Gleichung 10) gegeben. Um den Maximalwert der Binokularparallaxe mit dem Binokularparallelzustand des Betrachters in Koinzidenz zu bringen, ist der Umfang der Horizontalverschiebung ds durch (Gleichung 11) gegeben. Der Umfang der Verschiebung Dc kann jedoch, falls notwendig, auf der Grundlage des Ergebnisses eingestellt werden, das aus dieser Gleichung abgeleitet wird.
Wenn weiterhin in Gleichung 10 die kleinste Binokularparallaxe (die größte Parallaxe, wenn das Objekt im Vordergrund auf dem Schirm dargestellt wird) als Δ eingestellt wird, dann bestimmt die Optimalparallaxen-Bestimmungseinheit A10 den Umfang der Horizontalverschiebung des Schirms derart, dass Dm kleiner als die größte Verschmelzungsparallaxe des Betrachters wird (die in Abhängigkeit von der Bildschirmgröße variiert).
Auf der Grundlage des so erhaltenen Umfangs der Horizontalverschiebung Dc bewegt die Parallaxensteuereinheit A13 die Bilder für rechtes Auge und linkes Auge horizontal in zueinander entgegengesetzten Richtungen, um Dc/2. Da die Signale für linkes Auge und rechtes Auge als ein zeitmultiplexiertes stereoskopisches Bildsignal eingegeben werden, wird dabei die Bildschirmanzeige zwischen Bildern für linkes Auge und rechtes Auge umgeschaltet. Der Umfang der Horizontalverschiebung des Bildes wird daher zwischen +dc/2 und –Dc/2 oder umgekehrt zwischen Vollbildern umgeschaltet.
Das Bildsignal wird dann durch die RGB-Trenneinheit A14 in R-, G- und B-Signale getrennt, die der Kathodenstrahlröhre A1 über die Kathodenstrahlröhren-Treibereinheit A15 zugeführt werden. Die auf der Kathodenstrahlröhre A1 dargestellten stereoskopischen Bilder, alternierend zwischen Bildern für linkes Auge und rechtes Auge, werden unabhängig den jeweiligen Augen des Betrachters dargeboten, der die Flüssigkristallverschlußbrille A18 trägt.
Wie oben beschrieben, kann selbst wenn das eingegebene Bildsignal ein zeitmultiplexiertes stereoskopisches Bildsignal ist, der Betrachter stets natürlich aussehende stereoskopische Bilder sehen, die mit optimaler Binokularparallaxe angezeigt werden.
Beispiel 7
21 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgerätes gemäß eines siebenten Beispiels zeigt, das für das Verständnis der vorliegenden Erfindung nützlich ist. In 21 sind A1 und A2 Kathodenstrahlröhren, A3 und A4 sind Linearpolarisierer, A5 ist ein halbversilberter Spiegel, A6 ist eine Brille aus Polarisationsfiltern, A7 ist ein Betrachter, A8 ist eine Parallaxenberechnungseinheit, A9 ist eine Auflösungsunterscheidungseinheit, A10 ist eine Optimalparallaxenermittlungseinheit, A11 ist eine Grundsynchronisationszeitgebereinheit, A12a und A12b sind Synchronisationseinheiten, A13a und A13b sind Parallaxensteuereinheiten, A14a und A14b sind RGB-Trenneinheiten, A15a und A15b sind Kathodenstrahlröhren-Treibereinheiten und A16 ist eine Betrachtungsabstandsmesseinheit; diese Einheiten sind die gleichen, wie jene, die beim fünften Beispiel beschriebenen verwendet werden.
Der Unterschied zum fünften Beispiel besteht darin, dass die folgenden Einheiten hinzugefügt sind: eine Fensterinformations-Managementeinheit A27, eine Fensterinformations-Managementsteuereinheit A26, eine Mauszustands-Erfassungseinheit A25, eine Fenstergrößen-Erfassungseinheit A22, eine Fenstererzeugungs/Auslassungs-Erfassungseinheit A23, eine Fensterfokusänderungs-Erfassungseinheit A24 und eine Maus A28.
Der Betrieb des stereoskopischen Fernsehgerätes mit dem oben beschriebenen Ausbau wird nun erläutert.
Bei den fünften und sechsten Beispielen war die Bildanzeigegröße die Bildschirmgröße der Anzeigevorrichtung selbst ohne Rücksicht auf die Synchronisationsfrequenz des angegebenen Videosignals. Andererseits werden beim vorliegenden Beispiel mehrere Arten stereoskopischer Bilder gleichzeitig in unterschiedlichen Fenstern auf einem Rechnerbildschirm in einer Fensterumgebung dargestellt, die in letzter Zeit eine vorherrschende Betriebsumgebung geworden ist. Parallaxe wird in Abhängigkeit von solchen Bedingungen gesteuert, dass der Betrachter die Größe des Fensters unter Verwendung einer Maus ändert.
Es sei angenommen, dass hier mehrere Fenster auf einem Bildschirm einer jeden der Kathodenstrahlröhren A1 und A2 der 21 angezeigt werden und dass stereoskopische Bilder in einem der Fenster dargestellt werden.
Gewöhnlich kann der Betrachter jedes Fenster in der Größe verändern, wie er es wünscht, indem er die Maus A28 verwendet. Wenn sich die Größe stereoskopischer Bilder als Folge einer Änderung der Fenstergröße ändert, dann ändert sich nicht nur die Parallaxe der angezeigten stereoskopischen Bilder, sondern auch der Binokularverschmelzungsbereich des Betrachter. Die Fenstergröße muss daher konstant überwacht werden, und die Parallaxe muss dementsprechend beeinflußt werden. Genauer gesagt, Information über das vom Betrachter verwendete Fenster unter Verwendung der Maus wird durch die Fensterinformations-Managementsteuereinheit A26 erfasst.
Die Fensterinformations-Managementsteuereinheit A26 managed die gegenwärtig angezeigten Fenster durch die Fenstererzeugungs/Auslassungs-Erfassungseinheit A23, und die Größe eines jeden einzelnen Fensters wird durch die Fenstergrößen-Erfassungseinheit A22 ermittelt. Daten, die die Größe des anwendbaren Fensters darstellen, werden an die Optimalparallaxen-Bestimmungseinheit A10 ausgegeben.
Die Optimalparallaxen-Bestimmungseinheit A10 erhält die Horizontal- und Vertikalpunktzählungen des Anzeigeschirms und die Größe eines jeden Fensters (Punktzählung) von den Ausgaben der Auflösungsunterscheidungseinheit A9 und der Fenstergrößen-Erfassungseinheit A22, und auf der Grundlage der so erhaltenen Information und der Information über die Größe der gesamten Bildanzeigeflläche (Bilddiagonale in Zoll der Kathodenstrahlröhre) berechnet sie die Größe eines jeden Fenster, die wirklich dargestellt wird (in Zoll, cm usw.).
Der Rest des Vorgangs ist der gleiche, wie jener, der beim fünften Beispiel beschrieben wurde. Das bedeutet, aus den Bildsignalen für rechtes und linkes Auge berechnet die Parallaxenberechnungseinheit A8 Tiefeninformationen an jedem Punkt des eingegebenen Bildes und gibt beispielsweise einen Maximum- oder Minimumwert aus.
Als nächstes erhält die Optimalparallaxenermittlungseinheit A10 die wirkliche Größe des Anzeigefensters aus der Ausgabe der Auflösungsunterscheidungseinheit A9 (das Ergebnis, das durch Beurteilung der Bildauflösung und des Bildseitenverhältnisses erhalten wird auf der Grundlage der Art des erfassten eingegebenen Bildsignals), der gesamten Bildanzeigegröße (in diesem Falle die Bilddiagonale in Zoll der Kathodenstrahlröhre) und der Anzeigefenstergröße (Punktzahl), die von der Fensterinformations-Managementeinheit A27 ausgegeben wird, und bestimmt den Umfang der Horizontalverschiebung der Bildes für linkes Auge und rechtes Auge derart, dass der Betrachter des stereoskopischen Fernsehgeräts die angezeigten stereoskopischen Bilder miteinander verschmelzen kann. Dieser Verschiebungsumfang wird unter Verwen dung von Gleichung 10 und Gleichung 11 auf der Grundlage der Ausgabe der Parallaxenberechnungseinheit A8 (die Parallaxenumrechnung) der Distanz zwischen dem Betrachter und der Anzeigeoberfläche, wie durch die Betrachtungsabstandsmesseinheit A16 gemessen, bestimmt.
Auf der Grundlage des so erhaltenen Umfangs der Horizontalverschiebung bewegt die Parallaxensteuereinheit A1a und A13a die Bilder für rechtes Auge und linkes Auge horizontal in zueinander entgegengesetzten Richtungen derart, dass die angezeigten Bilder in den Binokularverschmelzungsbereich des Betrachters kommen. Sodann werden die Bildsignale von den RGB-Trenneinheiten A14a und A14b in die R-, G- und B-Signale getrennt, die durch die Fensterinformations-Managementsteuereinheit A26 geleitet und an die Kathodenstrahlröhren A2 über die Kathodenstrahlröhren-Treibereinheiten A15a und A15b zur Anzeige im bezeichneten Fenster auf dem Anzeigeschirm ausgegeben werden.
Wenn die eingegebenen Bildsignale zur Anzeige in mehreren Fenstern unterschiedlicher Größen verarbeitet werden, sollte der Umfang der Horizontalverschiebung, wie oben beschrieben, unabhängig für jedes Fenster berechnet werden. Wenn außerdem unterschiedliche Bildsignale zur Anzeige in unterschiedlichen Fenstern von entsprechend bestimmten Größen vorhanden sind, sollte die Verarbeitung auch unabhängig für jedes Fenster durchgeführt werden.
Wenn der Betrachter die Größe eines Fenster durch Verwendung der Maus A28 geändert hat, erfasst die Fenstergrößen-Erfassungseinheit A22 eine Änderung der Fenstergröße, woraufhin die Optimalparallaxen-Bestimmungseinheit A10 den Umfang der Horizontalverschiebung der Bilder für linkes Auge und rechtes Auge berechnet, und das Ergebnis wird unmittelbar auf dem Anzeigeschirm dargestellt.
Bei der Anzeige mehrerer stereoskopischer Bilder in mehreren Fenstern sind Vorkehrungen dafür getroffen, dass das vom Benutzer unter Verwendung der Maus spezifizierte Fenster als das Fenster erfasst wird, dem der Betrachter Aufmerksamkeit schenkt, indem die Fensterfokusänderungs-Erfassungseinheit A24 verwendet wird, und die Kameraparameter werden nur für dieses Fenster geändert, so dass nur das stereoskopische Bild innerhalb des Binokularverschmelzungsbereiches beeinflußt wird, das in dem Fenster angezeigt wird, dem der Betrachter seine Aufmerksamkeit schenkt. Auf diese Weise kann die Effektivität des Betriebs der vorliegenden Erfindung verbessert werden.
Wie oben beschrieben können in einem Anzeigesystem, das eine Fensterumgebung aufweist, in der Änderungen in der Fenstergröße auftreten können, in jedem einzelnen Fenster angezeigte stereoskopische Bilder im Binokularverschmelzungsbereich des Betrachters beeinflußt werden, indem die Fenstergröße unter Verwendung der Fensterinformations-Managementeinheit A27 überwacht wird.
In den fünften, sechsten und siebenten Beispielen wurde der Betrachtungsabstand unter Verwendung der Betrachtungsabstandsmesseinheit A16 gemessen, alternativ kann jedoch ein fester Wert verwendet werden, wie beispielsweise ein empfohlener Betrachtungsabstand, den man aus der Größe der Kathodenstrahlröhre erhält.
Die Betrachtungsabstandseinheit A16 kann so aufgebaut sein, dass sie die Betrachtungsabstände für mehrere Betrachter mißt und den Mittelwert oder einen gewichteten Mittelwert der Messwerte oder die Maximal- oder Minimumwerte ausgibt, um so eine Parallaxenbeeinflussung unter Berücksichtigung der Betrachtungsabstände aller betroffener Betrachter durchzuführen. Weiterhin können in einer Umgebung, in der mehrere Betrachter unterschiedliche Fenster betrachten, bei Beeinflussung der Binokularparallaxe durch unabhängige Einstellung eines Betrachtungsabstandes für jedes Fenster jedem einzelnen Betrachter optimale stereoskopische Bilder dargeboten werden.
Die Optimalparallaxen-Bestimmungseinheit A10 berechnete die größte Parallaxe Dm auf dem Schirm unter Verwendung des Ausgangs der Parallaxenberechnungseinheit A8, des Ausgangs der Auflösungsunterscheidungseinheit A9, der horizontalen Länge L der Anzeigekathodenstrahlröhren A1 und A2 und des Betrachtungsabstandes ds des Betrachters, der mit der Betrachtungsabstandsmesseinheit A16 gemessen wurde. In Abhängigkeit von der Art des eingegebenen Bildsignal braucht jedoch das erzeugte Bild nicht die gesamte Fläche des Bildschirms der Kathodenstrahlröhre verwenden. Um dieses zu berücksichtigen, kann die Auflösungsunterscheidungseinheit A9 mit einer Datenbank versehen sein, die Verhältnisse zwischen der Art des eingegebenen Bildsignals (HDTV, NTSC, EDTV, rechnererzeugte Bilder usw.) und der Anzeigeschirmgröße definiert, und kann so aufgebaut sein, dass sie in der Lage ist, die Größe der angezeigten Binokularparallaxe in Übereinstimmung mit der Art des eingegebenen Bildsignals korrekt zu erkennen.
Die Parallaxenberechnungseinheit A8 ist als eine solche beschrieben worden, die den Maximalwert der Binokularparallaxe ausgibt, statt dessen kann aber der Minimalwert verwendet werden, so dass die Parallaxe des nächsten Objektes, das über den Schirm zu schwimmen scheint, in den Binokularverschmelzungsbereich des Betrachters gebracht werden kann. Da jedoch in diesem Falle die Amplitude der zulässigen Binokularparallaxe sich in Abhängigkeit vom Betrachtungsabstand und der Bildschirmgröße ändert, muss eine Datenbank vorgesehen sein, die die Werte der zulässigen Binokularparallaxen angibt.
Die fünften, sechsten und siebenten Beispiele sind als solche beschrieben worden, die Multisynchron-Monitore verwenden, jedoch braucht im Falle, dass ein Monitor speziell für die Verwendung mit einem Bildsignal fester Frequenz vorgesehen ist, die Auflösungsunterscheidungseinheit nicht vorgesehen zu sein, und es kann ein fester Wert bei der Produktspezifikation verwendet werden.
Weiterhin können typische Bildschirmgrößen, wie die Hälfte oder ein Drittel der Vollschirmgröße, durch feste Werte vorgegeben sein.
Die Parallaxensteuereinheit A13 kann so aufgebaut sein, dass sie immer dann arbeitet, wenn die Umrechnungsgröße Dc berechnet wird, oder nur zu Beginn des Betriebs der Vorrichtung arbeitet und wenn dann eine merkliche Änderung in der Binokularparallaxe des eingegebenen Bildes auftritt.
In den fünften, sechsten und siebenten Beispielen können Vorkehrungen getroffen werden, dass der Betrachter Einstellbefehle unter Verwendung von Druckknopfschaltern oder einen entfernten Steuerer nur dann eingibt, wenn er die Binokularparallaxe einzustellen wünscht.
Im siebenten Beispiel wurde ein Zeitmultiplexsystem benutzt, das die Verwendung von Flüssigkristallverschlüssen erforderte, um eine stereoskopische Bildanzeige zu erzeugen. Man erkennt jedoch, dass jedes andere stereoskopische Anzeigeverfahren verwendet werden kann, wie beispielsweise ein Parallaxensperrverfahren oder ein Verfahren mit linsenförmigen Linsen, das keine Brille erfordert.
Aus den insoweit gegebenen Beschreibungen geht hervor, dass stereoskopische Bilder erzeugt werden oder Bilder für linkes Auge und rechtes Auge automatisch in horizontaler Richtung vor der Bilddarstellung bewegt werden, indem die Anzeigeschirmgröße des stereoskopischen Fernsehgerätes, die Auflösung (Frequenz) des eingegebenen Bildsignals und die Fenstergröße in Betracht gezogen wurden, weshalb die vorliegende Erfindung den Vorteil hat, dass sie in der Lage ist, stereoskopische Bilder zu erzeugen und darzustellen, die natürlich aussehen und für den Betrachter einfach zu betrachten sind.

Claims

Gerät zum Erzeugen eines stereoskopischen Computergraphikbildes zur Verwendung in einer Fenster-Umgebung, in der ein oder mehrere stereoskopische Computergraphikbilder gleichzeitig angezeigt werden, enthaltend: eine Projektionstransformationseinheit (1, 2) zum Erzeugen mehrerer zweidimensionaler Projektionsbilder, wie von mehreren Kameras (7, 8) gesehen, auf der Grundlage von dreidimensionaler Strukturinformation, die eine dreidimensionale Gestalt eines Objekts (9) beschreibt; gekennzeichnet durch eine Distanzinformations-Extraktionseinheit (5) zum Erzeugen einer Distanz (dx) zwischen dem Objekt (9) und den Kameras (7, 8); eine Fensterinformations-Managementeinheit (128) zum Erfassen der Größe eines jeden einzelnen Fensters (A, B, C), wo ein stereoskopisches Bild angezeigt wird, und von Information über eine Videoauflösung oder Synchronisationsfrequenz eines Anzeigeschirms; eine Verschmelzungsbereichs-Prüfeinheit (11) zum Berechnen der Größe eines Fensters (A, B, C) auf einer Stereoskopbildanzeigevorrichtung (137), in dem die zweidimensionalen Projektionsbilder des Objekts (9) als Hauptbilder angezeigt werden, aus dem Ausgang der Fensterinformations-Managementeinheit (128), und zum Berechnen des Ausgangs der Distanzinformations-Extraktionseinheit (5) und einer Betrachtungsdistanz (ds) eines Betrachters, von Kameraparametern für jedes einzelne Fenster (A, B, C), die erforderlich sind, um die stereoskopischen Computergraphikbilder in einen Binokularverschmelzungsbereich des Betrachters zu bringen, aus der Größe des Fensters (A, B, C); und eine Kameraparameter-Ermittlungseinheit (6) zum Ermitteln von Kamerapapametern für in jedem einzelnen Fenster (A, B, C) anzuzeigende stereoskopische Bilder durch Verwendung des Ausgangs der Verschmelzungsbereichs-Prüfeinheit (11); wodurch die Projektionstransformationseinheit (1, 2) die mehreren zweidimensionalen Projektionsbilder durch Verwendung der ermittelten Kameraparameter erzeugt.
Stereoskopisches Computergraphikbilderzeugungsgerät nach Anspruch 1, bei dem die Kameraparameter-Ermittlungseinheit (6) nur Kameraparameter der stereoskopischen Bilder, die dem bezeichneten Fenster (A, B, C) entsprechen, ändert, nur wenn der Betrachter ein solches einzustellendes Fenster (A, B, C) bezeichnet.