DE69829935T2

DE69829935T2 - Codier-/Decodiervorrichtung, Codier-/Decodiersystem und multiplexierter Bitstrom

Info

Publication number: DE69829935T2
Application number: DE1998629935
Authority: DE
Inventors: Jiro Minato-ku Katto
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-12-22
Filing date: 1998-12-21
Publication date: 2005-09-29
Anticipated expiration: 2018-12-22
Also published as: CA2256230C; EP0924934A1; JPH11187398A; CA2256230A1; EP0924934B1; DE69829935D1; JP3407287B2; US6584125B1

Description

Die vorliegende Erfindung betrifft eine Codier-/Decodiervorrichtung, ein Codier-/Decodiersystem und einen gemultiplexten Bitstrom und insbesondere ein System zum synchronen Kombinieren und Reproduzieren von natürlichen Bildern, von Sprache und Computergrafiken.
Der MPEG- (Motion Picture Coding Expert Group) Standard ist bekannt als internationaler Codierstandard zum Standardisieren der Codierung beim Komprimieren, Multiplexen und Übertragen oder Speichern von Audiosignalen (oder Sprachsignalen), Videosignalen und künstlichen Szenedaten, z.B. Computergrafiken, und zum anschließenden Trennen und Expandieren der Signale und Daten, um Originalsignale zu erhalten. Der MPEG-Standard ist durch die Working Group (WG) 11 von SC29 definiert, die durch das JTC1 (Joint Technical Committee 1) gemanagt wird, um gemeinsame Elemente in Datenverarbeitungsbereichen der ISO (International Organization for Standardization) und IEC (International Electrotechnical Commission) zu handhaben. Im MPEG-Standard wird ein Mechanismus zum synchronen Reproduzieren aller Medien von gemultiplexten Daten beschrieben.
Zunächst wird in ISO/IEC 13818-1 "Information Technology Generic Coding of Moving Pictures and Associated Audio Systems" (allgemein als MPEG-2-Systeme bezeichnet) ein Mechanismus zum synchronen Reproduzieren eines Audiosignals und eines Videosignals von gemultiplexten Daten beschrieben. 53 der beigefügten Zeichnungen zeigt die Konstruktion eines für die Beschreibung verwendeten festen Verzögerungsmodells. Diese Figur zeigt eine abstrahierte Systemarchitektur, wenn der MPEG-2-Standard zum Komprimieren von Audio- und Videosignalen verwendet wird.
In 53 komprimiert (codiert) ein Codierer 71 ein Audiosignal, und ein Codierer 72 komprimiert (codiert) ein Videosignal. Ein Puffer 73 puffert die durch den Codierer 71 komprimierten Audiodaten, und ein Puffer 74 puffert die durch den Codierer 72 komprimierten Videodaten. Eine Multiplexschaltung 75 multiplext die im Puffer 73 gespeicherten komprimierten Audiodaten und die im Puffer 74 gespeicherten komprimierten Videodaten. Zu diesem Zeitpunkt wird ein für eine synchrone Reproduktion erforderlicher Referenztakt und es werden Zeitstempel als Zusatzinformation in die gemultiplexten Daten eingebettet.
Insbesondere sind die Zeitstempel ein eine Decodierzeit darstellender Decodierzeitstempel und ein eine Darstellungszeit darstellender Darstellungszeitstempel. Der Decodierzeitstempel wird im allgemeinen nur dann verwendet, wenn eine interpolierende Prädiktion ausgeführt wird. Dies ist der Fall, weil, wenn die interpolierende Prädiktion ausgeführt wird, die Decodierzeit und die Darstellungszeit sich in einigen Fällen voneinander unterscheiden. In den anderen Fällen ist der Decodierzeitstempel unnötig.
Eine Speicher-/Übertragungseinrichtung 76 speichert oder überträgt die durch die Multiplexschaltung 75 erzeugten gemultiplexten Daten. Eine Trennschaltung (Demultiplexschaltung) 77 trennt komprimierte Audiodaten, komprimierte Videodaten und einen Referenztakt und einen Zeitstempel, die für eine synchrone Reproduktion verwendet werden, von den von der Speicher-/Übertragungseinrichtung 76 zugeführten gemultiplexten Daten. Ein Puffer 78 puffert die von der Trennschaltung 77 zugeführten komprimierten Audiodaten, und ein Puffer 79 puffert die von der Trennschaltung 77 zugeführten Videodaten. Ein Decodierer 80 decodiert und reproduziert die im Puffer 78 gespeicherten komprimierten Audiodaten, und ein Decodierer 81 decodiert die im Puffer 79 gespeicherten komprimierten Videodaten und stellt sie dar.
Die synchrone Reproduktion der Audio- und Videosignale in 53 wird folgendermaßen implementiert. Der in den gemultiplexten Daten eingebettete Referenztakt wird zum Steuern der Oszillationsfrequenz einer Takterzeugungsschaltung zum Ansteuern des Decodierers 80 und des Decodierers 81 verwendet, und im allgemeinen wird eine Phasenregelschleife (PLL) verwendet. Durch die Phasenregelschleife wird die Synchronisation zwischen der Codiererseite und der Decodiererseite eingerichtet. Der in die gemultiplexten Daten eingebettete Zeitstempel wird zum Übertragen der Decodierzeit des Decodierers 80 und des Decodierers 81 oder der Reproduktions-/Darstellungszeit des Decodierergebnisses verwendet. Die Zeitachsen der Codiererseite und der Decodiererseite werden durch den Referenztakt mit einer dazwischen festgelegten festen Verzögerung miteinander synchronisiert, und die Decodierverarbeitung beginnt zu einem an der Codiererseite festgelegten Zeitpunkt, und die Reproduktions-/Darstellungsverarbeitung wird ausgeführt.
Dadurch kann die synchrone Reproduktion der Audio- und Videosignale implementiert werden, sofern an der Codiererseite der geeignete Zeitstempel festgelegt wurde. Im Fall einer Anwendung, bei der keine synchrone Reproduktion zwischen der Codiererseite und der Decodiererseite erforderlich ist, wird die synchrone Reproduktion mit dem eigenen Takt des Decodierers ohne Verwendung des Referenztakts ausgeführt.
In ISO/IEC JTC1/SC29/WG11 N1825 "Working Draft 5.0 of ISO/IEC 14996-1" (allgemein als MPEG-4-Systeme bezeichnet) wird ein Mechanismus zum synchronen Reproduzieren von Audiosignalen, Videosignalen und künstlichen Szenedaten, z.B. Computergrafiken, von gemultiplexten Daten beschrieben.
54 zeigt ein zum Beschreiben des vorstehenden Mechanismus verwendetes Systemdecodierermodell (SDM). Dieses Modell ist ein abstrahierter Systemdecodierer, wenn das MPEG-4-Format zum Komprimieren von Audiodaten, Videodaten und künstlichen Szenedaten, z.B. Computergrafiken, verwendet wird. In diesem Artikel werden das Modell und die konkrete Konstruktion des Codierers nicht ausführlich beschrieben, sie werden jedoch als Syntax dahingehend beschrieben, daß ein Referenztakt und ein Zeitstempel als Zusatzinformation in gemultiplexten Daten eingebettet sind. Insbesondere werden zwei Zeitstempel bereitgestellt, ein eine Decodierzeit darstellender Decodierzeitstempel und ein Kompositionszeitstempel, der einen Zeitpunkt darstellt, zu dem einer Kompositionsschaltung Decodierdaten zugeführt werden können.
In 54 trennt eine Trennschaltung 91 komprimierte Audiodaten, komprimierte Videodaten, komprimierte Szenedaten, einen Referenztakt und einen Zeitstempel, die zur synchronen Reproduktion verwendet werden, von den gemultiplexten Daten. Ein Puffer 92 puffert die von der Trennschaltung 91 zugeführten komprimierten Audiodaten, und ein Puffer 93 puffert die von der Trennschaltung 91 zugeführten komprimierten Videodaten. Ein Puffer 94 puffert die von der Trennschaltung 91 zugeführten komprimierten künstlichen Szenedaten. Ein Decodierer 95 decodiert die im Puffer 92 gespeicherten komprimierten Audiodaten, ein Decodierer 96 decodiert die im Puffer 93 gespeicherten komprimierten Videodaten und ein Decodierer 97 decodiert die im Puffer 94 gespeicherten komprimierten künstlichen Szenedaten.
Ein Puffer 98 puffert das durch den Decodierer 95 decodierte Audiosignal, ein Puffer 99 decodiert das durch den Decodierer 96 decodierte Videosignal, und ein Puffer 100 puffert die durch den Decodierer 97 decodierten künstlichen Szenedaten. Eine Kompositionsschaltung 101 stellt eine Szene auf der Basis des im Puffer 98 gespeicherten Audiosignals, des im Puffer 99 gespeicherten Videosignals und der im Puffer 100 gespeicherten künstlichen Szenedaten zusammen. Zu diesem Zeitpunkt wird die zusammengestellte Szeneinformation in den künstlichen Szenedaten beschrieben, und gemäß der Szeneinformation wird das Audiosignal moduliert oder das Videosignal verformt, und das Signal wird auf ein Objekt in der Szene abgebildet. Eine Darstellungsschaltung 102 reproduziert eine von der Kompositionsschaltung 101 zugeführte Szene und stellt sie dar.
Die Komposition oder Zusammenstellung und Reproduktion des Audiosignals, des Videosignals und der künstlichen Szenedaten in 54 werden folgendermaßen implementiert:
Der Referenztakt kann jedem Decodierer zugeführt werden. Nachdem er von den gemultiplexten Daten extrahiert worden ist, wird er einer Takterzeugungsschaltung zugeführt, die in jedem Decodierer bereitgestellt wird, um die Oszillationsfrequenz der Takterzeugungsschaltung zu steuern, wodurch die Synchronisation zwischen der Codiererseite und der Decodiererseite in jedem Decodierer eingerichtet werden kann. Außerdem kann jedem Decodierer der Zeitstempel zugeführt werden. Nachdem er von den gemultiplexten Daten extrahiert worden ist, wird er zum Übertragen des Zeitpunkts verwendet, zu dem die Decodierzeit des Decodierers oder das Decodierergebnis der Kompositionsschaltung 101 zugeführt werden kann. Die Zeitachsen der Codiererseite und der Decodiererseite werden durch den Referenztakt miteinander mit einer dazwischen eingestellten festen Verzögerung synchronisiert, und der Decodiervorgang wird zu dem an der Codiererseite festgelegten Zeitpunkt gestartet, und der Schreibvorgang zum Schreiben von Daten in den Puffer wird ausgeführt.
Anschließend extrahiert die Kompositionsschaltung 101 das Audiosignal, das Videosignal und die künstlichen Szenedaten, die in den jeweiligen Puffern gehalten werden, um eine Verarbeitung zum Zusammenstellen einer Szene auszuführen. Die Zeitpunkte, zu denen das Audiosignal, das Videosignal und die Szenedaten durch die Kompositionsschaltung 101 erhalten werden, sind jeweils auf der Basis der diesen Signalen bzw. Daten hinzugefügten Kompositionszeitstempel gegeben. Der Zeitpunkt zum Zusammenstellen einer Szene ist jedoch unklar, und die Kompositionsschaltung 101 selbst ist so eingestellt, daß sie eine Ereignisverarbeitung gemäß einem in den Szenedaten beschriebenen diskreten Zeitereignis startet. Schließlich reproduziert die Darstellungsschaltung 102 die von der Kompositionsschaltung 101 zugeführte Szene und stellt sie dar.
Als Beispiel eines Beschreibungsformats für künstliche Szenedaten ist das VRML-Format (Virtual Reality Modeling Language) zum Beschreiben von Computergrafiken, zum Übertragen oder Speichern der derart beschriebenen Daten, zum Aufbauen und gemeinsamen Verwenden eines dreidimensionalen Raums der Daten bekannt. VRML ist definiert als internationaler Standard durch SC24, gemanagt unter JTC1 (Joint Technical Committee 1), zum Handhaben gemeinsamer Elemente im Datenverarbeitungsbereich von ISO (International Organization for Standardization) und IEC (International Electrotechnical Commission) und eines VRML-Konsortiums, mit dem zugeordnete Gesellschaften kooperieren. Im VRML-Standard ist außerdem ein Beschreibungsverfahren zum Verwenden eines Audiosignals und eines Videosignal in einer Szene beschrieben.
Die Details des Beschreibungsverfahrens sind in ISO/IEC DIS 14772-1"The virtual Reality Modeling Language" (allge mein als VRML97 bezeichnet) beschrieben. ISO/IEC DIS 14772-1 enthält nicht nur Computergrafiken, sondern auch ISO/IEC 11172 (allgemein als MPEG-1 bezeichnet), das eines der MPEG-Standards darstellt, als kompatible Ziele. MPEG-1 ist eines der internationalen Codierstandards für Audio- und Videosignale. Insbesondere werden die Audio- und Videosignale als Tonquelle bzw. als eine Bewegtbildtextur für ein dreidimensionales Objekt in einer durch VRML konstruierten dreidimensionalen Szene abgebildet. Außerdem wird die Beschreibung eines Zeitereignisses durch VRML unterstützt, wobei ein Zeitereignis gemäß einem im VRML-Format beschriebenen Zeitstempel auftritt.
Das Zeitereignis ist in zwei Typen, d.h. in ein kontinuierliches Zeitereignis und ein diskretes Zeitereignis, klassifiziert. Das kontinuierliche Zeitereignis ist ein Ereignis, in dem die Aktion einer Animation oder eine ähnliche Aktion auf der Zeitachse kontinuierlich ist, und das diskrete Zeitereignis ist ein Ereignis, bei dem ein Objekt in einer Szene nach Ablauf einer Zeitdauer startet.
55 zeigt die Konstruktion eines Decodierverarbeitungssystems zum Empfangen des VRML-Formats und zum Konstruieren einer dreidimensionalen Szene (in VRML als "Browser" bezeichnet). Ein Puffer 111 empfängt über das Internet gemultiplexte Daten, die gemäß MPEG-1 komprimiert sind, und puffert die empfangenen Daten. Ein Puffer 112 empfängt über das Internet das VRML-Format oder das komprimierte VRML-Format und puffert das empfangene Format. Zu diesem Zeitpunkt kann der Ursprungsort des VRML-Formats von demjenigen der MPEG-1-Daten verschieden sein.
Eine Trennschaltung 113 trennt komprimierte Audiodaten und komprimierte Videodaten von den vom Puffer 111 zugeführten gemultiplexten MPEG-1-Daten. Ein Decodierer 114 decodiert die von der Trennschaltung 113 zugeführten komprimier ten Audiodaten, und ein Decodierer 115 decodiert die von der Trennschaltung 114 zugeführten komprimierten Videodaten. Ein Decodierer 116 decodiert das im Puffer 112 gespeicherte komprimierte VRML-Format. Wenn das VRML-Format nicht komprimiert ist, wird keine Verarbeitung ausgeführt. Ein Speicher 117 speichert das durch den Decodierer 114 decodierte Audiosignal, und ein Speicher 118 speichert das durch den Decodierer 115 decodierte Videosignal. Ein Speicher 119 speichert das durch den Decodierer 116 decodierte VRML-Format.
Eine Kompositionsschaltung 120 synthetisiert eine Szene auf der Basis des im Speicher 117 gespeicherten Audiosignals, des im Speicher 118 gespeicherten Videosignals und der im Speicher 119 gespeicherten künstlichen Szenedaten. In diesem Fall ist die zusammenzustellende Szeneinformation in den künstlichen Szenedaten beschrieben. Gemäß der Szeneinformation wird das Audiosignal moduliert und das Videosignal verformt, und dann werden diese Signale in ein Objekt in der Szene abgebildet. Eine Darstellungsschaltung 121 reproduziert die von der Kompositionsschaltung 120 zugeführte Szene und stellt sie dar.
Die Komposition oder Zusammenstellung des Audiosignals, des Videosignals und des VRML-Formats in 55 und ihre Reproduktion werden folgendermaßen implementiert:
Nachdem der Vorgang zum Laden der gemultiplexten MPEG-1-Daten von einer externen Quelle in den Puffer 111 abgeschlossen ist, decodiert der Decodierer 114 die komprimierten Audiodaten, und der Decodierer 115 decodiert die komprimierten Videodaten, und das Audiosignal und das Videosignal, die durch die vorstehend erwähnte Decodierverarbeitung erhalten wurden, werden in den Speicher 117 bzw. in den Speicher 118 geschrieben. Außerdem decodiert der Decodierer 116, nachdem der Vorgang zum Laden des VRML-Formats von einer externen Quelle in den Puffer 112 abgeschlossen ist, das VRML- Format, wenn das VRML-Format komprimiert ist, oder führt keine Verarbeitung aus, wenn das VRML-Format nicht komprimiert ist, und schreibt dann das derart erhaltene VRML-Format in den Speicher 119. Nachdem die vorstehend erwähnte Verarbeitung abgeschlossen ist, d.h. die Verarbeitung eines durch eine durch Bezugszeichen 122 bezeichnete gestrichelte Linie umschlossenen Abschnitts, beginnen die Kompositionsschaltung 120 und die Darstellungsschaltung 121 eine Zusammenstellungs- (Misch-), Reproduktions- und Darstellungsverarbeitung.
Wenn lediglich das Videosignal und Computergrafiken miteinander kombiniert werden soll, kann ein bekanntes Chromakey-System verwendet werden, das in herkömmlichen Rundfunksystemen zur Wettervorhersage verwendet wird. Gemäß dem Chromakey-System wird eine Person oder ein Objekt vor einem Hintergrund angeordnet, dessen Farbe als einzelne Farbe, z.B. "Blau", oder eine ähnliche Farbe spezifiziert ist, um ein Gesamtbild aufzunehmen, und dann wird der farbige Hintergrundabschnitt vom Bild gelöscht, so daß nur die Person oder das Objekt vor dem Hintergrund erfaßt werden kann.
56 zeigt die Konstruktion eines Codierverarbeitungssystems zum Erzeugen eines zusammengestellten Bildes aus dem Videosignal und der Computergrafik unter Verwendung des Chromakey-Systems und zum Komprimieren und Multiplexen des zusammengestellten Bildes und des Audiosignals. Eine Chromakey-Verarbeitungsschaltung 131 löscht von einem Video-Eingangssignal einen Abschnitt mit der der Hintergrundfarbe entsprechenden Farbe. Eine Kompositionsschaltung 132 erzeugt ein Computergrafikbild von vorgegebenen künstlichen Szenedaten. Ein Speicher 133 speichert ein von der Chromakey-Verarbeitungsschaltung 131 zugeführtes Ausschnittbild. In diesem Fall kann der Speicher 133 die Bilddaten direkt speichern und lediglich eine nachgeschaltete Faltungsschaltung 135 darüber informieren, daß der der Hintergrundfarbe entsprechende RGB-Wert gelöscht ist. Ein Speicher 134 speichert das durch die Kompositionsschaltung 132 erzeugte Computergrafikbild. Die Faltungsschaltung 135 überschreibt das vom Speicher 133 erhaltene Ausschnittbild auf das vom Speicher 134 erhaltene Computergrafikbild. Sie kann auch so eingestellt werden, daß der der Hintergrundfarbe entsprechende RGB-Wert erfaßt wird, und nur solche Pixel ersetzt werden, die innerhalb eines vorgegebenen Bereichs eines Computergrafikbildes liegen.
Ein Codierer 136 komprimiert (codiert) das Audiosignal. Ein Codierer 137 komprimiert das von der Faltungsschaltung 135 erhaltene zusammengestellte Bild. Ein Puffer 138 puffert die durch den Codierer 136 komprimierten Audiodaten, und ein Puffer 139 puffert die durch den Codierer 137 komprimierten zusammengestellten Bilddaten. Eine Multiplexschaltung 140 multiplext die im Puffer 138 gespeicherten komprimierten Audiodaten und die im Puffer 139 gespeicherten komprimierten zusammengestellten Bilddaten. Zu diesem Zeitpunkt werden der für die synchrone Reproduktion erforderliche Referenztakt und der Zeitstempel als Zusatzinformation in die gemultiplexten Daten eingebettet.
Das aus dem Videosignal und der Computergrafik zusammengestellte Bild wird im durch eine gestrichelte Linie umschlossenen und durch das Bezugszeichen 141 bezeichneten Abschnitt erzeugt. Die anderen Abschnitte entsprechen dem Codierabschnitt des in 53 dargestellten Codier-/Decodiersystems. D.h., das Videosignal und die Computergrafik werden zunächst miteinander kombiniert, um ein zusammengestelltes Bild zu erhalten, und dann werden das zusammengestellte Bild und das Audiosignal komprimiert und gemultiplext. Die Konstruktion der Decodierseite ist die gleiche wie die in 53 dargestellte Konstruktion.
Das in 53 dargestellte Codier-/Decodiersystem für eine synchrone Reproduktion des Audiosignals und des Videosignals betrifft die Codier-, Multiplex-, Trenn-, und Decodierverarbeitung des Audiosignals und des Videosignals, nicht beschrieben wird die Verarbeitung künstlicher Szenedaten, z.B. von Computergrafiken.
Außerdem sind im in 54 dargestellten Decodiersystem für eine synchrone Reproduktion des Audiosignals und des Videosignals und der künstlichen Szenedaten die Decodierzeit und der Zeitpunkt vorgegeben, zu dem der Kompositionsschaltung jeweils Daten zugeführt werden können. Der Zeitpunkt, zu dem alle Daten zusammengestellt werden, und der Zeitpunkt, zu dem das zusammengestellte Bild dargestellt wird, sind jedoch nicht spezifiziert. D.h., die Kompositionsschaltung ist so eingestellt, daß sie ihre Zusammenstellungs- oder Kompositionsverarbeitung frei startet. Außerdem soll die Kompositions(Misch-)verarbeitung gemäß einem in den künstlichen Szenedaten beschriebenen diskreten Zeitereignis starten.
Die künstlichen Szenedaten weisen jedoch eine in der Decodierverarbeitung nachteilige Pufferverzögerung auf, so daß zu dem Zeitpunkt, zu dem die künstlichen Szenedaten der Kompositionsschaltung 101 zugeführt werden, ein gewünschter Zeitpunkt verstrichen sein kann. Daher können die künstlichen Szenedaten selbst nicht verwendet werden, um einen exakten Zeitpunkt für die Kompositionsverarbeitung bereitzustellen. Außerdem ist, wenn in den künstlichen Szenedaten ein kontinuierliches Zeitereignis beschrieben ist, der Startzeitpunkt für die Kompositionsverarbeitung an der Codierseite und an der Decodierseite in einigen Fällen verschieden. Daher kann nicht gewährleistet werden, daß ein kontinuierliches Zeitereignis exakt koinzident auftritt. Insbesondere im Fall einer Animation oder einer ähnlichen Darstellung, für die eine Bewegung kontinuierlich dargestellt werden muß, verschiebt sich die Position eines sich bewegenden Objekts zwischen der Codierseite und der Decodierseite. Aufgrund des vorstehend erwähnten Problems kann ein an der Codierseite gewünschtes zusammengestelltes Bild nicht zusammengestellt werden, obwohl es an der Decodierseite exakt koinzident ist.
Außerdem unterstützt das in 55 dargestellte System zur Decodierung und Reproduktion des Audiosignals und des Videosignals und der künstlichen Szenedaten den auf der Zeitachse kontinuierlich übertragenen Datenstrom nicht. D.h., die Verarbeitung eines durch eine gestrichelte Linie umschlossenen Abschnitts 122 muß beendet sein, bevor die Reproduktion beginnt.
Außerdem wird im in 56 dargestellten Codier-/Decodiersystem für eine synchrone Reproduktion des Audiosignals und des Videosignals und der künstlichen Szenedaten das zusammengestellte Bild an der Codierseite in ein zweidimensionales Bild degeneriert, so daß eine Wechselwirkungsfunktion verloren geht, die unter Verwendung der künstlichen Szenedaten erhalten würde. D.h., es entsteht ein Nachteil dahingehend, daß zusätzliche Funktionen, wie beispielsweise eine Bewegung eines sichtbaren Punktes im dreidimensionalen Raum und eine Navigation, nicht implementierbar sind.
Es ist Aufgabe der vorliegenden Erfindung, eine Codiervorrichtung, eine Decodiervorrichtung, ein Codier-/Decodiersystem und einen gemultiplexten Bitstrom bereitzustellen, durch die eine Codier-/Decodierverarbeitung für eine synchrone Reproduktion eines Audiosignals, eines Videosignals und künstlicher Szenedaten implementiert wird, während die Nachteile der vorstehend beschriebenen herkömmlichen Systeme eliminiert werden, ein gewünschtes zusammengestelltes Bild an der Codierseite erzeugt werden kann, ein auf der Zeitachse kontinuierlich übertragener Datenstrom unterstützt wird und die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Diese Aufgabe wird durch die Merkmale der Patentansprüche gelöst.
Nachstehend werden bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezug auf die beigefügten Zeichnungen beschrieben.
1 zeigt ein Blockdiagramm zum Darstellen einer ersten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
2 zeigt ein Blockdiagramm zum Darstellen der Konstruktion einer Codierschaltung von 1;
3 zeigt ein erstes Blockdiagramm zum Darstellen der Konstruktion einer Kompositionsschaltung von 1;
4 zeigt ein Blockdiagramm zum Darstellen der Konstrukction einer Multiplexschaltung von 1;
5 zeigt ein Blockdiagramm zum Darstellen einer zweiten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
6 zeigt ein Blockdiagramm zum Darstellen der Konstruktion einer Codiervorrichtung von 5;
7 zeigt ein erstes Blockdiagramm zum Darstellen der Konstruktion einer Kompositionsschaltung von 5;
8 zeigt ein Blockdiagramm zum Darstellen einer dritten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
9 zeigt ein Blockdiagramm zum Darstellen der Konstruktion einer Codierschaltung von 8;
10 zeigt ein erstes Blockdiagramm zum Darstellen der Konstruktion einer Kompositionsschaltung von 8;
11 zeigt ein Blockdiagramm zum Darstellen einer vierten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
12 zeigt ein Blockdiagramm zum Darstellen der Konstruktion einer Multiplexschaltung von 11;
13 zeigt ein Blockdiagramm zum Darstellen einer fünften Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
14 zeigt ein Blockdiagramm zum Darstellen einer sechsten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
15 zeigt ein Blockdiagramm zum Darstellen einer siebenten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
16 zeigt ein Blockdiagramm zum Darstellen einer achten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
17 zeigt ein Blockdiagramm zum Darstellen einer neunten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
18 zeigt ein Blockdiagramm zum Darstellen einer ersten Ausführungsform einer erfindungsgemäßen Decodiervorrichtung;
19 zeigt ein Blockdiagramm zum Darstellen der Konstruktion einer Trennschaltung von 18;
20 zeigt ein Blockdiagramm zum Darstellen der Konstruktion einer Decodierschaltung von 18;
21 zeigt ein erstes Blockdiagramm zum Darstellen der Konstruktion einer Kompositionsschaltung von 18;
22 zeigt ein Blockdiagramm zum Darstellen einer zweiten Ausführungsform einer erfindungsgemäßen Decodiervorrichtung;
23 zeigt ein Blockdiagramm zum Darstellen der Konstruktion einer Trennschaltung von 22;
24 zeigt ein Blockdiagramm zum Darstellen einer dritten Ausführungsform einer erfindungsgemäßen Decodiervorrichtung;
25 zeigt ein Blockdiagramm zum Darstellen eines erfindungsgemäßen Codier-/Decodiersystems;
26 zeigt ein Diagramm zum Darstellen eines durch die erste Ausführungsform der erfindungsgemäßen Codierschaltung erzeugten Bitstroms;
27 zeigt ein Diagramm zum Darstellen eines durch die vierte Ausführungsform der erfindungsgemäßen Codierschaltung erzeugten Bitstroms;
28 zeigt ein Zeitdiagramm für eine normale Codier-, Decodier- und Kompositionsverarbeitung;
29 zeigt ein Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung, wenn für die Kompositionsverarbeitung eine übermäßige Zeitdauer erforderlich ist;
30 zeigt ein Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung für die zweite Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
31 zeigt ein Zeitdiagramm für eine normale Codier-, Decodier- und Kompositionsverarbeitung im Fall mehrerer Eingangssignale;
32 zeigt ein erstes Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung, wenn im Falle mehrerer Eingangssignale eine übermäßige Zeitdauer für die Kompositionsverarbeitung erforderlich ist;
33 zeigt ein erstes Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung für den Fall mehrerer Eingangssignale für die zweite Ausführungsform der erfindungsgemäßen Codiervorrichtung;
34 zeigt ein zweites Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung, wenn im Falle mehrerer Eingangssignale eine übermäßige Zeitdauer für die Kompositionsverarbeitung erforderlich ist;
35 zeigt ein zweites Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung für den Fall mehrerer Eingangssignale für die zweite Ausführungsform der erfindungsgemäßen Codiervorrichtung;
36 zeigt ein Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung für die dritte Ausführungsform der erfindungsgemäßen Codiervorrichtung;
37 zeigt ein Zeitdiagramm für eine Codier-, Decodier- und Kompositionsverarbeitung für den Fall mehrerer Eingangssignale für die dritte Ausführungsform der erfindungsgemäßen Codiervorrichtung;
38 zeigt ein Diagramm eines Datenflusses zwischen einem Puffer in einer Decodierschaltung, einem Speicher in der Decodierschaltung und einer Kompositionsschaltung;
39 zeigt ein Zeitdiagramm für eine normale Decodier- und Kompositionsverarbeitung;
40 zeigt ein Zeitdiagramm für eine Decodier- und Kompositionsverarbeitung, wenn für die Kompositionsverarbeitung eine übermäßige Zeitdauer erforderlich ist;
41 zeigt ein Zeitdiagramm für eine Decodier- und Kompositionsverarbeitung für die erste Ausführungsform der erfindungsgemäßen Decodiervorrichtung;
42 zeigt ein Zeitdiagramm für eine normale Decodier- und Kompositionsverarbeitung für den Fall mehrerer Eingangssignale;
43 zeigt ein Zeitdiagramm für eine Decodier- und Kompositionsverarbeitung, wenn im Falle mehrerer Eingangssignale eine übermäßige Zeitdauer für die Kompositionsverarbeitung erforderlich ist;
44 zeigt ein Zeitdiagramm für eine Decodier- und Kompositionsverarbeitung für den Fall mehrerer Eingangssignale für die erste Ausführungsform der erfindungsgemäßen Decodiervorrichtung;
45 zeigt ein zweites Blockdiagramm zum Darstellen der Konstruktion der Kompositionsschaltung von 1;
46 zeigt ein zweites Blockdiagramm zum Darstellen der Konstruktion der Kompositionsschaltung von 5;
47 zeigt ein zweites Blockdiagramm zum Darstellen der Konstruktion der Kompositionsschaltung von 8;
48 zeigt ein zweites Blockdiagramm zum Darstellen der Konstruktion der Kompositionsschaltung von 18;
49 zeigt ein Diagramm eines anderen Beispiels eines durch die erste Ausführungsform der erfindungsgemäßen Codiervorrichtung erzeugten Bitstroms;
50 zeigt ein Diagramm eines anderen Beispiels eines durch die vierte Ausführungsform der erfindungsgemäßen Codiervorrichtung erzeugten Bitstroms;
51 zeigt ein Blockdiagramm einer zehnten Ausführungsform einer erfindungsgemäßen Codiervorrichtung;
52 zeigt ein Blockdiagramm einer vierten Ausführungsform einer erfindungsgemäßen Decodiervorrichtung;
53 zeigt ein Diagramm zum Darstellen eines herkömmlichen Codier-/Decodiersystems für eine synchrone Reproduktion von Audio- und Videosignalen;
54 zeigt ein herkömmliches Decodiersystem für eine synchrone Reproduktion von Audiosignalen, Videosignalen und künstlichen Szenedaten;
55 zeigt ein Diagramm zum Darstellen eines herkömmlichen Decodiersystems zum Reproduzieren von Audiosignalen, Videosignalen und künstlichen Szenedaten; und
56 zeigt ein Diagramm zum Darstellen eines herkömmlichen Codier-/Decodiersystems für eine synchrone Repro duktion von Audiosignalen, Videosignalen und künstlichen Szenedaten.
1 zeigt ein Blockdiagramm zum Darstellen einer ersten Ausführungsform einer erfindungsgemäßen Codiervorrichtung. Die in 1 dargestellte Codiervorrichtung weist eine Codierschaltung 1 für Audiosignale (nachstehend als "Audiocodierschaltung" bezeichnet), eine Codierschaltung 2 für Videosignale (nachstehend als "Videocodierschaltung" bezeichnet), eine Schnittstellenschaltung 3 zum Eingeben von Szenedaten, eine Codierschaltung 4 für Szenedaten (nachstehend als "Szenecodierschaltung" bezeichnet), eine Kompositionsschaltung 5, eine Multiplexschaltung 6, eine Darstellungsschaltung 7 und eine Takterzeugungsschaltung 8 auf.
Die Audiocodierschaltung 1 komprimiert ein ihr zugeführtes Audiosignal und gibt die komprimierten Daten, einen eine Decodierzeit darstellenden Zeitstempel und Audiodaten aus, die lokal decodiert sind. Die Videocodierschaltung 2 komprimiert ein ihr zugeführtes Videosignal und gibt die komprimierten Daten, einen eine Decodierzeit darstellenden Zeitstempel und Videodaten aus, die lokal decodiert sind. An Stelle des Videosignals können in einigen Fällen auch Textdaten, Grafikdaten oder ähnliche Daten codiert sein.
Die Schnittstellenschaltung 3 zum Eingeben der Szenedaten akzeptiert eine von einem Sender kommende Beschreibung, und Aktualisierung zusammengestellter Szenen und gibt sie als Szenedaten aus. Als Schnittstelle können eine Tastatur, eine Maus oder eine ähnliche Eingabeeinrichtung verwendet werden. Die Szenecodierschaltung 4 empfängt die Szenedaten von der Schnittstellenschaltung 3 und gibt die komprimierten Szenedaten, einen eine Decodierzeit darstellenden Zeitstempel und lokal decodierte Szenedaten aus. Der in jeder Codierschaltung erzeugte Zeitstempel kann der gleiche sein wie der in den vorstehend beschriebenen herkömmlichen Techniken verwendete Zeitstempel gemäß ISO/IEC JTC1/SC29/WG11 N1825, und es werden ein Decodierzeitstempel und ein Kompositionszeitstempel verwendet.
Der Decodierzeitstempel wird nur für ein interpolatives vorausbestimmtes Bild verwendet, und für Video-, Audio- und Szenedaten anderer Prädiktionsmodi wird nur der Kompositionszeitstempel verwendet. D.h., es wird vorausgesetzt, daß die Decodierzeit und der Zeitpunkt, zu dem die Decodierdaten durch die Kompositionsschaltung 5 verwendet werden können, identisch sind. Es ist jedoch wichtig, daß zwischen der Codiervorrichtung oder einem Speichermedium und der Decodiervorrichtung eine feste Verzögerung festgelegt wird, und der Decodiervorgang der Decodiervorrichtung kann abgeschlossen werden, nachdem bezüglich dem durch den Zeitstempel dargestellten Zeitpunkt eine feste Zeitdauer verstrichen ist.
Die Kompositionsschaltung 5 empfängt das von der Audiocodierschaltung 1 ausgegebene Audiosignal, das von der Videocodierschaltung 2 ausgegebene Videosignal und die von der Szenecodierschaltung 4 ausgegebenen Szenedaten, um eine Szene gemäß einer in den Szenedaten beschriebenen Szenenbeschreibung zusammenzustellen, und gibt ein zusammengestelltes Bild, das Audiosignal und den die Kompositionszeit darstellenden Zeitstempel aus. Dieser Zeitstempel ist in ISO/IEC JTC1/SC29/WG11 N1825 nicht dargestellt und wird in der vorliegenden Beschreibung als "Darstellungszeitstempel" bezeichnet. D.h., es wird vorausgesetzt, daß die Kompositionszeit und die Darstellungszeit gleich sind. Es ist jedoch wichtig, daß zwischen der Codiervorrichtung oder dem Speichermedium und der Decodiervorrichtung eine feste Verzögerung festgelegt ist, und die Kompositionsverarbeitung der Decodiervorrichtung kann abgeschlossen werden, nachdem bezüglich des durch den Zeitstempel dargestellten Zeitpunktes eine vorgegebene Zeitdauer verstrichen ist.
Die Multiplexschaltung 6 empfängt die komprimierten Daten und den die Decodierzeit darstellenden Zeitstempel, die von der Audiocodierschaltung 1 ausgegeben werden, die komprimierten Daten und den die Decodierzeit darstellenden Zeitstempel, die von der Videocodierschaltung 2 ausgegeben werden, die komprimierten Daten und den die Decodierzeit darstellenden Zeitstempel, die von der Szenecodierschaltung 4 ausgegeben werden, den durch die Kompositionsschaltung 5 ausgegebenen, die Kompositionszeit darstellenden Zeitstempel, und von einer später beschriebenen Takterzeugungsschaltung 8 zugeführte Takte und erzeugt einen Bitstrom und gibt ihn aus.
Die Darstellungsschaltung 7 empfängt das zusammengestellte Bildsignal und das Audiosignal, die von der Kompositionsschaltung 5 ausgegeben werden, und stellt die Videodaten auf einem Display dar und reproduziert die Audiodaten durch einen Lautsprecher oder eine ähnliche Einrichtung. Die Takterzeugungsschaltung 8 erzeugt Takte als Takteingangssignale (CLK) für die Audiocodierschaltung 1, die Videocodierschaltung 2, die Szenecodierschaltung 4, die Kompositionsschaltung 5 und die Multiplexschaltung 6.
2 zeigt die Konstruktion der Audiocodierschaltung 1, der Videocodierschaltung 2 und der Szenecodierschaltung 4. Die Eingangssignale der jeweiligen Codierschaltungen unterscheiden sich voneinander, die jeweiligen Codierschaltungen haben jedoch eine funktionell gleiche Struktur, die einen Codierer 11, einen Decodierer 12, einen Speicher 13, einen Puffer 14 und einen Puffer 15 aufweist. Der Codierer 11 empfängt das Eingangssignal und vom Speicher 13 (später beschrieben) zugeführte lokal decodierte Daten und gibt die komprimierten Daten aus. Außerdem gibt er den die Decodierzeit darstellenden Zeitstempel aus. Beispielsweise gibt er den Zeitpunkt aus, an dem der Codiervorgang abgeschlossen ist. Der Decodierer 12 empfängt die vom Codierer 11 ausgegebenen komprimierten Daten und vom Speicher 13 ausgegebene lokal decodierte Daten und gibt neue lokal decodierte Daten aus. Der Speicher 13 speichert die vom Decodierer 12 zugeführten lokal decodierten Daten und gibt die Daten an den Codierer 11 und die Kompositionsschaltung 5 aus. Der Puffer 14 puffert den vom Codierer 11 zugeführten, die Decodierzeit darstellenden Zeitstempel und gibt ihn an die Multiplexschaltung 6 aus. Der Puffer 15 puffert die vom Codierer 11 ausgegebenen komprimierten Daten und gibt die Daten an die Multiplexschaltung 6 aus. Außerdem werden Takte von der Takterzeugungsschaltung 8 zugeführt, und diese Takte werden als Takteingangssignale (CLK) des Codierers 11 und des Decodierers 12 gesetzt.
In 2 werden die im Speicher 13 gespeicherten, lokal decodierten Daten als Eingangssignale des Codierers 11 und des Decodierers 12 für eine anschließende Codierverarbeitung verwendet. Diese Daten dürfen jedoch nicht für eine nachfolgende Codierverarbeitung, z.B. zur Codierung eines Standbildes, verwendet werden.
3 zeigt die Konstruktion der Kompositionsschaltung 5 von 1. Die Kompositionsschaltung 5 weist eine Szeneerzeugungsschaltung 201, einen Puffer 202, eine Umwandlungsverarbeitungsschaltung 203, eine Texturerzeugungsschaltung 204, eine Rasterschaltung 205, eine Verzögerungsschaltung 206 und einen Rahmenpuffer 207 auf.
Die Szeneerzeugungsschaltung 201 empfängt die Szenedaten von der Szenecodierschaltung 4, um ein Szenogramm zu erzeugen, und gibt einen Szenezeichnungsbefehl und Zwischendaten zusammen mit einem die Kompositionszeit darstellenden Zeitstempel aus. Im Fall einer zweidimensionalen Szene werden an jedem Objekt in einer Szene Koordinatendaten, Grafikdaten und Textdaten erzeugt. Außerdem wird eine Vorher- Nachher-Beziehung jeweiliger Objekte hinzugefügt. Im Fall einer dreidimensionalen Szene werden außerdem eine Kameraeinstellung, eine Sichtwinkeleinstellung und eine Lichtquelleneinstellung gesetzt und werden Objekte aus dem Sichtfeld gelöscht. Der Puffer 202 puffert den die Kompositionszeit darstellenden Zeitstempel, der von der Szeneerzeugungsschaltung 201 zugeführt wird.
Die Umwandlungsverarbeitungsschaltung 203 empfängt einen Szenezeichnungsbefehl und Zwischendaten, die von der Szeneerzeugungsschaltung 201 zugeführt werden, um eine Umwandlungsverarbeitung auszuführen, wie beispielsweise eine Koordinatentransformation, eine Lichtquellenberechnung und eine Zuschneideverarbeitung, und gibt neue Zwischendaten aus. Sie empfängt außerdem eine Textur von einer später beschriebenen Texturerzeugungsschaltung 204 und bildet sie auf ein Objekt in einer Szene ab. Im Fall einer zweidimensionalen Szene werden eine Bewegung, eine Drehung, eine Vergrößerung, eine Objektverkleinerung und andere Verarbeitungen ausgeführt. Im Fall einer dreidimensionalen Szene werden außerdem die Wirkung der Lichtquelle und ein Algorithmus für verborgene Oberflächen in der Tiefenrichtung bestimmt. Durch die vorstehend erwähnte Verarbeitung werden die Positionsinformation und die Farbinformation jedes Objekts in einer Szene, betrachtet von einem aktuellen Beobachtungs- oder Betrachtungsort, bestimmt und ausgegeben.
Die Texturerzeugungsschaltung 204 empfängt die von der Videocodierschaltung 2 zugeführten Videodaten, den von der Szeneerzeugungsschaltung 201 zugeführten Zeichnungsbefehl und die von der Umwandlungsverarbeitungsschaltung 203 zugeführte Koordinateninformation, verformt die Videodaten, die auf ein Objekt in einer Szene abgebildet werden, in eine Textur und gibt dann die derart erhaltene Textur aus. Die vorliegende Erfindung basiert auf der Annahme, daß die Sze nezusammenstellung oder -komposition rahmenweise wiederholt wird, so daß im allgemeinen die Videodaten einem Bild entsprechen.
Die Rasterschaltung 205 empfängt die Zwischendaten von der Umwandlungsverarbeitungsschaltung 203, um die Zwischendaten auf einer Pixelbasis in Rasterdaten umzuwandeln. Die Verzögerungsschaltung 206 empfängt die Audiodaten von der Audiocodierschaltung 1, um die Audiodaten unter Berücksichtigung der Zeit zu verzögern, die für die durch die Szeneerzeugungsschaltung 201 bis zur Rasterschaltung 205 ausgeführte Verarbeitung verstrichen ist, und gibt die derart verzögerten Audiodaten an die Darstellungsschaltung 7 aus. Der Rahmenpuffer 207 speichert die von der Rasterschaltung 205 zugeführten Rasterdaten und gibt die derart gespeicherten Rasterdaten an die Darstellungsschaltung 7 aus. Der Szeneerzeugungsschaltung 201, der Umwandlungsverarbeitungsschaltung 203, der Texturerzeugungsschaltung 204 und der Rasterschaltung 205 werden die Takte (CLK) von der Takterzeugungsschaltung 8 zugeführt.
45 zeigt eine andere Ausführungsform der Kompositionsschaltung 5 von 1, wobei die Kompositionsschaltung 5 eine Schnittstellenschaltung 21, eine Zentralverarbeitungseinheit (CPU) 22, eine Umwandlungsverarbeitungsschaltung 23, eine Rasterschaltung 24, eine Texturerzeugungsschaltung 25, einen Rahmenpuffer 26, eine Verzögerungsschaltung 27, einen Zähler 28 und einen Speicher 29 aufweist. Die jeweiligen Schaltungen sind über einen Bus miteinander verbunden.
Die Schnittstellenschaltung 21 empfängt die von der Audiocodierschaltung 1 zugeführten Audiodaten, die von der Videocodierschaltung 2 zugeführten Videodaten und die von der Szenecodierschaltung 4 zugeführten Szenedaten und gibt den die Kompositionszeit darstellenden, später beschriebenen Zeitstempel an die Multiplexschaltung 6 aus. D.h., sie dient als Schnittstelle zwischen jeder der mit dem Bus verbundenen Schaltungen und der Außenseite.
Die CPU 22 führt verschiedene Softwareprogramme aus, z.B. eine für die Szenezusammenstellung oder -komposition erforderliche Anfangsphasenverarbeitung, eine Verarbeitung zum Erzeugen eines Szenogramms auf der Basis der von der Szenecodierschaltung 4 zugeführten Szenedaten, eine Verarbeitung zum Zuweisen von Operationen zu jeder Schaltung auf der Basis einer Analyse des Szenogramms und eine Zeitablaufmanagementverarbeitung jeder allgemeineren Schaltungsressource. Außerdem gibt sie den die Kompositionszeit darstellenden Zeitstempel an die Schnittstellenschaltung 21 aus und führt unter Verwendung eines vom später beschriebenen Zähler 28 vorgegebenen berechneten Taktwertes eine Emulation einer Operationsfrequenzsteuerung aus.
Die Umwandlungsverarbeitungsschaltung 23 führt in Antwort auf den Zeichnungsbefehl von der CPU 22 die gleiche Verarbeitung aus wie die in 3 dargestellte Umwandlungsverarbeitungsschaltung 203. Die Rasterschaltung 24 führt in Antwort auf den Zeichnungsbefehl von der CPU 22 die gleiche Verarbeitung aus wie die Rasterschaltung 205 von 3. Die schließlich erhaltenen Rasterdaten werden in den später beschriebenen Rahmenpuffer 26 geschrieben. Die Texturerzeugungsschaltung 25 führt in Antwort auf den Zeichnungsbefehl von der CPU 22 die gleiche Verarbeitung aus wie die Texturerzeugungsschaltung 204 von 3. Der Rahmenpuffer 26 speichert die von der Rasterschaltung 24 erhaltenen Rasterdaten und gibt die derart gespeicherten Daten an die Darstellungsschaltung 7 aus. Die Verzögerungsschaltung 27 verzögert das Audiosignal von der Audiocodierschaltung 1 hinsichtlich der Rechenzeit für eine Folge von Kompositionsverarbeitungen und gibt das derart verzögerte Audiosignal an die Darstellungsschaltung 7 aus. Der Zähler 28 zählt die Anzahl der von der Takterzeugungsschaltung 8 zugeführten Takte und gibt den Zählwert nach Erfordernis an die CPU 22 aus.
In diesem Fall sind die Operations- oder Arbeitsfrequenzen der CPU 22, der Umwandlungsverarbeitungsschaltung 23, der Rasterschaltung 24 und der Texturschaltung 25 von einer anderen Takterzeugungsschaltung vorgegeben. Es können jedoch auch die von der Takterzeugungsschaltung 8 zugeführten Takte verwendet werden. Der Speicher 29 wird zum Speichern von Steuerdaten und Zwischendaten verwendet, die für die Berechnung in der CPU 22, der Umwandlungsverarbeitungsschaltung 23, der Rasterschaltung 24 bzw. der Texturerzeugungsschaltung 25 erforderlich sind.
4 zeigt ein Diagramm zum Darstellen der Konstruktion der Multiplexschaltung 6 von 1, wobei die Multiplexschaltung 6 einen Multiplexer 31, einen Zähler 32, eine Zusatzinformationshalteschaltung 33 und einen Puffer 34 aufweist. Der Multiplexer 31 multiplext die komprimierten Daten des Audiosignals und den die Decodierzeit darstellenden Zeitstempel, die von der Audiocodierschaltung 1 zugeführt werden, die komprimierten Daten des Videosignals und den die Decodierzeit darstellenden Zeitstempel, die von der Videocodierschaltung 2 zugeführt werden, die komprimierten Daten der Szenedaten und den die Decodierzeit darstellenden Zeitstempel, die von der Szenecodierschaltung 4 zugeführt werden, den die Kompositionszeit darstellenden, von der Kompositionsschaltung 5 zugeführten Zeitstempel, einen vom später beschriebenen Zähler 32 zugeführten Taktzählwert und von der später beschriebenen Zusatzinformationshalteschaltung 33 zugeführte Zusatzinformation und erzeugt einen Bitstrom und gibt ihn aus.
Der Zähler 32 zählt die von der Takterzeugungsschaltung 8 zugeführten Takte und gibt den Zählwert aus. Die Zusatzin formationshalteschaltung 33 hält eine für die Erzeugung eines Bitstroms hinzuzufügende vorgegebene allgemeine oder Zusatzinformation und gibt die Zusatzinformation aus. Der Puffer 34 puffert den vom Multiplexer 31 ausgegebenen Bitstrom und gibt den Bitstrom aus. Der Puffer 34 ist erforderlich, wenn die vorliegende Erfindung auf ein Sendesystem angewendet wird, er ist jedoch nicht unbedingt erforderlich, wenn die vorliegende Erfindung auf ein Speichersystem angewendet wird.
Nachstehend wird die Funktionsweise der erfindungsgemäßen Codiervorrichtung unter Bezug auf die 1 bis 4 und 45 beschrieben.
Die Audiocodierschaltung 1, die Videocodierschaltung 2 und die Szenecodierschaltung 4 führen jeweils eine Komprimierungs-/Codierverarbeitung bezüglich der ihnen zugeführten Signale aus und geben auch den die Decodierzeit darstellenden Zeitstempel aus. Wie in 2 dargestellt ist, führt der Codierer 11 zunächst eine Komprimierungsverarbeitung unter Verwendung des Eingangssignals und der vom Speicher 13 ausgegebenen lokal decodierten Daten aus und schreibt die komprimierten Daten in den Puffer 15. Gleichzeitig gibt der Codierer 11 den die Decodierzeit darstellenden Zeitstempel aus und schreibt den Zeitstempel in den Puffer 14. Anschließend decodiert der Decodierer 12 die vom Codierer 11 zugeführten komprimierten Daten und fügt die derart decodierten komprimierten Daten den vom Speicher 13 zugeführten lokal decodierten Daten hinzu, um neue lokal decodierte Daten zu erzeugen. Diese lokal decodierten Daten werden neu in den Speicher 13 geschrieben.
Die Schnittstellenschaltung 3 für die Szenedaten unterstützt verschiedene Eingangsmodi für ein Szenedesign und eine Szeneaktualisierung, z.B. eine Tastatureingabe und eine Mauseingabe, und wandelt die Eingangsdaten in kohärente Sze nedaten um und gibt die derart erhaltenen Daten an die Szenecodierschaltung 4 aus. Bezüglich der spezifischen Szenedaten kommen wie im Fall der Konzepte der Intra-Rahmencodierung und der Inter-Rahmencodierung von Videosignalen ein Datenaustausch und eine Datendifferenz in Betracht. Der Schaltvorgang zwischen dem Datenaustausch und der Datendifferenz wird durch die Szenecodierschaltung 4 in Antwort auf einen Befehl von der Schnittstellenschaltung 3 getätigt. Weil VRML-Daten ursprünglich Textdaten sind, kann ein Modus in Betracht kommen, gemäß dem keine Komprimierung ausgeführt wird, sondern Szenedaten direkt übertragen werden.
Die Kompositionsschaltung 5 führt die Szenekomposition unter Verwendung der von der Audiocodierschaltung 1 erhaltenen Audiodaten, der von der Videocodierschaltung 2 erhaltenen Videodaten und der von der Szenecodierschaltung 4 erhaltenen Szenedaten aus. Gleichzeitig gibt sie den die Kompositionszeit darstellenden Zeitstempel aus. In diesem Fall werden die im Speicher der Codierschaltung gespeicherten jeweiligen lokal decodierten Daten direkt verwendet. D.h., die Szeneerzeugungsschaltung 201 erzeugt, wie in 3 dargestellt, ein Szenogramm auf der Basis der von der Szenecodierschaltung 4 zugeführten Szenedaten und gibt den Szenezeichnungsbefehl und die Zwischendaten aus. Zu diesem Zeitpunkt gibt sie gleichzeitig den die Kompositionszeit darstellenden Zeitstempel aus und schreibt ihn in den Puffer 202. Anschließend führt die Umwandlungsverarbeitungsschaltung 203 die vorstehend erwähnte Umwandlungsverarbeitung auf der Basis des Zeichnungebefehls von der Szeneerzeugungsschaltung 201 aus und gibt die Koordinateninformation und die Farbinformation eines Objekts aus.
Außerdem werden die von der Texturerzeugungsschaltung 204 zugeführten Texturdaten auf ein Objekt in einer Szene abgebildet. Parallel zur Verarbeitung verformt die Texturerzeugungsschaltung 204 die von der Videocodierschaltung 2 zugeführten Videodaten auf der Basis des von der Szeneerzeugungsschaltung 201 zugeführten Zeichnungsbefehls und der von der Umwandlungsverarbeitungsschaltung 203 zugeführten Koordinateninformation. Die Umwandlungsverarbeitungsschaltung 203 und die Texturerzeugungsschaltung 204 führen die jeweiligen Verarbeitungen aus, während Daten dazwischen ausgetauscht werden.
Anschließend wandelt die Rasterschaltung 205 die Daten von der Umwandlungsverarbeitungsschaltung 203 auf einer Pixelbasis basierend auf der Koordinateninformation und der Farbinformation des Objekts, die von der Umwandlungsverarbeitungsschaltung 203 zugeführt werden, in Rasterdaten tun und schreibt das Umwandlungsergebnis in den Rahmenpuffer 207. Das von der Audiocodierschaltung 1 zugeführte Audiosignal wird verzögert und durch die Verzögerungsschaltung 206 ausgegeben. Die gleiche Verarbeitung wird gemäß der Konstruktion von 45 ausgeführt. In diesem Fall wird nicht nur das Audiosignal verzögert, sondern durch die CPU 22 können auch ein Spezialeffekt und andere Effekte leicht implementiert werden.
Es kann der Fall auftreten, daß in den Szenedaten ein zeitabhängiges Ereignis beschrieben ist. Dieses Ereignis wird in ein sich auf der Zeitachse veränderndes kontinuierliches Ereignis und ein auf der Zeitachse als Einzelaufnahmeereignis auftretendes diskretes Ereignis klassifiziert. Bezüglich der Verarbeitung dieser Ereignisse wird das kontinuierliche Ereignis als Ereignis verarbeitet, das bei dem die Kompositionszeit darstellenden Zeitstempel auftritt, und das diskrete Ereignis wird als Ereignis verarbeitet, das zu dem Zeitpunkt auftritt, zu dem der die Kompositionszeit darstellende Zeitstempel die Erzeugungszeit des diskreten Er eignisses passiert. Dadurch wird, wenn gemäß dem die Kompositionszeit darstellenden Zeitstempel an der Empfangsseite die gleiche Ereignisverarbeitung ausgeführt wird, gewährleistet, daß sowohl an der Sendeseite als auch an der Empfangsseite das gleiche Kompositionsergebnis erhalten werden kann.
Die spezifische Verarbeitung wird durch die Szeneerzeugungsschaltung 201 von 3 oder die CPU 22 von 45 ausgeführt. Daher weist die Szeneerzeugungsschaltung 202 oder die CPU 22 einen internen oder externen Zähler oder eine ähnliche Einrichtung für das Zeitmanagement auf. Der Zähler wird zu dem Zeitpunkt auf null gesetzt, an dem ein Aufnahmezyklus beginnt, und wird im Fall der Szeneerzeugungsschaltung 202 durch von der Takterzeugungsschaltung 8 zugeführte Takte gesteuert, während er im Fall der CPU 22 durch Takte gesteuert wird, die unabhängig von der Takterzeugungsschaltung erzeugt werden.
Die Multiplexschaltung 6 multiplext die komprimierten Daten, den Zeitstempel und den Referenztaktwert, um einen Bitstrom zu erzeugen. D.h., wie in 4 dargestellt, multiplext der Multiplexer 31 in vorgegebener Zeit die komprimierten Daten und den Zeitstempel, die von der Audiocodierschaltung 1 zugeführt werden, die komprimierten Daten und den Zeitstempel, die von der Videocodierschaltung 2 zugeführt werden, die komprimierten Daten und den Zeitstempel, die von der Szenecodierschaltung 4 zugeführt werden, den von der Kompositionsschaltung 5 zugeführten Zeitstempel, den vom Zähler 32 zugeführten Taktzählwert und eine Zusatzinformation, die die von der Zusatzinformationshalteschaltung 33 zugeführte Systeminformation darstellt.
Der Zähler 32 zählt die von der Takterzeugungsschaltung 8 zugeführten Takte und gibt ihren Zählwert aus. Die Zusatzinformationshalteschaltung 33 hält nicht nur die die System information darstellende Zusatzinformation, sondern auch Multiplexmanagementinformationen, wie beispielsweise die Bitlänge aller zu multiplexenden Daten, und den Zeitstempel und führt die Information dem Multiplexer 31 als Steuerinformation zu. Als spezifischer Modus der Zusatzinformationshalteschaltung kann ein ROM-Speicher, der vorgegebene feste Daten enthält, eine ROM-Karte oder ein RAM-Speicher verwendet werden, in den während einer Initialisierungsphase über eine Tastatur oder eine ähnliche Einrichtung Daten geladen werden.
26 zeigt einen schließlich erhaltenen Bitstrom. D.h., der Bitstrom weist den Referenztaktwert, die Zeitstempel und die komprimierten Audio-, Video- und Szenedaten auf. Jeder die Decodierzeit darstellende Zeitstempel wird den entsprechenden komprimierten Daten angehängt, und der die Kompositionszeit darstellende Zeitstempel wird den komprimierten Videodaten, den komprimierten Szenedaten oder wie im Fall des Referenztaktes anderen komprimierten Daten selektiv angehängt.
Die Darstellungsschaltung 7 führt eine Verarbeitung zum Darstellen und Reproduzieren des zusammengestellten Bildsignals und des Audiosignals aus, die von der Kompositionsschaltung 5 zugeführt werden, so daß ein Sender an Ort und Stelle ein zusammenzustellendes Bild und das entsprechende Audiosignal selbst beobachten kann. Außerdem kann die Szene durch die Schnittstellenschaltung 3 geeignet aktualisiert werden. Die Takterzeugungsschaltung 8 fährt fort, Takte (CLK) auf eine kohärente Weise zu erzeugen und führt die derart erzeugten Takte der Audiocodierschaltung 1, der Videocodierschaltung 2, der Szenecodierschaltung 4, der Kompositionsschaltung 5 und der Multiplexschaltung 6 zu.
In der ersten Ausführungsform einer erfindungsgemäßen Codiervorrichtung wird die für die Kompositionsverarbeitung erforderliche Verzögerung nicht berücksichtigt. D.h., wenn die gesamte Verarbeitung ausgeführt wird, während Rahmenraten davon innerhalb vorgegebener Grenzen gehalten werden, ist das Zeitdiagramm, das den Verarbeitungsablauf für die Codier-, Decodier- und Kompositionsverarbeitung an der Seite der Codiervorrichtung zeigt, das in 28 dargestellte. Hierbei entspricht die Codierverarbeitung der Verarbeitung des Codierers in der Codierschaltung, und die Decodierverarbeitung entspricht der Verarbeitung des Decodierers in der Codierschaltung, d.h. der Erzeugung der lokal decodierten Daten. Die Kompositionsverarbeitung entspricht der Verarbeitung der Kompositionsschaltung. Die Zeitdauer vom Startzeitpunkt einer Codierverarbeitung bis zum Startzeitpunkt der nächsten Codierverarbeitung entspricht der Rahmenrate des Eingangsvideosignals. Die Zeitdauer vom Startzeitpunkt einer Kompositionsverarbeitung bis zum Startzeitpunkt der nächsten Kompositionsverarbeitung entspricht der Rahmenrate des zusammengestellten Bildes. In 28 sind die Codierverarbeitung, die Decodierverarbeitung und die Kompositionsverarbeitung als sequentielle Verarbeitungen dargestellt. Durch Teilen der Codier- und der Decodierverarbeitung in mehrere Teilprozesse kann jedoch eine parallele Verarbeitung mehrerer Signale unterstützt werden. Ein Beispiel für die Ereigniszeit, zu der der Decodierzeitstempel und der Kompositionszeitstempel auftritt, ist in 28 dargestellt. Um eine feste Verzögerung zwischen der Codiervorrichtungsseite und der Decodiervorrichtungsseite aufrechtzuerhalten, kann die Ereigniszeit jedoch auf eine Zeit festgesetzt werden, zu der die Decodierverarbeitung bzw. die Kompositionsverarbeitung beendet werden, oder auf eine beliebige Zeit. In diesem Fall wird vorausgesetzt, daß die Codierverarbeitung und die Decodierverarbeitung innerhalb einer Rahmenperiode vollständig abgeschlossen sind.
Andererseits tritt, wenn die Kompositionszeit lang sein muß, ein Fall auf, in dem die Kompositionsverarbeitung bis zum Zeitpunkt des nächsten Kompositionsrahmens fortgesetzt werden muß, wie in 29 dargestellt ist. Wenn die parallele Verarbeitung des Codier-, Decodier- und Kompositionsvorgangs nicht unterstützt wird, oder wenn die Codier-, Decodier- und Kompositionsverarbeitung aufgrund eines Konkurrenzproblems bezüglich eines Zugriffs auf den Speicher zum Speichern der lokal decodierten Daten nicht parallel ausgeführt werden können, ist es schwierig, die Kompositions-, Codier- und Decodierverarbeitung fortzusetzen.
Als Gegenmaßnahme für den vorstehend dargestellten Fall können die Codier-, die Decodier- und die Kompositionsverarbeitung gemäß dem Zeitdiagramm von 30 ausgeführt werden, so daß die Codier-/Decodierverarbeitung fortgesetzt werden kann. D.h., wenn die Kompositionsverarbeitung nicht bis zum an der Codiervorrichtungsseite gesetzten Zeitpunkt abgeschlossen ist, werden die Codier-/Decodierverarbeitung des Videorahmens zu diesem Zeitpunkt unterbrochen, und der Kompositionsverarbeitung wird eine der Unterbrechungszeit entsprechende Zusatzzeit zugeordnet. Für die Videodaten des unterbrochenen Rahmens wird keine Information (einschließlich des Zeitstempels) übertragen, oder die Codierverarbeitung wird unter der Voraussetzung ausgeführt, daß zwischen dem betreffenden Rahmen und dem vorangehenden Rahmen keine Änderung auftritt. Nachdem die Kompositionsverarbeitung für den betreffenden Rahmen abgeschlossen ist, wird eine nächste Kompositionsverarbeitung gemäß der Rahmenrate des zusammengestellten Bildes gestartet. Wenn die betreffende Kompositionsverarbeitung bis zu diesem Zeitpunkt fortgesetzt wird, wird von der Kompositionsschaltung selbst eine Pause für die nächste Kompositionsverarbeitung eingelegt. Die Codierverarbeitung wird jedoch nicht unterbrochen, weil, wenn die Co dierverarbeitung für das Audiosignal unterbrochen würde, die Tonqualität aufgrund fehlender Abschnitte erheblich vermindert würde.
31 zeigt ein Zeitdiagramm für die Codier-, Decodier- und Kompositionsverarbeitung, wenn die Codier-/Decodierverarbeitung für mehrere Eingangssignale ausgeführt wird. Die Codier-/Decodierverarbeitung wird bezüglich zweier Eingangssignale sequentiell ausgeführt, und daraufhin wird die Kompositionsverarbeitung ausgeführt. Der Decodierzeitstempel und der Kompositionszeitstempel werden wie in 31 dargestellt erzeugt.
32 zeigt ein Zeitdiagramm für den Fall, daß die Kompositionsverarbeitung bis zu einem ersten Eingangssignal eines nächsten Rahmens fortgesetzt wird. In diesem Fall wird, wie in 33 dargestellt, die Codier-/Decodierverarbeitung des ersten Eingangssignals unterbrochen, und für die Videodaten des unterbrochenen Rahmens wird keine Information (einschließlich des Zeitstempels) übertragen, oder die Codierverarbeitung wird unter der Voraussetzung ausgeführt, daß zwischen dem betreffenden Rahmen und dem vorangehenden Rahmen keine Änderung aufgetreten ist. Für ein zweites Eingangssignal werden die Codier-/Decodierverarbeitung und die Kompositionsverarbeitung ausgeführt.
34 zeigt ein ähnliches Zeitdiagramm für den Fall, daß die Kompositionsverarbeitung bis zum zweiten Eingangssignal des nächsten Rahmens fortgesetzt wird. In diesem Fall werden, wie in 35 dargestellt, die Codier-/Decodierverarbeitung des ersten Eingangssignals und die Codier-/Decodierverarbeitung des zweiten Eingangssignals unterbrochen. Für die Videodaten des unterbrochenen Rahmens wird keine Information (einschließlich des Zeitstempels) übertragen, oder die Codierverarbeitung wird unter der Vor aussetzung ausgeführt, daß zwischen dem betreffenden Rahmen und dem vorangehenden Rahmen keine Änderung aufgetreten ist.
Wenn die betreffende Kompositionsverarbeitung nicht bis zu dem Zeitpunkt abgeschlossen ist, zu dem die nächste Kompositionsverarbeitung ausgeführt wird, legt die Kompositionsschaltung selbst eine Pause für die nächste Kompositionsverarbeitung ein. In der Decodiervorrichtung werden die Decodier- und die Kompositionsverarbeitung gemäß dem Zeitstempel im Bitstrom ausgeführt, so daß, wenn kein Decodierzeitstempel vorhanden ist, die Decodierverarbeitung automatisch übersprungen wird. Dadurch wird die Rahmenrate des Videosignals vorübergehend reduziert, die Kompositionsverarbeitung wird jedoch stabil ausgeführt.
5 zeigt ein Blockdiagramm zum Darstellen einer zweiten Ausführungsform der Codiervorrichtung, die so konstruiert ist, daß die Codier-/Decodierverarbeitung auch dann fortgesetzt werden kann, wenn die Fortsetzung der Kompositionsverarbeitung bis zum Zeitpunkt des nächsten Kompositionsrahmens angefordert wird.
In dieser Ausführungsform wird die Codiervorrichtung der ersten Ausführungsform der Ablaufsteuerungsschaltung 153 neu hinzugefügt. D.h., zusätzlich zu der wie in 1 dargestellt konstruierten Videocodierschaltung 2 wird die Videocodierschaltung 151 einer sich von der Ablaufsteuerungsschaltung 153 aus erstreckenden Steuerleitung hinzugefügt. Zusätzlich zu der wie in 1 dargestellt konstruierten Kompositionsschaltung 5 gibt es eine Kompositionsschaltung 152, die so konstruiert ist, daß sie ein Signal, das einen Kompositionsstatus anzeigt, d.h., ob die Kompositionsverarbeitung abgeschlossen ist oder nicht, an die Ablaufsteuerungsschaltung 153 ausgibt. Nach Empfang des Kompositionsstatussignals von der Kompositionsschaltung 152 steuert die Ablaufsteuerungsschaltung 153 die Verarbeitung der Codierschaltung 151.
6 zeigt die Konstruktion der Codierschaltung 151, wobei der Codierer 11, und der Decodierer 12 von 2 durch einen Codierer 154 bzw. einen Decodierer 155 ersetzt sind. Die Codierverarbeitung des Codierers 154, und die Decoderverarbeitung des Decodierers 155 werden auf der Basis des von der Ablaufsteuerungsschaltung 153 kommenden Eingangssignals zusammen gesteuert.
7 zeigt eine erste Ausführungsform der Kompositionsschaltung 152 von 5, die derart konstruiert ist, daß die Szeneerzeugungsschaltung 201, die Umwandlungsverarbeitungsschaltung 203, die Texturerzeugungsschaltung 204 und die Rasterschaltung 205 von 3 durch eine Szeneerzeugungsschaltung 211, eine Umwandlungsverarbeitungsschaltung 212, eine Texturerzeugungsschaltung 213 und eine Rasterschaltung 214 ersetzt sind und eine ODER-Schaltung 215 neu hinzugefügt ist. Die Szeneerzeugungsschaltung 211, die Umwandlungsverarbeitungsschaltung 212, die Texturerzeugungsschaltung 213 und die Rasterschaltung 214 sind wie die Szeneerzeugungsschaltung 201, die Umwandlungsverarbeitungsschaltung 203, die Texturerzeugungsschaltung 204 und die Rasterschaltung 205 von 3 konstruiert, stellen aber zusätzlich jeweils ein Ausgangssignal bereit, das darstellt, ob ihre Verarbeitung abgeschlossen ist oder nicht.
Die ODER-Schaltung 215 empfängt die Statuseingangssignale von der Szeneerzeugungsschaltung 211, der Umwandlungsverarbeitungsschaltung 212, der Texturerzeugungsschaltung 213 und der Rasterschaltung 214, um eine ODER-Operation zwischen den empfangenen Statuseingangssignalen auszuführen, und gibt das Ergebnis der ODER-Operation aus. In diesem Fall wird vorausgesetzt, daß, während eine Verarbeitung ausge führt wird, der Wert "1" gesetzt ist, und der Wert "0" gesetzt ist, wenn die Verarbeitung abgeschlossen ist.
46 zeigt eine zweite Ausführungsform der Kompositionsschaltung 152, die derart konstruiert ist, daß die Schnittstellenschaltung 21 von 45 durch eine Schnittstellenschaltung 156 ersetzt ist. Die Schnittstellenschaltung 156 ist wie die Schnittstellenschaltung 21 konstruiert, weist aber zusätzlich ein den Kompositionsstatus der Kompositionsschaltung 152 darstellendes Ausgangssignal auf, das an die Ablaufsteuerungsschaltung 153 übertragen wird.
Nachstehend wird die Funktionsweise der zweiten Ausführungsform der erfindungsgemäßen Codiervorrichtung unter Bezug auf die 5 bis 7 und 46 beschrieben. Die Basisverarbeitung des Codiervorgangs ist die gleiche wie bei der Schaltung von 1. Es wird jedoch ein den Kompositionsstatus darstellendes Signal von der Kompositionsschaltung 152 an die Ablaufsteuerungsschaltung 153 übertragen. Hinsichtlich des den Kompositionsstatus darstellenden Signals wird der Wert "1" ausgegeben, wenn in einer oder mehreren der folgenden Schaltungen: der Szeneerzeugungsschaltung 211, der Umwandlungsverarbeitungsschaltung 212, der Texturerzeugungsschaltung 213 und der Rasterschaltung 214 eine Verarbeitung ausgeführt wird, und der Wert "0", wenn alle Schaltungen deaktiviert sind, wie in 7 dargestellt ist.
Gemäß der Konstruktion von 46 überträgt die CPU 22 das gleiche Signal über die Schnittstellenschaltung 156 an die Ablaufsteuerungsschaltung 153. Nach dem Empfang des Signals gibt die Ablaufsteuerungsschaltung 153 den Wert "1" aus, wenn das Eingangssignal den Wert "1" aufweist, und den Wert "0", wenn das Eingangssignal den Wert "0" aufweist. Wie in 6 dargestellt ist, empfängt der Codierer 154 bzw. der Decodierer 155 dieses Signal, und die Codierschaltung 151 startet den Codier-/Decodiervorgang auch zu einem vorge gebenen Zeitpunkt nicht, wenn das Eingangssignal den Wert "1" aufweist, während die Codierschaltung 151 den Codier-/Decodiervorgang startet, wenn das Eingangssignal den Wert "0" aufweist.
In 28 ist die Codier-/Decodierverarbeitung als sequentielle Verarbeitung dargestellt, wobei jedoch ein Problem hinsichtlich des Vorhandenseins von Decodierdaten auftritt, wenn das Eingangssignal zum Codierstartzeitpunkt auf den Wert "1" und zum Decodierstartzeitpunkt auf den Wert "0" gesetzt ist. Dieses Problem könnte jedoch durch Voreinstellen der Decodierverarbeitung derart gelöst werden, daß die Decodierverarbeitung nicht ausgeführt wird, wenn das Eingangssignal zum Codierstartzeitpunkt den Wert "1" aufweist.
Das Problem der in 29 dargestellten Kompositionsverarbeitungszeit kann ebenfalls durch eine geeignete Ablaufsteuerung der Codierverarbeitung, der Decoderverarbeitung und der Kompositionsverarbeitung vermieden werden, wie in 36 dargestellt ist. In diesem Fall wird, wenn die Kompositionsverarbeitung bis zum Codierstartzeitpunkt des nächsten Rahmens, der durch die Codiervorrichtung gesetzt ist, nicht abgeschlossen worden ist, die Codier-/Decodierverarbeitung nicht unterbrochen, sondern die Kompositionsverarbeitung wird unterbrochen, und dann wird die Kompositionsverarbeitung zu dem Zeitpunkt fortgesetzt, zu dem die Codier-/Decodierverarbeitung abgeschlossen ist. Wenn die betreffende Kompositionsverarbeitung bis zum nächsten Codierstartzeitpunkt nicht abgeschlossen worden ist, wird die Kompositionsverarbeitung erneut unterbrochen, und die Kompositionsverarbeitung wird auf einem Bereitschaftszustand gehalten, bis die Codier-/Decodierverarbeitung abgeschlossen ist.
In der Decodiervorrichtung werden die Decodierverarbeitung und die Kompositionsverarbeitung in Antwort auf den Zeitstempel im Bitstrom ausgeführt, so daß in Antwort auf den Decodierzeitstempel die Decodierverarbeitung gestartet wird, während die Kompositionsverarbeitung unterbrochen wird, und die Kompositionsverarbeitung wird fortgesetzt, wenn die Decodierverarbeitung abgeschlossen ist. Dadurch wird die Rahmenrate des zusammengestellten Bildes vorübergehend reduziert, es wird jedoch vorausgesetzt, daß das Codieren des Videosignals auf einer festen Rahmenrate basiert. Dies ist effektiv, wenn lediglich die komprimierten Daten des Videosignals anschließend für einen Schneidevorgang oder einen ähnlichen Zweck wiederverwendet werden.
37 zeigt ein Diagramm, das eine auf der Ablaufsteuerung der Codierverarbeitung, der Decodierverarbeitung und der Kompositionsverarbeitung für mehrere Eingangssignale von 32 und 34 basierende Gegenmaßnahme darstellt. Grundsätzlich wird die gleiche Gegenmaßnahme wie in 36 dargestellt getroffen.
8 zeigt ein Blockdiagramm zum Darstellen einer dritten Ausführungsform einer erfindungsgemäßen Codiervorrichtung, in der durch Unterbrechen der Kompositionsverarbeitung ermöglich wird, daß die Codier-/Decodierverarbeitung fortgesetzt werden kann, wenn die Fortsetzung der Kompositionsverarbeitung bis zum nächsten Kompositionsrahmen angeordert wird.
In dieser Ausführungsform ist der ersten Ausführungsform der Codiervorrichtung eine Ablaufsteuerungsschaltung 165 neu hinzugefügt. Eine Audiocodierschaltung 161, eine Videocodierschaltung 162 und eine Szenecodierschaltung 163 haben die gleiche Konstruktion wie die Audiocodierschaltung 1, die Videocodierschaltung 2 bzw. die Szenecodierschaltung 4 von 1, und jede der Schaltungen ist außerdem derart konstruiert, daß sie an die Ablaufsteuerungsschaltung 165 ein Signal ausgibt, das einen Codierstatus anzeigt, d.h., das anzeigt, ob die Codierverarbeitung ausgeführt wird oder nicht.
Die Kompositionsschaltung 164 ist wie die Kompositionsschaltung 5 in 1 konstruiert weist aber zusätzlich eine sich von der Ablaufsteuerungsschaltung 165 erstreckende Steuerleitung auf. Die Ablaufsteuerungsschaltung 165 empfängt die Statuseingangssignale von der Codierschaltung 161, der Codierschaltung 162 und der Codierschaltung 163 zum Steuern der Operation der Kompositionsschaltung 164.
9 zeigt die Konstruktion der Codierschaltungen 161, 162 und 163, und der Codierer 11 und der Decodierer 12 von 2 sind durch den Codierer 166 und den Decodierer 167 ersetzt. Außerdem ist eine ODER-Schaltung 168 neu hinzugefügt. Der Codierer 166 und der Decodierer 167 sind wie der Codierer 11 und der Decodierer 12 konstruiert aber zusätzlich so, daß sie an die ODER-Schaltung 168 ein Signal ausgeben, das darstellt, ob ihre Verarbeitung abgeschlossen ist oder nicht. Die ODER-Schaltung 168 empfängt die Statuseingangssignale vom Codierer 166 und vom Decodierer 167 und gibt das ODER-Ausgangssignal an die Ablaufsteuerungsschaltung 165 aus. In diesem Fall wird vorausgesetzt, daß der Wert "1" ausgegeben wird, wenn eine Verarbeitung ausgeführt wird, und der Wert "0", wenn die Verarbeitung abgeschlossen ist.
10 zeigt eine erste Ausführungsform der Kompositionsschaltung 164 von 8. Die Szeneerzeugungsschaltung 201, die Umwandlungsverarbeitungsschaltung 203, die Texturerzeugungsschaltung 204 und die Rasterschaltung 205 von 3 sind durch eine Szeneerzeugungsschaltung 221, eine Umwandlungsverarbeitungsschaltung 222, eine Texturerzeugungsschaltung 223 und eine Rasterschaltung 224 ersetzt, und eine weitere Steuerschaltung 225 ist neu hinzugefügt. Außer der Konstruktion der Szeneerzeugungsschaltung 201, der Umwandlungs verarbeitungsschaltung 203, der Texturerzeugungsschaltung 204 und der Rasterschaltung 205 von 3 weisen die Szeneerzeugungsschaltung 221, die Umwandlungsverarbeitungsschaltung 222, die Texturerzeugungsschaltung 223 und die Rasterschaltung 224 ferner jeweils eine sich von der Steuerschaltung 225 erstreckende Eingangsleitung auf. Die Steuerschaltung 225 empfängt ein Eingangssignal von der Ablaufsteuerungsschaltung 165 und gibt es an die Szeneerzeugungsschaltung 221, die Umwandlungsverarbeitungsschaltung 222, die Texturerzeugungsschaltung 223 und die Rasterschaltung 224 aus, um die Operation der jeweiligen Schaltungen zu steuern.
47 zeigt eine zweite Ausführungsform der Kompositionsschaltung 164, wobei in dieser Ausführungsform die Schnittstellenschaltung 21 von 45 durch eine Schnittstellenschaltung 169 ersetzt ist. Die Schnittstellenschaltung 169 ist wie die Schnittstellenschaltung 21 konstruiert, aber zusätzlich so, daß sie ein Eingangssignal von der Ablaufsteuerungsschaltung 165 empfangen kann.
Nachstehend wird die Funktionsweise der dritten Ausführungsform der erfindungsgemäßen Codierschaltung unter Bezug auf die 8 bis 10 und 47 beschrieben. Die Basisverarbeitung des Codiervorgangs ist die gleiche wie bei der Schaltung von 1. Die Audiocodierschaltung 161, die Videocodierschaltung 162 und die Szenecodierschaltung 163 übertragen jedoch jeweils den Codierstatus an die Ablaufsteuerungsschaltung 165. In der Codierschaltung 161, der Codierschaltung 162 und der Codierschaltung 163 geben ein Codierer 166 und ein Decodierer 167 einen Codierzustand bzw. einen Decodierzustand an die ODER-Schaltung 168 aus, wie in 9 dargestellt ist. Das Ausgangssignal wird auf den Wert "1" gesetzt, wenn der Codierer (Decodierer) aktiviert ist und eine Verarbeitung ausführt, und auf "0", wenn er deaktiviert ist. Daher wird das Ausgangssignal der ODER-Schaltung 168 auf den Wert "1" gesetzt, wenn der Codierer oder der Decodierer aktiviert ist, und auf den Wert "0", wenn sowohl der Codierer als auch der Decodierer deaktiviert ist.
Die Ablaufsteuerungsschaltung 165 empfängt Eingangssignale von den Codierschaltungen 161 bis 163, um eine ODER-Verknüpfung dazwischen auszuführen, und gibt das Ergebnis der ODER-Verknüpfung aus. In der Kompositionsschaltung 164 empfängt die Steuerschaltung 225 ein Eingangssignal von der Ablaufsteuerungsschaltung 165 und gibt es an die Szeneerzeugungsschaltung 221, die Umwandlungsverarbeitungsschaltung 222, die Texturerzeugungsschaltung 223 und die Rasterschaltung 224 aus, wie in 10 dargestellt ist. Zu dem Zeitpunkt, zu dem der Eingangssignalwert von der Steuerschaltung 225 sich von "0" auf "1" ändert, speichern die Szeneerzeugungsschaltung 221, die Umwandlungsverarbeitungsschaltung 222, die Texturerzeugungsschaltung 223 und die Rasterschaltung 224 jeweils Zwischendaten und unterbrechen ihre Verarbeitung. Zu dem Zeitpunkt, zu dem der Eingangssignalwert sich von "1" auf "0" ändert, gewinnt jede Schaltung die Zwischendaten wieder und setzt die Verarbeitung fort. Wenn das Eingangssignal permanent den Wert "1" aufweist, ist jede Schaltung deaktiviert. Wenn das Eingangssignal permanent den Wert "0" aufweist, wird die Verarbeitung synchron mit der Kompositionszeit gestartet.
In der ersten bis dritten Ausführungsform der erfindungsgemäßen Codiervorrichtung werden die gleichen Takte von der gleichen Takterzeugungsschaltung für das Audiosignal, das Videosignal und die Szenedaten geliefert. Gemäß dem in der herkömmlichen Technik beschriebenen, in ISO/IEC JTC1/SC29/WG11 N1825 dargestellten System können jedoch für das Audiosignal, das Videosignal und die Szenedaten verschiedene Takte bereitgestellt werden. Daher können in der erfindungsgemäßen Codiervorrichtung für das Audiosignal, das Videosignal und die Szenedaten verschiedene Takte bereitgestellt werden.
11 zeigt eine vierte Ausführungsform der erfindungsgemäßen Codiervorrichtung. In der vierten Ausführungsform wird für die Audiocodierschaltung 1, die Videocodierschaltung 2, die Szenecodierschaltung 4 und die Kompositionsschaltung 5 der ersten Ausführungsform jeweils eine individuelle Takterzeugungsschaltung bereitgestellt. D.h., an Stelle der Takterzeugungsschaltung 8 von 1 werden drei Takterzeugungsschaltungen 171, 172 und 173 bereitgestellt. Der Audiocodierschaltung 1 werden Takte (CLK1) von der Takterzeugungsschaltung 171 zugeführt, der Videocodierschaltung 2 werden Takte (CLK2) von der Takterzeugungsschaltung 172 zugeführt, und der Szenecodierschaltung 4 und der Kompositionsschaltung 5 werden Takte (CLK3) von der Takterzeugungsschaltung 173 zugeführt.
Zusätzlich zur Konstruktion der Multiplexschaltung 6 von 1 ist die Multiplexschaltung 174 so konstruiert, daß sie Takteingangssignale von den drei Takterzeugungsschaltungen 171, 172 und 173 empfängt.
12 zeigt die Konstruktion der Multiplexschaltung 174 von 11. Die Multiplexschaltung 174 weist zusätzlich zur Konstruktion der Multiplexschaltung 6 von 4 drei den drei Takterzeugungsschaltungen 171, 172 und 173 zugeordnete Zähler 32 auf. Ein Multiplexer 175 ist wie der Multiplexer 31 von 4 konstruiert aber zusätzlich so, daß er Eingangssignale von den drei Zählern 32 empfängt und multiplext.
Nachstehend wird die Funktionsweise der vierten Ausführungsform der erfindungsgemäßen Codiervorrichtung unter Bezug auf die 11 bis 13 beschrieben. Die Basisverarbeitung des Codiervorgangs ist die gleiche wie bei der Schaltung von 1. Im Unterschied zur Schaltung von 1 werden die Audiocodierschaltung 1, die Videocodierschaltung 2 und sowohl die Szenecodierschaltung 4 als auch die Kompositionsschaltung 5 jeweils mit entsprechenden Takten betrieben, die von den drei verschiedenen Takterzeugungsschaltungen 171, 172 und 173 zugeführt werden, und multiplext die Multiplexschaltung 174 die von den drei verschiedenen Takterzeugungsschaltungen 171, 172 und 173 zugeführten Takte.
27 zeigt unter (1) den Endbitstrom. D.h., der Bitstrom weist für Audio-, Video- und Szenedaten jeweils einen Referenztaktwert, einen Zeitstempel und komprimierte Daten auf. Jeder die Decodierzeit darstellende Zeitstempel ist den entsprechenden komprimierten Daten angehängt, und der die Kompositionszeit darstellende Zeitstempel ist den komprimierten Szenedaten angehängt, die ein Ausgangssignal der Szenecodierschaltung 4 darstellen, die mit dem gleichen Takt arbeitet wie die Kompositionsschaltung 5.
13 zeigt eine fünfte Ausführungsform der erfindungsgemäßen Codiervorrichtung. Gemäß dieser Ausführungsform der Codiervorrichtung sind der Audiocodierschaltung 1, der Videocodierschaltung 151 und sowohl der Szenecodierschaltung 4 als auch der Kompositionsschaltung 152 in der zweiten Ausführungsform der Codiervorrichtung drei verschiedene Takterzeugungsschaltungen 171, 172 bzw. 173 zugeordnet. Die Multiplexschaltung 174 hat die gleiche Konstruktion wie in der vierten Ausführungsform.
14 zeigt eine sechste Ausführungsform der erfindungsgemäßen Codiervorrichtung. Gemäß dieser Ausführungsform der Codiervorrichtung sind der Audiocodierschaltung 161, der Videocodierschaltung 162 und sowohl der Szenecodierschaltung 163 als auch der Kompositionsschaltung 164 in der dritten Ausführungsform der Codiervorrichtung drei verschiedene Takterzeugungsschaltungen 171, 172 bzw. 173 zuge ordnet. Die Multiplexschaltung 174 hat die gleiche Konstruktion wie in der vierten Ausführungsform.
15 zeigt eine siebente Ausführungsform der erfindungsgemäßen Codiervorrichtung. Gemäß der siebenten Ausführungsform sind der Audiocodierschaltung 1, sowohl der Videocodierschaltung 2 als auch der Kompositionsschaltung 5 und der Szenecodierschaltung 4 der ersten Ausführungsform der Codiervorrichtung drei verschiedene Takterzeugungsschaltungen 171, 172 bzw. 173 zugeordnet. Die Multiplexschaltung 174 hat die gleiche Konstruktion wie bei der vierten Ausführungsform. Die Basisverarbeitung des Codiervorgangs ist die gleiche wie bei der Schaltung von 1. Im Unterschied zur Schaltung von 1 werden die Audiocodierschaltung 1, sowohl die Videocodierschaltung 2 als auch die Kompositionsschaltung 5 und die Szenecodierschaltung 4 mit entsprechenden Takten betrieben, die von den drei verschiedenen Takterzeugungsschaltungen 171, 172 bzw. 173 zugeführt werden, und multiplext die Multiplexschaltung 174 die von den drei verschiedenen Takterzeugungsschaltungen 171, 172 und 173 zugeführten Takte.
27 zeigt unter (2) den Endbitstrom. D.h., der Bitstrom weist für Audio-, Video- und Szenedaten jeweils einen Referenztaktwert, einen Zeitstempel und komprimierte Daten auf. Jeder die Decodierzeit darstellende Zeitstempel ist den entsprechenden komprimierten Daten angehängt, und der die Kompositionszeit darstellende Zeitstempel ist den komprimierten Videodaten angehängt, die ein Ausgangssignal der Videocodierschaltung 2 darstellen, die mit den gleichen Takten arbeitet wie die Kompositionsschaltung 5.
16 zeigt eine achte Ausführungsform der erfindungsgemäßen Codiervorrichtung. Gemäß der achten Ausführungsform sind der Audiocodierschaltung 1, sowohl der Videocodierschaltung 15 als auch der Kompositionsschaltung 5, und der Szenecodierschaltung 4 in der zweiten Ausführungsform der Codiervorrichtung drei verschiedene Takterzeugungsschaltungen 171, 172 bzw. 173 zugeordnet. Die Multiplexschaltung 174 hat die gleiche Konstruktion wie in der vierten Ausführungsform.
17 zeigt eine neunte Ausführungsform der erfindungsgemäßen Codiervorrichtung. Gemäß der neunten Ausführungsform sind der Audiocodierschaltung 161, und sowohl der Videocodierschaltung 162 als auch der Kompositionsschaltung 164, und der Szenecodierschaltung 163 der Codiervorrichtung der dritten Ausführungsform der vorliegenden Erfindung drei verschiedene Takterzeugungsschaltungen 171, 172 bzw. 173 zugeordnet. Die Multiplexschaltung 174 hat die gleiche Konstruktion wie in der vierten Ausführungsform.
18 zeigt ein Blockdiagramm einer ersten Ausführungsform einer erfindungsgemäßen Decodiervorrichtung. Die erfindungsgemäße Decodiervorrichtung weist eine Trennschaltung (Demultiplexschaltung) 41, eine Decodierschaltung 42 für Audiosignale (nachstehend als "Audiodecodierschaltung" bezeichnet), eine Decodierschaltung 43 für Videosignale (nachstehend als "Videodecodierschaltung" bezeichnet), eine Decodierschaltung 44 für Szenedaten (nachstehend als "Szenedecodierschaltung" bezeichnet), eine Kompositionsschaltung 45, eine Darstellungsschaltung 46, eine Takterzeugungsschaltung 47 und eine Wechselwirkungsschaltung 48 auf.
Die Trennschaltung 41 gibt von einem Eingangsbitstrom die komprimierten Daten und den die Decodierzeit für das Audiosignal darstellenden Zeitstempel, die komprimierten Daten und den die Decodierzeit für das Videosignal darstellenden Zeitstempel, die komprimierten Daten und den Zeitstempel für die Szenedaten, den die Kompositionszeit darstellenden Zeitstempel und einen der Takterzeugungsschaltung 47 (später beschrieben) zugeführten Referenztaktwert aus.
Die Audiodecodierschaltung 42 decodiert die von der Trennschaltung 41 zugeführten komprimierten Daten zu dem Zeitpunkt, der durch den die Decodierzeit darstellenden Zeitstempel vorgegeben ist, der durch die Trennschaltung 41 zugeführt wird. Die Videodecodierschaltung 43 decodiert die von der Trennschaltung 41 zugeführten komprimierten Daten zu dem Zeitpunkt, der durch den die Decodierzeit darstellenden Zeitstempel vorgegeben ist, der durch die Trennschaltung 41 zugeführt wird. Die Szenedecodierschaltung 44 decodiert die von der Trennschaltung 41 zugeführten komprimierten Daten zu dem Zeitpunkt, der durch den die Decodierzeit darstellenden Zeitstempel vorgegeben ist, der durch die Trennschaltung 41 zugeführt wird.
Die Kompositionsschaltung 45 führt die Kompositionsverarbeitung bezüglich des Audiosignals von der Audiodecodierschaltung 42, des Videosignals von der Videodecodierschaltung 43 und der Szenedaten von der Szenedecodierschaltung 44, die ihr gemäß einer in den Szenedaten beschriebenen Szene zugeführt werden, zu einem Zeitpunkt aus, der durch den die Kompositionszeit darstellenden Zeitstempel dargestellt wird, der von der Trennschaltung 41 zugeführt wird, und gibt ein zusammengestelltes Bild und das Audiosignal aus. Außerdem akzeptiert sie Eingangsdaten von der später beschriebenen Wechselwirkungsschaltung 48, um eine Wechselwirkung mit einem Benutzer zu ermöglichen, wie beispielsweise eine Bewegung eines Betrachtungspunktes.
Die Darstellungsschaltung 46 empfängt das zusammengestellte Bildsignal und das Audiosignal von der Kompositionsschaltung 45 und stellt diese Signale auf einem Display oder einer ähnlichen Einrichtung für Bilder dar und gibt sie über einen Lautsprecher oder eine ähnliche Einrichtung für Töne wieder. Die Takterzeugungsschaltung 47 erzeugt Takte (CLK10) gemäß dem von der Trennschaltung 41 zugeführten Referenz taktwert und führt die Takte der Audiodecodierschaltung 42, der Videodecodierschaltung 43, der Szenedecodierschaltung 44 und der Kompositionsschaltung 45 zu. Die Takterzeugungsschaltung 47 ist allgemein als Phasenregelschleife (PLL) konstruiert, und der Referenztaktwert wird zum Steuern der Oszillationsfrequenz der Takte verwendet.
Die Wechselwirkungsschaltung 48 akzeptiert eine Wechselwirkung, z.B. eine Tastatureingabe, eine Mauseingabe oder eine ähnliche Eingabe von einem Betrachter, um sie in Daten umzuwandeln, die z.B. eine Bewegung eines Betrachtungspunktes darstellen, und gibt das Umwandlungsergebnis an die Kompositionsschaltung 45 aus.
19 zeigt die Konstruktion der Trennschaltung 41 von 18, die einen Puffer 51, einen Demultiplexer 52 und eine Zusatzinformationshalteschaltung 53 aufweist. Der Puffer 51 puffert einen über ein Netz übertragenen oder von einem Speichermedium, wie beispielsweise von einer Diskette, oder einem ähnlichen Medium ausgelesenen Bitstrom. Der Demultiplexer 52 trennt den vom Puffer 51 zugeführten Bitstrom in die komprimierten Audiodaten und den die Decodierzeit für die Audiodaten darstellenden Zeitstempel, in die komprimierten Videodaten und den die Decodierzeit für die Videodaten darstellenden Zeitstempel, in die komprimierten Szenedaten und den die Decodierzeit für die Szenedaten darstellenden Zeitstempel, in den die Kompositionszeit darstellenden Zeitstempel, in den Referenztaktwert und in als Systeminformationen dienende Zusatzinformation auf der Basis von Managementinformationen, z.B. der Bitlänge, die in der Zusatzinformationshalteschaltung 53 gehalten werden.
Die Zusatzinformationshalteschaltung 53 hält nicht nur die die Systeminformation darstellende Zusatzinformation, sondern auch die Multiplexmanagementinformation, z.B. die Bitlänge aller zu multiplexenden Daten, die Zeitstempel, und führt diese Daten dem Demultiplexer 52 als Steuerinformation zu. Als spezifische Ausführung der Zusatzinformationshalteschaltung 53 kommt ein vorgegebene feste Daten enthaltender ROM-Speicher, eine ROM-Karte, ein RAM-Speicher, in den Daten zu einem Initialisierungszeitpunkt über eine Tastatur oder eine ähnliche Einrichtung geladen werden, ein RAM-Speicher zum Speichern von Bitstrominformation, die in der als Systeminformation im Bitstrom dienenden Zusatzinformation enthalten sind, oder ähnliche Einrichtungen in Betracht.
20 zeigt die Konstruktion der Decodierschaltungen 42, 43 und 44 von 18, die einen Puffer 61, einen Puffer 62, einen Decodierer 63 und einen Speicher 64 aufweisen. Der Puffer 61 puffert einen eine Decodierzeit darstellenden Zeitstempel, der von der Trennschaltung 41 zugeführt wird. Der Puffer 62 puffert komprimierte Daten, die von der Trennschaltung 41 zugeführt werden. Der Decodierer 63 empfängt die vom Puffer 62 zugeführten komprimierten Daten und die von einem später beschriebenen Speicher 64 zugeführten Decodierdaten zum Zeitpunkt des die Decodierzeit darstellenden Zeitstempels, der vom Puffer 61 zugeführt wird, um die Decodierverarbeitung auszuführen. Dem Decodierer 63 werden Takte von der Takterzeugungsschaltung 47 zugeführt.
Der Speicher 64 speichert die vom Decodierer 63 zugeführten Decodierdaten. Gemäß dieser Konstruktion wird die Decodierverarbeitung des Decodierers 63 unter der Voraussetzung ausgeführt, daß die im Speicher 64 gespeicherten Decodierdaten verwendet werden. Es kann jedoch der Fall auftreten, daß die Decodierdaten nicht verwendet werden, wie beispielsweise im Fall einer Intra-Rahmen-Codierung von Videodaten. Im Fall von Szenedaten kommen nicht komprimierte Textdaten in Betracht. In diesem Fall werden die Daten lediglich in einen modifizierten Speicher geschrieben.
21 zeigt eine erste Ausführungsform der Kompositionsschaltung 45 von 18. Gemäß dieser Ausführungsform ist in der Konstruktion von 3 die Szeneerzeugungsschaltung 201 durch eine Szeneerzeugungsschaltung 231 ersetzt, und der Puffer 202 ist durch einen Speicher 232 ersetzt, und ferner ist ein Puffer 233 hinzugefügt. Die Szeneerzeugungsschaltung 231 ist derart konstruiert, daß die Ausgangsleitung für den die Kompositionszeit darstellenden Zeitstempel von der Szeneerzeugungsschaltung 201 eliminiert ist und an ihrer Stelle Eingangsleitungen vom Puffer 232 und vom Puffer 233 hinzugefügt sind. Der Puffer 232 puffert den die Kompositionszeit darstellenden Zeitstempel von der Trennschaltung 41. Der Puffer 233 puffert Wechselwirkungsdaten von der Wechselwirkungsschaltung 48. Die Takte von der Takterzeugungsschaltung 47 werden der Szeneerzeugungsschaltung 231, der Umwandlungsverarbeitungsschaltung 203, der Texturerzeugungsschaltung 204 und der Rasterschaltung 205 zugeführt.
48 zeigt eine zweite Ausführungsform der Kompositionsschaltung 45. In der Konstruktion von 48 ist die Schnittstellenschaltung 21 von 45 durch eine Schnittstellenschaltung 49 ersetzt. Die Schnittstellenschaltung 49 ist derart konstruiert, daß die Ausgangsleitung zur Multiplexschaltung 6 von der Schnittstellenschaltung 21 von 45 eliminiert ist und an ihrer Stelle eine Eingangsleitung für den die Kompositionszeit darstellenden Zeitstempel von der Trennschaltung 41 und eine Eingangsleitung für Wechselwirkungsdaten, die von der Wechselwirkungsschaltung 48 kommen, neu hinzugefügt sind.
Nachstehend wird die Funktionsweise der erfindungsgemäßen Decodiervorrichtung unter Bezug auf die 18 bis 21 und 48 beschrieben. Die Trennschaltung 41 trennt den ihr zugeführten Bitstrom in die komprimierten Audiodaten und den die Decodierzeit für das Audiosignal darstellenden Zeitstem pel, in die komprimierten Videodaten und den die Decodierzeit für das Videosignal darstellenden Zeitstempel, in die komprimierten Szenedaten und den die Decodierzeit für die Szenedaten darstellenden Zeitstempel, in den die Kompositionszeit darstellenden Zeitstempel und in den Referenztaktwert, der der später beschriebenen Takterzeugungsschaltung 47 zugeführt wird.
Wie in 19 dargestellt ist, puffert der Puffer 51 in der Trennschaltung 41 zunächst den zugeführten Bitstrom. Anschließend trennt der Demultiplexer 52 den vom Puffer 51 zugeführten Bitstrom in die komprimierten Audiodaten und den die Decodierzeit für das Audiosignal darstellenden Zeitstempel, in die komprimierten Videodaten und den die Decodierzeit für das Videosignal darstellenden Zeitstempel, in die komprimierten Szenedaten und den die Decodierzeit für die Szenedaten darstellenden Zeitstempel, in den die Kompositionszeit darstellenden Zeitstempel, in den Referenztaktwert, der der später beschriebenen Takterzeugungsschaltung 47 zugeführt wird, und in die Zusatzinformation eines Systemkopfabschnitts auf der Basis eines Initialisierungs-Setzwertes oder einer Steuerinformation, der/die von der Zusatzinformationshalteschaltung 53 zum Halten der im Systemkopfabschnitt des Bitstroms enthaltenen Bitstrominformation zugeführt wird. Die Zusatzinformationshalteschaltung 53 speichert die Zusatzinformation des vom Demultiplexer 52 zugeführten Systemkopfabschnitts nach Erfordernis.
Anschließend empfängt die Takterzeugungsschaltung 47 den von der Trennschaltung 41 zugeführten Referenztaktwert und steuert die Oszillationsfrequenz gemäß dem Referenztaktwert, um Takte zu erzeugen und auszugeben. Im Fall einer Anwendung, bei der die Decodiervorrichtung Bitströme periodisch und zwangsweise annimmt, wenn beispielsweise die Bitströme in einem mit der Decodiervorrichtung verbundenen Speichermedium enthalten sind, kann die Takterzeugungsschaltung 47 den von der Trennschaltung 41 zugeführten Referenztaktwert außer acht lassen und Takte mit der Oszillationsfrequenz selbst erzeugen, wie im Fall der Takterzeugungsschaltung 8.
Daraufhin führen die Audiodecodierschaltung 42, die Videodecodierschaltung 43 und die Szenedecodierschaltung 44 jeweils die entsprechende Decodierverarbeitung bezüglich der komprimierten Daten zu dem Zeitpunkt aus, der durch den entsprechenden, die Decodierzeit darstellenden Zeitstempel vorgegeben ist. Wie in 20 dargestellt ist, führt der Decodierer 63 zunächst die Decodierverarbeitung unter Verwendung der vom Puffer 62 zugeführten komprimierten Daten und der vom Speicher 64 zugeführten Decodierdaten aus und schreibt die derart erzeugten Decodierdaten neu in den Speicher 64. Zu diesem Zeitpunkt werden die Takte (CLK 10) von der Takterzeugungsschaltung 47 der Audiodecodierschaltung 42, der Videodecodierschaltung 43 bzw. der Szenedecodierschaltung 44 zugeführt.
Anschließend führt die Kompositionsschaltung 45 die Kompositionsverarbeitung zu dem Zeitpunkt, der durch den die Kompositionszeit darstellenden Zeitstempel vorgegeben ist, der von der Trennschaltung 41 zugeführt wird, unter Verwendung der von der Audiodecodierschaltung 42 erhaltenen Audiodaten, der von der Videodecodierschaltung 43 erhaltenen Videodaten und der von der Szenedecodierschaltung 44 erhaltenen Szenedaten aus. In diesem Fall können die jeweiligen Daten direkt als die im Speicher der Decodierschaltung gespeicherten Decodierdaten verwendet werden. Außerdem wird bei einer Wechselwirkung, z.B. einer Bewegung des Betrachtungspunktes für zusammengestellte Bilder, ein Audiosignal gemäß den von der Wechselwirkungsschaltung 48 zugeführten Wechselwirkungsdaten reflektiert.
Die Funktionsweise der in 21 dargestellten ersten Ausführungsform der Kompositionsschaltung 45 ist grundsätzlich die gleiche wie bei der Schaltung von 3. Die Szeneerzeugungsschaltung 231 beginnt jedoch die Kompositionsverarbeitung zum Zeitpunkt, der durch den die Kompositionszeit darstellenden Zeitstempel vorgegeben ist, der vom Puffer 232 zugeführt wird, und erzeugt ein Szenogramm unter Verwendung der von der Decodierschaltung 44 zugeführten Szenedaten und der vom Puffer 233 zugeführten Wechselwirkungsdaten wie im Fall der Szeneerzeugungsschaltung 201 und gibt dann einen Szenezeichnungsbefehl und Zwischendaten aus. Der Beginn der Verarbeitungen der anderen Schaltungen kann durch Bereitstellen anderer Steuerleitungen oder durch Setzen der Zeichnungsbefehlübertragungszeit auf die Verarbeitungsstartzeit unterstützt werden.
Die Funktionsweise der in 48 dargestellten zweiten Ausführungsform der Kompositionsschaltung 45 ist grundsätzlich die gleiche wie bei der Schaltung von 45. Die CPU 22 beginnt jedoch die Kompositionsverarbeitung zum Zeitpunkt, der durch den die Kompositionszeit darstellenden Zeitstempel vorgegeben ist, der von der Kompositionsschaltung 41 über die Schnittstellenschaltung 49 zugeführt wird.
Die Funktionsweise der Darstellungsschaltung 46 ist die gleiche wie die der in 1 dargestellten Darstellungsschaltung 7. Auf das erhaltene dargestellte zusammengestellte Bildsignal und das Audiosignal wird über eine Tastatur, eine Maus oder eine ähnliche Einrichtung durch einen Betrachter eine Wechselwirkung ausgeübt, und das Ergebnis wird der Wechselwirkungsschaltung 48 zugeführt.
38 zeigt ein Zeitdiagramm der Beziehung zwischen Daten des Puffers in der Decodierschaltung der Decodiervorrichtung von 18, der Decodierverarbeitung der Daten, der Daten des Speichers in der Decodierschaltung, der Kompo sitionsverarbeitung der Daten und dem Endergebnis des zusammengestellten Bildes. Als komprimierte Eingangsdaten werden erste komprimierte Videodaten, zweite komprimierte Videodaten und Szenedaten angenommen. Die Decodierverarbeitung der jeweiligen Daten beginnt zu dem Zeitpunkt, der durch den die Decodierzeit darstellenden Zeitstempel vorgegeben ist. Die Daten werden vom Puffer ausgelesen und die Decodierverarbeitung wird ausgeführt, und die derart erhaltenen Decodierdaten werden in den Speicher geschrieben. Anschließend wird die Kompositionsverarbeitung zu dem Zeitpunkt gestartet, der durch den die Kompositionszeit darstellenden Zeitstempel vorgegeben ist, und die jeweiligen Decodierdaten werden gleichzeitig aus dem Speicher ausgelesen und die Kompositionsverarbeitung wird ausgeführt. Das derart erhaltene zusammengestellte Bild wird dargestellt. 39 zeigt ein Zeitdiagramm, das den Ablauf der Decodierverarbeitung und der Kompositionsverarbeitung darstellt.
39 zeigt einen Fall, in dem die Verarbeitungsgeschwindigkeit der Decodiervorrichtung ausreichend hoch ist und die Kompositionsverarbeitung innerhalb einer in der Codiervorrichtung geschätzten Zeitdauer beendet wird. Wenn die Verarbeitungsgeschwindigkeit der Decodiervorrichtung nicht ausreichend ist, kann der Fall auftreten, daß die Kompositionsverarbeitungszeit länger ist als die in der Codiervorrichtung geschätzte Zeitdauer. 40 zeigt ein Zeitdiagramm für den Fall, daß die Kompositionsverarbeitungszeit in der Decodiervorrichtung länger ist als die geschätzte Zeit.
Als Gegenmaßnahme für den vorstehend erwähnten Fall kann die Decodier- und Kompositionsverarbeitung gemäß dem Zeitdiagramm von 41 ausgeführt werden. D.h., wenn die Kompositionsverarbeitung bis zu dem an der Codiervorrichtungsseite gesetzten Zeitpunkt noch nicht abgeschlossen worden ist, wird die Kompositionsverarbeitung zu diesem Zeit punkt unterbrochen, d.h., der die Kompositionszeit darstellende Zeitstempel wird ignoriert, und die Kompositionsverarbeitung wird zu dem Zeitpunkt wiederaufgenommen, an dem die Decodierverarbeitung abgeschlossen ist. Wenn die betreffende Kompositionsverarbeitung bis zum nächsten Decodierstartzeitpunkt noch nicht abgeschlossen ist, wird die Kompositionsverarbeitung erneut unterbrochen und in einem Bereitschaftszustand gehalten, bis der Decodiervorgang abgeschlossen ist.
Hinsichtlich des Audiosignals und des Videosignals werden vorangehende (unmittelbar vorangehende) Decodierdaten für die nächste Decodierverarbeitung verwendet, so daß ein Überspringen der Decodierverarbeitung zu einer Qualitätsminderung führt. Daher kann durch Unterbrechen der Kompositionsverarbeitung, wie vorstehend beschrieben, eine Kompositionsverarbeitung implementiert werden, durch die die Qualität des Audiosignals und des Videosignals nicht vermindert wird, obwohl die Rahmenrate der Komposition reduziert ist. Wenn durch die Unterbrechung der Kompositionsverarbeitung jedoch veranlaßt wird, daß das Audiosignal in der Reproduktionsverarbeitung fehlt, wird die Qualität wesentlich herabgesetzt. Daher wird festgelegt, daß die Reproduktion des Audiosignals bei der Kompositionsverarbeitung nicht unterbrochen wird.
42 zeigt ein Zeitdiagramm für die normale Decodier- und Kompositionsverarbeitung, wenn mehrere Eingangsdaten vorhanden sind, 43 zeigt ein Zeitdiagramm für die Decodier- und Kompositionsverarbeitung, das darstellt, daß das gleiche Problem wie in 40 auftritt, wenn mehrere Eingangsdaten vorhanden sind, und 44 zeigt ein Zeitdiagramm für die Decodier- und Kompositionsverarbeitung, in dem ein Verfahren zum Lösen des Problems von 41, wenn mehrere Eingangsdaten vorhanden sind, dargestellt ist.
22 zeigt ein Blockdiagramm zum Darstellen einer zweiten Ausführungsform einer erfindungsgemäßen Decodiervor richtung. In dieser Ausführungsform ist die Trennschaltung 41 von 18 durch eine Trennschaltung 181 ersetzt, und verschiedene Takterzeugungsschaltungen 182, 183 und 184 sind der Decodierschaltung 42 für die komprimierten Audiodaten, der Decodierschaltung 43 für die komprimierten Videodaten und sowohl der Decodierschaltung 44 für die komprimierten Szenedaten als auch der Kompositionsschaltung 45 individuell zugeordnet. Die Trennschaltung 181 ist mit der Trennschaltung 41 grundsätzlich identisch, sie ist jedoch derart konstruiert, daß sie drei Referenztaktwerte ausgibt. Die Funktionsweise der Takterzeugungsschaltungen 182, 183, 184 ist die gleiche wie die der Takterzeugungsschaltung 47, und ihre Oszillationsfrequenzen werden mit den jeweiligen Referenztaktwerten gesteuert, die von der Trennschaltung 181 zugeführt werden.
Wie in 23 dargestellt ist, ist die Trennschaltung 181 derart konstruiert, daß der Demultiplexer 52 von 19 durch einen Demultiplexer 185 ersetzt ist. Der Demultiplexer 185 weist drei Ausgangsleitungen für Referenztaktwerte auf.
Nachstehend wird die Funktionsweise der Schaltung von 22 beschrieben. Die Basisoperation ist die gleiche wie diejenige der Schaltung von 18. Ein Unterschied besteht darin, daß die Decodierschaltung 42 für die komprimierten Audiodaten, (nachstehend "komprimierte Audiodecodierschaltung" bezeichnet) die Decodierschaltung 43 für die komprimierten Videodaten (nachstehend "komprimierte Videodecodierschaltung" bezeichnet) und sowohl die Decodierschaltung 44 für die komprimierten Szenedaten (nachstehend "komprimierte Szenedecodierschaltung" bezeichnet) als auch die Kompositionsschaltung 45 mit Takten (CLK11), (CLK12) bzw. (CLK13) betrieben werden, die von den drei verschiedenen Takterzeugungsschaltungen 182, 183 bzw. 184 zugeführt werden, und die Trennschaltung 181 die drei verschiedenen Referenztaktwerte trennt und ausgibt.
24 zeigt ein Blockdiagramm zum Darstellen einer dritten Ausführungsform der erfindungsgemäßen Decodiervorrichtung. In dieser Ausführungsform ist die Trennschaltung 41 von 18 durch eine Trennschaltung 181 ersetzt. Außerdem sind die verschiedenen Takterzeugungsschaltungen 182, 183 und 184 der Decodierschaltung 42 für die komprimierten Audiodaten, und sowohl der Decodierschaltung 43 für die komprimierten Videodaten als auch der Kompositionsschaltung 45, und der Decodierschaltung 44 für die komprimierten Szenedaten individuell zugeordnet. Die Trennschaltung 181 und die Takterzeugungsschaltungen 182, 183 und 184 sind die gleichen wie bei der zweiten Ausführungsform von 22.
Nachstehend wird die Funktionsweise der Schaltung von 24 beschrieben.
Die Basisoperation ist die gleiche wie bei der Schaltung von 18. Ein Unterschied besteht darin, daß die Decodierschaltung 42 für komprimierte Audiodaten, und sowohl die Decodierschaltung 43 für die komprimierten Videodaten als auch die Kompositionsschaltung 45, und die Decodierschaltung 44 für die komprimierten Szenedaten mit den Takten (CLK11, CLK12, CLK13) betrieben werden, die von den drei verschiedenen Takterzeugungsschaltungen 182, 183 bzw. 184 zugeführt werden, und die Trennschaltung 181 die drei verschiedenen Referenztaktwerte trennt und ausgibt.
25 zeigt ein Blockdiagramm zum Darstellen einer Ausführungsform eines Codier-/Decodiersystems, in dem die erfindungsgemäße Codiervorrichtung und die erfindungsgemäße Decodiervorrichtung über ein Übertragungs-/Speichersystem miteinander verbunden sind. In 25 weist das Codier-/Decodiersystem eine Codiervorrichtung 191, eine Decodiervorrichtung 192 und ein Übertragungs-/Speichersystem auf.
Die Codiervorrichtung 191 empfängt zunächst das Audiosignal, das Videosignal und die Szenedaten, um diese Daten zu codieren, und multiplext die Daten, um einen Bitstrom zu erzeugen, und überträgt die gemultiplexten Daten dann an das Übertragungs-/Speichersystem. Außerdem decodiert die Decodiervorrichtung 192 einen vom Übertragungs-/Speichersystem übertragenen Bitstrom, empfängt eine Wechselwirkung von einem Betrachter, um die Kompositionsverarbeitung auszuführen, und gibt dann das zusammengesetzte Bild und das Audiosignal aus.
Wie vorstehend beschrieben wurde, kann erfindungsgemäß unter Verwendung des die Kompositionszeit darstellenden Zeitstempels ein gewünschtes zusammengestelltes Bild an der Codiervorrichtungsseite erzeugt werden, und an der Decodiervorrichtungsseite kann eine synchrone Reproduktion ausgeführt werden. Außerdem wird, wenn mehrere Videosignale oder Szenedaten vorhanden sind und der Codier-/Decodiervorgang zwischen diesen Signalen oder Daten phasenverschoben ist, der die Kompositionszeit darstellende Zeitstempel einem Strom der Signale oder Daten hinzugefügt, um die Kompositionszeit in der Decodiervorrichtung zu dirigieren. Außerdem kann gemäß der Komplexität der Komposition die Decodierverarbeitung und die Kompositionsverarbeitung der Decodiervorrichtung an der Codiervorrichtungsseite gesteuert werden.
Es müssen keine zwei Zeitstempel für den die Decodierzeit darstellenden Zeitstempel und den die Kompositionszeit darstellenden Zeitstempel bereitgestellt werden, sondern unter Verwendung eines Flags kann eine Information darüber bereitgestellt werden, ob der betreffende Strom ein Strom zum Dirigieren der Kompositionsverarbeitung ist oder nicht. Wie vorstehend beschrieben wurde, kann durch die Verwendung des Flags das Erfordernis eliminiert werden, den die Kompositionszeit darstellenden Zeitstempel in den Bitstrom einzufü gen, so daß die Bitmenge reduziert werden kann. In diesem Fall wird vorausgesetzt, daß die Decodierzeit und die Kompositionszeit miteinander übereinstimmen.
49 zeigt eine Ausführungsform des erfindungsgemäßen Bitstroms, wenn wie vorstehend beschrieben ein 1-Bit-Flag verwendet wird. Ein 1-Bit-Flag wird dem die Decodierzeit darstellenden Zeitstempel hinzugefügt, der den komprimierten Audiodaten, den komprimierten Videodaten und den komprimierten Szenedaten jeweils hinzugefügt ist, und dann wird die Multiplexverarbeitung ausgeführt, um einen Bitstrom zu erzeugen.
Es wird vorausgesetzt, daß, wenn das Flag den Wert "0" hat, der die Decodierzeit darstellende Zeitstempel als der die Kompositionszeit darstellende Zeitstempel nicht verdoppelt wird, während wenn das Flag den Wert "1" hat, der die Decodierzeit darstellende Zeitstempel als der die Kompositionszeit darstellende Zeitstempel verdoppelt wird.
50 zeigt eine andere Ausführungsform des erfindungsgemäßen Bitstroms, wobei das 1-Bit-Flag dem Referenztaktwert und dem die Decodierzeit darstellenden Zeitstempel hinzugefügt ist. Das 1-Bit-Flag ist dem Referenztaktwert und dem die Decodierzeit darstellenden Zeitstempel hinzugefügt, der jeweils an die komprimierten Audiodaten, die komprimierten Videodaten bzw. die komprimierten Szenedaten angehängt ist, und dann wird die Multiplexverarbeitung ausgeführt, um einen Bitstrom zu erzeugen.
Es wird vorausgesetzt, daß, wenn das Flag den Wert "0" hat, der die Decodierzeit darstellende Zeitstempel als der die Kompositionszeit darstellende Zeitstempel nicht verdoppelt wird, während, wenn das Flag den Wert "1" hat, der die Decodierzeit darstellende Zeitstempel als der die Kompositionszeit darstellende Zeitstempel verdoppelt wird.
51 zeigt ein Blockdiagramm zum Darstellen einer zehnten Ausführungsform der erfindungsgemäßen Codiervorrichtung.
Gemäß dieser Ausführungsform sind in der Konstruktion von 5 die Videocodierschaltung 151, die Szenecodierschaltung 4, die Kompositionsschaltung 152 und die Multiplexschaltung 6 durch eine Codierschaltung 241, eine Codierschaltung 242, eine Kompositionsschaltung 243 und eine Multiplexschaltung 244 ersetzt.
Nachstehend wird die Funktionsweise der Schaltung von 51 beschrieben.
Die Funktionsweise der Schaltung von 51 ist grundsätzlich die gleiche wie diejenige von 5. Die Videocodierschaltung 241 und die Szenecodierschaltung 242 setzen das Flag des erfindungsgemäßen Bitstroms auf "1" und geben es als Zeitinformation zusammen mit dem die Decodierzeit darstellenden Zeitstempel aus, wenn die entsprechenden Bitströme die Kompositionszeit enthalten. Wenn die Bitströme dagegen die Kompositionszeit nicht enthalten, wird das Flag des erfindungsgemäßen Bitstroms auf "0" gesetzt und als Zeitinformation zusammen mit dem die Decodierzeit darstellenden Zeitstempel ausgegeben. Die Kompositionsschaltung 243 gibt den Kompositionsstatus wie im Fall der Kompositionsschaltung 152 von 5 aus. Andererseits setzt, wenn die Kompositionsverarbeitung der Kompositionsschaltung 243 nicht abgeschlossen ist, die Videocodierschaltung 241 oder die Szenecodierschaltung 242 das Flag des erfindungsgemäßen Bitstroms auf "0" und gibt es auch dann als Zeitinformation zusammen mit dem die Decodierschaltung darstellenden Zeitstempel aus, wenn der Bitstrom ursprünglich die Kompositionszeit enthält. Die Multiplexschaltung 244 erzeugt den erfindungsgemäßen Bitstrom und gibt ihn aus.
52 zeigt ein Blockdiagramm einer vierten Ausführungsform der erfindungsgemäßen Decodiervorrichtung. In dieser Ausführungsform ist in der Konstruktion von 18 die Trennschaltung 41 durch eine Trennschaltung 251 ersetzt. Die Trennschaltung 251 kopiert den die Decodierzeit darstellenden Zeitstempel eines Bitstroms, der die Kompositionszeit enthält und gibt ihn aus.
Nachstehend wird die Funktionsweise der Schaltung von 52 beschrieben.
Die Funktionsweise der Schaltung von 52 ist grundsätzlich die gleiche wie bei der Schaltung von 18. Gemäß dem Flag des erfindungsgemäßen Bitstroms kopiert die Trennschaltung 251 jedoch den die Decodierzeit darstellenden Zeitstempel eines Bitstroms, der die Kompositionszeit enthält, und gibt ihn aus. Die Kompositionsschaltung 45 startet die Kompositionsverarbeitung gemäß dem Zeitstempel. Tatsächlich wartet sie jedoch bis zum Abschluß der Verarbeitung der Decodierschaltung, die den die Kompositionszeit enthaltenden Bitstrom decodiert, und startet die Kompositionsverarbeitung unmittelbar nach Abschluß der Verarbeitung.
Außerdem können die Codiervorrichtung und die Decodiervorrichtung von 51 und 52 miteinander verbunden werden, um das Codier-/Decodiersystem von 25 zu bilden.
Durch die erfindungsgemäße Codiervorrichtung wird der die Kompositionszeit darstellende Zeitstempel dem Bitstrom hinzugefügt. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Gemäß der zweiten Ausführungsform der erfindungsgemäßen Codiervorrichtung wird, wenn die Belastung der Kompositionsverarbeitung hoch ist, die Codierverarbeitung des Videosignals gesteuert, und der die Kompositionszeit darstellende Zeitstempel wird dem Bitstrom hinzugefügt. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird, ohne daß die Kompositionsrahmenrate vermindert wird.
Gemäß der dritten Ausführungsform der erfindungsgemäßen Codiervorrichtung wird, wenn die Belastung der Kompositionsverarbeitung hoch ist, die Kompositionsverarbeitung gesteuert, und der die Kompositionszeit darstellende Zeitstempel wird dem Bitstrom hinzugefügt. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird, ohne daß die Kompositionsrahmenrate vermindert wird.
Gemäß der vierten Ausführungsform der erfindungsgemäßen Codiervorrichtung werden der Kompositionsschaltung und der Codierschaltung für künstliche Szenedaten die gleichen Takte zugeführt, und der die Kompositionszeit darstellende Zeitstempel wird den komprimierten künstlichen Szenedaten hinzugefügt, um einen Bitstrom zu erzeugen. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Gemäß der fünften Ausführungsform der erfindungsgemäßen Codiervorrichtung wird, wenn die Belastung der Kompositionsverarbeitung hoch ist, die Codierverarbeitung des Videosignals gesteuert, und der Kompositionsschaltung und der Codierschaltung für die künstlichen Szenedaten werden die gleichen Takte zugeführt, und der die Kompositionszeit darstellende Zeitstempel wird den komprimierten künstlichen Szenedaten hinzugefügt, um einen Bitstrom zu erzeugen. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird, ohne daß die Kompositionsrahmenrate vermindert wird.
Gemäß der sechsten Ausführungsform der erfindungsgemäßen Codiervorrichtung wird, wenn die Belastung der Kompositionsverarbeitung hoch ist, die Kompositionsverarbeitung gesteuert, und der Kompositionsschaltung und der Codierschaltung für die künstlichen Szenedaten werden die gleichen Tak te zugeführt, und der die Kompositionszeit darstellende Zeitstempel wird den komprimierten künstlichen Szenedaten hinzugefügt, um einen Bitstrom zu erzeugen. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird, ohne daß die Rahmenrate des Videosignals vermindert wird.
Gemäß der siebenten Ausführungsform der erfindungsgemäßen Codiervorrichtung werden der Kompositionsschaltung und der Codierschaltung für die Videosignale die gleichen Takte zugeführt, und der die Kompositionszeit darstellende Zeitstempel wird den komprimierten Videodaten hinzugefügt, um einen Bitstrom zu erzeugen. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Gemäß der achten Ausführungsform der erfindungsgemäßen Codiervorrichtung wird, wenn die Belastung der Kompositionsverarbeitung hoch ist, die Codierverarbeitung des Videosig nals gesteuert, und der Kompositionsschaltung und der Codierschaltung für das Videosignal werden die gleichen Takte zugeführt, und der die Kompositionszeit darstellende Zeitstempel wird den komprimierten Daten des Videosignals hinzugefügt, um einen Bitstrom zu erzeugen. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird, ohne daß die Kompositionsrahmenrate vermindert wird.
Gemäß der neunten Ausführungsform der erfindungsgemäßen Codiervorrichtung wird, wenn die Belastung der Kompositionsverarbeitung hoch ist, die Kompositionsverarbeitung gesteuert, und der Kompositionsschaltung und der Codierschaltung für das Videosignal werden die gleichen Takte zugeführt, und der die Kompositionszeit darstellende Zeitstempel wird den komprimierten Videodaten hinzugefügt, um einen Bitstrom zu erzeugen. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungs funktion an der Decodierseite unterstützt wird, ohne daß die Rahmenrate des Videosignals vermindert wird.
Gemäß der erfindungsgemäßen Decodiervorrichtung wird die Kompositionsverarbeitung unter Verwendung des die Kompositionszeit darstellenden Zeitstempels ausgeführt, der dem Bitstrom hinzugefügt wird. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Gemäß der zweiten Ausführungsform der erfindungsgemäßen Decodiervorrichtung werden die Kompositionsschaltung und die Decodiervorrichtung für die komprimierten künstlichen Szenedaten unter Verwendung von Takten angesteuert, die durch einen Referenztaktwert erzeugt werden, der an die komprimierten künstlichen Szenedaten im Bitstrom angehängt ist, und die Kompositionsverarbeitung wird unter Verwendung des die Kompositionszeit darstellenden Zeitstempels ausgeführt, der an die komprimierten künstlichen Szenedaten angehängt ist. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Gemäß der dritten Ausführungsform der erfindungsgemäßen Decodiervorrichtung werden die Kompositionsschaltung und die Decodiervorrichtung für die komprimierten Videodaten unter Verwendung von Takten angesteuert, die durch einen Referenztaktwert erzeugt werden, der an die komprimierten Videodaten im Bitstrom angehängt ist, und die Kompositionsverarbeitung wird unter Verwendung des die Kompositionszeit darstellenden Zeitstempels ausgeführt, der an die komprimierten Videodaten angehängt ist. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Das erfindungsgemäße Codier-/Decodiersystem wird durch eine geeignete Kombination aus der erfindungsgemäßen Codiervorrichtung und der erfindungsgemäßen Decodiervorrichtung gebildet. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten mit dem durch die Kombination von Codiervorrichtung und Decodiervorrichtung erhaltenen Funktions-/Arbeitseffekt implementiert werden, während die Wechselwirkungsfunktion an der Decodierseite unterstützt wird.
Gemäß dem erfindungsgemäßen Bitstrom können der die Decodierzeit darstellende Zeitstempel und der die Kompositi onszeit darstellende Zeitstempel als gemeinsamer Zeitstempel verwendet werden. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt und eine überflüssige oder Zusatzinformation vermindert wird.
Gemäß der zehnten Ausführungsform der erfindungsgemäßen Codiervorrichtung können der die Decodierzeit darstellende Zeitstempel und der die Kompositionszeit darstellende Zeitstempel unter Verwendung eines Flags als gemeinsamer Zeitstempel verwendet werden, um einen Bitstrom zu erzeugen. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt und eine überflüssige oder Zusatzinformation vermindert wird.
Gemäß der vierten Ausführungsform der erfindungsgemäßen Decodiervorrichtung wird die Decodierverarbeitung unter Verwendung eines Bitstroms ausgeführt, der erzeugt wird, indem der die Decodierzeit darstellende Zeitstempel und der die Kompositionszeit darstellende Zeitstempel durch ein Flag als gemeinsamer Zeitstempel erzeugt werden. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt und eine überflüssige oder Zusatzinformation vermindert wird.
In einer anderen Ausführungsform des erfindungsgemäßen Codier-/Decodiersystems werden eine Codiervorrichtung und eine Decodiervorrichtung verwendet, in denen der Bitstrom verwendet wird, der erhalten wird, indem der die Decodierzeit darstellende Zeitstempel und der die Kompositionszeit darstellende Zeitstempel durch ein Flag als gemeinsamer Zeitstempel erzeugt werden. Dadurch kann die Erzeugung eines gewünschten zusammengestellten Bildes an der Codierseite gewährleistet und der auf der Zeitachse kontinuierlich übertragene Datenstrom unterstützt werden. Außerdem kann die synchrone Codier-/Decodier- und Reproduktionsverarbeitung der Audiosignale, Videosignale und künstlichen Szenedaten ausgeführt werden, wenn die Codierverarbeitung mit Takten ausgeführt wird, die für das Audiosignal, das Videosignal und die künstlichen Szenedaten verschieden sind, während die Wechselwirkungsfunktion an der Decodierseite unterstützt und eine überflüssige oder Zusatzinformation vermindert wird.

Claims

Codiervorrichtung mit: einer Audiosignalcodiereinrichtung (1) zum Codieren eines Audiosignals; einer Videosignalcodiereinrichtung (2) zum Codieren eines Videosignals; einer Schnittstelleneinrichtung (3) zum Empfangen von Information über eine zusammengestellte Szene; einer Szenedatencodiereinrichtung (4) zum Codieren von von der Schnittstelleneinrichtung zugeführten zusammengestellten Szenedaten; einer Kompositionseinrichtung (5) zum Zusammenstellen einer Szene aus dem von der Audiosignalcodiereinrichtung zugeführten Audiosignal, dem von der Videosignalcodiereinrichtung zugeführten Videosignal und den von der Szenedatencodiereinrichtung zugeführten zusammengestellten Szenedaten; einer Displayeinrichtung (7) zum Reproduzieren/Darstellen des von der Kompositionseinrichtung zugeführten zusammengestellten Bildsignals und Audiosignals; einer Taktzufuhreinrichtung (8) zum Zuführen von Takten zur Audiosignalcodiereinrichtung, zur Videosignalcodiereinrichtung, zur Szenedatencodiereinrichtung und zur Kompositionseinrichtung; und einer Multiplexeinrichtung (6) zum Erzeugen eines Bitstroms auf der Basis von Zeitinformation und komprimierten Audiodaten, die von der Audiosignalcodierein richtung zugeführt werden, Zeitinformation und komprimierten Videodaten, die von der Videosignalcodiereinrichtung zugeführt werden, Zeitinformation und komprimierten zusammengestellten Szenedaten, die von der Szenedatencodiereinrichtung zugeführt werden, und auf der Basis von der Kompositionseinrichtung zugeführter Zeitinformation sowie auf der Basis des von der Taktzufuhreinrichtung zugeführten Taktwertes.
Codiervorrichtung nach Anspruch 1, ferner mit einer Einrichtung zum Erfassen des Status der Kompositionseinrichtung und zum Steuern der Operation der Videosignalcodiereinrichtung.
Codiervorrichtung nach Anspruch 1 oder 2, ferner mit einer Einrichtung zum Erfassen des Status der Audiosignalcodiereinrichtung, des Status der Videosignalcodiereinrichtung und des Status der Szenedatencodiereinrichtung und zum Steuern der Operation der Kompositionseinrichtung.
Codiervorrichtung nach Anspruch 1, 2 oder 3, wobei die Taktzufuhreinrichtung eine erste Taktzufuhreinrichtung zum Zuführen von Takten zur Audiosignalcodiereinrichtung, eine zweite Taktzufuhreinrichtung zum Zuführen von Takten zur Videosignalcodiereinrichtung und eine dritte Taktzufuhreinrichtung zum Zuführen von Takten zur Szenedatencodiereinrichtung und zur Kompositionseinrichtung aufweist, und wobei die Multiplexeinrichtung die von der ersten, der zweiten bzw. der dritten Taktzufuhreinrichtung zugeführten Taktwerte multiplext.
Codiervorrichtung nach Anspruch 1, 2 oder 3, wobei die Taktzufuhreinrichtung eine erste Taktzufuhreinrichtung zum Zuführen von Takten zur Audiosignalcodiereinrichtung, eine zweite Taktzufuhreinrichtung zum Zuführen von Takten zur Videosignalcodiereinrichtung und zur Kompositionseinrichtung und eine dritte Taktzufuhreinrichtung zum Zuführen von Takten zur Szenedatencodiereinrichtung aufweist, und wobei die Multiplexeinrichtung die von der ersten, der zweiten bzw. der dritten Taktzufuhreinrichtung zugeführten Taktwerte multiplext.
Decodiervorrichtung mit: einer Einrichtung zum Trennen der komprimierten Daten und der Zeitinformation eines Audiosignals, der komprimierten Daten und der Zeitinformation eines Videosignals, der komprimierten Daten und der Zeitinformation von Szenedaten, der Zeitinformation einer Zusammenstellung einer Szene und der Taktinformation eines Bitstroms; einer Einrichtung zum Decodieren des Audiosignals auf der Basis der komprimierten Daten und der Zeitinformation des Audiosignals; einer Einrichtung zum Decodieren des Videosignals auf der Basis der komprimierten Daten und der Zeitinformation des Videosignals; einer Einrichtung zum Decodieren der Szenedaten auf der Basis der komprimierten Daten und der Zeitinformation der Szenedaten; einer Einrichtung zum Zusammenstellen einer Szene auf der Basis der von der Trenneinrichtung zugeführten Zeitinformation für die Szenen-Zusammenstellung, des von der Decodiereinrichtung für das Audiosignal zugeführten Audiosignals, des von der Decodiereinrichtung für das Videosignal zugeführten Videosignals und der von der Decodiereinrichtung für die Szenedaten zugeführten Szenedaten; einer Einrichtung zum Erzeugen von Takten gemäß dem von der Trenneinrichtung zugeführten Taktwert und zum Zuführen der Takte zur Decodiereinrichtung für das Audiosignal, zur Decodiereinrichtung für das Videosignal, zur Decodiereinrichtung für die Szenedaten und zur Kompositionseinrichtung; und einer Einrichtung zum Reproduzieren/Darstellen des von der Kompositionseinrichtung zugeführten zusammengestellten Bildsignals und des Audiosignals.
Decodiervorrichtung nach Anspruch 6, mit einer Schnittstelleneinrichtung zum Empfangen einer Wechselwirkung von einem Betrachter des zusammengestellten Bildes.
Decodiervorrichtung nach Anspruch 6 oder 7, wobei die Trenneinrichtung mehrere unabhängige Taktwerte vom Bitstrom trennt, und wobei die unabhängigen Taktwerte einer Einrichtung zum Zuführen der Takte zur Decodiereinrichtung für das Audiosignal, einer Einrichtung zum Zuführen der Takte zur Decodiereinrichtung für das Videosignal und einer Einrichtung zum Zuführen der Takte zur Decodiereinrichtung für die Szenedaten und zur Kompositionseinrichtung zugeführt werden.
Decodiervorrichtung nach Anspruch 6, 7 oder 8, wobei die Trenneinrichtung mehrere unabhängige Taktwerte vom Bitstrom trennt, und wobei die unabhängigen Taktwerte einer Einrichtung zum Zuführen der Takte zur Decodiereinrichtung für das Audiosignal, einer Einrichtung zum Zuführen der Takte zur Decodiereinrichtung für das Videosignal und zur Kompositionseinrichtung und einer Einrichtung zum Zuführen der Takte zur Decodiereinrichtung für die Szenedaten zugeführt werden.
Codier-/Decodiersystem mit der Codiervorrichtung nach einem der Ansprüche 1 bis 5 und der Decodiervorrichtung nach Anspruch 6, 7, 8 oder 9.