DE60222890T2 - Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht - Google Patents

Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht Download PDF

Info

Publication number
DE60222890T2
DE60222890T2 DE60222890T DE60222890T DE60222890T2 DE 60222890 T2 DE60222890 T2 DE 60222890T2 DE 60222890 T DE60222890 T DE 60222890T DE 60222890 T DE60222890 T DE 60222890T DE 60222890 T2 DE60222890 T2 DE 60222890T2
Authority
DE
Germany
Prior art keywords
service
virtual reality
media
streaming
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60222890T
Other languages
English (en)
Other versions
DE60222890D1 (de
Inventor
Peter Domschitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of DE60222890D1 publication Critical patent/DE60222890D1/de
Application granted granted Critical
Publication of DE60222890T2 publication Critical patent/DE60222890T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/338—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using television networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/71—Game security or game management aspects using secure communication between game devices and game servers, e.g. by encrypting game data or authenticating players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4433—Implementing client middleware, e.g. Multimedia Home Platform [MHP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/401—Secure communication, e.g. using encryption or authentication
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/409—Data transfer via television network
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft die Bereitstellung von hochinteraktiven Video/Audio-Diensten, wie z.B. Fernspielen, mit reaktiven Anforderungen und harten Echtzeitbedingungen an eine reaktive und realistische dynamische Visualisierung. Insbesondere betrifft die vorliegende Erfindung ein Verfahren, einen Action-Streamingdienst, einen Action-Streaming-Client, einen Action-Streaming-Server, ein Action-Streaming-System, eine Action-Streaming-Sitzung, ein Action-Streaming-Protokoll und Computersoftware-Produkte zur Erzeugung einer interaktiven virtuellen Realität.
  • Allgemeiner Stand der Technik
  • Die Video/Audio-Echtzeitverarbeitung für elektronische Spiele und andere auf virtueller Realität basierende Unterhaltungsangebote erfordern spezialisierte und leistungsfähige lokale Einrichtungen, wie z.B. hochwertige ("High-End") Personalcomputer oder Spielekonsolen.
  • Es gibt viele Spiele für Personalcomputer und Konsolen, die es einer Vielzahl von Spielern erlauben, an einem (gemeinsamen) Spiel teilzunehmen. Die Einrichtungen verwenden Zugangsnetztechnologie zur gemeinsamen Nutzung einer virtuellen Welt. Dies geschieht z.B. unter Verwendung des Internets, um die virtuellen Welten auszutauschen und zu synchronisieren. Um den Verbrauch an Netzwerkressourcen zu minimieren, besteht ein üblicherweise verwendetes Verfahren darin, eine solche virtuelle Welt zu parametrieren.
  • Zum Beispiel ist die virtuelle Welt eines Fußballspiels durch die spielende Mannschaft und den Spielort gekennzeichnet. Die Visualisierung des Orts, also des Spielplatzes, kann ein Teil der lokalen Spielsoftware selbst sein. Somit spezifiziert die kurze Zeichenfolge "WORLD CUP 2002 FINAL" vollständig die Spieler und die Spielplatz-Grafik. Die Spielsituation könnte durch die Ausrichtung und Position der Spieler und des Balls spezifiziert werden. Die klassische verteilte Spielarchitektur besteht darin, diese Zustände über ein Netz, z.B. über das Internet, zu synchronisieren und die virtuelle Realität, also Video und Audio, lokal in einer Spielekonsole zu erzeugen, welche Perspektiven, Modelle und Rendering umfasst. Mit diesem Verfahren wird vermieden, dass große Datenmengen über das Netz ausgetauscht werden müssen.
  • Die oben erwähnte Architektur wurde durch fehlende Netzwerkressourcen, nämlich Bandbreite oder Verzögerung, beeinflusst. In Zukunft wird sich die Situation etwas ändern. Digitales Video und Audio ist eine aufstrebende Technologie, bei der digital kodierte Audio- und Videoströme installiert werden. Zur Unterstützung dieser Art von Netzwerkanwendungen hat das European Telecommunications Standards Institute (ETSI) eine Standardplattform, die Media Home Platform, entworfen.
  • Media Home Platform
  • Die Multimedia Home Platform (MHP) definiert eine generische Schnittstelle zwischen interaktiven digitalen Anwendungen und den Endgeräten, auf denen diese Anwendungen ablaufen. Diese Schnittstelle entkoppelt Anwendungen verschiedener Anbieter von den spezifischen Hardware- und Softwaredetails unterschiedlicher MHP-Endgeräte-Implementierungen. Sie ermöglicht es Anbietern von digitalen Inhalten, alle Arten von Endgeräten, von Low-End bis zu High-End Set-Top-Boxen, integrierten digitalen Fernsehgeräten und Multimedia-PCs, anzusprechen. Die MHP erweitert den vorhandenen, erfolgreichen Digital Video Broadcast (DVB) Standard für Broadcast-Dienste und interaktive Dienste in allen Übertragungsnetzen, einschließlich Satellitennetze, Kabelnetze, terrestrische Netze und Mikrowellennetze.
  • Die Architektur der MHP ist in Form von drei Schichten definiert: Ressourcen, Systemsoftware und Anwendungen. Typische MHP-Ressourcen sind MPEG-Verarbeitung, Ein-Ausgabegeräte, CPU, Speicher und ein Grafiksystem. Die Systemsoftware bedient sich der verfügbaren Ressourcen, um den Anwendungen eine abstrakte Sicht auf die Plattform zu bieten. Die Implementierungen umfassen einen Anwendungsmanager (auch als "Navigator" bekannt) zur Steuerung der MHP und der darauf ablaufenden Anwendungen.
  • Der Kern der MHP basiert auf einer Plattform, die als DVB-J bekannt ist. Diese umfasst eine virtuelle Maschine, wie sie in der Java-Virtual-Machine-Spezifikation von Sun Microsystems definiert ist. Eine Anzahl von Software-Paketen stellt generische Programmierschnittstellen (Application Program Interfaces – APIs) zu einer großen Auswahl von Leistungsmerkmalen der Plattform bereit. MHP-Anwendungen greifen auf die Plattform nur über diese spezifizierten APIs zu. MHP-Implementierungen müssen ein Mapping zwischen diesen spezifizierten APIs und den zugrunde liegenden Ressourcen sowie der Systemsoftware durchführen.
  • Die wichtigsten Elemente der MHP-Spezifikation sind:
    • – MHP-Architektur (wie oben erwähnt),
    • – Definition von erweiterten Broadcasting- und interaktiven Broadcasting-Profilen,
    • – Inhaltsformate, einschließlich PNG, JPEG, MPEG-2 Video/Audio, Untertitel sowie residente und herunterladbare Schriftarten,
    • – obligatorische Transportprotokolle, einschließlich DSM-CC Object Carousel (Broadcast) und IP (Rückkanal),
    • – DVB-J-Anwendungsmodell und -Signalisierung,
    • – Programmeinstiegsmöglichkeiten ("Hooks") für HTML-Inhaltsformate (DVB-HTML-Anwendungsmodell und DVB-HTML-Signalisierung),
    • – DVB-J-Plattform mit DVB-definierten APIs und ausgewählten Teilen aus Java-APIs, JavaTV, HAVI (Benutzerschnittstelle) und DAVIC APIs,
    • – Sicherheitsrahmen für Broadcast-Anwendungen oder Datenauthentifizierung (Signaturen, Zertifikate) und Rückkanalverschlüsselung (TLS),
    • – Grafik-Referenzmodell.
  • Die MHP-Spezifikation gibt eine konsistente Gruppe von Leistungsmerkmalen und Funktionen an, die für die erweiterten Broadcasting- und interaktiven Broadcasting-Profile erforderlich sind. Das erweiterte Broadcasting-Profil ist für Broadcast-Dienste (gerichtete Dienste) vorgesehen, während das interaktive Broadcasting-Profil zusätzlich interaktive Dienste unterstützt und es der MHP ermöglicht, das durch das Internet bereitgestellte weltweite Kommunikationsnetz zu nutzen.
  • Die MHP ist deshalb einfach eine übliche Programmierschnittstelle (API), die von der Hardware-Plattform, auf der sie abläuft, völlig unabhängig ist. Auf erweiterte Broadcasts, interaktive Broadcasts und Internet-Inhalte von verschiedenen Anbietern kann über eine einzige Einrichtung, z.B. eine Set-Top-Box oder ein IDTV-Gerät, zugegriffen werden, welche diese Common DVB-MHP API verwendet. Die MHP wird einen wirklich horizontalen Markt in der Inhalts-, Anwendungs- und Dienstumgebung über vielfältige Übermittlungsmechanismen (Kabel, Satellit, terrestrisch usw.) ermöglichen.
  • Codieren von Audio- und Videoströmen
  • Entscheidend für die Installation von interaktivem Audio/Video-Streaming ist die Codierung und Decodierung. In diesem Bereich ist MPEG (sprich: M-peg) – dies steht für Moving Picture Experts Group – die Bezeichnung für eine Familie von Standards für die Codierung von audiovisuellen Informationen, wie z.B. Filmen, Video, Musik in einem digitalen komprimierten Format. MPEG verwendet ausgeklügelte Kompressionsverfahren.
  • MPEG-1 ist eine Codierung von Bewegtbildern und zugeordnetem Audio für digitale Speichermedien mit bis zu etwa 1,5 Mbit/s. Sie befasst sich mit dem Problem, einen oder mehrere Datenströme aus den Video- und Audioteilen des MPEG-1-Standards mit Taktinformationen zu vereinigen, um einen einzigen Strom zu bilden. Dies ist eine wichtige Funktion, da die Daten, sind sie einmal in einem einzigen Strom vereinigt, in einer Form sind, die für digitale Speicherung und Übertragung gut geeignet ist.
  • MPEG-1 spezifiziert eine codierte Darstellung, die zum Komprimieren von Videosequenzen – sowohl 625 Zeilen als auch 525 Zeilen – auf Bitraten um 1,5 Mbit/s verwendet werden kann. Dieser Standard wurde hauptsächlich für den Betrieb mit Speichermedien entwickelt, die eine kontinuierliche Transferrate von etwa 1,5 Mbit/s aufweisen. Er kann jedoch auch in einem breiteren Bereich Verwendung finden, da der Lösungsweg generisch ist.
  • Zur Erzielung eines hohen Kompressionsverhältnisses wird eine Anzahl von Verfahren verwendet. Das erste besteht darin, eine geeignete räumliche Auflösung für die Information auszuwählen. Der Algorithmus benutzt dann eine blockbasierte Bewegungskompensation, um die zeitliche Redundanz zu reduzieren. Bewegungskompensation wird verwendet für eine kausale Prädiktion des aktuellen Bildes aus einem vorhergehenden Bild, für eine nichtkausale Prädiktion des aktuellen Bildes aus einem zukünftigen Bild oder für eine interpolative Prädiktion aus vergangenen und zukünftigen Bildern. Das Differenzsignal, der Prädiktionsfehler, wird unter Verwendung der diskreten Cosinus-Transformation (DCT) weiter komprimiert, um eine räumliche Korrelation zu entfernen, und dann quantisiert. Schließlich werden die Bewegungsvektoren mit der DCT-Information kombiniert und mittels variabler Längencodierung codiert.
  • MPEG-1 spezifiziert eine codierte Darstellung, die zum Komprimieren von Audiosequenzen – sowohl Mono als auch Stereo – verwendet werden kann. Eingegebene Audio-Samples werden dem Codierer zugeführt. Das Mapping ergibt eine gefilterte und unterabgetastete Darstellung des Eingangsaudiostroms. Ein psychoakustisches Modell erzeugt einen Datensatz zur Steuerung des Quantisierers und der Codierung. Der Quantisierer- und Codierblock erzeugt aus den abgebildeten Eingangs-Samples eine Gruppe von Codiersymbolen. Der Block "Rahmenpackung" setzt den tatsächlichen Bitstrom aus den Ausgangsdaten der anderen Blöcke zusammen und fügt erforderlichenfalls andere Informationen hinzu, z.B. Fehlerkorrektur.
  • MPEG-2 beschreibt eine generische Codierung von Bewegtbildern und zugeordneter Audio-Information. Dieser Standard befasst sich mit der Vereinigung von einem oder mehreren Strömen von Video und Audio sowie anderer Daten zu Einzel- oder Mehrfachströmen, die zur Speicherung oder Übertragung geeignet sind. Dies ist in zwei Formen spezifiziert: dem Programmstrom und dem Transportstrom. Jeder von diesen ist für eine andere Gruppe von Anwendungen optimiert. Der Programmstrom ähnelt dem MPEG-1 Systems Multiplex. Er ergibt sich durch die Vereinigung eines oder mehrer paketierter elementarer Ströme (Packetized Elementary Streams – PES), die eine gemeinsame Zeitbasis haben, zu einem einzigen Strom. Der Programmstrom ist zur Verwendung in relativ fehlerfreien Umgebungen vorgesehen und für Anwendungen geeignet, bei denen Softwareverarbeitung erforderlich sein kann. Programmstrom-Pakete können eine variable und relativ große Länge aufweisen.
  • Der Transportstrom vereinigt einen oder mehrere paketierte elementare Ströme (PES) mit einer oder mehreren unabhängigen Zeitbasen zu einem einzigen Strom. Elementare Ströme, die eine gemeinsame Zeitbasis haben, bilden ein Programm. Der Transportstrom ist zur Verwendung in Umgebungen vorgesehen, in denen Fehler wahrscheinlich sind, wie z.B. bei der Speicherung und Übertragung in verlust- oder rauschbehafteten Medien.
  • MPEG-2 baut auf den leistungsstarken Videokompressionsfähigkeiten von MPEG-1 auf, um eine große Auswahl von Codierwerkzeugen anzubieten. Diese sind in Profilen gruppiert, um unterschiedliche Funktionalitäten zu bieten.
  • MPEG-2 Digital Storage Media Command and Control (DSM-CC) ist die Spezifikation für eine Gruppe von Protokollen, welche die für das Management von MPEG-1- und MPEG-2-Bitströmen spezifischen Steuerfunktionen und -operationen angibt. Diese Protokolle können zur Unterstützung von Anwendungen sowohl in autonomen als auch in heterogenen Netzwerkumgebungen verwendet werden. Beim DSM-CC-Modell wird ein Strom durch einen Server erzeugt und an einen Client geliefert. Sowohl der Server als auch der Client werden als Benutzer des DSM-CC-Netzes betrachtet. DSM-CC definiert eine logische Entität, die als "Session and Resource Manager" (SRM) bezeichnet wird und ein (logisch) zentralisiertes Management der DSM-CC-Sitzungen und DSM-CC-Ressourcen gewährleistet.
  • MPEG-4 betrifft drei Bereiche: digitales Fernsehen, interaktive Grafikanwendungen (synthetischer Inhalt) und interaktives Multimedia (World Wide Web, Verteilung von und Zugriff auf Inhalt). MPEG-4 stellt die standardisierten technologischen Elemente bereit, welche die Integration der Erzeugung, Verteilung und Inhaltszugriffsparadigmen der drei Bereiche ermöglichen. Die folgenden Abschnitte veranschaulichen die oben beschriebenen MPEG-4-Funktionalitäten unter Bezugnahme auf die in 2 dargestellte audiovisuelle Szene.
  • Codierte Darstellung von Medienobjekten
  • Audiovisuelle MPEG-4-Szenen setzen sich aus mehreren hierarchisch organisierten Medienobjekten zusammen. An den Blättern der Hierarchie findet man primitive Medienobjekte, wie z.B.:
    • – Standbilder, z.B. ein fester Hintergrund,
    • – Video-Objekte, z.B. eine sprechende Person – ohne den Hintergrund,
    • – Audio-Objekte, z.B. die dieser Person zugeordnete Stimme, Hintergrundmusik.
  • MPEG-4 beschreibt eine Anzahl solcher primitiven Medienobjekte, die fähig sind, sowohl natürliche als auch synthetische Inhaltstypen darzustellen, welche entweder zwei- oder dreidimensional sein können. Neben den oben erwähnten und in 1 dargestellten Medienobjekten definiert MPEG-4 die codierte Darstellung von Objekten wie z.B. Text und Grafik, sprechende künstliche Köpfe und zugeordneten Text, die zum Synthetisieren der Sprache und zum Animieren des Kopfes dienen, animierte Körper, die zu den Gesichtern gehören, oder synthetischen Klang.
  • Ein Medienobjekt in seiner codierten Form besteht aus deskriptiven Elementen, die eine Behandlung des Objekts in einer audiovisuellen Szene sowie gegebenenfalls der zugehörigen Streaming-Daten ermöglichen. Es ist wichtig anzumerken, dass in seiner codierten Form jedes Medienobjekt unabhängig von seiner Umgebung oder seinem Hintergrund dargestellt werden kann.
  • Die codierte Darstellung von Medienobjekten ist unter Berücksichtigung der gewünschten Funktionalitäten so effizient wie möglich. Beispiele für solche Funktionalitäten sind Fehlerrobustheit, einfache Entnahme und Bearbeitung eines Objekts oder Verfügbarkeit eines Objekts in skalierbarer Form.
  • Zusammensetzung von Medienobjekten
  • 2 erläutert, wie eine audiovisuelle Szene in MPEG-4 als aus Einzelobjekten zusammengesetzt beschrieben wird. Die Figur enthält zusammengesetzte Medienobjekte, die primitive Medienobjekte in einer Gruppe anordnen. Primitive Medienobjekte entsprechen Blättern im deskriptiven Baum, während zusammengesetzte Objekte ganze Zweige umfassen. Beispiel: Das der sprechenden Person entsprechende visuelle Objekt und die zugehörige Stimme werden zu einem neuen zusammengesetzten Medienobjekt verknüpft, das sowohl die akustischen als auch die visuellen Komponenten dieser sprechenden Person enthält. Eine solche Gruppierung erlaubt es Autoren, komplexe Szenen zu erstellen, und ermöglicht es Verbrauchern, sinnvolle Objekte (Gruppen von Objekten) zu manipulieren.
  • Ganz allgemein gibt MPEG-4 eine Möglichkeit an, eine Szene zu beschreiben, bei der es zum Beispiel möglich ist
    • – Medienobjekte an beliebigen Stellen in einem vorgegebenen Koordinatensystem zu platzieren,
    • – Transformationen anzuwenden, um das geometrische oder akustische Erscheinungsbild eines Objekts zu verändern,
    • – primitive Medienobjekte zu gruppieren, um zusammengesetzte Medienobjekte zu bilden,
    • – Streaming-Daten auf Medienobjekte anzuwenden, um deren Attribute (z.B. einen Klang oder Animationsparameter, die ein synthetisches Gesicht ansteuern) zu modifizieren,
    • – die Betrachtungs- und Hörpunkte des Benutzers an beliebigen Stellen in der Szene interaktiv zu verändern.
  • Die Szenenbeschreibung baut, sowohl in Bezug auf Struktur als auch hinsichtlich der Funktionalität der Objektzusammensetzungsknoten, auf mehreren Konzepten der Virtual Reality Modeling Language (VRML) auf.
  • Beschreibung und Synchronisation von Streaming-Daten für Medienobjekte
  • Medienobjekte können Streaming-Daten erfordern, die in einem oder mehreren elementaren Strömen übertragen werden. Ein Objekt-Deskriptor identifiziert alle einem Medienobjekt zugeordneten Ströme. Dies ermöglicht die Verarbeitung hierarchisch codierter Daten sowie die Zuordnung von Meta-Informationen über den Inhalt ("Object Content Information") und der zugehörigen Schutzrechte.
  • Jeder Strom ist durch eine Gruppe von Deskriptoren für Konfigurationsinformationen gekennzeichnet, um z.B. die erforderlichen Decoder-Ressourcen und die Genauigkeit der codierten Taktinformationen zu bestimmen. Weiterhin können die Deskriptoren Hinweise auf die für die Übertragung erforderliche Dienstgüte (Quality of Service – QoS) enthalten, z.B. maximale Bitrate, Bitfehlerrate, Priorität usw.
  • Eine Synchronisation von elementaren Strömen wird durch Zeitstempelung von einzelnen Zugriffseinheiten innerhalb von elementaren Strömen erreicht. Die Synchronisationsschicht regelt die Identifizierung solcher Zugriffseinheiten und die Zeitstempelung. Unabhängig vom Medientyp ermöglicht diese Schicht eine Identifizierung des Typs der Zugriffseinheit, z.B. Video- oder Audio-Rahmen, Szenenbeschreibungsbefehle in elementaren Strömen, Rückgewinnung der Zeitbasis des Medienobjekts oder der Szenenbeschreibung, sowie eine gegenseitige Synchronisierung. Die Syntax dieser Schicht ist auf vielfältige Weise konfigurierbar, wodurch eine Verwendung in einem breiten Spektrum von Systemen möglich ist.
  • Lieferung von Streaming-Daten
  • Die synchronisierte Lieferung von Streaming-Informationen von der Quelle zum Ziel unter Ausnutzung unterschiedlicher, vom Netzwerk verfügbarer QoS ist in Form der Synchronisationsschicht und einer einen Zweischicht-Multiplexer enthaltenden Lieferschicht (Delivery Layer) spezifiziert.
  • Die erste Multiplexschicht wird gemäß der DMIF-Spezifikation (DMIF = Delivery Multimedia Integration Framework) verwaltet. Dieses Multiplex kann durch das in MPEG definierte FlexMux-Tool verkörpert sein, welches eine Gruppierung von elementaren Strömen (ES) mit niedrigem Multiplexing-Overhead ermöglicht. Multiplexen in dieser Schicht kann zum Beispiel verwendet werden, um ES mit ähnlichen QoS-Anforderungen zu gruppieren oder die Anzahl von Netzverbindungen oder die Ende-zu-Ende-Verzögerung zu reduzieren.
  • Die "TransMux"-Schicht (TransMux = Transport Multiplexing) bietet Transportdienste, die der angeforderten QoS entsprechen. Nur die Schnittstelle zu dieser Schicht ist durch MPEG-4 spezifiziert, während das konkrete Mapping der Datenpakete und die Steuersignalisierung in Zusammenarbeit mit den für das jeweilige Transportprotokoll zuständigen Gremien festgelegt werden müssen. Jeder geeignete vorhandene Transportprotokollstapel, wie z.B. (RTP)/UDP/IP, (AAL5)/ATM oder der MPEG-2-Transportstrom über eine geeignete Sicherungsschicht kann eine spezifische TransMux-Instanz werden. Es ist möglich,
    • – Zugriffseinheiten, Transport-Zeitstempel, Taktbezugsinformationen und Datenverluste zu identifizieren,
    • – Daten aus verschiedenen elementaren Strömen optional zu FlexMux-Strömen verschachteln,
    • – Steuerinformationen zu übertragen, um
    • – die erforderliche QoS für jeden elementaren Strom und FlexMux-Strom anzuzeigen,
    • – solche QoS-Anforderungen in tatsächliche Netzwerkressourcen umzusetzen,
    • – elementare Ströme Medienobjekten zuzuordnen, und
    • – das Mapping von elementaren Strömen zu FlexMux- und TransMux-Kanälen zu übertragen.
  • Interaktion mit Medienobjekten
  • Im Allgemeinen betrachtet der Benutzer eine Szene, die entsprechend dem Design des Autors der Szene zusammengesetzt ist. Abhängig von dem vom Autor gestatteten Freiheitsgrad hat der Benutzer jedoch die Möglichkeit, mit der Szene zu interagieren. Zu den Operationen, die ein Benutzer möglicherweise durchführen darf, gehören:
    • – Veränderung des Betrachtungs-/Hörpunkts der Szene,
    • z.B. durch Navigation durch die Szene;
    • – Ziehen von Objekten in der Szene zu einer anderen Position;
    • – Auslösen einer Kaskade von Ereignissen durch Auswahl eines spezifischen Objekts, z.B. Starten oder Stoppen eines Videostroms;
    • – Auswahl der gewünschten Sprache, wenn mehrere Sprachspuren zur Verfügung stehen.
  • Die Multimediainhalt-Lieferkette umfasst Inhaltserzeugung, Produktion, Lieferung und Verbrauch. Um dies zu unterstützen, muss der Inhalt identifiziert, beschrieben, verwaltet und geschützt werden. Der Transport und die Lieferung von Inhalt erfolgen über eine heterogene Gruppe von Endgeräten und Netzen, innerhalb derer Ereignisse stattfinden und Berichte erfordern. Solche Berichte werden unter anderem die zuverlässige Lieferung, das Management von persönlichen Daten und Präferenzen unter Berücksichtung des Schutzes der Privatsphäre des Benutzers und das Management von (finanziellen) Transaktionen betreffen.
  • Der MPEG-21-Multimediarahmen identifiziert und definiert die zur Unterstützung der oben beschriebenen Multimedia-Lieferkette benötigten Hauptelemente sowie die Beziehungen zwischen diesen und die durch diese unterstützten Operationen. MPEG-21 wird die Elemente ausarbeiten, indem er die Syntax und Semantik ihrer charakteristischen Merkmale definiert, wie z.B. Schnittstellen zu den Elementen. MPEG-21 wird sich auch mit der erforderlichen Rahmenfunktionalität befassen, wie z.B. mit den den Schnittstellen zugeordneten Protokollen, Mechanismen zur Bereitstellung eines Repositoriums, Zusammensetzung, Normgerechtigkeit usw.
  • Die sieben in MPEG-21 definierten Hauptelemente sind:
    • – Digital Item Declaration (eine einheitliche und flexible Abstraktion und ein interoperables Schema für die Definition von Digital Items);
    • – Digital Item Identification and Description (ein Rahmen zur Identifikation und Beschreibung einer beliebigen Entität unabhängig von deren Art, Typ oder Granularität);
    • – Content Handling and Usage (beschreibt Schnittstellen und Protokolle, die eine Erstellung, Manipulation, Suche, Zugriff, Speicherung, Lieferung und (Wieder-)Verwendung von Inhalt über die "Content Distribution and Consumption Value Chain" ermöglicht);
    • – Intellectual Property Management and Protection (die Mittel, die es möglich machen, dass Inhalt über einen großen Bereich von Netzwerken und Einrichtungen ständig und zuverlässig verwaltet und geschützt wird);
    • – Terminals and Networks (die Fähigkeit, interoperablen und transparenten Zugriff auf Inhalt über Netze und Endgeräte zu ermöglichen);
    • – Content Representation (wie die Medienressourcen dargestellt werden);
    • – Event Reporting (stellt die Maßzahlen und Schnittstellen zur Verfügung, die es Benutzern ermöglichen, die Leistung aller zu meldenden Ereignisse in dem Rahmen genau zu verstehen).
  • Ein solches System für synthetische Grafik und synthetisches Audio ist in einem Artikel von Doenges et al beschrieben, der unter dem Titel "Audio/video and synthetic graphics/audio for mixed media" in Signal Processing, Elsevier Science Publishers, Amsterdam, NL, Bd.9, Nr. 4, Mai 1999, auf den Seiten 433–463 erschienen ist.
  • Aufgabe
  • Es bleibt die Aufgabe, es zu ermöglichen, dass Inhalt- und Dienstanbieter den Bedarf von Endbenutzern nach entfernter Bereitstellung (in den Einrichtungen des Anbieters) von Unterhaltungsdiensten hoher Qualität befriedigen. Videospiele nach dem neuesten Stand der Technik und zukünftige auf virtueller Realität basierende Anwendungen werden Anforderungen an hochdynamisches, interaktives und hochauflösendes Audio/Video stellen. Video/Audio-Echtzeitverarbeitung für elektronische Spiele und andere interaktive, auf virtueller Realität basierende Unterhaltung erfordert spezialisierte und lokale Hochleistungsressourcen, z.B. PCs und Spielekonsolen.
  • Aufgabe der Erfindung ist die Bereitstellung von hochinteraktiven Video/Audio-Diensten für Endverbraucher, z.B. Fernspielen, mit reaktiven Anforderungen und harten Echtzeitbedingungen. Schwierigkeiten liegen im Echtzeitverhalten auf Benutzerbefehle und in einer erforderlichen reaktiven und realistischen dynamischen Visualisierung.
  • Die Lösung sollte in der vorhandenen Umgebung eingebettet sein, d.h., eine entfernt bereitgestellter ("remotely hosted") Dienst, z.B. Videospiele, sollte auf den genormten Fernsehrundfunk-Verteilkonzepten und dem dafür vorgesehenen zusätzlichen Steuerweg für Benutzerinteraktionen, wie z.B. MHP, basieren.
  • Zurzeit gibt es keine adäquaten Lösungen für individuelle Virtual-Reality-Dienste, da die Reaktionszeit kein realistisches dynamisches Verhalten zuzulassen scheint und die umfangreiche Bewegung im Videostrom die Bandbreite voll in Anspruch nimmt.
  • Entfernt bereitgestellte einfache Videospiele, die auf dem genormten Fernsehrundfunk-Verteilweg und einem zusätzlichen Steuerweg basieren, sind bekannt, bieten jedoch keine adäquate Lösung für individuelle interaktive Dienste, da die Reaktionszeit kein realistisches dynamisches Verhalten zulässt.
  • KURZE BESCHREIBUNG DER ERFINDUNG
  • Die Erfindung gibt eine Action-Streaming-Umgebung für Endbenutzer, d.h., einen interaktiven Streamingdienst und eine Interaktionseinrichtung, die es dem Benutzer ermöglicht, in einer virtuellen Realität zu interagieren.
  • Einfache Interaktionseinrichtungen, z.B. eine Set-Top-Box, werden verwendet, um einen personalisierten interaktiven Streamingdienst zu abonnieren und zu nutzen, der auf einem über ein Breitbandzugangsnetz zugänglichen zentralen Server bereitgestellt wird.
  • Action-Dienste sind individuelle und interaktive, in Echtzeit zusammengesetzte Audio/Video-Ströme, z.B. direkte Interaktion mit einem Avatar, einschließlich virtuelle Mehrbenutzerumgebungen und Realitäten, z.B. für Online-Spiele oder virtuelle Städte in einer realistischen Animation, die eine direkte Benutzer-Benutzer- und Benutzer-Umgebung-Interaktion innerhalb der Umgebung ermöglichen.
  • Hardware-Voraussetzungen
  • Ein Endbenutzer benötigt eine Set-Top-Box oder TV-integrierte digitale Audio/Video-Signalverarbeitungseinrichtungen zum Empfang von Fernsehrundfunkkanälen und individuellen Kanälen, wie z.B. für Videoabrufdienst (Video an Demand). Das für den entfernt erzeugten Breitband-Unterhaltungsstrom verwendete Format sollte mit den vorhandenen digitalen Audio/Video-Signalverarbeitungseinrichtungen kompatibel sein, es sollte also z.B. MPEG- oder DVB-MHP-Konformität bestehen.
  • Funktionelle Anforderungen
  • Die Endbenutzer-Interaktion erfordert einen Steuerkanal in der Rückwärtsrichtung. Die Endbenutzereinrichtung sendet die Stimuli oder Befehle an unterhaltungsdienstspezifische Verarbeitungselemente. Verbesserungen der Benutzereinrichtung können durch Herunterladen der neuen Funktionalität, einschließlich von der Dienstumgebung gesteuerter sitzungsorientierter Funktions-Downloads, realisiert werden.
  • Der Action-Streamingdienst wird an dem entfernten (zentralen) Ort durch dienstspezifische Verarbeitungselemente zur Erzeugung von Audio/Video-Strömen für eine Vielzahl von Endverbrauchern erzeugt.
  • Anforderungen ans Netz
  • Für den individuellen Downstream-Kanal zum Benutzer sind für den Betrieb Garantien bezüglich Bandbreite und Dienstlieferzeit erforderlich. Der individuelle Steuerweg in der Rückwärtsrichtung muss in erster Linie insbesondere die Verzögerungsbeschränkungen einhalten, um die Benutzer-Dienst-Benutzer-Reaktionszeit unter den wahrnehmbaren Grenzen zu halten. Es ist wichtig, dass die Zugangsnetzelemente entsprechend den erforderlichen Dienstgüte-Parametern gesteuert werden, d.h., die Dienstumgebung muss im Allgemeinen und/oder auf einer dienstspezifischen Basis den Aufbau der Datenverbindungen mit dem erforderlichen Dienstgüteniveau in den für den Medienstromtransport zuständigen Zugangsnetz-Steuerentitäten anfordern.
  • ZIELE UND VORTEILE DER ERFINDUNG
  • Die Erfindung besteht in einem Verfahren zur Erzeugung einer interaktiven individuellen virtuellen Realität mit mindestens einem Action-Streaming-Client und einem Netzwerk-Action-Streamingdienst-System unter Verwendung von interaktiver Medien-Streaming-Technologie, das folgende Schritte umfasst: Einrichten einer Actionstrom-Sitzung mit Verbindungsbearbeitung zwischen dem Netzwerkdienst und dem Client und mit Dienstgütebehandlung, Aufbau eines Medien-Streaming-Weges (CN) vom Dienst zum Client, Erzeugen und Übertragen individueller Medienströme zum Client durch Einbetten von Interaktion in eine virtuelle Realität, und Entnehmen und Decodieren eines Medienstroms unter Verwendung eines mittels einer Virtual-Reality-Beschreibung komprimierten Bewegtbildstroms, und Decodieren und Abspielen des individuellen Mediendatenstroms auf der Client-Seite, und Aufbau eines Benutzerinteraktions-Steuerweges (CN) vom Client zum Dienst, Codieren und Übertragen der Benutzerinteraktion zum Dienst, wobei das Einbetten von Interaktion in eine virtuelle Realität beim Dienst durchgeführt wird, und kontinuierliches Steuern des Netzwerks und der erforderlichen Dienstgüte, koordiniert für mehrere, gegebenenfalls interagierende Benutzer-Action-Streaming-Clients.
  • Die Netzwerkumgebung und der Medien-Streaming-Weg können für eine Vielzahl gegebenenfalls interagierender Benutzer-Clients koordiniert werden. Das Netzwerk kann so gesteuert werden, dass die erforderliche Dienstgüte gewährleistet ist, und gegebenenfalls interagierende Benutzer-Clients können auf Basis des Virtual-Reality-Szenarios koordiniert werden. Die Dienstgüte kann in besonders hohen Datenraten in der Downstream-Richtung sowie in einer minimalen Umlaufzeitverzögerung in beiden Richtungen bestehen. Dies erfordert eine in Bezug auf Verzögerung minimierte Codierung des Medienstroms, z.B. rahmenweise, auch für komprimierte Medienformate.
  • Die Erzeugung individueller Medienströme durch Einbetten von Interaktion in eine virtuelle Realität und Entnehmen und Codieren eines Medienstroms beim Dienst unter Verwendung eines mittels einer Virtual-Reality-Beschreibung komprimierten Bewegtbildstroms kann dadurch erfolgen, dass Teile der Virtual-Reality-Beschreibung, wie sie z.B. für eine Spielanwendung durch eine hardwareunabhängige audiovisuelle Programmierschnittstelle wie DirectX von Microsoft verlangt ist, direkt im abgehenden komprimierten Datenstrom codiert werden. Der Medienstrom kann auf einer anwendungsorientierten Grafik und/oder auf Klangbeschreibungsinformationen ohne nicht komprimierte Video-Zwischeninformationen basieren. Die Actionstrom-Sitzung kann einen Kompatibilitätsabgleich umfassen, z.B. durch Aktualisieren und Konfigurieren von Softwareteilen des Dienstes und/oder des Client durch Hochladen von erforderlicher Software.
  • Die Erfindung besteht weiterhin in einem Action-Streaming-Server nach Anspruch 6.
  • Die Erfindung besteht in einem Action-Streamingdienst, der Ressourcen zum Erzeugen einer interaktiven virtuellen Realität mit Echtzeit-Benutzerinteraktion unter Verwendung einer interaktiven Medien-Streaming-Technologie bereitstellt, mit mindestens einer Upstream-Schnittstelle zum Empfang von Benutzerinteraktion und mindestens einer Downstream-Schnittstelle zum Bereitstellen eines interaktiven Medienstroms, und für mindestens einen Benutzer, der gemeinsam mit anderen einen Medienstrom nutzt, mit einem Interpretierer für die empfangene Benutzerinteraktion, einer Virtual-Reality-Maschine zum Einbetten der Benutzerinteraktion in die virtuelle Realität, einem Medienentnahmeteil zur Entnahme eines individuellen Medienstroms, einem Codierer zum Codieren des individuellen Medienstroms und (gemeinsam genutzt) einer Sitzungssteuereinheit zur kontinuierlichen Gewährleistung der erforderlichen Dienstgüte sowie einem Umgebungssteuerteil zum Koordinieren einer Vielzahl von virtuellen Realitäten und einer Vielzahl individueller Medienströme.
  • Die Erfindung besteht in einem Action-Streaming-System als Ganzes.
  • Die Erfindung kann ausgehen von einem Actionstrom mit einer Datenstruktur zum Codieren und Decodieren einer virtuellen Realität in einem Mediendatenstrom, einer Datenstruktur zum Einbetten von Interaktion und einer Steuerstruktur zum Verwalten von Netzwerkressourcen, welche die erforderliche Dienstgüte gewährleisten.
  • Der Actionstrom kann mittels eines DVB-MHP-konformen Video/Audio- und Steuerdatenstroms realisiert sein (DVB-MHP = Digital Video Broadcast Multimedia Home Platform). Er kann auch mittels eines MPEG-konformen Video/Audio- und Steuerdatenstroms realisiert sein.
  • Eine Action-Streaming-Sitzung kann eine Verbindungsbearbeitung zwischen Dienst und mindestens einem Client, eine Dienstgütebehandlung, die sicherstellt, dass das Netzwerk die erforderliche Dienstgüte bereitstellt, eine kontinuierliche Dienstgütebehandlung gemäß den Dienstgüteanforderungen für den Dienst, einen Kompatibilitätsabgleich zwischen Server und Client, eine Dienst-Authentifizierung, Autorisierung und Abrechnung sowie einen Actionstrom-Austausch umfassen.
  • Vorzugsweise basiert die Erfindung auf einem Action-Streaming-Protokoll, welches Mittel zur Einrichtung einer Action-Streamingdienst-Sitzung, Mittel zur Anpassung des Benutzer-Client und des Dienstes, Mittel zur Authentifizierung, Autorisierung und Abrechnung, Mittel zur Steuerung von Netzwerkressourcen gemäß Dienstgüteanforderungen und Mittel zur Koordination und zum Austausch von Actionströmen umfasst.
  • Die Erfindung wird als entsprechendes Computersoftware-Produkt realisiert.
  • Dementsprechend bestehen ein Ziel und ein Vorteil der vorliegenden Erfindung darin, dass neue interaktive
  • Dienste für Teilnehmer bereitgestellt werden: Spielen, Informationsdienste, Fernlernen usw. auf der Basis einer aufstrebenden Virtual Reality/Worlds-Technologie, d.h. eines benutzergesteuerten zusammengesetzten Echtzeit-Videostroms.
  • Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass auf der Teilnehmerseite zusätzlich zu den vorhandenen MPEG-kompatiblen TV-Geräten nur wenig Aufwand erforderlich ist. Insbesondere werden keine kostspielige Videospielekonsole und kein breites Spektrum von Spielen mit Bezahlung pro Nutzung (pay-per-use games) benötigt.
  • Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass sie DVB-MHP-konform ist. Es wird erwartet, dass Breitband-Unterhaltungsdienste die Zukunft des Geschäfts von Dienstanbietern sein werden. Die Erfindung benutzt die Breitband-Infrastruktur, welche eine gemeinsam genutzte Ressource ermöglicht, d.h., einen Action-Dienst mit den relativ niedrigen Kosten eines individuellen Breitbandzugangs.
  • Diese und viele weitere Ziele der vorliegenden Erfindung sind für den Fachmann aus den Zeichnungen und der nachfolgenden Beschreibung ersichtlich.
  • KURZE BESCHREIBUNG DER FIGUREN
  • 1 veranschaulicht eine bekannte Kombination der drei bei MPEG-1 verwendeten Hauptarten der Bildzerlegung.
  • 2 zeigt eine bekannte MPEG-Szenenbeschreibung, die sowohl hinsichtlich der Struktur als auch in Bezug auf die Funktionalität von Objektzusammensetzungsknoten auf mehreren Konzepten aus der Virtual Reality Modeling Language aufbaut.
  • 3 ist eine schematische Darstellung des Netzwerkkontexts einer Action-Streaming-Umgebung mit den Komponenten gemäß der Erfindung.
  • 4 zeigt einen erfindungsgemäßen Action-Streaming-Server.
  • 5 zeigt schematisch die Architektur des erfindungsgemäßen Action-Streaming-Servers.
  • 6 zeigt einen erfindungsgemäßen Action-Streaming-Client.
  • 7 zeigt schematisch die Architektur des erfindungsgemäßen Action-Streaming-Client.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • Der Fachmann wird erkennen, dass die nachfolgende Beschreibung der vorliegenden Erfindung lediglich der Erläuterung dient und in keiner Weise beschränkend sein soll. Andere Ausführungsbeispiele der Erfindung ergeben sich für solche Fachleute ohne weiteres aus einer näheren Betrachtung der Offenbarung.
  • 1 zeigt eine Sequenz SEQ von Bildern mit einer aufeinanderfolgenden Teilsequenz oder Gruppe GRP von Bildern. Sie zeigt ein Einzelbild PIC, bestehend aus einem horizontalen Slice SLC, der wiederum aus Blöcken besteht. Weiterhin zeigt sie einen aus mehreren Blöcken bestehenden Makroblock MBC und einen Einzelblock BLC.
  • Die Zeichnung veranschaulicht bei MPEG-1 verwendete Hauptarten der Bildzerlegung. In einer kontinuierlichen Bildsequenz SEQ enthalten nur die variierenden Teile Information. Um diese Teile entnehmen und identifizieren zu können, unterteilt sich eine Bildsequenz SEQ in Gruppen GRP, und ein Bild PIC unterteilt sich in Slices SLC, Makroblöcke MBC und Blöcke BLC. Dies wird in beträchtlichem Umfang genutzt, um bei der Übertragung und Speicherung von Videodaten Netzwerk- und Speicherressourcen einzusparen.
  • 2 zeigt eine bekannte MPEG-Szenenbeschreibung, die sowohl hinsichtlich der Struktur als auch in Bezug auf die Funktionalität von Objektzusammensetzungsknoten auf Konzepten aus der Virtual Reality Modeling Language aufbaut. Die Zeichnung enthält eine virtuelle Realität, die aus zwei- und dreidimensionalen audiovisuellen Objekten besteht, welche durch einen gemultiplexten Downstream (Signalfluss in Abwärtsrichtung) DS erzeugt und gesteuert werden und zu einem codierten gemultiplexten Upstream (Signalfluss in Aufwärtsrichtung) US gestreamt werden. Die Szene umfasst ein Koordinatensystem CS, und die audiovisuellen Objekte OBJ in dem durch das Koordinatensystem erzeugten Raum werden auf eine Projektionsebene PP für einen gedachten Betrachter VW projiziert. Video-Informationen werden für diese Projektion entnommen, und entsprechend werden Audio-Informationen durch Integration der Audio-Objekte in ein so genanntes psychoakustisches Modell entnommen.
  • Die Zeichnung veranschaulicht, wie eine aus audiovisuellen Objekten bestehende virtuelle Realität objektweise durch gestreamte Steuerdaten DS manipuliert werden kann, wie diese Objekte gestreamte Steuerdaten US erzeugen und wie Audioströme AU und Videoströme VI abgeleitet werden können. Es wird darauf hingewiesen, dass die objektweise Darstellung der virtuellen Realität natürlich ist und eine enge Codierung ermöglicht.
  • 3 ist eine schematische Darstellung des Netzwerkkontexts der Erfindung. Sie enthält ein Netzwerk NW, das aus Netzzugangspunkten AP, z.B. einem Netzzugangsserver, und Netzelementen NE, z.B. Switches, Router, Gateways etc., besteht. Weiterhin umfasst das Netzwerk ein Action-Streamingdienst-System, das durch einen Action-Streaming-Server ASS bereitgestellt wird. Die Netzelemente, einschließlich des Action-Streaming-Servers, und die Netzzugangspunkte sind durch Netzverbindungswege oder Kanäle miteinander verbunden, die durch Pfeile dargestellt sind. Die Netzzugangspunkte AP ermöglichen Action-Streaming-Clients ASC einen Zugang zum Netzwerk NW über eine durch dünne Pfeile dargestellte Anschlussleitung AC, z.B. eine digitale Teilnehmerleitung (DSL).
  • Die dicken Pfeilspitzen stellen die Kanäle CN dar und stehen für einen (Breitband-)Downstream, der vom Action-Streamingdienst erzeugte Medieninformationen einer virtuellen Welt enthält, und die dicken Pfeilspitzen stehen für den Upstream, der von den Action-Streaming-Clients ASC erzeugte Benutzerinteraktionen enthält. Der Action-Streamingdienst ASS steuert die Netzelemente durch Anforderung erforderlicher Dienstgüten und indirekte Definition von Verbindungswegen CN, wodurch bei den Action-Streaming-Clients eine interaktive virtuelle Realität hoher Qualität gewährleistet ist. Downstream- und Upstream-Daten können über verschiedene Wege zu und von einem ASC geleitet werden. Netzsteuerverbindungen können ebenfalls über verschiedene Wege geführt werden.
  • In 4 ist ein Action-Streaming-Server ASS dargestellt. Die Figur zeigt eine Netzkanalschnittstelle IN, das Netzwerk NW (Umgebung) sowie einen Computer-Cluster, der die virtuellen Realitäten und die entsprechenden Video- und Audioströme für eine Vielzahl von Action-Streaming-Clients (generischer Größtcomputer für Visualisierungsanwendungen oder auf Spielekonsolen-Technologie basierende "Computer Blades") bereitstellt.
  • 5 ist eine schematische Darstellung der Architektur eines in einem Action-Streaming-Server vorgesehenen Action-Streamingdienst-Systems. Sie zeigt eine Dienstumgebungs- und Netzsteuerung ENV-CON und eine Vielzahl von Sitzungssteuerungen SES-CON, die jeweils eine Gruppe von vier Einheiten verwalten, nämlich eine Stimuli-Einkoppeleinheit INJ, eine Virtual-Reality-Maschine VRE, Eine Medien-Entnahmeeinheit ME und eine Video-Streaming-Codiereinheit VSE.
  • Die Dienstumgebungs- und Netzsteuerung ENV-CON steuert die Dienstumgebung, wobei sie mehrere virtuelle Realitäten, gegebenenfalls eine gemeinsam genutzte virtuelle Realität, koordiniert. Sie steuert die Sitzungsinteraktion, welche alle dargestellten Einheiten INJ, VRE, ME, VSE umfasst, in Bezug auf durchgeführte Aktionen. Multi-Player-Umgebungen können entweder eng oder lose gekoppelt implementiert werden, d.h., alle Benutzer nehmen an derselben Sitzung teil oder eine Sitzung pro Benutzer, gekoppelt durch sitzungsüberschreitende Kommunikation. Sie muss die gewünschten, bewilligten und verfügbaren Dienstgüten oder Netzressourcen berücksichtigen, z. B. durch Verwendung gemeinsamer Videoströme und Rundsenden oder durch Verteilung der Last der Einzelsitzungs-Prozessoren. Es kann sogar von Vorteil sein, eine bestimmte Verarbeitung einem Action-Streaming-Client zuzuordnen. Ein solches Konzept ist eng mit dem verwendeten audiovisuellen Codierungsstandard verbunden, z.B. bietet MPEG-4, im Gegensatz zu den hauptsächlich videoorientierten MPEG-1- und MPEG-2-Standards, flexible kombinierbare Medienobjekte.
  • Die Sitzungssteuerung SES-CON ist z.B. für Authentisierungs-, Autorisierungs- und Abrechnungsaufgaben, für Verbindungsaufbau, für die Wahl der virtuellen Realität, für die Client-Dienst- Synchronisation etc. zuständig. Sie ist die steuernde Instanz für den bereitgestellten Action-Strom.
  • Der Action-Strom wird von den vier logischen Verarbeitungseinheiten – Stimuli-Einkopplung INJ, Virtual-Reality-Maschine VRE, Medienentnahme ME und Videostrom-Codierung VSE – erzeugt. Die Stimuli-Einkoppeleinheit INJ empfängt die Benutzerinteraktion vom Netzwerk und setzt sie für die Virtual-Reality-Maschine um. Die Virtual-Reality-Maschine VRE erzeugt kontinuierlich neue Zustände auf der Basis des Zustandsverlaufs und der Stimuli-Einkopplungen. Diese zeitgesteuerte Szene wird als virtuelle Realität oder virtuelle Welt bezeichnet. Sie kann aus Gebäuden, Werkzeugen, Hintergründen, einem Garten, Straßen, einem Spielplatz, einem Weltraumschiff, einem Kompass oder einem beliebigen audiovisuellen Objekt bestehen. Sie kann Zustandsinformationen und Feedback bereitstellen, z.B. Force Feedback für einen Joystick, einen visuellen Eindruck, z.B. ein Video, Klang oder allgemein jede Reaktivität. Die Ansicht für den abonnierten Action-Streaming-Client wird dem Virtual-Reality-Modell durch die Medienentnahme ME entnommen. Und sie wird durch die Videostrom-Codierung VSE zu einem Medien-/Befehlsstrom codiert. In der Zeichnung ist der Einfachheit halber nur die Video-Codierung dargestellt, es können jedoch alle Medien in analoger Weise codiert werden.
  • Das Action-Streamingdienst-System ASS kann als Hardware implementierte Algorithmen für die direkte Erzeugung des komprimierten Medienstroms aus anwendungsorientierten Grafik- und/oder Klangbeschreibungsinformationen umfassen. Auf diese Weise werden nicht komprimierte Video-Zwischeninformationen, wie sie von üblichen visuellen Prozessoren (3D-Grafikbeschleuniger) erzeugt werden, vermieden.
  • 6 zeigt einen Action-Streaming-Client ASC mit mehreren Eingabegeräten, hier einen Joystick JS, eine Fernsteuerung RC, eine Tastatur KB und einen Joypad JP. Der Client selbst ist mittels einer Set-Top-Box realisiert. Die Set-Top-Box weist eine Schnittstellenverbindung AC zu einem Netzzugangspunkt, z.B. zu einer digitalen Teilnehmerleitung, auf, der einen Zugang zum Netzwerk NW ermöglicht.
  • Die Zeichnung veranschaulicht die Idee eines sehr einfachen und (im Vergleich zu einer komplexen und kostspieligen High-Tech-Spielekonsole wie einer Play Station oder einem Game Cube) billigen Teilnehmergeräts, das ein Fernsehgerät verwendet. Die den Action-Streaming-Client realisierende Einrichtung, die ein DSL-anschlussfähiges Digital-TV-Teilnehmergerät implementiert, kann, statt als Set-Top-Box ausgeführt zu sein, in ein Fernsehgerät der nächsten Generation integriert werden.
  • Alternativ können Teilnehmer, die Standard-PC-Geräte verwenden, auf Anforderung Zugang zum gesamten Vorrat neuer Spiele erhalten, ohne ständig in Grafikbeschleuniger und CPU-Technologie der obersten Preisklasse investieren zu müssen.
  • 7 ist eine schematische Darstellung der Architektur des Action-Streaming-Client ASC. Der Action-Streaming-Client ASC weist eine Transportprotokolleinheit und physikalische Schnittstelle TP/PI zum Netzwerk NW auf. Er umfasst eine Vielzahl von Medienplayern ME-P und eine Grafikeinheit GR. Eine Benutzerinteraktionseinheit UI verwaltet Eingaben IN von Fernsteuerung RC, Tastatur KB, Joypad JP, Joystick JS etc. Die Grafik und der Medienplayer liefern Ausgangssignale OU für Video VI, Audio AU etc. Die Medienplayer werden von einer Mediensteuereinheit ME-CT zur Synchronisation der Multimedia koordiniert. Außerdem umfasst die Architektur eine Informations- und Datenzugriffseinrichtung IDA. Im Zentrum dieser Komponenten ist eine Anwendung APP eingebettet, welche diese Komponenten verwendet, instruiert und koordiniert.
  • Im Betrieb empfangt der Action-Streaming-Client vom Netzwerk NW Medienströme unter Verwendung einer physikalischen Schnittstelle PI und eines Transportprotokolls TP. Befehle für die laufende Action-Streaming-Anwendung APP werden über die Informations- und Datenzugriffseinrichtung bereitgestellt. Die Anwendung kann die Medienströme über die Mediensteuerung ME-CT koordinieren. Benutzerinteraktionen von Benutzerschnittstelleneinrichtungen gelangen zur Anwendung APP über die Benutzerinteraktionskomponente UI. Diese Architektur gleicht der Multimedia Home Platform.
  • Weitere Anwendungen für Endbenutzer ergeben sich in Form einer neuen Klasse von hochinteraktiven Virtual-Reality-Anwendungen. Action-Dienste sind individuell und interaktiv, in Echtzeit zusammengesetzte Medienströme, z.B. direkte Interaktion mit einem virtuelle Mehrbenutzerumgebungen umfassenden Avatar, z.B. für Online-Spiele oder virtuelle Städte in einer realistischen Animation, welche direkte Benutzer-Benutzer- und Benutzer-Maschine-Interaktionen erlaubt.
  • Ein Endbenutzer benötigt kein aufwendiges Gerät mit High-Tech-Laufwerk, sondern lediglich eine Set-Top-Box oder ins Fernsehgerät integrierte digitale Audio/Video-Signalverarbeitungseinrichtungen zum Empfang von Fernsehrundfunk-Kanälen. Das zur Übertragung des entfernt erzeugten Breitband-Unterhaltungsstroms verwendete Format sollte mit den verfügbaren digitalen Audio/Video-Signalverarbeitungseinrichtungen kompatibel sein, wie z.B. ein mit der Multimedia Home Platform konformes Format der Familie von MPEG-Standards. Die Endbenutzer-Interaktion erfordert einen Kanal in der Rückwärtsrichtung. Das Endbenutzergerät wandelt die von Mensch-Maschine-Schnittstellen abgeleiteten Stimuli/Befehle in einen Action-Streamingdienst-Steuerprotokoll-Datenfluss um. Verbesserungen des Benutzergeräts können durch Herunterladen der neuen Funktionalität, einschließlich sitzungsorientierter, von der Dienstumgebung gesteuerter Funktions-Downloads, realisiert werden.
  • Der Action-Streamingdienst wird an einem entfernten (zentralen) Ort durch dienstspezifische Verarbeitungselemente zu Erzeugung der Medienströme für eine Vielzahl von Endverbrauchern erzeugt. Die von dem Medienverarbeitungs-Funktionsblock abgeleiteten Informationen müssen durch Anpassungsmittel in das für das Benutzergerät erforderliche digitale Downstream-Mediensignal umgewandelt/codiert werden. Dies kann rahmenweise mit minimierter Verzögerung geschehen, auch für komprimierte Video-Formate. Als effiziente Methode der Erzeugung des Ausgangsstroms erscheint die direkte Umsetzung des Beschreibungsformats für die audiovisuellen Effekte, wie sie durch die in der Dienstumgebung/im Betriebssystem als Programmierschnittstelle definierte Anwendung verwendet wird, in die Codierung des Medienstroms.
  • Die Eingabe für das (Inter-)Action-Streaming beziehungsweise die Unterhaltungsdienst-Erzeugung ist das Dienststeuerprotokoll, welches die Benutzer-Stimuli weitergibt. "Anpassung" bedeutet hier Beenden des Steuerprotokolls und Emulieren von lokalen Eingabe/Lenkungsmitteln, z.B. zur Unterstützung der Portierung von für lokale Nutzung vorgesehenen Spielanwendungen.
  • Die Action-Streaming-Technologie stellt hohe Anforderungen an das Zugangsnetz zwischen dem Benutzer und dem Ort der Diensterzeugung. Für die einzelnen Downstream-Kanäle zum Benutzer sind für den Betrieb Garantien bezüglich Bandbreite und Dienstlieferzeit erforderlich. Der individuelle Steuerweg in der Rückwärtsrichtung muss in erster Linie die Verzögerungsbeschränkungen einhalten, um die Benutzer-Dienst-Benutzer-Reaktionszeit unter den wahrnehmbaren Grenzen zu halten. Ein Einhaltung dieser netzbezogenen Dienstgüteparameter ist vorteilhaft für die Dienstgüte und schließlich die Dienst-Akzeptanz. Die die Datenwege realisierenden Zugangsnetzelemente müssen entsprechend den erforderlichen Dienstgüteparametern gesteuert werden. Bedingungen für die Güte des Action-Streamingdienstes müssen (generell oder benutzersitzungsspezifisch) durch die Dienstumgebung, z.B. unter Verwendung einer Zugangsnetzdatenwege-Steuerung, angefordert/gesteuert werden.
  • Alternative Ausführungsbeispiele
  • Im dieser Anmeldung sind der Erläuterung dienende, derzeit bevorzugte Ausführungsbeispiele und Anwendungen der Erfindung gezeigt und beschrieben, doch es sind viele Variationen und Abwandlungen möglich, die innerhalb des Gedankens und Umfangs der Erfindung liegen, und diese Variationen ergeben sich für den Fachmann nach sorgfältiger Lektüre dieser Anmeldung.
  • Alternativ kann die Erfindung bei jeder Medienart und jeder Art von Action-Streaming-Client angewendet werden. Für die Zukunft sind Einrichtungen zu erwarten, welche mehr Sinne noch perfekter anregen und z.B. mit Hologramm-Projektoren, Aura-Generatoren oder tragbaren Anzügen arbeiten, die dem Tastsinn des Benutzers Eindrücke wie Temperatur, Druck oder Vibration vermitteln.
  • Die Erfindung ist somit außer im Schutzumfang der beigefügten Ansprüche nicht auf Audio oder Video beschränkt.

Claims (8)

  1. Verfahren zum Erzeugen einer interaktiven, individuellen virtuellen Realität mit mindestens einem Action-Streaming-Client und einem Netzwerk-Action-Streamingdienst-System unter Verwendung einer interaktiven Medien-Streaming-Technologie, das folgende Schritte umfasst: – Einrichten einer Actionstrom-Sitzung mit Verbindungsbearbeitung zwischen dem Netzwerkdienst und dem Client und mit Dienstgütebehandlung; – Aufbau eines Medien-Streaming-Weges (CN) von dem Dienst zum dem Client; – Erzeugen und Übertragen von individuellen Medienströmen zum Client durch Einbetten von Interaktion in eine virtuelle Realität, und Entnehmen und Codieren eines Medienstroms unter Verwendung eines mittels einer Virtual-Reality-Beschreibung komprimierten Bewegtbildstroms; und – Decodieren und Abspielen des individuellen Mediendatenstroms auf der Client-Seite, dadurch gekennzeichnet, dass es folgende weitere Schritte umfasst: – Aufbau eines Benutzerinteraktions-Steuerweges (CN) vom Client zum Dienst; – Codieren und Übertragen der Benutzerinteraktion zum Dienst, wobei das Einbetten von Interaktion in eine virtuelle Realität beim Dienst durchgeführt wird; und – kontinuierliches Steuern des Netzwerks und der erforderlichen Dienstgüte, koordiniert für mehrere, gegebenenfalls interagierende Benutzer-Action-Streaming-Clients (ASC).
  2. Verfahren nach Anspruch 1, bei dem die Dienstgüte in besonders hohen Datenraten in der Downstream-Richtung sowie in einer minimalen Umlaufzeitverzögerung und/oder einer minimalen Verzögerungsschwankung in beiden Richtungen besteht.
  3. Verfahren nach Anspruch 1, bei dem das Erzeugen von individuellen Medienströmen durch Einbetten von Interaktion in eine virtuelle Realität und das Entnehmen und Codieren eines Medienstroms beim Dienst unter Verwendung eines mittels einer Virtual-Reality-Beschreibung komprimierten Bewegtbildstroms durch Codierung von Teilen der Virtual-Reality-Beschreibung direkt im abgehenden komprimierten Datenstrom erfolgen.
  4. Verfahren nach Anspruch 1, bei dem der Medienstrom auf anwendungsorientierten Grafik- und/oder Klangbeschreibungsinformationen ohne nicht komprimierte Video-Zwischeninformationen basiert.
  5. Verfahren nach Anspruch 1, bei dem die Actionstrom-Sitzung einen Kompatibilitätsabgleich umfasst, z.B. durch Aktualisieren und Konfigurieren von Softwareteilen des Dienstes und/oder der Software durch Hochladen von Software.
  6. Action-Streaming-Server (ASS) zum Erzeugen einer interaktiven, individuellen virtuellen Realität, der ein Netzwerk-Action-Streamingdienst-System unter Verwendung von interaktiver Medien-Streaming-Technologie bereitstellt, mit – einer Downstream-Schnittstelle (IN) zum Bereitstellen eines interaktiven Medienstroms – für mindestens einen Benutzer, der gemeinsam mit anderen einen Medienstrom nutzt, dadurch gekennzeichnet, dass er umfasst: – eine Upstream-Schnittstelle (IN) zum Empfang von Benutzerinteraktion und mindestens – einen Interpretierer (INJ) für die empfangene Benutzerinteraktion, – eine Virtual-Reality-Maschine (VRE) zum Einbetten der Benutzerinteraktion in die virtuelle Realität, – ein Medienentnahmeteil (ME) zur Entnahme eines individuellen Medienstroms, – einen Codierer (ME) zum Codieren des individuellen Medienstroms, und – eine Sitzungssteuereinheit (SES-CON) zum kontinuierlichen Steuern der erforderlichen Dienstgüte, und – eine Umgebungssteuerung (ENV-CON) zum Koordinieren einer Vielzahl individueller virtueller Realitäten und einer Vielzahl individueller Medienströme.
  7. Action-Streamingdienst-System (ASS), das Ressourcen zum Erzeugen einer interaktiven, individuellen virtuellen Realität unter Verwendung von Medien-Streaming-Technologie bereitstellt, mit – mindestens einem Action-Streaming-Client (ASC) zum Erzeugen einer interaktiven, individuellen virtuellen Realität, der ein Netzwerk-Action-Streamingdienst-System unter Verwendung von interaktiver Medien-Streaming-Technologie aufruft, wobei der Action-Streaming-Client eine Downstream-Schnittstelle (TP/PI) zum Empfang von interaktiven Medienstömen, Decodiermittel zum Betrachten interaktiver Medienströme, Steuermittel (APP, ME-CT, ME-P, TP/PI, UI) zum Codieren von Benutzerinteraktion und zum Anfordern von Netzwerkressourcen sowie eine Upstream-Schnittstelle (TP/PI) zum Übertragen der codierten Interaktion umfasst, dadurch gekennzeichnet, dass die Upstream-Schnittstelle und die Downstream-Schnittstelle der Upstream- bzw. Downstream-Schnittstelle eines Action-Streaming-Servers (ASS) nach Anspruch 6 entsprechen.
  8. Computersoftware-Produkt, dadurch gekennzeichnet, dass es Mittel zur Durchführung des Verfahrens nach Anspruch 1 umfasst.
DE60222890T 2002-08-12 2002-08-12 Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht Expired - Lifetime DE60222890T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP02360239A EP1391226B1 (de) 2002-08-12 2002-08-12 Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht

Publications (2)

Publication Number Publication Date
DE60222890D1 DE60222890D1 (de) 2007-11-22
DE60222890T2 true DE60222890T2 (de) 2008-02-07

Family

ID=30775900

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60222890T Expired - Lifetime DE60222890T2 (de) 2002-08-12 2002-08-12 Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht

Country Status (4)

Country Link
US (1) US7480727B2 (de)
EP (1) EP1391226B1 (de)
AT (1) ATE375187T1 (de)
DE (1) DE60222890T2 (de)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7951002B1 (en) 2000-06-16 2011-05-31 Igt Using a gaming machine as a server
US7972214B2 (en) 2000-12-07 2011-07-05 Igt Methods and devices for downloading games of chance
JP2003037623A (ja) * 2001-07-23 2003-02-07 Philips Japan Ltd Ｍｐｅｇネットワーク上におけるダイレクトｒｔｐ伝送方法及びシステム
US7918734B2 (en) * 2002-09-30 2011-04-05 Time Warner Cable, A Division Of Time Warner Entertainment Company, L.P. Gaming server providing on demand quality of service
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US8893207B2 (en) 2002-12-10 2014-11-18 Ol2, Inc. System and method for compressing streaming interactive video
US20110122063A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US8468575B2 (en) 2002-12-10 2013-06-18 Ol2, Inc. System for recursive recombination of streaming interactive video
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US10201760B2 (en) * 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8387099B2 (en) * 2002-12-10 2013-02-26 Ol2, Inc. System for acceleration of web page delivery
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8661496B2 (en) * 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US8840475B2 (en) 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US8495678B2 (en) 2002-12-10 2013-07-23 Ol2, Inc. System for reporting recorded video preceding system failures
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9032465B2 (en) 2002-12-10 2015-05-12 Ol2, Inc. Method for multicasting views of real-time streaming interactive video
US8526490B2 (en) * 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8832772B2 (en) 2002-12-10 2014-09-09 Ol2, Inc. System for combining recorded application state with application streaming interactive video output
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US9003461B2 (en) 2002-12-10 2015-04-07 Ol2, Inc. Streaming interactive video integrated with recorded video segments
US7634575B2 (en) * 2003-10-09 2009-12-15 Hewlett-Packard Development Company, L.P. Method and system for clustering data streams for a virtual environment
AU2005272636A1 (en) * 2004-08-13 2006-02-23 Cmware, Inc. Systems and methods for remotely controlling computer applications
US20070192818A1 (en) * 2004-10-12 2007-08-16 Mikael Bourges-Sevenier System and method for creating, distributing, and executing rich multimedia applications
US7695369B2 (en) * 2004-11-22 2010-04-13 Planetwide Games, Inc. Systems and methods for accessing online content during online gaming
US7778173B2 (en) * 2005-01-04 2010-08-17 Cisco Technology, Inc. Clock recovery algorithm for remultiplexing MPEG-2 SPTSs and/or MPTSs in the presence of network jitter
US8782313B2 (en) * 2005-01-31 2014-07-15 Avaya Inc. Method and apparatus for enterprise brokering of user-controlled availability
US20060217199A1 (en) * 2005-03-02 2006-09-28 Cvc Global Provider, L.P. Real-time gaming or activity system and methods
TWI298590B (en) * 2005-03-30 2008-07-01 A method for transporting real-time audio and video data
ITMI20050677A1 (it) * 2005-04-18 2006-10-19 Sisvel Spa Sistema di collegamento tra un centro servizi ed una pluralita' di dispositivi di ricezione televisiva
US8287379B2 (en) 2005-09-12 2012-10-16 Igt Distributed game services
US7887420B2 (en) 2005-09-12 2011-02-15 Igt Method and system for instant-on game download
FR2893439B1 (fr) * 2005-11-11 2008-07-11 Stonetrip Sarl Procede pour generer des images associees a un contexte 3d en temps reel, et dispositif teleinformatique permettant de realiser des operations sur une base de donnees multimedia
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US8267790B2 (en) * 2006-09-29 2012-09-18 At&T Intellectual Property I, Lp Interactive games on a television via internet protocol
US7881335B2 (en) * 2007-04-30 2011-02-01 Sharp Laboratories Of America, Inc. Client-side bandwidth allocation for continuous and discrete media
US8239487B1 (en) 2007-05-30 2012-08-07 Rocketon, Inc. Method and apparatus for promoting desired on-line activities using on-line games
US8108459B1 (en) * 2007-05-30 2012-01-31 Rocketon, Inc. Method and apparatus for distributing virtual goods over the internet
WO2009029108A1 (en) * 2007-08-31 2009-03-05 Vulano Group, Inc. Gaming system with end user feedback for a communication network having a multi-media management
US8307035B2 (en) * 2007-08-31 2012-11-06 Lava Two, Llc Virtual Aggregation Processor for incorporating reverse path feedback into content delivered on a forward path
US8509748B2 (en) * 2007-08-31 2013-08-13 Lava Two, Llc Transaction management system in a multicast or broadcast wireless communication network
US8572176B2 (en) * 2007-08-31 2013-10-29 Lava Two, Llc Forward path multi-media management system with end user feedback to distributed content sources
WO2009029109A1 (en) * 2007-08-31 2009-03-05 Vulano Group, Inc. Communication network for a multi-media management system with end user feedback
WO2009029107A1 (en) 2007-08-31 2009-03-05 Vulano Group, Inc. Gaming device for multi-player games
WO2009029112A1 (en) * 2007-08-31 2009-03-05 Vulano Group, Inc. Forward path multi-media management system with end user feedback to central content sources
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
WO2009073827A1 (en) * 2007-12-05 2009-06-11 Onlive, Inc. System and method for compressing video based on detected intraframe motion
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8271951B2 (en) * 2008-03-04 2012-09-18 International Business Machines Corporation System and methods for collecting software development feedback
WO2009138878A2 (en) 2008-05-12 2009-11-19 Playcast Media Systems, Ltd. Centralized streaming game server
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
US8264493B2 (en) 2008-05-12 2012-09-11 Playcast Media Systems, Ltd. Method and system for optimized streaming game server
US8321903B2 (en) 2008-07-28 2012-11-27 Playcast Media Systems, Ltd. External services allocation in closed on-demand systems
US8566869B2 (en) * 2008-09-02 2013-10-22 Microsoft Corporation Pluggable interactive television
US20100069138A1 (en) * 2008-09-15 2010-03-18 Acres-Fiore, Inc. Player selected identities and lucky symbols
US10235832B2 (en) 2008-10-17 2019-03-19 Igt Post certification metering for diverse game machines
US20100146608A1 (en) * 2008-12-06 2010-06-10 Raytheon Company Multi-Level Secure Collaborative Computing Environment
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US8799495B2 (en) * 2008-12-17 2014-08-05 At&T Intellectual Property I, Lp Multiple devices multimedia control
US8506402B2 (en) * 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US20110162004A1 (en) * 2009-12-30 2011-06-30 Cevat Yerli Sensor device for a computer-controlled video entertainment system
US9486701B2 (en) * 2009-12-30 2016-11-08 Crytek Gmbh Computer-controlled video entertainment system
US20110207529A1 (en) 2010-02-25 2011-08-25 Acres John F Personal electronic device for gaming and bonus system
US9286761B2 (en) 2010-03-02 2016-03-15 Patent Investment & Licensing Company System for trade-in bonus
US8453212B2 (en) 2010-07-27 2013-05-28 Raytheon Company Accessing resources of a secure computing network
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
CN101924793B (zh) * 2010-08-17 2013-03-13 北京易视腾科技有限公司 基于p2p流媒体的二次编码播放方法及系统
KR102003007B1 (ko) 2010-09-13 2019-07-23 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 비디오 서버 및 게임 서버를 포함하는 컴퓨터 게임 시스템에서 컴퓨터 게임을 제공하는 방법 및 시스템
KR102126910B1 (ko) 2010-09-13 2020-06-25 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
GB2491819A (en) * 2011-06-08 2012-12-19 Cubicspace Ltd Server for remote viewing and interaction with a virtual 3-D scene
GB2506038A (en) * 2011-07-07 2014-03-19 Smart Services Crc Pty Ltd A system and method for managing multimedia data
EP2758875B1 (de) * 2011-09-14 2019-11-06 Sony Interactive Entertainment America LLC Virtualisierungssystem und verfahren zum bereitstellen von anwendungen
US8646023B2 (en) 2012-01-05 2014-02-04 Dijit Media, Inc. Authentication and synchronous interaction between a secondary device and a multi-perspective audiovisual data stream broadcast on a primary device geospatially proximate to the secondary device
CN104756513A (zh) 2012-11-05 2015-07-01 索尼电脑娱乐公司 信息处理设备
SG2014000889A (en) 2014-01-03 2015-08-28 Creative Tech Ltd A system suitable for one or both of audio processing and graphics processing and a method of processing in association therewith
WO2015102532A1 (en) * 2014-01-03 2015-07-09 Creative Technology Ltd. A system suitable for efficient communication of media stream and a method in association therewith
WO2015153640A1 (en) * 2014-04-01 2015-10-08 Flyover Innovations, Inc. Entertainment environment remote control and audio/video streaming method and system
US10207185B2 (en) 2015-03-07 2019-02-19 Sony Interactive Entertainment America Llc Using connection quality history to optimize user experience
US10491711B2 (en) 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
TWI585617B (zh) * 2016-08-31 2017-06-01 宅妝股份有限公司 互動方法及系統
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
CN112423020B (zh) * 2020-05-07 2022-12-27 上海哔哩哔哩科技有限公司 动作捕捉数据分发、获取方法及系统
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721952B1 (en) * 1996-08-06 2004-04-13 Roxio, Inc. Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing
US6057856A (en) * 1996-09-30 2000-05-02 Sony Corporation 3D virtual reality multi-user interaction with superimposed positional information display for each user
US6195090B1 (en) * 1997-02-28 2001-02-27 Riggins, Iii A. Stephen Interactive sporting-event monitoring system
US6745226B1 (en) * 1997-05-02 2004-06-01 Roxio, Inc. Method and system for progressive encoding in an active desktop environment
GB9712724D0 (en) * 1997-06-18 1997-08-20 Holmes Steven Method and apparatus for interaction with broadcast television content
IL121178A (en) * 1997-06-27 2003-11-23 Nds Ltd Interactive game system
US6697869B1 (en) * 1998-08-24 2004-02-24 Koninklijke Philips Electronics N.V. Emulation of streaming over the internet in a broadcast application
US7143430B1 (en) * 1999-11-15 2006-11-28 Lucent Technologies Inc. Method and apparatus for remote audiovisual signal recording service
US20020046407A1 (en) * 2000-02-18 2002-04-18 Alexander Franco Use of web pages to remotely program a broadcast content recording system
US6795972B2 (en) * 2001-06-29 2004-09-21 Scientific-Atlanta, Inc. Subscriber television system user interface with a virtual reality media space
GB2378371A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Virtual "Big Brother" broadcasting
US7096428B2 (en) * 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
KR100453225B1 (ko) * 2001-12-26 2004-10-15 한국전자통신연구원 3차원 가상 현실 구현을 위한 클라이언트 시스템과 이를이용한 가상 현실 구현 방법

Also Published As

Publication number Publication date
DE60222890D1 (de) 2007-11-22
ATE375187T1 (de) 2007-10-15
EP1391226A1 (de) 2004-02-25
US7480727B2 (en) 2009-01-20
US20040064504A1 (en) 2004-04-01
EP1391226B1 (de) 2007-10-10

Similar Documents

Publication Publication Date Title
DE60222890T2 (de) Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht
KR100830852B1 (ko) 방송 이벤트에서 인터넷을 통한 스트리밍의 에뮬레이션을 사용하는 실시간 비디오 게임
US8789121B2 (en) System architecture and method for composing and directing participant experiences
Pereira MPEG-4: Why, what, how and when?
KR20110030640A (ko) 관리형 네트워크를 통한 텔레비전 방송 및 비관리형 네트워크를 통한 상호작용 콘텐츠의 클라이언트 장치로의 제공
JP2013516847A (ja) クライアントデバイスへのマネージドネットワーク上でのテレビ放送およびアンマネージドネットワーク上での双方向コンテンツの提供
JP4350806B2 (ja) グループ形式のビデオ会議での放送イベントの３ｄグラフィックスモデル利用
Battista et al. MPEG-4: A multimedia standard for the third millennium. 2
JP3851975B2 (ja) カメラと画面キャプチャを用いたインターネット放送方法
JP2003534741A (ja) Ｍｐｅｇ−４リモートアクセス端末を有する通信システム
Dong et al. Ultra-low latency, stable, and scalable video transmission for free-viewpoint video services
CN116636224A (zh) 可替代联网应用程序服务的系统和方法
Viljoen et al. A 2-D MPEG-4 multimedia authoring tool
Rowe Streaming media middleware is more than streaming media
Todesco et al. MPEG-4 support to multiuser virtual environments
Laier et al. Content-based multimedia data access in Internet video communication
Law et al. The MPEG-4 Standard for Internet-based multimedia applications
Knudsen Reduce bandwidth in live-streaming by cooperative edge relay networks
Chiariglione Multimedia standards: Interfaces to innovation
KR20010075803A (ko) Ｍｐｅｇ-４ 화상회의를 위한 멀티미디어 정보구조와ｍｐｅｇ-４ 화상회의 시스템
Deicke et al. A client/server application as an example for MPEG-4 systems
Bertin et al. Commerce with MPEG-4 on the Internet with QoS
Badiqué et al. Tools for multimedia content creation, manipulation and management: The ACTS perspective
Yu et al. AVPUC: Automatic video production with user customization
Fernando et al. Java in MPEG-4 (MPEG-J)

Legal Events

Date Code Title Description
8364 No opposition during term of opposition