DE10190285B4 - Verfahren und System zur Verarbeitung von komprimierten Videosignalen - Google Patents

Verfahren und System zur Verarbeitung von komprimierten Videosignalen Download PDF

Info

Publication number
DE10190285B4
DE10190285B4 DE10190285T DE10190285T DE10190285B4 DE 10190285 B4 DE10190285 B4 DE 10190285B4 DE 10190285 T DE10190285 T DE 10190285T DE 10190285 T DE10190285 T DE 10190285T DE 10190285 B4 DE10190285 B4 DE 10190285B4
Authority
DE
Germany
Prior art keywords
video
data stream
control unit
information
secondary data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10190285T
Other languages
English (en)
Other versions
DE10190285T1 (de
Inventor
Meir Feder
Moshe Elbaz
Noam Eshkoli
Aviv Eisenberg
Ilan Yona
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Polycom Israel Ltd
Original Assignee
Polycom Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=24016271&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE10190285(B4) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Polycom Israel Ltd filed Critical Polycom Israel Ltd
Publication of DE10190285T1 publication Critical patent/DE10190285T1/de
Application granted granted Critical
Publication of DE10190285B4 publication Critical patent/DE10190285B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

Multipoint-Steuereinheit zum Erleichtern der Datenübertragung zwischen einer Vielzahl von Endpunkten, wobei jeder jeweilige Endpunkt ein komprimiertes Videoausgangssignal sendet und ein komprimiertes Videoeingangssignal empfängt, umfassend:
eine Vielzahl von Videoeingangsmodulen, wobei jedes Videoeingangsmodul ein jeweiliges Videoausgangssignal von einem jeweiligen Endpunkt empfängt, wobei jedes Videoeingangsmodul folgendes umfasst:
einen allgemeinen Decodierer zum Lesen des jeweiligen Videoausgangssignals und zum Erzeugen eines jeweiligen primären Datenstroms mit Videoinformationen und eines jeweiligen sekundären Datenstroms mit Nebeninformationen; und
ein Videoausgangsmodul mit:
einer Ratensteuereinheit, die zum Lesen von jedem der jeweiligen sekundären Datenströme, zum Vorverarbeiten des jeweiligen sekundären Datenstroms und zum Steuern eines allgemeinen Codierers wirksam ist; und
wobei der allgemeine Codierer mit der Ratensteuereinheit in Verbindung steht und zum Empfangen von jedem der jeweiligen primären Datenströme von jedem jeweiligen Videoeingangsmodul und
zum Codieren des jeweiligen primären Datenstroms in einen komprimierten Videoausgangsstrom zur Übertragung zu einem Endpunkt wirksam ist.

Description

  • HINTERGRUND
  • Bei der Videokommunikation, z.B. Videokonferenz, dienen Mehrpunkt-Steuereinheiten ("MCUs") als Vermittlungsstellen und Konferenzaufbauelemente für das Netzwerk. Die MCUs empfangen mehrere Audio/Video-Ströme von den Datenstationen oder Codecs der verschiedenen Teilnehmer und übertragen zu den Datenstationen der verschiedenen Teilnehmer Audio/Video-Ströme, die dem gewünschten Signal an den Stationen der Teilnehmer entsprechen. In einigen Fällen, wo die MCU als Vermittlungsplatz dient, ist der zur Enddatenstation übertragene Strom ein einfacher Strom von einem einzelnen anderen Teilnehmer. In anderen Fällen handelt es sich um einen kombinierten "Konferenz"-Strom, der aus einer Kombination von Strömen von mehreren Teilnehmern besteht.
  • Eine wichtige Funktion der MCU besteht darin, die Eingangsströme in die gewünschten Ausgangsströme von allen und zu allen Codecs umzusetzen. Ein Aspekt dieser "Umsetzung" ist eine Modifikation der Bitrate zwischen dem ursprünglichen Strom und dem Ausgangsstrom. Diese Ratenabgleichsmodifikation kann beispielsweise durch Ändern der Bildrate, der räumlichen Auflösung oder der Quantisierungsgenauigkeit des entsprechenden Videosignals erzielt werden. Die Ausgangsbitrate und somit der modifizierte Faktor, der zum Erzielen der Ausgangsbitrate verwendet wird, kann für verschiedene Teilnehmer selbst für den gleichen Eingangsstrom unterschiedlich sein. In einer Viererkonferenz kann beispielsweise einer der Teilnehmer mit 128 Kbps arbeiten, ein anderer mit 256 Kbps und zwei andere mit T1. Jeder Teilnehmer muß die Übertragung mit der entsprechenden Bitrate empfangen. Dieselben Prinzipien gelten für die "Umsetzung" oder Codeumsetzung zwischen Parametern, die sich zwischen den Codecs ändern, z.B. verschiedene Codierstandards wie H.261/H.263; verschiedene Eingangsauflösungen; und verschiedene maximale Bildraten in den Eingangsströmen.
  • Eine weitere Verwendung der MCU kann darin bestehen, einen Ausgangsstrom zu konstruieren, der mehrere Eingangsströme kombiniert. Diese Option, die manchmal "Simultanschaltungsbildung" oder "Daueranwesenheit" genannt wird, ermöglicht einem Teilnehmer an einer entfernten Datenstation, mehrere andere Teilnehmer an der Konferenz simultan zu beobachten. Die Wahl dieser Teilnehmer kann unter verschiedenen Teilnehmern an verschiedenen entfernten Datenstationen der Konferenz variieren. In dieser Situation kann die Menge an Bits, die jedem Teilnehmer zugewiesen wird, auch variieren und kann von der Aktivität der Teilnehmer auf dem Bildschirm, von der speziellen Auflösung, die dem Teilnehmer gegeben wird, oder von irgendeinem anderen Kriterium abhängen.
  • Diese ganze umfangreiche Verarbeitung, z.B. Codeumsetzungs- und Daueranwesenheits-Verarbeitung, muß unter der Einschränkung durchgeführt werden, daß die Eingangsströme bereits durch ein bekanntes Komprimierungsverfahren komprimiert sind, das gewöhnlich auf einem Standard wie H.261 oder H.263 der ITU basiert. Diese Standards sowie andere Videokomprimierungsstandards wie MPEG basieren im allgemeinen auf einem Prozeß einer diskreten Cosinustransformation ("DCT"), bei dem die Blöcke des Bildes (Videovollbildes) transformiert werden und die resultierenden Transformationskoeffizienten quantisiert und codiert werden.
  • Ein Verfahren des Standes der Technik dekomprimiert zuerst die Videoströme; führt die erforderliche Kombination, Umsetzung und Bildkonstruktion durch; und komprimiert schließlich erneut zur Übertragung. Dieses Verfahren erfordert eine hohe Rechenleistung, führt zur Verschlechterung der resultierenden Videoqualität und leidet unter einer großen Laufzeitverzögerung. Einer der rechenintensivsten Teile der Verfahren des Standes der Technik ist der Codierteil der Operation, wo solche Dinge wie Bewegungsvektoren und DCT-Koeffizienten erzeugt werden müssen, um räumliche und zeitliche Redundanzen auszunutzen. Um beispielsweise räumliche Redundanzen im Videobild auszunutzen, kann die DCT-Funktion ausgeführt werden. Um DCT-Koeffizienten zu erzeugen, wird jedes Vollbild des Bildes in Blöcke aufgeteilt und die diskrete Cosinustransformationsfunktion wird an jedem Block ausgeführt. Um zeitliche Redundanzen auszunutzen, können Bewegungsvektoren erzeugt werden. Um Bewegungsvektoren zu erzeugen, werden aufeinanderfolgende Vollbilder bei einem Versuch, eine Musterbewegung von einem Vollbild zum nächsten zu erkennen, miteinander verglichen. Wie zu erwarten wäre, erfordern diese Berechnungen eine große Menge an Rechenleistung.
  • Um die Rechenkomplexität zu verringern und die Qualität zu steigern, haben andere nach Verfahren zum Durchführen solcher Operationen in effizienterer Weise gesucht. Vorschläge beinhalteten das Einwirken in der Transformationsdomäne auf bewegungskompensierte, DCT-komprimierte Videosignale durch Entfernern des Bewegungskompensationsteils und Zusammensetzen in der DCT-Transformationsdomäne.
  • Die US 5,838,664 offenbart eine Multipoint-Steuereinheit, die Videocodierzeiten reduzieren soll, welche infolge der Verschiebungserkennung von Bewegungen entstehen. Die Multipoint-Steuereinheit umfasst eine Video-Verarbeitungseinheit die wiederum einen Zeitmultiplex Pixel-Bus und eine Vielzahl von Prozessoren enthält. Diese Prozessoren empfangen und decodieren komprimierte Videosignale und empfangen unkomprimierte Videosignale, die für eine Übertragung zum entsprechenden Terminal codiert werden. Um die Codierzeiten zu reduzieren, werden Informationen über die Verschiebung des komprimierten Videosignals erzeugt und an den Codierer weitergegeben. Diese Informationen werden direkt wieder verwendet oder als Ausgangspunkt für weitere Verbesserungen des Verschiebungsfeldes der Bewegungen genutzt.
    •
  • Daher ist ein Verfahren zum Durchführen der "Umsetzungs"-Operationen einer MCU wie z.B. Modifizieren von Bitraten, Bildraten und Komprimierungsalgorithmen in effizienter Weise erforderlich, welches Laufzeitverzögerungen, die Verschlechterung der Signalqualität, die Videobandbreitenverwendung innerhalb der MCU und die Rechenkomplexität verringert.
  • Diese Aufgabe wird mit den Merkmalen der Ansprüche 1, 2, 19 oder 20 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
  • ZUSAMMENFASSUNG
  • Die vorliegende Erfindung betrifft ein verbessertes Verfahren zum Verarbeiten von Multimedia-/Videodaten in einer MCU. Durch Wiederverwenden von Informationen, die in einen komprimierten Videostrom eingebettet sind, der von einem Endpunkt empfangen wird, kann die MCU die zum Verarbeiten der Videodaten erforderlichen Gesamtberechnungen verringern, bevor sie diese wieder zum Endpunkt sendet.
  • FIGUREN
  • Die zum Ausführen der Erfindung entworfene Konstruktion wird nachstehend zusammen mit anderen Merkmalen derselben beschrieben. Die Erfindung wird leichter verständlich durch Lesen der folgenden Beschreibung und durch Bezugnahme auf die zugehörigen Zeichnungen, die einen Teil derselben bilden, in welchen ein Beispiel der Erfindung gezeigt ist und wobei gilt:
  • 1 stellt ein Systemblockdiagramm zur Implementierung eines beispielhaften Ausführungsbeispiels der allgemeinen Funktion dieser Erfindung dar.
  • 2 stellt ein Blockdiagramm eines beispielhaften Ausführungsbeispiels eines allgemeinen Decodierers dar.
  • 3 stellt ein Blockdiagramm eines weiteren beispielhaften Ausführungsbeispiels eines allgemeinen Decodierers dar.
  • 4 stellt ein Blockdiagramm eines beispielhaften Ausführungsbeispiels eines allgemeinen Codierers dar, der in der räumlichen Domäne arbeitet.
  • 5 stellt ein Blockdiagramm eines beispielhaften Ausführungsbeispiels eines allgemeinen Codierers dar, der in der DCT-Domäne arbeitet.
  • 6 stellt ein beispielhaftes Ausführungsbeispiel einer Ratensteuereinheit zum Betrieb bei einem Ausführungsbeispiel der vorliegenden Erfindung dar.
  • 7 ist ein Ablaufdiagramm, das beispielhafte Schritte beim Betrieb einer Ratensteuereinheit darstellt.
  • 8 stellt ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung dar, das innerhalb einer MCU arbeitet, wobei jeder Endpunkt ein einzelnes zweckorientiertes Videoausgangsmodul und eine Vielzahl von zweckorientierten Videoeingangsmodulen aufweist.
  • 9 stellt ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung mit einem einzelnen Videoeingangsmodul und einem einzelnen Videoausgangsmodul pro Logikeinheit dar.
    •
  • AUSFÜHRLICHE BESCHREIBUNG
  • Eine MCU wird verwendet, wenn mehrere Teilnehmer an Endpunktcodecs in einer simultanen Videokonferenz miteinander kommunizieren. Ein Teilnehmer an einem gegebenen Endpunkt kann nach seinem Belieben simultan mehrere Endpunktteilnehmer sehen. Außerdem können die Endpunkte mit verschiedenen Datenraten unter Verwendung von verschiedenen Codierstandards kommunizieren, so daß die MCU die Codeumsetzung der Videosignale zwischen diesen Endpunkten erleichtert.
  • 1 stellt ein Systemblockdiagramm zur Implementierung eines beispielhaften Ausführungsbeispiels der allgemeinen Funktion der Erfindung dar. In einer MCU wird ein komprimiertes Videoeingangssignal 115 von einem ersten Endpunktcodec in ein Videoeingangsmodul 105 gebracht, über eine gemeinsame Schnittstelle 150 übertragen und zu einem Videoausgangsmodul 110 zur Übertragung als komprimiertes Videoausgangssignal 195 zu einem zweiten Endpunktcodec geleitet. Die gemeinsame Schnittstelle kann eine beliebige einer Vielzahl von Schnittstellen umfassen, wie z.B. einen gemeinsam genutzten Speicher, einen ATM-Bus, einen TDM-Bus (Zeitmultiplexbus), einen Vermittlungs- und einen Direktanschluß. Die Erfindung zieht in Erwägung, daß eine Vielzahl von Endpunkten vorhanden sind, die ermöglichen, daß mehrere Teilnehmer an einer Videokonferenz teilnehmen. Für jeden Endpunkt kann ein Videoeingangsmodul 105 und ein Videoausgangsmodul 110 zugeordnet werden. Die gemeinsame Schnittstelle 150 erleichtert die Übertragung von Videoinformationen zwischen mehreren Videoeingangsmodulen 105 und mehreren Videoausgangsmodulen 110.
  • Ein komprimiertes Videosignal 115 wird zu einem Fehlerkorrekturdecodierer-Block 117 innerhalb des Videoeingangsmoduls 105 gesandt. Der Fehlerkorrekturdecodierer-Block 117 übernimmt das eingehende komprimierte Videosignal 115 und entfernt den Fehlerkorrekturcode. Ein Beispiel eines Fehlerkorrekturcodes ist eine BCH-Codierung. Dieser Fehlerkorrekturblock 117 ist wahlfrei und kann bei bestimmten Codecs nicht erforderlich sein.
  • Der Videostrom wird als nächstes zum Decodierer für variable Länge VLC–1 120 zum Decodieren der Codierung mit variabler Länge, die gewöhnlich innerhalb des komprimierten Videoeingangsstroms vorliegt, übertragen. In Abhängigkeit von der verwendeten Komprimierung (H.261, H.263, MPEG usw.) erkennt er die Stromkopfmarkierungen und die zur Videovollbildstruktur gehörenden speziellen Halbbilder. Obwohl die Hauptaufgabe des VLC–1 120 darin besteht, diesen Code variabler Länge zu decodieren und die Daten für die folgenden Schritte vorzubereiten, kann der VLC–1 120 einige der Informationen, die er empfängt, z.B. Stromkopfmarkierungen und spezielle Halbbildinformationen, entnehmen und diese Informationen zu späteren Funktionsblöcken in dem System weiterleiten.
  • Die Videodaten des eingehenden Stroms enthalten quantisierte DCT-Koeffizienten. Nach dem Decodieren des Codes variabler Länge dequantisiert Q–1 125 die Darstellung dieser Koeffizienten, um den Zahlenwert der DCT-Koeffizienten in gut bekannter Weise wieder herzustellen. Zusätzlich zum Dequantisieren der DCT-Koeffizienten kann Q–1 125 eine gewisse Information wie z.B. die Schrittgröße zu anderen Blöcken zur zusätzlichen Verarbeitung weiterleiten.
  • Der allgemeine Decodierer 130 übernimmt den vom VLC–1 120 über Q–1 125 empfangenen Videostrom und wandelt ihn auf der Basis des Inhalts des Bildspeichers 135 in "allgemein decodierte" Vollbilder (gemäß der für die Codeumsetzung gewählten Domäne) um. Der allgemeine Decodierer 130 erzeugt dann zwei Ströme: einen primären Datenstrom und einen sekundären Datenstrom. Der primäre Datenstrom kann entweder Vollbilder, die in der Bild- (räumlichen) Domäne dargestellt sind, Vollbilder, die in der DCT-Domäne dargestellt sind, oder eine gewisse Variation dieser, z.B. Fehlervollbilder, sein. Der sekundäre Datenstrom enthält eine "Steuer-" oder "Nebeninformation", die zum primären Strom gehört, und kann Bewegungsvektoren, Quantisiereridentifikationen, Codiert/Uncodiert-Entscheidungen, Filter/Nicht-Filter-Entscheidungen, Vollbildtyp, Auflösung und andere Informationen, die für die Codierung eines Videosignals nützlich wären, enthalten.
  • Für jeden Markoblock kann beispielsweise ein zugehöriger Bewegungsvektor vorliegen. Die Wiederverwendung der Bewegungsvektoren kann die Menge an Berechnungen signifikant verringern. Quantisiererwerte werden vor dem Empfang des codierten Videosignals 115 festgelegt. Die Wiederverwendung von Quantisiererwerten, wenn möglich, kann ermöglichen, daß der allgemeine Codierer 170 Quantisierungsfehler vermeidet und die Videokoeffizienten in derselben Form sendet, wie sie in den allgemeinen Decodierer 130 eingegangen sind. Diese Konfiguration vermeidet eine Qualitätsverschlechterung. In anderen Fällen können Quantisiererwerte als erste Schätzungen während des Wiedercodierprozesses dienen. Statistische Informationen können vom allgemeinen Decodierer 130 über den sekundären Datenstrom gesandt werden. Solche statistischen Informationen können Daten über die Menge an Informationen innerhalb jedes Makroblocks eines Bildes enthalten. Auf diese Weise können später durch die Ratensteuereinheit 180 jenen Makroblöcken mit mehr Informationen mehr Bits zugewiesen werden.
  • Da Filter bei dem Codierprozeß verwendet werden können, kann die Gewinnung einer Filterverwendungsinformation im allgemeinen Decodierer 130 auch die Komplexität der Verarbeitung im allgemeinem Codierer 170 verringern. Obwohl die Verwendung von Filtern im Codierprozeß ein Merkmal des H.261-Standards ist, ist zu erkennen, daß die Vorstellung der Wiederverwendung der Filterinformation allgemein gelesen werden sollte, um die Wiederverwendung von Informationen, die von anderen Bildfehlerentfernungsverfahren verwendet werden, einzuschließen.
  • Außerdem kann der sekundäre Datenstrom Entscheidungen enthalten, die durch die Verarbeitung des eingehenden Stroms getroffen werden, wie z.B. Bildsegmentierungsentscheidungen und Kamerabewegungsidentifikation. Kamerabewegungen umfassen solche Daten wie Schwenken, Zoom und andere allgemeine Kamerabewegungsinformationen. Durch Vorsehen dieser Informationen über den sekundären Datenstrom kann der allgemeine Codierer 170 eine bessere Näherung durchführen, wenn er das Bild wieder codiert, indem er weiß, daß das Bild geschwenkt oder gezoomt wird.
  • Dieser sekundäre Datenstrom wird über den sekundären (Nebeninformations-) Kanal 132 zur Ratensteuereinheit 180 zur Verwendung im Videoausgangsblock 110 übertragen. Die Ratensteuereinheit 180 ist für die effiziente Zuweisung von Bits zum Videostrom verantwortlich, um eine maximale Qualität zu erhalten, während gleichzeitig die aus dem allgemeinen Decodierer 130 innerhalb des Videoeingangsblocks 105 gewonnenen Informationen verwendet werden, um die Gesamtberechnungen des Videoausgangsmoduls 110 zu verringern.
  • Der Festwertmultiplikator 140 übernimmt den primären Datenstrom und skaliert ihn. Der Zweck der Skalierung besteht darin, die Bildauflösung zu ändern, um sie später in ein Daueranwesenheitsvollbild zu integrieren. Ein solches Daueranwesenheitsvollbild kann aus einer Vielzahl von geeignet skalierten Vollbildern bestehen. Der Festwertmultiplikator 140 wendet auch zweckmäßige Filter für sowohl die Dezimierung als auch die Bildqualitätserhaltung an. Der Festwertmultiplikator 140 kann umgangen werden, wenn die Skalierungsfunktion bei einer speziellen Implementierung oder Verwendung nicht erforderlich ist.
  • Der Datenformatierer 145 erzeugt eine Darstellung des Videostroms. Diese Darstellung kann einen zunehmend komprimierten Strom umfassen. In einem zunehmend komprimierten Strom stellt ein Verfahren mit zunehmender Komprimierung, wie z.B. eine Komprimierung auf Wellenwaveletbasis, das Videobild in einer Pyramide mit zunehmender Auflösung dar. Unter Verwendung dieses Verfahrens kann der Festwertmultiplikator 140 vermieden werden und der Datenanalysator und der Editor 160 können von der gemeinsamen Schnittstelle nur die Menge an Information entnehmen, die der Editor für die ausgewählte Auflösung benötigt.
  • Der Datenformatierer 145 erleichtert die Datenübertragung über die gemeinsame Schnittstelle und unterstützt den Editor 160 bei bestimmten Ausführungsbeispielen der Erfindung. Der Datenformatierer 145 kann auch zum Verringern der Bandbreite, die für die gemeinsame Schnittstelle erforderlich ist, durch Komprimieren des Videostroms dienen. Der Datenformatierer 145 kann umgangen werden, wenn seine Funktion bei einem speziellen Ausführungsbeispiel nicht erforderlich ist.
  • Wenn das formatierte Videosignal den Datenformatierer 145 des Videoeingangsblocks verläßt, wird es über die gemeinsame Schnittstelle 150 zum Datenanalysator 155 des Videoausgangsblocks 110 Übertragen. Die Übertragung kann durch verschiedene Mittel, einschließlich Bussen, Schaltern oder eines Speichers, durchgeführt werden.
  • Der Datenanalysator 155 kehrt die vom Datenformatierer 145 erzeugte Darstellung in eine Videovollbildstruktur um. Im Fall einer fortschreitenden Codierung kann der Datenanalysator 155 nur einen Teil des erzeugten Bitstroms entnehmen, um ein Videovollbild mit verringerter Auflösung zu erzeugen. Bei Ausführungsbeispielen, bei denen der Datenformatierer 145 nicht vorliegt oder umgangen wird, wird der Datenanalysator 155 nicht verwendet.
  • Nachdem der Videostrom den Datenanalysator 155 verläßt, kann der Editor 160 das zusammengesetzte Videobild erzeugen. Er empfängt eine Vielzahl von Videovollbildern; er kann das Videovollbild skalieren (einen geeigneten Filter für Dezimierung und Qualität anwenden) und/oder verschiedene Videoeingangssignale durch Anordnen derselben innerhalb des Vollbildes gemäß einem vordefinierten oder teilnehmerdefinierten Bildschirmanordnungsschema zu einem Videovollbild kombinieren. Der Editor 160 kann externe Editoreingangssignale 162 empfangen, die Anordnungsvorlieben oder einen Text, der zum Videovollbild hinzugefügt werden muß, wie z.B. Sprachübersetzung, Menüs oder Endpunktnamen, enthalten. Der Editor 160 ist nicht erforderlich und kann bei bestimmten Ausführungsbeispielen, die die Zusammensetzungsfunktion nicht erfordern, umgangen werden oder nicht vorhanden sein.
  • Die Ratensteuereinheit 180 steuert die Bitrate des ausgehenden Videostroms. Die Ratensteueroperation ist nicht auf einen einzelnen Strom begrenzt und kann verwendet werden, um bei einem Ausführungsbeispiel mit einer Vielzahl von Videoeingangsmodulen 105 mehrere Ströme zu steuern. Die Ratensteuerungs- und Bitzuweisungsentscheidungen werden auf der Basis der Aktivitäten und gewünschten Qualität für den Ausgangsstrom getroffen. Ein einfacher Rückkopplungsmechanismus, der die Gesamtmenge an Bits für alle Ströme überwacht, kann bei diesen Entscheidungen Unterstützung bieten. Tatsächlich wird die Ratensteuereinheit zu einem statistischen Multiplexer dieser Ströme. Auf diese Weise können bestimmten Teilen des Videostroms mehr Bits oder mehr Verarbeitungsaufwand zugewiesen werden.
  • Zusätzlich zur Rückkopplung vom allgemeinen Codierer 170 können die Rückkopplung vom VLC 190 und die Nebeninformationen vom sekundären Kanal 132 sowie vom externen Eingang 182 alle verwendet werden, um einem Teilnehmer zu ermöglichen, gewisse Aspekte der Signalqualität auszuwählen. Ein Teilnehmer kann beispielsweise wählen, mehr Bits eines Videostroms einem speziellen Teil eines Bildes zuzuweisen, um die Klarheit dieses Teils zu verbessern. Der externe Eingang 182 ist ein bidirektionaler Anschluß, um Datenübertragungen von und zu einer externen Vorrichtung zu erleichtern.
  • Zusätzlich zur Verwendung der Nebeninformationen vom sekundären Kanal 132, um ihre Ratensteuerfunktion zu unterstützen, kann die Ratensteuereinheit 180 wahlweise nur Nebeninformationen direkt zum allgemeinen Codierer 170 weiterleiten. Die Ratensteuereinheit 180 unterstützt auch den Quantisierer 175 mit der Quantisierung der DCT-Koeffizienten durch Identifizieren des zu verwendenden Quantisierers.
  • Der allgemeine Codierer 170 führt grundsätzlich die umgekehrte Operation des allgemeinen Decodierers 130 durch. Der allgemeine Codierer 170 empfängt zwei Ströme: einen primären Strom, der ursprünglich von einem oder mehreren allgemeinen Decodierern erzeugt und vom Editor 160 aufbereitet und kombiniert wird; und einen sekundären Strom von relevanten Nebeninformationen, der von den jeweiligen allgemeinen Decodierern stammt. Da die sekundären Ströme, die von den allgemeinen Decodierern erzeugt werden, zur Ratensteuerfunktion 180 weitergeleitet werden, kann der allgemeine Codierer 170 die Nebeninformationen über die Ratensteuerfunktion 180 entweder in ihrer ursprünglichen Form oder nach Verarbeitung empfangen. Das Ausgangssignal des allgemeinen Codierers 170 ist ein Strom von DCT-Koeffizienten und zusätzlichen Parametern, die bereit sind, nach Quantisierung und VLC in einen komprimierten Strom transformiert zu werden.
  • Die aus dem allgemeinen Codierer 170 ausgegebenen DCT-Koeffizienten werden durch Q2 175 gemäß einer von der Ratensteuereinheit 180 getroffenen Entscheidung quantisiert. Diese Koeffizienten werden zum inversen Quantisiererblock Q2 –1 185 zurückgeführt, um als Referenz eine Wiedergabe dessen zu erzeugen, was der Decodierer am Endpunktcodec erhalten würde. Diese Referenz ist typischerweise die Summe dieser Rückführung und des Inhalts des Bildspeichers 165. Dieser Prozeß zielt darauf ab, eine Fehlerfortpflanzung zu vermeiden. In Abhängigkeit von der zum Codieren verwendeten Domäne wird nun die Differenz zwischen dem Ausgangssignal des Editors 160 und der hinsichtlich der Bewegung kompensierten Referenz (entweder in der DCT- oder räumlichen Domäne berechnet) in DCT-Koeffizienten codiert, die das Ausgangssignal des allgemeinen Codierers 170 sind.
  • Der VLC 190 oder Codierer für variable Länge entfernt die restlichen Redundanzen aus dem Strom von quantisierten DCT-Koeffizienten unter Verwendung von verlustfreien Codiertabellen, die durch den gewählten Standard (H.261, H.263 ...) festgelegt sind. Der VLC 190 fügt auch die entsprechenden Bewegungsvektoren, die erforderlichen Anfangsblöcke und Synchronisationshalbbilder gemäß dem gewählten Standard ein. Der VLC 190 sendet auch die Daten über die tatsächliche Menge von verwendeten Bits nach der Codierung mit variabler Länge zur Ratensteuereinheit 180.
  • Der Fehlerkorrekturcodierer-Block 192 empfängt als nächstes den Videostrom und fügt den Fehlerkorrekturcode ein. In einigen Fällen kann dies eine BCH-Codierung sein. Dieser Fehlerkorrekturcodierer-Block 192 ist wahlfrei und kann in Abhängigkeit von dem Codec umgangen werden. Schließlich sendet er den Strom zur Betrachtung zum Endteilnehmercodec.
  • Um die Aspekte der Erfindung genauer zu beschreiben, folgt ein weiteres Detail über den allgemeinen Decodierer 130 und allgemeinen Codierer 170.
  • 2 stellt ein Blockdiagramm eines beispielhaften Ausführungsbeispiels eines allgemeinen Decodierers 130 dar. Ein dequantisiertes Videosignal wird vom Dequantisierer 125 zum Selektor 210 innerhalb des allgemeinen Decodierers 130 übertragen. Der Selektor 210 teilt den dequantisierten Videostrom auf, wobei er den Strom zu einem oder mehreren Datenprozessoren 220 und einem räumlichen Decodierer 230 sendet. Die Datenprozessoren 220 berechnen Nebeninformationen, wie z.B. statistische Informationen wie Schwenken und Zoom, sowie Quantisiererwerte und dergleichen aus dem Videostrom. Die Datenprozessoren 220 leiten dann diese Informationen zum Nebeninformationskanal 132 weiter. Ein räumlicher Decodierer 230 in Verbindung mit dem Bildspeicher 135 (in 1 gezeigt) decodiert den komprimierten Videostrom vollständig oder teilweise. Der DCT-Decodierer 240 führt wahlweise das Umgekehrte der diskreten Cosinustransformationsfunktion aus. Der Bewegungskompensator 250 wahlweise in Verbindung mit dem Bildspeicher 135 (in 1 dargestellt) verwendet die Bewegungsvektoren als Zeiger zu einem Referenzblock im Referenzvollbild, das mit dem eingehenden Restinformationsblock zu summieren ist. Der vollständig oder teilweise decodierte Videostrom wird dann entlang des primären Kanals zum Festwertmultiplikator 140, der in 1 dargestellt ist, zur Weiterverarbeitung gesandt. Die Bewegungsvektordaten werden vom räumlichen Decodierer 230 über den Nebenkanal 132 für die mögliche Wiederverwendung in der Ratensteuereinheit 180 und im allgemeinen Codierer 170 übertragen.
  • 3 stellt ein Blockdiagramm eines weiteren beispielhaften Ausführungsbeispiels eines allgemeinen Decodierers 130 dar. Ein dequantisiertes Videosignal wird vom Dequantisierer 125 zum Selektor 210 innerhalb des allgemeinen Decodierers 130 übertragen. Der Selektor 210 teilt den dequantisierten Videostrom auf, wobei er den Strom zu einem oder mehreren Datenprozessoren 320 und einem DCT-Decodierer 330 sendet. Die Datenprozessoren 320 berechnen Nebeninformationen, wie z.B. statistische Informationen wie Schwenken und Zoom, sowie Quantisiererwerte und dergleichen aus dem Videostrom. Die Datenprozessoren 320 leiten dann diese Informationen über den Nebeninformationskanal 132 weiter. Der DCT-Decodierer 330 in Verbindung mit dem Bildspeicher 135, der in 1 dargestellt ist, decodiert den komprimierten Videostrom vollständig oder teilweise unter Verwendung eines DCT-Domänen-Bewegungskompensators 340, der in der DCT-Domäne Berechnungen durchführt, die erforderlich sind, um den Referenzblock, auf den durch die Bewegungsvektoren im DCT-Domänen-Referenzvollbild gezeigt wird, mit dem restlichen DCT-Domänen-Eingangsblock zu summieren. Der vollständig oder teilweise decodierte Videostrom wird entlang des primären Kanals zum Festwertmultiplikator 140, der in 1 dargestellt ist, zur Weiterverarbeitung gesandt. Die Bewegungsvektordaten werden vom DCT-Decodierer 330 über den Nebenkanal 132 für die mögliche Wiederverwendung in der Ratensteuereinheit 180 und im allgemeinen Codierer 170 übertragen.
  • 4 stellt ein Blockdiagramm eines beispielhaften Ausführungsbeispiels eines allgemeinen Codierers 170 dar, der in der räumlichen Domäne arbeitet. Die erste Aufgabe des allgemeinen Codierers besteht darin, die zu jedem Makroblock des über den primären Datenkanal vom Editor 160 empfangenen Bildes gehörende Bewegung festzustellen. Dies wird durch das verbesserte Bewegungsschätzelement 450 durchgeführt. Das verbesserte Bewegungsschätzelement 450 empfängt Bewegungsvorhersagen, die von der Nebeninformation ausgehen, welche von der Ratensteuerfunktion 180 verarbeitet werden und über den Codiererverwalter 410 zum verbesserten Bewegungsschätzelement 450 gesandt werden. Das verbesserte Bewegungsschätzelement 450 vergleicht bei Bedarf das empfangene Bild mit dem Referenzbild, das im Bildspeicher 165 vorliegt, und findet die beste Bewegungsvorhersage in der Umgebung in einer Weise, die Fachleuten gut bekannt ist. Die Bewegungsvektoren sowie ein zu diesen gehörender Qualitätsfaktor werden dann zum Codiererverwalter 410 weitergeleitet. Die Koeffizienten werden zum MB-Prozessor 460 weitergeleitet.
  • Der MB- oder Makroblockprozessor 460 ist eine Universal-Verarbeitungseinheit für das Makroblockniveau, wobei eine seiner vielen Funktionen darin besteht, den Differenz-MB zu berechnen. Dies wird gemäß einem vom Codiererverwalter 410 stammenden Eingangssignal in Form von Angaben, ob der MB codiert werden soll oder nicht, ob ein Entblockungsfilter verwendet werden soll oder nicht, und anderen Videoparametern durchgeführt. Im allgemeinen besteht die Verantwortung des MB-Prozessors 460 darin, den Makroblock in der Form zu berechnen, die für die Transformation und Quantisierung geeignet ist. Das Ausgangssignal des MB-Prozessors 460 wird zum DCT-Codierer 420 zur Erzeugung der DCT-Koeffizienten vor der Quantisierung weitergeleitet.
  • Alle diese Blöcke werden vom Codiererverwalter 410 gesteuert. Er entscheidet, ob ein Makroblock codiert werden soll oder nicht codiert werden soll; er kann entscheiden, gewisse Entblockungsfilter zu verwenden; er erhält Qualitätsergebnisse vom verbesserten Bewegungsschätzelement 450; er dient zum Steuern des DCT-Codierers 420; und er dient als Schnittstelle zum Ratensteuerblock 180. Die Entscheidungen und die Steuerung, die vom Codiererverwalter 410 durchgeführt werden, unterliegen dem vom Ratensteuerblock 180 stammenden Eingangssignal.
  • Der allgemeine Codierer 170 enthält auch eine Rückkopplungsschleife. Der Zweck der Rückkopplungsschleife besteht darin, eine Fehlerfortpflanzung zu vermeiden, indem das Vollbild, wie es durch den entfernten Decodierer gesehen wird, erneut eingegeben wird und auf dieses Bezug genommen wird, wenn das neue Vollbild codiert wird. Das Ausgangssignal des Codierers, das zum Quantisierungsblock gesandt wurde, wird unter Verwendung eines inversen Quantisierungsblocks zurückdecodiert und dann zum allgemeinen Codierer 170 in den inversen DCT 430 und die Bewegungskompensationsblöcke 440 zurückgeführt, wobei ein Referenzbild im Bildspeicher 165 erzeugt wird.
  • 5 stellt ein Blockdiagramm eines zweiten beispielhaften Ausführungsbeispiels eines allgemeinen Codierers 170 dar, der in der DCT-Domäne arbeitet. Die erste Aufgabe des allgemeinen Codierers besteht darin, die zu jedem Makroblock des über den primären Datenkanal vom Editor 160 empfangenen Bildes gehörende Bewegung festzustellen. Dies wird durch das verbesserte DCT-Domänen-Bewegungsschätzelement 540 durchgeführt. Das verbesserte DCT-Domänen-Bewegungsschätzelement 540 empfängt Bewegungsvorhersagen, die vom Nebeninformationskanal ausgehen, welche von der Ratensteuerfunktion 180 verarbeitet werden und über den Codiererverwalter 510 zum verbesserten DCT-Domänen-Bewegungsschätzelement 540 gesandt werden. Es vergleicht bei Bedarf das empfangene Bild mit dem DCT-Domänen-Referenzbild, das im Bildspeicher 165 vorliegt, und findet die beste Bewegungsvorhersage in der Umgebung. Die Bewegungsvektoren sowie ein zu diesen gehörender Qualitätsfaktor werden dann zum Codiererverwalter 510 weitergeleitet. Die Koeffizienten werden zum DCT-Domänen-MB-Prozessor 520 weitergeleitet.
  • Der DCT-Domänen-Makroblock- oder -MB-Prozessor 520 ist eine Universal-Verarbeitungseinheit für das Makroblockniveau, wobei eine seiner vielen Funktionen darin besteht, den Differenz-MB in der DCT-Domäne zu berechnen. Dies wird gemäß einem vom Codiererverwalter 510 stammenden Eingangssignal in Form von Angaben, ob der MB codiert werden soll oder nicht, ein Entblockungsfilter verwendet werden soll oder nicht, und anderen Videoparametern durchgeführt. Im allgemeinen besteht die Verantwortung des DCT-Domänen-MB-Prozessors 520 darin, den Makroblock in der Form zu berechnen, die für die Transformation und Quantisierung geeignet ist.
  • Alle diese Blöcke werden vom Codiererverwalter 510 gesteuert. Der Codiererverwalter 510 entscheidet, ob ein Makroblock codiert werden soll oder nicht codiert werden soll; er kann entscheiden, gewisse Entblockungsfilter zu verwenden; er erhält Qualitätsergebnisse vom verbesserten DCT-Domänen-Bewegungsschätzelement 540; und er dient als Schnittstelle zum Ratensteuerblock 180. Die Entscheidungen und die Steuerung, die vom Codiererverwalter 510 ausgeführt werden, unterliegen dem vom Ratensteuerblock 180 stammenden Eingangssignal.
  • Der allgemeine Codierer 170 enthält auch eine Rückkopplungsschleife. Das Ausgangssignal des Codierers, das zum Quantisierungsblock gesandt wurde, wird unter Verwendung eines inversen Quantisierungsblocks zurückdecodiert und dann zu den DCT-Domänen- Bewegungskompensationsblöcken 530 zurückgeführt, wobei ein DCT-Domänen-Referenzbild im Bildspeicher 165 erzeugt wird.
  • Obwohl der allgemeine Codierer 170 mit Bezug auf eine DCT-Domänen-Konfiguration und eine Raumdomänen-Konfiguration beschrieben wurde, ist für Fachleute zu erkennen, daß eine einzelne Hardwarekonfiguration entweder in der DCT-Domäne oder in der räumlichen Domäne arbeiten kann. Diese Erfindung ist nicht auf entweder die DCT-Domäne oder die räumliche Domäne begrenzt, sondern kann in beiden Domänen oder in dem Kontinuum zwischen den zwei Domänen arbeiten.
  • 6 stellt ein beispielhaftes Ausführungsbeispiel einer Ratensteuereinheit zum Betrieb bei einem Ausführungsbeispiel der vorliegenden Erfindung dar. Die beispielhafte Ratensteuereinheit 180 steuert die Bitrate des ausgehenden Videostroms. Wie vorher dargelegt wurde, kann die Ratensteueroperation eine gemeinschaftliche Codeumsetzung von mehreren Strömen anwenden. Bitzuweisungsentscheidungen werden auf der Basis der Aktivitäten und gewünschten Qualität für die verschiedenen Ströme getroffen, welche von einem Rückkopplungsmechanismus unterstützt werden, der die Gesamtmenge von Bits für alle Ströme überwacht. Bestimmten Teilen des Videostroms können mehr Bits oder mehr Verarbeitungszeit zugewiesen werden.
  • Die Ratensteuereinheit 180 umfaßt ein Kommunikationsmodul 610, ein Nebeninformationsmodul 620 und ein Qualitätssteuermodul 630. Das Kommunikationsmodul 610 koppelt mit Funktionen außerhalb der Ratensteuereinheit 180. Das Kommunikationsmodul 610 liest Nebeninformationen aus dem sekundären Kanal 132, dient als Zweiwege-Schnittstelle mit dem externen Eingang 182, sendet das Quantisiererniveau zu einem Quantisierer 175, liest die tatsächliche Anzahl von Bits, die zum Codieren der Information vom VLC 190 erforderlich ist, und sendet Befehle und Daten und empfängt verarbeitete Daten vom allgemeinen Codierer 170.
  • Das Nebeninformationsmodul 620 empfängt die Nebeninformationen von allen entsprechenden allgemeinen Decodierern vom Kommunikationsmodul 610 und ordnet die Informationen zur Verwendung im allgemeinen Codierer an. Parameter, die im Nebeninformationsmodul 620 erzeugt werden, werden über das Kommunikationsmodul 610 zur Weiterverarbeitung im allgemeinen Codierer 170 gesandt.
  • Das Qualitätssteuermodul 630 steuert die wirksame Seite des Ratensteuerblocks 180. Das Qualitätssteuermodul 630 speichert die gewünschten und gemessenen Qualitätsparameter. Auf der Basis dieser Parameter kann das Qualitätssteuermodul 630 dem Nebeninformationsmodul 620 oder dem allgemeinen Codierer 170 befehlen, bestimmte Aufgaben zu beginnen, um die Videoparameter zu verfeinern.
  • Ein weiteres Verständnis der Funktionsweise des Ratensteuermoduls 180 wird durch Bezugnahme auf den in 7 gezeigten Ablaufplan erleichtert. Obwohl die Ratensteuereinheit 180 zahlreiche Funktionen erfüllen kann, stellt die Darstellung von 7 beispielhafte Schritte beim Betrieb einer Ratensteuereinheit wie z.B. der Ratensteuereinheit 180 dar. Der Zusammenhang mit dieser Beschreibung ist die Wiederverwendung von Bewegungsvektoren; in der Praxis werden Fachleute erkennen, daß andere Informationen in ähnlicher Weise verwertet werden können. Bei dem in 7 dargestellten Verfahren liest das Kommunikationsmodul 610 innerhalb der Ratensteuereinheit 180 in Schritt 705 externe Befehle für die vom Teilnehmer gewünschte Bildqualität und Bildrate. In Schritt 710 liest das Kommunikationsmodul 610 die Bewegungsvektoren der eingehenden Vollbilder von allen allgemeinen Decodierern, die Bilddaten zum allgemeinen Codierer senden. Wenn beispielsweise der allgemeine Codierer ein Daueranwesenheitsbild von sechs eingehenden Bildern überträgt, werden Bewegungsvektoren von den sechs eingehenden Bildern vom Kommunikationsmodul 610 gelesen. Wenn die Bewegungsvektoren einmal vom Kommunikationsmodul 610 gelesen wurden, werden sie zum Nebeninformationsmodul 620 übertragen.
  • In Schritt 715 befiehlt das Qualitätssteuermodul 630 dem Nebeninformationsmodul 620, unter Verwendung der Bewegungsvektoren, die von den allgemeinen Decodierern abgerufen wurden und in Schritt 710 im Nebeninformationsmodul 620 gespeichert wurden, neue Bewegungsvektoren zu berechnen. Die neuen Bewegungsvektoren können aus einer Vielzahl von Gründen, einschließlich der Verringerung von Vollbildsprüngen und der Verkleinerung, erzeugt werden müssen. Zusätzlich zur Verwendung bei der Erzeugung von neuen Bewegungsvektoren werden die Bewegungsvektoren im Nebeninformationsmodul verwendet, um Fehlerabschätzungsberechnungen durchzuführen, wobei das Ergebnis für weitere Abschätzungen oder eine verbesserte Bitzuweisung verwendet wird. Außerdem geben die Bewegungsvektoren eine Angabe eines Bewegungsgrades innerhalb eines speziellen Bereichs des Bildes (oder eines "interessierenden Bereichs"), so daß die Ratensteuereinheit 180 Blöcken in diesem speziellen Bereich mehr Bits zuweisen kann.
  • In Schritt 720 kann das Qualitätssteuermodul 630 dem Nebeninformationsmodul 620 befehlen, die neuen Bewegungsvektoren über das Kommunikationsmodul 610 zum allgemeinen Codierer zu senden. Der allgemeine Codierer kann dann die Bewegungsvektoren weiter verfeinern. Alternativ können aufgrund von Einschränkungen in der Verarbeitungsleistung oder einer Entscheidung durch das Qualitätssteuermodul 630, daß eine Verfeinerung unnötig ist, keine Bewegungsvektoren gesandt werden. In Schritt 725 sucht der allgemeine Codierer auf der Basis der neuen Bewegungsvektoren nach verbesserten Bewegungsvektoren. In Schritt 730 gibt der allgemeine Codierer diese verbesserten Bewegungsvektoren an das Qualitätssteuermodul 630 zurück und gibt Informationen über die Vollbild- und/oder Blockqualität zurück.
  • In Schritt 735 ermittelt das Qualitätssteuermodul 630 die Quantisierungsniveauparameter und die zeitliche Referenz und aktualisiert die externen Vorrichtungen wie: VLC 190, allgemeinen Codierer 170 und den Teilnehmer mit diesen Informationen. In Schritt 740 sendet das Qualitätssteuermodul 630 die Quantisierungsparameter zum Quantisierer 175. In Schritt 745 empfängt die Ratensteuereinheit 180 die Bitinformation vom VLC 190, die die Ratensteuereinheit 180 über die Anzahl von Bits, die zum Codieren jedes Vollbildes oder Blocks verwendet werden, informiert. In Schritt 750 aktualisiert das Qualitätssteuermodul 630 als Reaktion auf diese Information seine Zielparameter zur weiteren Steuerung und die Verarbeitung kehrt zum Block 710 zurück.
  • Die vorstehend beschriebene Erfindung kann in einer Vielzahl von Konfigurationen implementiert werden. Zwei solche Konfigurationen sind die Konfiguration mit "aufwendigem Kanal", die im allgemeinen in 8 dargestellt ist, und die Konfiguration mit "schlankem Kanal", die im allgemeinen in 9 dargestellt ist. Diese zwei Ausführungsbeispiele sind nur für Erläuterungszwecke gedacht und Fachleute werden die Vielzahl von möglichen Konfigurationen, die diese Erfindung implementieren, erkennen.
  • 8 stellt ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung dar, das innerhalb einer MCU arbeitet, wobei jeder Endpunkt ein einzelnes zweckorientiertes Videoausgangsmodul 110 und eine Vielzahl von zweckorientierten Videoeingangsmodulen 105 aufweist.
  • Bei diesem Ausführungsbeispiel mit sogenanntem "aufwendigen Kanal" wendet eine einzige Logikeinheit ihre gesamte Funktionalität für einen einzelnen Endpunkt an. Eingehende Videoströme werden vom Rückwandplatinenbus 800 zu einer Vielzahl von Videoeingangsmodulen 105 geleitet. Videoeingangssignale vom Rückwandplatinenbus 800 werden einem jeweiligen Videoeingangsmodul 105 zugeordnet. Dieses beispielhafte Ausführungsbeispiel ist kostenaufwendiger als die folgenden Optionen. Obwohl es kostenaufwendig ist, besteht der Vorteil darin, daß die Endteilnehmer die Auslegung ihrer Konferenz nach ihrem Geschmack zuordnen können. Zusätzlich zu diesem Merkmal der "privaten Auslegung" mit allen Videoeingangsmodulen und dem Videoausgangsmodul in derselben Logikeinheit ermöglicht eine zweckorientierte Datenröhre 850, die sich innerhalb der Logikeinheit befindet, einen erhöhten Datendurchlauf zu erleichtern. Die Tatsache, daß diese Datenröhre 850 innerhalb einer Logikeinheit liegt, erleichtert die physikalische Begrenzung, die angetroffen wird, wenn sich mehrere Einheiten die Röhre teilen. Die zweckorientierte Datenröhre 850 kann Wege für sowohl den primären Datenkanal als auch den Nebeninformationskanal enthalten.
  • 9 stellt ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung mit einem einzelnen Videoeingangsmodul und einem einzelnen Videoausgangsmodul pro Logikeinheit dar. In einer MCU in dieser Konfiguration mit "schlankem Kanal" empfängt ein Videoeingangsmodul 105 einen einzelnen Videoeingangsstrom vom Rückwandplatinenbus 800. Nach Verarbeitung wird der Videoeingangsstrom zur gemeinsamen Schnittstelle 950 gesandt, wo er von einem anderen Videoausgangsmodul zur Verarbeitung aufgenommen werden kann. Das Videoausgangsmodul 110 empfängt mehrere Videoeingangsströme von der gemeinsamen Schnittstelle 950 zur Kompilierung im Editor und zur Ausgabe an den Rückwandplatinenbus 800, wo er zu einem Endteilnehmercodec übertragen wird. Bei diesem Ausführungsbeispiel der Erfindung befinden sich das Videoausgangsmodul 110 und das Videoeingangsmodul 105 in derselben Logikeinheit und können zweckorientiert sein, um den Eingangs-/Ausgangsvideobedürfnissen eines einzelnen Endteilnehmercodecs zu dienen, oder das Videoeingangsmodul 105 und das Videoausgangsmodul 110 können nach Bedarf logisch zugeordnet werden. Auf diese Weise können die Betriebsmittel besser genutzt werden; für einen Videostrom eines Endteilnehmers, der nie von anderen Endteilnehmern gesehen wird, besteht beispielsweise kein Bedarf, ein Videoeingangsmodul-Betriebsmittel zu verwenden.
  • Aufgrund der Verringerung der digitalen Verarbeitung, die durch die vorliegende Struktur bewirkt wird, einschließlich dieser Wiederverwendung von Videoparametern, können die Videoeingangsmodule 105 und die Videoausgangsmodule 110 Mikroprozessoren wie Digitalsignalprozessoren (DSPs) verwenden, die bedeutend vielseitiger und preisgünstiger sein können als die für MCUs des Standes der Technik erforderliche Hardware. MCUs des Standes der Technik, die eine vollständige, herkömmliche Decodierung und Codierung von Videosignalen durchführen, erfordern typischerweise spezialisierte Videoverarbeitungschips. Diese spezialisierten Videoverarbeitungschips sind teure "Black-Box"-Chips, die für eine schnelle Entwicklung nicht zugänglich sind. Ihre spezialisierte Art bedeutet, daß sie einen begrenzten Markt besitzen, der nicht dieselbe Art Wachstum hinsichtlich der Geschwindigkeit und Leistung erleichtert, wie auf dem Gebiet von Mikroprozessoren und Digitalsignalprozessoren ("DSP") beobachtet wurde. Durch Verringern der Rechenkomplexität der MCU erleichtert diese Erfindung die Verwendung von schnellen, rasch entstehenden DSPs zum Implementieren der MCU-Merkmale.
  • Aus der vorangehenden Beschreibung ist zu erkennen, daß die vorliegende Erfindung ein Verfahren und eine Vorrichtung zum Durchführen von Operationen an einem komprimierten Videostrom beschreibt. Die vorliegende Erfindung wurde in bezug auf spezielle Ausführungsbeispiele beschrieben, die in jeder Hinsicht vielmehr als Erläuterung anstatt als Einschränkung bestimmt sind. Alternative Ausführungsbeispiele werden für Fachleute, an die die vorliegende Erfindung gerichtet ist, ersichtlich werden, ohne von ihrem Gedanken und Schutzbereich abzuweichen. Folglich wird der Schutzbereich der vorliegenden Erfindung durch die beigefügten Ansprüche beschrieben und durch die vorangehende Beschreibung unterstützt.

Claims (35)

  1. Multipoint-Steuereinheit zum Erleichtern der Datenübertragung zwischen einer Vielzahl von Endpunkten, wobei jeder jeweilige Endpunkt ein komprimiertes Videoausgangssignal sendet und ein komprimiertes Videoeingangssignal empfängt, umfassend: eine Vielzahl von Videoeingangsmodulen, wobei jedes Videoeingangsmodul ein jeweiliges Videoausgangssignal von einem jeweiligen Endpunkt empfängt, wobei jedes Videoeingangsmodul folgendes umfasst: einen allgemeinen Decodierer zum Lesen des jeweiligen Videoausgangssignals und zum Erzeugen eines jeweiligen primären Datenstroms mit Videoinformationen und eines jeweiligen sekundären Datenstroms mit Nebeninformationen; und ein Videoausgangsmodul mit: einer Ratensteuereinheit, die zum Lesen von jedem der jeweiligen sekundären Datenströme, zum Vorverarbeiten des jeweiligen sekundären Datenstroms und zum Steuern eines allgemeinen Codierers wirksam ist; und wobei der allgemeine Codierer mit der Ratensteuereinheit in Verbindung steht und zum Empfangen von jedem der jeweiligen primären Datenströme von jedem jeweiligen Videoeingangsmodul und zum Codieren des jeweiligen primären Datenstroms in einen komprimierten Videoausgangsstrom zur Übertragung zu einem Endpunkt wirksam ist.
  2. Multipoint-Steuereinheit zum Erleichtern der Datenübertragung zwischen einer Vielzahl von Endpunkten, wobei jeder der Vielzahl von Endpunkten einen Videobildschirm und eine Videokamera umfasst, wobei jeder der Vielzahl von Endpunkten zum Senden eines komprimierten Videoeingangssignals zu der Multipoint-Steuereinheit und zum Empfangen eines komprimierten Videoausgangssignals von der Multipoint-Steuereinheit wirksam ist, wobei die Multipoint-Steuereinheit umfasst: mindestens ein Videoeingangsmodul zum Empfangen eines komprimierten Videoeingangssignals von mindestens einem Endpunkt der Vielzahl von Endpunkten, wobei das Videoeingangsmodul umfasst: einen allgemeinen Decodierer, der zum Decodieren des komprimierten Videoeingangssignals und zum Erzeugen eines primären Videodatenstroms wirksam ist, wobei der allgemeine Decodierer umfasst: eine Datenverarbeitungseinheit, die zum Verarbeiten des komprimierten Videoeingangssignals und des primären Videodatenstroms wirksam ist, um einen sekundären Datenstrom zu erzeugen, wobei der sekundäre Datenstrom dem primären Videostrom zugeordnet ist; und mindestens ein Videoausgangsmodul, das zum Empfangen von zumindest einem der primären Videodatenströme und des sekundären Datenstroms wirksam ist, wobei das Ausgangsmodul umfasst: eine Ratensteuereinheit; und einen allgemeinen Codierer in Verbindung mit der Ratensteuereinheit, der zum Empfangen des primären Datenstroms von dem mindestens einen Eingangsmodul und zum Codieren des primären Datenstroms in einen komprimierten Videoausgangsstrom zur Übertragung zu mindestens einem Endpunkt der Vielzahl von Endpunkten wirksam ist; ein Mittel zum Übertragen des primären Datenstroms von mindestens einem Eingangsmodul zu mindestens einem Ausgangsmodul; und ein Mittel zum Übertragen des sekundären Datenstroms von mindestens einem Eingangsmodul zu dem mindestens einen Ausgangsmodul; wobei die Verwendung des sekundären Datenstroms von dem Ausgangsmodul die Geschwindigkeit der Codierung und die Qualität des komprimierten Videoausgangssignals verbessert.
  3. Multipoint-Steuereinheit nach Anspruch 2, wobei die Zuordnung zwischen dem sekundären Datenstrom und dem primären Videodatenstrom darin besteht, dass der sekundäre Datenstrom Nebeninformationen enthält.
  4. Multipoint-Steuereinheit nach Anspruch 2, wobei das komprimierte Videoeingangssignal mindestens eine Art Information enthält, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: Vollbildtyp, Auflösung, Bewegungsvektoren, Filterangabe, DCT-Koeffizienten und Quantisiererwerten.
  5. Multipoint-Steuereinheit nach Anspruch 3, wobei die Nebeninformationen mindestens eine Art Information enthalten, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: Vollbildtyp, Auflösung, Bewegungsvektoren, Filterverwendungsangabe, Quantisiereridentifikationen, Codiert/Uncodiert-Entscheidungen, der Menge an Information innerhalb jedes Makroblocks, Bildsegmentierungsangabe, Szenengrenzangabe, Kamerazoomidentifikation, Kameraschwenkidentifikation, Kamerabewegungsidentifikation und statistischen Informationen.
  6. Multipoint-Steuereinheit nach Anspruch 2, wobei die Ratensteuereinheit umfasst: ein Mittel zum Lesen des sekundären Datenstroms; ein Mittel zum Verarbeiten des sekundären Datenstroms; und ein Mittel zum Steuern eines allgemeinen Codierers auf der Basis des verarbeiteten sekundären Datenstroms.
  7. Multipoint-Steuereinheit nach Anspruch 6, wobei die Ratensteuereinheit umfasst: ein Mittel zum Lesen von Rückführungsdaten von einem allgemeinen Codierer; ein Mittel zum Verarbeiten des sekundären Datenstroms mit den Rückführungsdaten; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis des verarbeiteten sekundären Datenstroms und der Rückführung.
  8. Multipoint-Steuereinheit nach Anspruch 2, wobei das Mittel zum Übertragen des primären Datenstroms eine gemeinsame Schnittstelle umfasst, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: einem gemeinsam genutzten Speicher, einem ATM-Bus, einem TDM-Bus, einem Vermittlungs- und einem Direktanschluss.
  9. Multipoint-Steuereinheit nach Anspruch 2, wobei das Mittel zum Übertragen des sekundären Datenstroms eine gemeinsame Schnittstelle umfasst, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: einem gemeinsam genutzten Speicher, einem ATM-Bus, einem TDM-Bus, einem Vermittlungs- und einem Direktanschluss.
  10. Multipoint-Steuereinheit nach Anspruch 2, wobei der primäre Datenstrom Informationen in der DCT-Domäne umfasst.
  11. Multipoint-Steuereinheit nach Anspruch 2, wobei der primäre Datenstrom Informationen in der räumlichen Domäne umfasst.
  12. Multipoint-Steuereinheit nach Anspruch 2, wobei das Videoausgangsmodul zumindest einen der primären Videodatenströme und seinen zugehörigen sekundären Datenstrom und eine Steuerinformation von einer externen Vorrichtung empfängt.
  13. Multipoint-Steuereinheit nach Anspruch 12, wobei die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen des sekundären Datenstroms; ein Mittel zum Lesen der Steuerinformation; ein Mittel zum Verarbeiten des sekundären Datenstroms; ein Mittel zum Verarbeiten der Steuerinformation; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis des verarbeiteten sekundären Datenstroms und der verarbeiteten Steuerinformation.
  14. Multipoint-Steuereinheit nach Anspruch 13, wobei die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen von Rückführungsdaten von einem allgemeinen Codierer; und ein Mittel zum Verarbeiten des sekundären Datenstroms mit der Steuerinformation und der Rückführung; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis der Ergebnisse.
  15. Multipoint-Steuereinheit nach Anspruch 12, wobei die Steuerinformation mindestens eine Art Information enthält, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: Angabe des interessierenden Bereichs, Bildschirmaufbauanforderungen, Teilnehmerqualitätsvorlieben und Spezialeffekten.
  16. Multipoint-Steuereinheit nach Anspruch 12, wobei die Steuerinformation eine bidirektionale Information ist.
  17. Multipoint-Steuereinheit nach Anspruch 2, wobei das Videoausgangsmodul den primären Videodatenstrom und den sekundären Datenstrom empfängt und die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen des sekundären Datenstroms; ein Mittel zum Lesen von Daten über die tatsächliche Menge an verwendeten Bits nach der Codierung mit variabler Länge; ein Mittel zum Verarbeiten des jeweiligen sekundären Datenstroms mit der Information der Codierung mit variabler Länge; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis der verarbeiteten Information, wobei die Verwendung der Information der Codierung mit variabler Länge und des sekundären Datenstroms vom allgemeinen Codierer die Geschwindigkeit der Codierung und die Qualität des komprimierten Videoausgangssignals durch Verbessern der Ausgangsbitzuweisung verbessert.
  18. Multipoint-Steuereinheit nach Anspruch 17, wobei das Videoausgangsmodul den primären Videodatenstrom und den sekundären Datenstrom empfängt und die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen von Rückführungsdaten von einem allgemeinen Codierer; ein Mittel zum Verarbeiten des jeweiligen sekundären Datenstroms mit der Information der Codierung mit variabler Länge und den Rückführungsdaten; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis der verarbeiteten Information.
  19. Multipoint-Steuereinheit zum Erleichtern der Datenübertragung zwischen einer Vielzahl von Endpunkten, wobei jeder Endpunkt einen Videobildschirm und eine Videokamera umfasst, wobei jeder Endpunkt zum Senden eines komprimierten Videoeingangssignals zu der Multipoint-Steuereinheit und zum Empfangen eines komprimierten Videoausgangssignals von der Multipoint-Steuereinheit wirksam ist, wobei die Multipoint-Steuereinheit umfasst: mindestens einen aufwändigen Videokanal, wobei jeder aufwändige Videokanal mindestens ein komprimiertes Videoeingangssignal von mindestens einem Endpunkt empfängt und ein komprimiertes Videoausgangssignal zu mindestens einem Endpunkt der Vielzahl von Endpunkten sendet, wobei jeder aufwändige Videokanal umfasst: mindestens ein Videoeingangsmodul, wobei jedes Videoeingangsmodul ein komprimiertes Videoeingangssignal von einem Endpunkt der Vielzahl von Endpunkten empfängt, wobei jedes Videoeingangsmodul umfasst: einen allgemeinen Decodierer zum Decodieren des komprimierten Videoeingangssignals von dem Endpunkt zum Erzeugen eines primären Videodatenstroms und zum Erzeugen eines jeweiligen sekundären Datenstroms mit Nebeninformationen; ein Videoausgangsmodul, wobei das Ausgangsmodul mindestens einen der primären Videodatenströme empfängt, wobei das Ausgangsmodul umfasst: eine Ratensteuereinheit, die zum Lesen von jedem der jeweiligen sekundären Datenströme, zum Vorverarbeiten des jeweiligen sekundären Datenstroms und zum Steuern eines allgemeinen Codierers wirksam ist; und einen allgemeinen Codierer, der mit der Ratensteuereinheit verbunden ist und der zum Empfangen von jedem primären Datenstrom von mindestens einem der Eingangsmodule und zum Codieren der primären Datenströme in einen komprimierten Videoausgangsstrom zur Übertragung zu mindestens einem Endpunkt der Vielzahl von Endpunkten wirksam ist; und ein Mittel zum Übertragen des primären Datenstroms von mindestens einem Eingangsmodul zu dem Ausgangsmodul; und wobei die Verwendung des aufwändigen Kanals die gemeinsame Nutzung von Videoströmen einer Konferenz in der komprimierten Domäne an einem Rückwandplatinenbus (Backplane bus) ermöglicht, wobei dies die Anzahl von Teilnehmern an einer Konferenz erhöht und die Zerstückelung im Vergleich zu einem Fall, wo die gemeinsame Videonutzung in der räumlichen Domäne an einem offenen Videobus durchgeführt wird, beseitigt.
  20. Multipoint-Steuereinheit zum Erleichtern der Datenübertragung zwischen einer Vielzahl von Endpunkten, wobei jeder Endpunkt einen Videobildschirm und eine Videokamera umfasst, wobei jeder Endpunkt zum Senden eines komprimierten Videoeingangssignals zu der Multipoint-Steuereinheit und zum Empfangen eines komprimierten Videoausgangssignals von der Multipoint-Steuereinheit wirksam ist, wobei die Multipoint-Steuereinheit umfasst: mindestens einen aufwändigen Videokanal, wobei jeder aufwändige Videokanal mindestens ein komprimiertes Videoeingangssignal von mindestens einem Endpunkt empfängt und ein komprimiertes Videoausgangssignal zu mindestens einem Endpunkt der Vielzahl von Endpunkten sendet, wobei jeder aufwändige Videokanal umfasst: mindestens ein Videoeingangsmodul, wobei jedes Videoeingangsmodul ein komprimiertes Videoeingangssignal von einem Endpunkt der Vielzahl von Endpunkten empfängt, wobei jedes Videoeingangsmodul umfasst: einen allgemeinen Decodierer zum Decodieren des komprimierten Videoeingangssignals von dem Endpunkt zum Erzeugen eines primären Videodatenstroms, wobei der allgemeine Decodierer umfasst: eine Datenverarbeitungseinheit zum Verarbeiten des komprimierten Videoeingangssignals und des primären Videodatenstroms zum Erzeugen eines sekundären Datenstroms, der zum primären Videodatenstrom gehört und Nebeninformationen enthält; und ein Videoausgangsmodul, wobei das Videoausgangsmodul zumindest einen der primären Videodatenströme und der sekundären Datenströme empfängt, wobei das Ausgangsmodul umfasst: eine Ratensteuereinheit; und einen allgemeinen Codierer in Verbindung mit der Ratensteuereinheit, der zum Empfangen von jedem primären Datenstrom von mindestens einem der Eingangsmodule und zum Codieren der primären Datenströme in einen komprimierten Videoausgangsstrom zur Übertragung zu mindestens einem Endpunkt der Vielzahl von Endpunkten wirksam ist; und ein Mittel zum Übertragen des primären Datenstroms von mindestens einem Eingangsmodul zu dem Ausgangsmodul; und ein Mittel zum Übertragen des sekundären Datenstroms von mindestens einem Eingangsmodul zum Ausgangsmodul, wobei die Verwendung des aufwändigen Kanals die gemeinsame Nutzung von Videoströmen einer Konferenz in der komprimierten Domäne an einem Rückwandplatinenbus (Backplane bus) ermöglicht, wobei dies die Anzahl von Teilnehmern an einer Konferenz erhöht und die Zerstückelung im Vergleich zu einem Fall, wo die gemeinsame Videonutzung in der räumlichen Domäne an einem offenen Videobus durchgeführt wird, beseitigt.
  21. Multipoint-Steuereinheit nach Anspruch 20, wobei die Zuordnung zwischen dem sekundären Datenstrom und dem primären Videodatenstrom darin besteht, dass der sekundäre Datenstrom Nebeninformationen enthält.
  22. Multipoint-Steuereinheit nach Anspruch 20, wobei das komprimierte Videoeingangssignal mindestens eine Art Information enthält, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: Vollbildtyp, Auflösung, Bewegungsvektoren, Filterangabe, DCT-Koeffizienten und Quantisiererwerten.
  23. Multipoint-Steuereinheit nach Anspruch 21, wobei die Nebeninformationen mindestens eine Art Information enthalten, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: Vollbildtyp, Auflösung, Bewegungsvektoren, Filterverwendungsangabe, Quantisiereridentifikationen, Codiert/Uncodiert-Entscheidungen, der Menge an Information innerhalb jedes Makroblocks, Bildsegmentierungsangabe, Szenengrenzangabe, Kamerazoomidentifikation, Kameraschwenkidentifikation, Kamerabewegungsidentifikation und statistischen Informationen.
  24. Multipoint-Steuereinheit nach Anspruch 20, wobei die Ratensteuereinheit umfasst: ein Mittel zum Lesen von jedem der jeweiligen sekundären Datenströme; ein Mittel zum Verarbeiten der jeweiligen sekundären Datenströme; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis des verarbeiteten sekundären Datenstroms.
  25. Multipoint-Steuereinheit nach Anspruch 20, wobei das Mittel zum Übertragen des primären Datenstroms eine gemeinsame Schnittstelle umfasst, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: einem gemeinsam genutzten Speicher, einem ATM-Bus, einem TDM-Bus, einem Vermittlungs- und einem Direktanschluss.
  26. Multipoint-Steuereinheit nach Anspruch 20, wobei das Mittel zum Übertragen des sekundären Datenstroms eine gemeinsame Schnittstelle umfasst, die aus einer Gruppe ausgewählt ist, die aus folgendem besteht: einem gemeinsam genutzten Speicher, einem ATM-Bus, einem TDM-Bus, einem Vermittlungs- und einem Direktanschluss.
  27. Multipoint-Steuereinheit nach Anspruch 20, wobei der primäre Datenstrom Informationen in einer DCT-Domäne umfasst.
  28. Multipoint-Steuereinheit nach Anspruch 20, wobei der primäre Datenstrom Informationen in der räumlichen Domäne umfasst.
  29. Multipoint-Steuereinheit nach Anspruch 20, wobei das Videoausgangsmodul den zumindest einen primären Videodatenstrom und den sekundären Datenstrom und eine Steuerinformation von einer externen Vorrichtung empfängt.
  30. Multipoint-Steuereinheit nach Anspruch 29, wobei die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen des jeweiligen sekundären Datenstroms; ein Mittel zum Lesen der Steuerinformation; ein Mittel zum Verarbeiten des jeweiligen sekundären Datenstroms; ein Mittel zum Verarbeiten der Steuerinformation; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis der verarbeiteten Information.
  31. Multipoint-Steuereinheit nach Anspruch 29, wobei die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen von Rückführungsdaten von einem allgemeinen Codierer; ein Mittel zum Verarbeiten des sekundären Datenstroms mit der Steuerinformation und der Rückführung; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis der Ergebnisse.
  32. Multipoint-Steuereinheit nach Anspruch 29, wobei die Steuerinformation mindestens eine Art Information enthält, die aus der Gruppe ausgewählt ist, die aus folgendem besteht: Angabe des interessierenden Bereichs, Bildschirmaufbauanforderungen, Teilnehmerqualitätsvorlieben und Spezialeffekten.
  33. Multipoint-Steuereinheit nach Anspruch 29, wobei die Steuerinformation eine bidirektionale Information ist.
  34. Multipoint-Steuereinheit nach Anspruch 20, wobei das Videoausgangsmodul den primären Videodatenstrom und den sekundären Datenstrom empfängt und die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen des jeweiligen sekundären Datenstroms; ein Mittel zum Lesen von Daten über die tatsächliche Menge an verwendeten Bits nach der Codierung mit variabler Länge; ein Mittel zum Verarbeiten des jeweiligen sekundären Datenstroms mit der Information der Codierung mit variabler Länge; und ein Mittel zum Steuern eines allgemeinen Codierers auf der Basis der verarbeiteten Information, wobei die Verarbeitung der Information der Codierung mit variabler Länge und des sekundären Datenstroms vom allgemeinen Codierer die Geschwindigkeit der Codierung und die Qualität des komprimierten Videoausgangssignals durch Verbessern der Ausgangsbitzuweisung verbessert.
  35. Multipoint-Steuereinheit nach Anspruch 34, wobei das Videoausgangsmodul den primären Videodatenstrom und den sekundären Datenstrom empfängt und die Ratensteuereinheit des Videoausgangsmoduls umfasst: ein Mittel zum Lesen von Rückführungsdaten von einem allgemeinen Codierer; ein Mittel zum Verarbeiten des jeweiligen sekundären Datenstroms mit der Information der Codierung mit variabler Länge und den Rückführungsdaten; und ein Mittel zum Steuern des allgemeinen Codierers auf der Basis der verarbeiteten Information.
DE10190285T 2000-01-13 2001-01-09 Verfahren und System zur Verarbeitung von komprimierten Videosignalen Expired - Fee Related DE10190285B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/506,861 2000-01-13
US09/506,861 US6300973B1 (en) 2000-01-13 2000-01-13 Method and system for multimedia communication control
PCT/IL2001/000018 WO2001052538A1 (en) 2000-01-13 2001-01-09 Method and system for compressed video processing

Publications (2)

Publication Number Publication Date
DE10190285T1 DE10190285T1 (de) 2002-05-02
DE10190285B4 true DE10190285B4 (de) 2007-04-12

Family

ID=24016271

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10190285T Expired - Fee Related DE10190285B4 (de) 2000-01-13 2001-01-09 Verfahren und System zur Verarbeitung von komprimierten Videosignalen

Country Status (5)

Country Link
US (3) US6300973B1 (de)
AU (1) AU2393001A (de)
DE (1) DE10190285B4 (de)
GB (1) GB2363687B (de)
WO (1) WO2001052538A1 (de)

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697427B1 (en) * 1998-11-03 2004-02-24 Pts Corporation Methods and apparatus for improved motion estimation for video encoding
CN1204751C (zh) * 1999-04-13 2005-06-01 松下电器产业株式会社 编码数据变换方法、再编码方法、再编码系统以及数据记录媒体
US6525801B1 (en) * 1999-11-12 2003-02-25 Matsushita Electric Industrial Co., Ltd. Method and apparatus for controlling moving picture synthesis
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
CN100385944C (zh) * 2000-07-10 2008-04-30 株式会社日立制作所 多媒体接收终端以及多媒体发送终端
EP1310060B1 (de) * 2000-08-15 2012-08-01 Polycom Israel Ltd. Eine multimedia-kommunikationssteuereinheit als sicheres gerät zur multimedia-kommunikation zwischen lan-benutzer und anderen netzbenutzern
JP4524908B2 (ja) * 2000-11-08 2010-08-18 日本電気株式会社 動画像編集方法、動画像編集装置及び動画像編集プログラムを記憶した記憶媒体
US20020118746A1 (en) * 2001-01-03 2002-08-29 Kim Hyun Mun Method of performing video encoding rate control using motion estimation
US7602847B1 (en) * 2001-03-27 2009-10-13 Vixs Systems, Inc. Device and method for compression of a video stream
US8107524B2 (en) * 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US20070053428A1 (en) * 2001-03-30 2007-03-08 Vixs Systems, Inc. Managed degradation of a video stream
US20040022202A1 (en) * 2002-08-05 2004-02-05 Chih-Lung Yang Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
US6959348B1 (en) * 2001-07-30 2005-10-25 Vixs Systems, Inc. Method and system for accessing data
US7675972B1 (en) 2001-07-30 2010-03-09 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7139330B1 (en) 2001-10-31 2006-11-21 Vixs Systems, Inc. System for signal mixing and method thereof
US7596127B1 (en) 2001-10-31 2009-09-29 Vixs Systems, Inc. System for allocating data in a communications system and method thereof
US7106715B1 (en) 2001-11-16 2006-09-12 Vixs Systems, Inc. System for providing data to multiple devices and method thereof
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
US7165180B1 (en) 2001-11-27 2007-01-16 Vixs Systems, Inc. Monolithic semiconductor device for preventing external access to an encryption key
WO2003063484A1 (en) 2002-01-16 2003-07-31 Polycom, Inc. Method and system for controlling multimedia video communication
US7310679B1 (en) 2002-04-29 2007-12-18 Vixs Systems Inc. Method and system for transmitting video content while preventing other transmissions in a contention-based network
US7120253B2 (en) * 2002-05-02 2006-10-10 Vixs Systems, Inc. Method and system for protecting video data
KR20040007818A (ko) * 2002-07-11 2004-01-28 삼성전자주식회사 동영상 부호화를 위한 ｄｃｔ연산량 조절 방법 및 그 장치
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
EP1584157B1 (de) 2003-01-16 2006-11-02 Sony United Kingdom Limited Video-/audionetzwerk
US7408989B2 (en) * 2003-01-16 2008-08-05 Vix5 Systems Inc Method of video encoding using windows and system thereof
US20040141555A1 (en) * 2003-01-16 2004-07-22 Rault Patrick M. Method of motion vector prediction and system thereof
WO2004064277A2 (en) * 2003-01-16 2004-07-29 Sony United Kingdom Limited Video network
US20040154041A1 (en) * 2003-01-24 2004-08-05 Zhang Gary Xiao-Liang Optimized data streaming and uses thereof
US7133452B1 (en) 2003-02-24 2006-11-07 Vixs Systems, Inc. Method and system for transcoding video data
US7327784B2 (en) * 2003-02-24 2008-02-05 Vixs Systems, Inc. Method and system for transcoding video data
US7606305B1 (en) 2003-02-24 2009-10-20 Vixs Systems, Inc. Method and system for transcoding video data
US7130350B1 (en) 2003-02-28 2006-10-31 Vixs Systems, Inc. Method and system for encoding and decoding data in a video stream
KR100935401B1 (ko) * 2003-03-06 2010-01-06 엘지디스플레이 주식회사 자외선을 이용하는 기판세정장치 및 이의 구동방법
US8230094B1 (en) * 2003-04-29 2012-07-24 Aol Inc. Media file format, system, and method
GB2402568B (en) * 2003-04-30 2006-09-06 Braddahead Ltd Video capture system
US7454460B2 (en) * 2003-05-16 2008-11-18 Seiko Epson Corporation Method and system for delivering produced content to passive participants of a videoconference
US7739105B2 (en) * 2003-06-13 2010-06-15 Vixs Systems, Inc. System and method for processing audio frames
US20040252761A1 (en) * 2003-06-16 2004-12-16 Dilithium Networks Pty Limited (An Australian Corporation) Method and apparatus for handling video communication errors
US7034860B2 (en) * 2003-06-20 2006-04-25 Tandberg Telecom As Method and apparatus for video conferencing having dynamic picture layout
US20050013309A1 (en) * 2003-07-14 2005-01-20 Channasandra Ravishankar System and method for high quality video conferencing with heterogeneous end-points and networks
KR100548383B1 (ko) * 2003-07-18 2006-02-02 엘지전자 주식회사 이동통신 시스템의 디지털 비디오 신호처리 장치 및 방법
US7087437B2 (en) * 2003-09-16 2006-08-08 Vici Gig Harbor Group, Inc. Direct vial surface sorbent micro extraction device and method
US20060110295A1 (en) * 2003-09-16 2006-05-25 Vici Gig Harbor Group, Inc. Closed well plate surface sorption extraction
US20060115383A1 (en) * 2003-09-16 2006-06-01 Vici Gig Harbor Group, Inc. Flow through well plate surface sorption extarction
US20060115384A1 (en) * 2003-09-16 2006-06-01 Vici Gig Harbor Group, Inc. Pipette tip surface sorption extraction
US7277101B2 (en) 2003-09-29 2007-10-02 Vixs Systems Inc Method and system for scaling images
US7668396B2 (en) * 2003-09-29 2010-02-23 Vixs Systems, Inc. Method and system for noise reduction in an image
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
US8081205B2 (en) * 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
CA2537944C (en) * 2003-10-08 2010-11-30 Cisco Technology, Inc. System and method for performing distributed video conferencing
US7634575B2 (en) * 2003-10-09 2009-12-15 Hewlett-Packard Development Company, L.P. Method and system for clustering data streams for a virtual environment
US7139015B2 (en) * 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video
US7406598B2 (en) 2004-02-17 2008-07-29 Vixs Systems Inc. Method and system for secure content distribution
US20050232497A1 (en) * 2004-04-15 2005-10-20 Microsoft Corporation High-fidelity transcoding
US7113200B2 (en) * 2004-05-21 2006-09-26 Polycom, Inc. Method and system for preparing video communication image for wide screen display
US8127242B1 (en) * 2010-08-12 2012-02-28 The United States Of America As Represented By The Secretary Of The Army Graphic user interface and software for processing large size signal data samples in a small buffer using automatically adjusted decimation ratio
CN100581245C (zh) * 2004-07-08 2010-01-13 高通股份有限公司 用于视频编码的有效速率控制技术
US7606427B2 (en) * 2004-07-08 2009-10-20 Qualcomm Incorporated Efficient rate control techniques for video encoding
US8170191B2 (en) * 2004-08-02 2012-05-01 Polycom, Inc. Method and system for handling audio signals of conference
US7929011B2 (en) * 2004-08-02 2011-04-19 Polycom, Inc. Method and system for handling video signals of conference
EP1631089A1 (de) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Videokodierungs- und Videodekodierungsvorrichtung
US7312809B2 (en) * 2004-10-12 2007-12-25 Codian Ltd. Method and apparatus for controlling a conference call
US7692683B2 (en) * 2004-10-15 2010-04-06 Lifesize Communications, Inc. Video conferencing system transcoder
US8149739B2 (en) * 2004-10-15 2012-04-03 Lifesize Communications, Inc. Background call validation
US20060106929A1 (en) * 2004-10-15 2006-05-18 Kenoyer Michael L Network conference communications
US7545435B2 (en) * 2004-10-15 2009-06-09 Lifesize Communications, Inc. Automatic backlight compensation and exposure control
US7477281B2 (en) * 2004-11-09 2009-01-13 Nokia Corporation Transmission control in multiparty conference
US7532231B2 (en) * 2004-12-17 2009-05-12 Codian Limited Video conference recorder
GB2422065B (en) * 2005-01-05 2008-12-17 Codian Ltd Video multi-conference unit (MCU)
US7421048B2 (en) * 2005-01-20 2008-09-02 Vixs Systems, Inc. System and method for multimedia delivery in a wireless environment
US20060168637A1 (en) * 2005-01-25 2006-07-27 Collaboration Properties, Inc. Multiple-channel codec and transcoder environment for gateway, MCU, broadcast and video storage applications
US7679638B2 (en) * 2005-01-27 2010-03-16 Polycom, Inc. Method and system for allowing video-conference to choose between various associated video conferences
US7679640B2 (en) * 2005-01-27 2010-03-16 Polycom, Inc. Method and system for conducting a sub-videoconference from a main videoconference
US7609766B2 (en) * 2005-02-08 2009-10-27 Vixs Systems, Inc. System of intra-picture complexity preprocessing
US8949920B2 (en) * 2005-03-17 2015-02-03 Vixs Systems Inc. System and method for storage device emulation in a multimedia processing system
US7400869B2 (en) * 2005-03-22 2008-07-15 Vixs Systems Inc. System and method for adaptive DC offset compensation in wireless transmissions
US8009740B2 (en) * 2005-04-08 2011-08-30 Broadcom Corporation Method and system for a parametrized multi-standard deblocking filter for video compression systems
US7653250B2 (en) * 2005-04-28 2010-01-26 Apple Inc. Adjusting sampling rate for encoding
US8861701B2 (en) * 2005-04-28 2014-10-14 Apple Inc. Multi-participant conference adjustments
US7949117B2 (en) 2005-04-28 2011-05-24 Apple Inc. Heterogeneous video conferencing
US7864209B2 (en) * 2005-04-28 2011-01-04 Apple Inc. Audio processing in a multi-participant conference
US7692682B2 (en) * 2005-04-28 2010-04-06 Apple Inc. Video encoding in a video conference
US7899170B2 (en) 2005-04-28 2011-03-01 Apple Inc. Multi-participant conference setup
US7817180B2 (en) * 2005-04-28 2010-10-19 Apple Inc. Video processing in a multi-participant video conference
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
US7612793B2 (en) * 2005-09-07 2009-11-03 Polycom, Inc. Spatially correlated audio in multipoint videoconferencing
US7707485B2 (en) 2005-09-28 2010-04-27 Vixs Systems, Inc. System and method for dynamic transrating based on content
US20070112826A1 (en) * 2005-11-10 2007-05-17 Vixs Systems, Inc. Multimedia transcoding based on remaining storage capacity
US20070133413A1 (en) * 2005-12-09 2007-06-14 Andrew Pepperell Flow control in a video conference
US8713105B2 (en) * 2006-01-03 2014-04-29 Cisco Technology, Inc. Method and apparatus for transcoding and transrating in distributed video systems
US8131995B2 (en) * 2006-01-24 2012-03-06 Vixs Systems, Inc. Processing feature revocation and reinvocation
US7800642B2 (en) 2006-03-01 2010-09-21 Polycom, Inc. Method and system for providing continuous presence video in a cascading conference
US7581038B1 (en) 2006-03-16 2009-08-25 Polycom, Inc. Multicast distribution over one or more addressable buses wherein a switch includes a remapping table for inputting address for one or more destinations
EP1840875A1 (de) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Signalkodierung und -dekodierung mittels Vor- und Nachverarbeitung
US7558823B2 (en) * 2006-05-31 2009-07-07 Hewlett-Packard Development Company, L.P. System and method for managing virtual collaboration systems
US9065667B2 (en) * 2006-09-05 2015-06-23 Codian Limited Viewing data as part of a video conference
US20080068448A1 (en) * 2006-09-18 2008-03-20 Hansen Robert A Method for adapting a device to participate in video conference calls
WO2008062164A2 (en) * 2006-11-20 2008-05-29 Codian Limited Hardware architecure for video conferencing
US8035679B2 (en) 2006-12-12 2011-10-11 Polycom, Inc. Method for creating a videoconferencing displayed image
US8248455B2 (en) 2006-12-12 2012-08-21 Polycom, Inc. Method for creating a videoconferencing displayed image
US7911955B2 (en) * 2007-01-31 2011-03-22 Hewlett-Packard Development Company, L.P. Coordinated media control system
US8103363B2 (en) * 2007-01-31 2012-01-24 Hewlett-Packard Development Company, L.P. Device control system
US8334891B2 (en) * 2007-03-05 2012-12-18 Cisco Technology, Inc. Multipoint conference video switching
US8358345B1 (en) * 2007-03-19 2013-01-22 Monitoring Technology Corporation System and method of video capture for sports applications
US8837575B2 (en) 2007-03-29 2014-09-16 Cisco Technology, Inc. Video processing architecture
US8369411B2 (en) 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8416857B2 (en) 2007-03-29 2013-04-09 James Au Parallel or pipelined macroblock processing
US7953284B2 (en) 2007-03-29 2011-05-31 James Au Selective information handling for video processing
US8422552B2 (en) 2007-03-29 2013-04-16 James Au Entropy coding for video processing applications
DE102007017003B4 (de) * 2007-04-11 2012-03-01 Inova Semiconductors Gmbh Verfahren und Vorrichtung zum Übertragen von unabhängigen Datenströmen über eine serielle Übertragungsstrecke unter Verwendung von Zeitmultiplex
US8264521B2 (en) 2007-04-30 2012-09-11 Cisco Technology, Inc. Media detection and packet distribution in a multipoint conference
US8233527B2 (en) * 2007-05-11 2012-07-31 Advanced Micro Devices, Inc. Software video transcoder with GPU acceleration
US8861591B2 (en) * 2007-05-11 2014-10-14 Advanced Micro Devices, Inc. Software video encoder with GPU acceleration
US8446454B2 (en) * 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US8289371B2 (en) * 2007-05-21 2012-10-16 Polycom, Inc. Smart cropping of video images in a videoconferencing session
US8542266B2 (en) 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
AU2008202703B2 (en) * 2007-06-20 2012-03-08 Mcomms Design Pty Ltd Apparatus and method for providing multimedia content
US8237765B2 (en) * 2007-06-22 2012-08-07 Lifesize Communications, Inc. Video conferencing device which performs multi-way conferencing
US8139100B2 (en) * 2007-07-13 2012-03-20 Lifesize Communications, Inc. Virtual multiway scaler compensation
US8400491B1 (en) * 2007-08-01 2013-03-19 Sprint Communications Company L.P. Use-based adaptive video client for a bandwidth-constrained network
US9661267B2 (en) * 2007-09-20 2017-05-23 Lifesize, Inc. Videoconferencing system discovery
US8457958B2 (en) * 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
US8179422B2 (en) * 2007-12-20 2012-05-15 Cisco Technology, Inc. System and method for video conferencing
US8514265B2 (en) * 2008-10-02 2013-08-20 Lifesize Communications, Inc. Systems and methods for selecting videoconferencing endpoints for display in a composite video image
US20100110160A1 (en) * 2008-10-30 2010-05-06 Brandt Matthew K Videoconferencing Community with Live Images
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8228363B2 (en) 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences
US8643695B2 (en) * 2009-03-04 2014-02-04 Lifesize Communications, Inc. Videoconferencing endpoint extension
US8456510B2 (en) * 2009-03-04 2013-06-04 Lifesize Communications, Inc. Virtual distributed multipoint control unit
US8270473B2 (en) 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US8184142B2 (en) * 2009-06-26 2012-05-22 Polycom, Inc. Method and system for composing video images from a plurality of endpoints
US8305421B2 (en) * 2009-06-29 2012-11-06 Lifesize Communications, Inc. Automatic determination of a configuration for a conference
US8350891B2 (en) * 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
US8447023B2 (en) * 2010-02-01 2013-05-21 Polycom, Inc. Automatic audio priority designation during conference
JP4924727B2 (ja) * 2010-02-16 2012-04-25 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
US9516272B2 (en) 2010-03-31 2016-12-06 Polycom, Inc. Adapting a continuous presence layout to a discussion situation
US8433813B2 (en) 2010-04-07 2013-04-30 Apple Inc. Audio processing optimization in a multi-participant conference
WO2011138900A1 (ja) 2010-05-06 2011-11-10 日本電信電話株式会社 映像符号化制御方法および装置
EP2568705B1 (de) * 2010-05-07 2018-09-26 Nippon Telegraph And Telephone Corporation Verfahren zur steuerung der kodierung bewegter bilder, vorrichtung zur kodierung bewegter bilder und programm zur kodierung bewegter bilder
CN102870415B (zh) 2010-05-12 2015-08-26 日本电信电话株式会社 活动图像编码控制方法、活动图像编码装置以及活动图像编码程序
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US8711736B2 (en) 2010-09-16 2014-04-29 Apple Inc. Audio processing in a multi-participant conference
US8532100B2 (en) 2010-10-19 2013-09-10 Cisco Technology, Inc. System and method for data exchange in a heterogeneous multiprocessor system
US8773993B2 (en) 2011-01-31 2014-07-08 Apple Inc. Adaptive bandwidth estimation
TWI492148B (zh) * 2011-07-08 2015-07-11 Tpv Display Technology Xiamen Wireless Playback System and Its Method
JP2013042492A (ja) 2011-08-11 2013-02-28 Polycom Inc 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US9001178B1 (en) * 2012-01-27 2015-04-07 Google Inc. Multimedia conference broadcast system
US9386276B2 (en) 2012-03-23 2016-07-05 Polycom, Inc. Method and system for determining reference points in video image frames
US9426498B2 (en) 2012-07-10 2016-08-23 Broadcom Corporation Real-time encoding system of multiple spatially scaled video based on shared video coding information
US11284133B2 (en) 2012-07-10 2022-03-22 Avago Technologies International Sales Pte. Limited Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information
US20140028788A1 (en) 2012-07-30 2014-01-30 Polycom, Inc. Method and system for conducting video conferences of diverse participating devices
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US9106793B2 (en) 2013-01-03 2015-08-11 Cisco Technology, Inc. Method and apparatus for motion based participant switching in multipoint video conferences
US9118806B2 (en) * 2013-02-06 2015-08-25 Cisco Technology, Inc. Device and method for multistream bandwidth control in videoconferencing
US9369671B2 (en) * 2013-02-11 2016-06-14 Polycom, Inc. Method and system for handling content in videoconferencing
US10091461B2 (en) 2013-10-15 2018-10-02 Polycom, Inc. System and method for real-time adaptation of a conferencing system to current conditions of a conference session
US10671947B2 (en) * 2014-03-07 2020-06-02 Netflix, Inc. Distributing tasks to workers in a crowd-sourcing workforce
TWI695650B (zh) * 2015-09-11 2020-06-01 比利時商巴而可公司 用於連接電子裝置的方法和系統
US10805643B2 (en) * 2016-03-30 2020-10-13 Advanced Micro Devices, Inc. Adaptive error-controlled dynamic voltage and frequency scaling for low power video codecs
JP7056564B2 (ja) * 2016-08-23 2022-04-19 日本電気株式会社 映像処理装置、映像処理方法及びプログラム
CN111225230B (zh) * 2020-02-20 2022-10-04 腾讯科技（深圳）有限公司 一种网络直播数据的管理方法以及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594725A (en) * 1995-12-28 1997-01-14 Vtel Corporation Process and system for video rate control in a multipoint video conference
WO1998019460A1 (en) * 1996-10-25 1998-05-07 Telefonaktiebolaget Lm Ericsson A transcoder
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
WO1999043162A1 (en) * 1998-02-20 1999-08-26 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136581A (en) * 1990-07-02 1992-08-04 At&T Bell Laboratories Arrangement for reserving and allocating a plurality of competing demands for an ordered bus communication network
US5216503A (en) 1991-12-24 1993-06-01 General Instrument Corporation Statistical multiplexer for a multichannel image compression system
JPH0654322A (ja) * 1992-07-28 1994-02-25 Fujitsu Ltd 多地点制御装置を用いたｔｖ会議の画像データ適応制御方式
US5408274A (en) 1993-03-11 1995-04-18 The Regents Of The University Of California Method and apparatus for compositing compressed video data
US5453780A (en) 1994-04-28 1995-09-26 Bell Communications Research, Inc. Continous presence video signal combiner
US5585850A (en) * 1994-10-31 1996-12-17 Schwaller; John Adaptive distribution system for transmitting wideband video data over narrowband multichannel wireless communication system
US5629736A (en) 1994-11-01 1997-05-13 Lucent Technologies Inc. Coded domain picture composition for multimedia communications systems
US5751338A (en) 1994-12-30 1998-05-12 Visionary Corporate Technologies Methods and systems for multimedia communications via public telephone networks
US5600646A (en) 1995-01-27 1997-02-04 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5657246A (en) 1995-03-07 1997-08-12 Vtel Corporation Method and apparatus for a video conference user interface
US5563882A (en) 1995-07-27 1996-10-08 At&T Process for converting a point-to-point multimedia call to a bridged multimedia call
US5680392A (en) 1996-01-16 1997-10-21 General Datacomm, Inc. Multimedia multipoint telecommunications reservation systems
US5708732A (en) 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US5832135A (en) 1996-03-06 1998-11-03 Hewlett-Packard Company Fast method and apparatus for filtering compressed images in the DCT domain
US5862329A (en) 1996-04-18 1999-01-19 International Business Machines Corporation Method system and article of manufacture for multi-casting audio visual material
US5796434A (en) 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency
US5963547A (en) 1996-09-18 1999-10-05 Videoserver, Inc. Method and apparatus for centralized multipoint conferencing in a packet network
US5995490A (en) * 1996-12-13 1999-11-30 Siemens Information And Communication Networks, Inc. Method and system for integrating video and data transfers in a multimedia session
US5886734A (en) * 1997-01-28 1999-03-23 Videoserver, Inc. Apparatus and method for storage and playback of video images and audio messages in multipoint videoconferencing
US5951637A (en) 1997-05-07 1999-09-14 Intel Corporation Bandwidth reservation system
US5961589A (en) 1997-09-09 1999-10-05 Intel Corporation Emulation of analog modem signaling over IDSN for translation-less interoperability with PSTN based H.324 system
US6154778A (en) * 1998-05-19 2000-11-28 Hewlett-Packard Company Utility-based multi-category quality-of-service negotiation in distributed systems
US6219412B1 (en) * 1999-05-05 2001-04-17 Spiderphone.Com, Inc. Choice of guaranteed vs. bumpable conference call reservations
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
CA2303000A1 (en) * 2000-03-23 2001-09-23 William M. Snelgrove Establishing and managing communications over telecommunication networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594725A (en) * 1995-12-28 1997-01-14 Vtel Corporation Process and system for video rate control in a multipoint video conference
WO1998019460A1 (en) * 1996-10-25 1998-05-07 Telefonaktiebolaget Lm Ericsson A transcoder
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
WO1999043162A1 (en) * 1998-02-20 1999-08-26 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences

Also Published As

Publication number Publication date
US20020015092A1 (en) 2002-02-07
US6757005B1 (en) 2004-06-29
DE10190285T1 (de) 2002-05-02
GB2363687A (en) 2002-01-02
GB0122247D0 (en) 2001-11-07
US6496216B2 (en) 2002-12-17
US6300973B1 (en) 2001-10-09
AU2393001A (en) 2001-07-24
WO2001052538A1 (en) 2001-07-19
GB2363687B (en) 2004-08-25

Similar Documents

Publication Publication Date Title
DE10190285B4 (de) Verfahren und System zur Verarbeitung von komprimierten Videosignalen
DE60015566T2 (de) Verfahren und vorrichtung zur komprimierung eines bewegungsvektorfeldes
EP2198610B1 (de) Verfahren und vorrichtung zum erstellen eines kodierten ausgangsvideostroms aus mindestens zwei kodierten eingangsvideoströmen, sowie verwendung der vorrichtung
DE60027955T2 (de) Verfahren und Vorrichtung zur kontextbasierten Inter/Intra Kodierungsmodeauswahl
DE60023576T2 (de) Verfahren und Vorrichtung zur Bewegtbilddatentranscodierung
DE69834902T2 (de) Bewegungskompensierte prädiktive bildkodierung und -dekodierung
DE69635369T2 (de) Videokodierungsvorrichtung
DE69916027T2 (de) Videokompressionssystem welches auch codierungsentscheidungsdaten komprimiert
DE19739266B4 (de) Verfahren und Vorrichtung zum Kodieren binärer Formen
EP1025708B1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
DE69816971T2 (de) Videokodierer mit skalierungsabhängiger vlc (variable length code) kodierung
DE10296787B4 (de) Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks
DE69828144T2 (de) Verfahren und vorrichtung zur videocodierung und -decodierung
DE69928494T2 (de) Videosignalkompression
DE69737711T2 (de) Verfahren und Vorrichtung zur Kodierung einer Objektkontur unter Verwendung ihrer Zeitkorrelation
DE10022520A1 (de) Verfahren zur örtlichen skalierbaren Bewegtbildcodierung
DE69824983T2 (de) Verfahren und Gerät zur Codierung durch Luminanzschätzung
EP1296520B1 (de) Vorrichtung und Verfahren für Multimedia- Videoverarbeitung
DE19951341A1 (de) Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildern sowie Einrichtung hierzu
DE10219640A1 (de) Verfahren zum Codieren und Decodieren von Videosequenzen und Computerprogrammprodukt
EP0346636A2 (de) Verfahren zur Aufbereitung und Übertragung einer Bildsequenz
DE69624310T2 (de) Hierarchischer Videokodierer und -dekodierer
EP0665691A2 (de) Verfahren zur Minimierung der zeitlichen Verzögerung bei der Übertragung bewegter Bilder mit niedrigen Datenraten
DE102004011421B4 (de) Vorrichtung und Verfahren zum Erzeugen eines skalierten Datenstroms
DE102004011422B4 (de) Vorrichtung und Verfahren zum Verarbeiten einer Gruppe von Bildern und Vorrichtung und Verfahren zum Verarbeiten eines Basisbildes und eines oder mehrerer Erweiterungsbilder

Legal Events

Date Code Title Description
8127 New person/name/address of the applicant

Owner name: ADAMS, ROY-OLIVER, 14467 POTSDAM, DE

8127 New person/name/address of the applicant

Owner name: POLYCOM ISRAEL LTD., PETACH TIKVA, IL

8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee