CN1568466A - 用于传递媒体信号的系统和方法 - Google Patents

用于传递媒体信号的系统和方法 Download PDF

Info

Publication number
CN1568466A
CN1568466A CNA028189310A CN02818931A CN1568466A CN 1568466 A CN1568466 A CN 1568466A CN A028189310 A CNA028189310 A CN A028189310A CN 02818931 A CN02818931 A CN 02818931A CN 1568466 A CN1568466 A CN 1568466A
Authority
CN
China
Prior art keywords
codec
media signal
compression
expression
destination device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028189310A
Other languages
English (en)
Inventor
乔迪·林恩·雷诺兹
罗伯特·沃尔特·英格拉哈姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interact Devices Inc
Original Assignee
Interact Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interact Devices Inc filed Critical Interact Devices Inc
Publication of CN1568466A publication Critical patent/CN1568466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1096Supplementary features, e.g. call forwarding or call holding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/303Terminal profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25825Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25858Management of client data involving client software characteristics, e.g. OS identifier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Abstract

提供了一种用于流媒体信号的媒体流系统。该媒体流系统采用分开的和截然不同的CODEC的库(145),提供其具有可搜索的CODEC库,并用来确定在媒体信号中的特定特性,从而识别信号的类似部分。该媒体流系统使用计算机实现的智能系统,比如智能机制来随着信号流(150)学习和捕捉信号的独特的特性。该媒体流系统还随着信号从源媒体(100)流到目的装置(130,135,140)来压缩和解压媒体信号。

Description

用于传递媒体信号的系统和方法
相关申请
本申请是题目为“用于传递媒体信号的系统和方法”的由Reynolds等人提交的临时性申请的非临时性申请,其代理案号为ID-PAT-001PR1,申请号为60/325,483,并于2001年9月26日提交。
技术领域
本公开涉及一种用于在源和目的装置之间传递媒体信号的系统和方法。更为特别的,它涉及一种用于使用人工智能机制压缩和解压流式和静态媒体数据,以在源和目的装置之间有效传递那些信号的系统和方法。
背景技术
随着网络的通信,比如互联网的发展,呈指数式的出现了在彼此相隔较远的装置之间有效传递流式和静态媒体的性能的可观的需要。近来也在世界范围内对这个需要投入了大量的开发资源。
这里术语“媒体”意在表示从源装置以信号的形式传递到目的装置以由目的装置使用的信息;并且,作为在这里使用的,通常期望媒体包括流式或静态媒体信号。为了这个公开的目的,作为应用到目的装置在媒体信号上的操作的术语“使用”意在包括播放(例如,声音,图像,视频),处理(例如,遥测数据),或任意其它是媒体信号的有意的目的的使用或操作。
在这里,术语“流媒体”意在表示包括意在被传递到并且由目的装置以暂时的,流式方式使用的媒体信号。在这里作为应用到流媒体信号的术语“流式”意在包括在一定时间内以连续方式传递和处理的信号,或者可能是在一定时间内以连续方式传递和处理的信号的信号,或者是以一系列的被相互关联并且可能之后由目标装置以连续的,相关联的方式使用的离散分组、片断、或模块传递的信号。因此,用于这个公开的流媒体的实例包括,但是不限于下面类型的媒体:视频,音频,结合视频的音频,以及比如暂时遥测的数据串。术语“流媒体”通常由表示主题媒体的数字化形式的数据参考使用。
在这里,术语“静态媒体”通常意在表示不是作为上面定义的“流式”的媒体。静态媒体信号通常是被传递并且意在被作为分组,模块或片断使用的类型。因此,静态媒体可能包括,但是不限于下面的:离散图像,单独的和相关的暂时短视频剪辑片段,声音或声音字节,或者比如遥测信息的信息的片断或模块。但是,期望这样的“单一片断”的静态媒体可能具有足够的大小来包括:多个更小的片断或子部分,例如,整个图像的区域或象素;和在一起可以形成视频剪辑的单独的帧;和在一起可以包括声音的数字字节,包括声音字节的一组声音,或者和在一起包括信息的较大的模块的信息比特。
流媒体通常包括比静态媒体文件要大得多的数据文件,并且还通常通过这种文件的暂时通信表示比大多数的静态媒体文件所经历的要多得多的变化。因此,有效的压缩流媒体用于适当的传递到目标装置以进行使用的能力通常非常复杂,而且难于达到目的。因此,很多这种公开通过特别参考流媒体通信提供,并且本发明也是要提供用于这种通信的显著的益处。但是,在这里关于背景特别参考了流媒体,并且在此进一步公开关于很多关于本发明的益处,并且根据本领域中的一个也进一步期望静态媒体是适用的。
已经有很多不同的“特定类型”的媒体系统在很长时间内用于在源和远程目标之间发送特定类型(例如,视频、音频、图像、语音等)流式和静态媒体信号。这种特定类型的媒体系统的典型实例包括电视传输系统、电话线路系统、以及无线电传输系统,并且因此每个电视、电话和无线电都是媒体的接收装置。因此,用于有效传递流式和静态媒体的需要也涉及到了很多不同的通信工业,例如包括电话、电视、电影、音乐,以及近来的互动游戏工业。
另外,很多媒体通信系统(包括多种长期存在的特定类型的系统)通常也是“特定格式”的,其中以特殊格式传递主题媒体信号,使得源、传输信道、以及目的装置必须特别兼容以在那个格式下工作。这种特定格式的媒体系统的实例包括,例如,仅为确定类型的媒体工作并且仅以特别编码的格式从电缆载体传送的编码电缆电视系统。因此,这些系统在硬件和软件上通常仅专用于由内容提供商提供的媒体的类型和格式。
社会的需要已经超过了这些专用的,内容特定和格式特定的系统的性能。特别的,没有构造这些专用系统来容纳逐渐增加的客户对于特定流媒体的实时需要。另外,近来互联世界的技术发展引起了社会对于使用一个装置以多个格式拉动、接收、推动以及发送多种类型的媒体的兴趣。此外,需要内容提供商能够传送很多不同媒体信号到很多在他们的客户的办公室、居室、以及手中的不同类型的装置。个人和公司还需要使用多种不同格式和使用多种不同的各自的装置彼此通信。
因此,出现了大量用于通过互联网的集中型网络传送流式和静态媒体的重要行业。内容传送公司当前通过互联网,以视频和音频格式传送很宽范围的流媒体,包括实况赛马以及医学遥测和教育的提供。根据来自DFC情报机构的一个公布的报告,2000年在互联网上的视频流增长了215%,超过了总共9亿的访问的流。这包括占据了总访问量大约29%的宽带流。这个相同的报告还估计现有的流总量中大约15%在其中包括流内广告。在另一由互联网研究者Jupiter Media Metrix公布的报告中,随着公司在与雇员、客户和其它商业伙伴的通信中转向电子互动形式,在流式视频技术上花费的费用将从2000年的1.4亿美元上升到2005年的将近30亿美元。
此外,人口爆炸和在这些系统上人们发送的数量的增加也为对现有的可用信息的可用带宽带来很大影响。因此,使用有限的带宽资源和有限的传输速度来有效传递流媒体的性能也变得越来越具有社会重要性。
压缩/解压算法(“CODECS”)
考虑到用于传递不同类型的媒体的指数式增长的需要,在很多年中开发出了多种压缩/解压系统(“CODEC”),并且已经成为近年来特别重要的研究和开发。为包括(例如)比如图形和照片的静止帧图像的特定类型的媒体和流媒体开发了关于通信流式和静态媒体信号的特定类型的CODECS和用于管理CODECS的系统。
图像CODECS
开发了多种不同类型的静态媒体CODECS,并且这些CODECS中的很多种已经是已知的或正在使用的。一种特定类型的静态媒体是受到特别关注的话题,其包括图像(虽然,因为显著影响适当的压缩/解压需要的更为复杂的变量,例如,尺寸和帧之间的临时关系的缘故,通常将较长的关联图像帧序列,比如在视频环境中的,作为流媒体)。因此,在这里通过参考确定的特定类型的现有图像CODEC技术和方法示出静态媒体CODEC的实例。
通常考虑用于图画(例如,艺术线条)和照片的各个标准,已知两种最常见的用于在万维网上的图形图像的文件格式是“GIF”和“JPEG”格式,并且为了进一步理解的目的,在下面会结合其它图像压缩形式来进行进一步描述。
“JPEG”是“联合图象专家组”的首字母缩写,并且是满足ISO标准10918的图形图像文件。通常用于照片压缩/解压的,JPEG文件通过从压缩质量的范围中选择,或者,像在另外的描述中的,通过从一组压缩算法中的一个选择来创建。为了创建JPEG文件,或者从另一格式转换到JPEG格式,必须指定所需要的特定图像的质量。通常,因为高质量的图像会产生最大的文件,就像由用户在图像质量和图像大小之间选择的,必须对此做出折衷。JPEG压缩模式通常包括29个不同的编码处理,虽然JPEG的实施者可能不会全部使用它们。通常给予JPEG图像名称后缀“jpg”。
“GIF”是“可交换的图像文件格式”的首字母缩写,并且通常被认为是用于互联网通信的图画图像压缩/解压的实际上的标准形式。GIF格式使用已知为LZW算法的压缩算法,该算法由Abraham Lempel,Jacob Ziv,和Terry Welch开发,并且由Unisys Corporation实现商业应用(尽管通常公众可以无需付费许可来使用这种算法)。更为特别的,“LZW”压缩算法需要每一给定长度(例如,12比特)的输入比特序列,并且在表中对特殊的位图形创建入口,有时被称为“字典”或“电报密码本”。这个入口由图形本身和一更短的码组成。随着读取输入,任意已经被读取的图像引起更短的码的置换,有效的压缩了输入的总量到更小的程度。已知为LZ77和LZ78的更早的方法不包括作为压缩的文件的一部分的查询表。但是,当前最新的LZW算法形式不在文件中包括表,并且当它处理编码的输入时,解压文件用于观看的解压程序能够自己来使用算法建立表。该GIF格式使用2D光栅数据类型(和使用光栅线的显示屏相关联)并且以二进制编码。
GIF格式的两种版本包括GIF87a,及已经更新的GIF89a,其允许用于“动态GIF”文件创建,或者在以顺序播放来表现图像的运动或变化(或者在无限循环中或者通过可以到达终点的进程)的单一GIF文件中的更短的图像序列。GIF89A还允许,并且还用于“交织的GIF”,其是首先作为图像的模糊的轮廓达到接收者并由接收者播放,之后逐渐由七个连续波的比特流代替的GIF图像,其中的比特流填满缺少的线直到达到整个分辨率。交织的GIF允许(例如)使用14.4Kbps和28.8Kbps调制解调器的观看者观察到在处理主题图像中的确定信息,比如做出决定(例如,点击图像来执行比如链接的操作)之前的更短的等待时间。
通过呈现分辨率填满图像序列的波,交织的GIF类似于“前进的JPEG”,其使用一组在连续的波中“渐显(fade in)”的JPEG压缩算法来描述创建的图像。虽然通常认为前进的JPEG是在调制解调器连接速度上传送图像的更为常见的方式,具有更快的连接的用户可能不会注意到区别。
近来为图像压缩开发了“PNG”或“可移植的网络图形”格式,并且,及时发布来代替GIF格式用于互联网使用(虽然JPEG格式通常不允许大小/质量平衡)。为公众的消费和发展开发了这个格式,类似于GIF,认为PNG是“无损的”压缩格式,并且因此当在观看过程中解压压缩的文件是保存了所有图像信息。但是,PNG格式的文件通常意在比GIF格式多压缩百分之10到30。提供PNG文件格式的另外的方面如下:(i)可能不会将颜色透明度限制到一种颜色,而是可以控制透明度的程度(“不透明性”);(ii)相对于标准GIF改进了图像的“交织”;(iii)起动了“伽马校正”,允许按照特定显示器制造者的需要关于颜色亮度“调谐”图像;(iv)可以使用类似于GIF的真彩色,调色板和灰度级来保存图像;以及(v)虽然通常认为PNG可扩展并且由此可以将软件分层来提供用于这种编写的图像动态,但是通常不支持“动态”。
“TIFF”是“标签图像文件格式”的首字母缩写,并且是用于在应用程序之间交换光栅图形(或“比特地图”)图像,例如,用于扫描仪图像的图形的通常格式。通常给予TIFF文件后缀“TIF”或“TIFF”,并且通常具有在1980年代中期开发的Adobe软件、微软(Microsoft)、和惠普(Hewlett-Packard)的支持。TIFF文件可以是任意的一些种类,包括灰度级、颜色调色板或RGB完全颜色,其描述和差别将在本公开的这里的其它地方进一步涉及。TIFF文件还包括具有JPEG、LZW或CCITT组4标准游程长度图像压缩的文件,也会将其在这里的其它地方进一步描述。作为一种最为常用的图形图像格式,通常在桌面出版、传真、3-D应用、以及医学摄像应用中使用TIFF文件。视频CODECS
视频压缩是用于多种应用,包括(例如)预记录视频(例如,“视频点播”)、电信会议、和实况视频(例如,广播)的热烈发展的主题。“桌上型”计算机、无线装置、现有的电视、以及高清晰度电视是有效的视频压缩系统必须服务的不同类型的接收装置的实例。
通常,视频CODEC算法操作在单独的一帧一帧的基础上,和/或者“暂时压缩”的基础上,或者操作在两者上,其中每一帧是在现有的使用中的最常见的视频压缩算法,基于一些数学原理,包括下面的:离散余弦变换(“DCT”),小波变换(wavelet transform)和纯分形(pure Fractals)。
“离散余弦变换”或“DCT”是到目前位置最为流行的用于图像压缩应用的变换。通常,DCT是用于将波形数据表示为余弦的加权和的技术。DCT类似于离散傅立叶变换:它将来自空间域的信号或图像转换到频域。DCT帮助将图像分离为不同重要性(关于图像的视觉质量)的部分(或光谱子带)。它流行的原因不仅仅包括用于通常图像的关于能量紧缩的良好表现,还包括一些快速算法的可用性。在两个国际性的图像/视频压缩标准JPEG和MPEG中使用DCT。
“小波变换”通常是将信号数据转换为一组数学表示的数学算法,并且数学表示之后可以由目标接收器装置解码,例如,以类似于傅立叶变换的方式。通常认为小波可以提高弱信号从噪声中的恢复能力,并且由此增强以这种方式处理的图像,同时不会显著的模糊或混合细节。为了这个原因,特别将小波信号处理应用到医学应用中的X射线和磁共振图像。在互联网通信中,相比其它现有方法通常可以达成的程度,使用小波可以将图像压缩到更大的程度。在一些情况中,小波压缩的图像可以小到使用更为常见的JPEG格式压缩的具有相同质量的图像的大约25%的大小,其将在本公开的其它地方更详细的描述。这样,例如,需要200KB并且花费一分钟来下载的JPEG格式照片,对于小波压缩的格式来说,可能仅需要50KB和花费15秒来下载。通常给予小波压缩的图像文件后缀“WIF”,并且或者接收器(例如,在计算机接收器上的互联网浏览器)必须支持这个特定格式的文件,或者需要插入式程序来读取这个文件。
分形图像压缩是有损图像编码的一种现代技术,其相比现有的傅立叶序列压缩方案提供了一些改进。因为当在作为阶梯函数模拟时改进了边缘描绘,边缘需要大量关于合适的描绘的傅立叶序列项。分形的其它优点包括快速的解码时间和缩放独立性。分形压缩基于Mandelbrot设置,其具有自相似、缩放比例相关、自然的统计特性等优点(Mandelbrot,1983)。分形压缩和解压包括聚类方法,以独立于旋转和缩放比例找到示出了和样本区域相同的特征的区域。分形图像将图像压缩为递归方程并且说明怎样再现它们。该方程描述关于在它的分量之间的关系的图像。在存储需求方面的降低是因为分形压缩保存方程和指令,而不是保存图像的象素这个事实的缘故。
“MPEG”是运动图象专家组的首字母缩写并且在使用上和从那里公布的确定的展开视频和音频压缩标准同义。通常,为使用MPEG视频文件,个人计算机需要具有足够的处理器速度、内部存储器和硬盘空间来处理并播放通常很大的MPEG文件,通常给予其名称后缀“.mpg”。在客户系统上必须具有播放MPEG文件的特定的MPEG观赏器和客户软件,并且通常可以从在网上的很多站点下载商用MPEG播放器的共享件或版本。在这里,用于MPEG格式媒介的操作模式将通过参考这些下述的连续发展的标准进行描述。
更为特别的,MPEG-1标准指定用于编码通常在大约1.5Mbps的传输率的顺序的视频。这通常是指定用于Video-CD和CD-I媒体的特定应用。MPEG-1音频层-3(“MP3”)也是从早期的MPEG工作中发展出的。“MPEG-2”是通常指定用于编码在4Mbps的传输率以上的交织文件的标准,并且通常意在用于数字TV广播和数字多功能光盘。虽然,通常认为很多MPEG-2播放器也可以处理MPEG-1数据,并不认为相反的也是正确的,而且MPEG-2编码的视频通常和MPEG-1播放器不可兼容。另一个改进的标准“MPEG-3”也被提出用于高清晰度电视(“HDTV”),即使通常MPEG-3混合了认为已经达到HDTV需要的MPEG-2。最后,最近开发了“MPEG-4”标准,并且其意在提供更为有志向的标准来解决语音和图像合成、分形几何学以及计算机可视化,并且进一步将其公开来为了重新构建图像而结合人工智能。
MPEG-1和MPEG-2标准定义了用于以从25∶1到50∶1的不同的因数压缩数字视频的技术。这个根据这些标准达成的压缩通常使用五种不同的压缩技术:(i)基于频率变换的离散余弦变换(DCT);(ii)“量化”,其是用于有损选择性信息的技术,例如,有损的预测,其中以在该图像前面和后面的相邻的图像的画面预测一些图像。
可由商业性渠道获得的视频压缩技术的更为详细的实例包括:微软的媒体播放器(Microsoft Media PlayerTM)(可从微软公司获得),RealPlayerTM或RealSystem G2TM(可从Real NetworksTM购买获得),Apple’s QuicktimeTM(可从SorensonTM购买获得);以及“VDO”。通常认为微软媒体播放器是应用CODEC的MPEG标准用于压缩/解压,然而其它的播放器声称使用CODECS的专有类型。标准的压缩算法,比如MPEG4,使得建立用于企业流、安全性或类似性能的嵌入式系统的开发者可以有办法获得并掌握它们。
近来的通过无线或IP网络来提供流式视频解决方案的工作的一个实例由名为Emblaze Systems(LSE:BLZ)的公司公布。这个公司公开了意在用于在任意平台:PC、PDA、视频手机和互动式TV上编码和回放实况和视频点播消息和内容的确定的技术。该Emblaze System被认为就是先前的GEO交互式媒体组。接下来公布的国际专利申请公开了确定的流媒体压缩技术,其被认为和Emblaze System相关,且所称的GEO交互式媒体组作为“受让人”:W09731445到Carmel et al.;以及W09910836到Carmel。在这里将这些参考的公开整体的完全包括并且作为参考。
另一公布了意在改进用于无线应用的流媒体通信的CODEC技术的公司是Packetvideo公司TM,更为特别的,该技术意在将流式视频传递到蜂窝电话。另外,为了保护视频和音频流不受无线环境中的损害,它们认为应该提升CODEC技术,意在跟踪临时可量测性和预示误码抵抗力。给Lengwehasatit的美国专利No.6,167,092进一步公开了确定的流媒体压缩/解压缩技术的实例,其被认为在这个专利参数的首页上与称为“受让人”的Packetvideo相关。在这里全部包括有这个专利参考文献的公开并将其作为参考。
另一先前的参考文献公开了CODEC技术,其意在提供一种低成本、连续自适应的数字视频系统和方法,以压缩用于移动图像的彩色视频数据。这个方法包括捕捉模拟视频帧并且将图像数字化,成为用于使用独特的有损和无损数字组合进行压缩的优选的源输入格式。
另一先前的参考文献公开了意在提供低成本、连续自适应的数字视频系统和方法,用于压缩用于移动图像的彩色视频数据的CODEC技术。这个方法包括捕捉模拟视频帧并且将数字化图像成为用于使用不同的有损和无损数字压缩技术的组合进行压缩的优选的源输入格式,其中数字压缩技术包括子带编码、小波变换、运动检测,游程长度编码和可变长度编码。该系统包括编码器和解码器(CODEC)部分,通常公开其使用“Huffman”编码器,以压缩并解压视觉图像来提供高压缩率,从而意在提供良好到优秀的视频质量。压缩的视频数据提供基本视频层和另外的以压缩的数字音频多路复用的视频数据层,以提供数据流,其中将该数据流分组以通过包括局域或广域上的无线网络的互联网或内部网分配。通过响应于比较数据信道上的可用带宽和用于先前帧的信道上的可用带宽,公开的CODEC系统意在一帧一帧的持续调整数字图像帧的压缩,从而提供和网络传输信道的可用带宽以及和客户用户端的接收器资源性能相当的输出数据流。可能进一步通过调整输出数据流的帧速率来调整压缩。
另外的更详细的意在至少部分用在流式视频通信中的CODEC系统的实例在下面的美国专利Nos.:6,081,295到Adolph et al.;6,091,777到Guetz et al.;6,130,911到Lei;6,173,069B1到Daly et al.;6,263,020B1到Gardos et al.;6,272,177到Murakami et al.;以及6,272,180 B1到Lei中公开。在这里将这些参考的公开全文引入并且作为参考。
在这种CODECS中,即使不是全部,至少大部分先前的流式视频压缩方法使用极其复杂的数学工具以及一些微妙变化来在所有类型的公共和私人网络上实现“一个适合所有尺寸”的视频,该网络包括从超低带宽的网络(诸如在无线网络中所发现的)到卫星通信到超高速光纤安装。在多种现有的压缩方法中,通常有用户可定义的参数,其包括图像大小、帧比率、颜色深度、对比度、亮度、感受到的帧质量、缓冲长度等的平衡。另外,在算法本身的内部,有很多非用户可以定义的量和加权计算。这需要开发者以一个“通用”重要性一次性的设置它们,并且之后封装并运输产品。
但是,虽然视频流市场继续快速发展,全世界并不会选择一个用于压缩的标准,因为没有一个对于所有视频源、目标和传输形式都很理想的算法。虽然第一CODEC可能对于一种类型的信号是最好的,或对于信号的第一部分(例如,包括一系列帧的帧或场景)是最好的,另一第二CODEC可能对于另一类型的信号,或甚至是相同信号的第二部分是最好的。此外,一个CODEC可能最适于压缩/解压在通信网络中的发送、接收和传输装置中的特殊的流式信号;对于相同的,但是具有另一组通信装置参数的流媒体信号,相比第一CODEC,另一第二CODEC可能更加合适。例如,一些视频流可能传送颜色到手持装置,而且其它视频流在到手机的黑白传输中可能在象素损失方面具有优势从而可以增加帧比率。所需的声音质量、帧比率、清晰度以及缓冲公差都会明显的影响在多个平台上的用于最优化视频和音频传送的压缩算法的选择。
事实上,确定的通信装置参数可能在流媒体传输中十分短暂,使得对于一组最初参数的开始合适的CODEC,因为那些参数在相同流式信号传输过程中的变化而变得不如另一CODEC有效。这种短暂的参数的实例包括,但是不限于,在数据传输信道中的可用带宽,可用存储器和在发送或接收装置中的处理能力,以及在接收装置中的专用显示分辨率/窗口(例如,在屏幕上的最小化窗口)。随着这些一个CODEC和另一不同因素的不同组合的大量反复,这些问题的复杂程度也呈指数上升,并且上述的因素是对于沿着特别的通信装置系统压缩,解压和传送特定流媒体信号最为有效的。
因为CODEC系统是“特定格式”的,必须“预先设置”源和目的装置来在彼此之间根据通用的、特定的压缩/解压形式传递媒体信号,而且必须使用代码转换机。但是,即使使用了现有的代码转换机,通常不考虑通信系统中的约束条件(例如,源、传输信道、目的装置),而且通信可能出现严重的故障。为了进一步说明的目的,图1A和1B示出了两个用于在源110-120和目的装置130-140之间传递媒体的不同的现有方法的不同方案图示。这些示图特别示出了流式视频通信,即使可由类似的系统表示其它媒体形式。
可以看到通常为特定应用修改CODEC算法,并且之后在有限的实例上比类似未修改的设置更好的执行。但是,这通常必须对一系列的帧、或者理想的、对于每一单独的帧进行。对于发生的在较高的分辨率和较低的感受到的质量的每一帧,一些基于DCT的算法具有多达二十亿的数学操作。对于一般机械来说这个数字太大,即使对商业性的服务器,在一秒内也只能执行三十到六十次。这也是专用压缩板或ASIC出现的原因。
音频CODECS
除了近来公众对改进视频压缩的兴趣,音频压缩同样也成为大量用于多种实况或预记录应用的工作的话题,其中包括音频广播、音乐和视频同步的传输、实况互动语音(例如,电话)。这些音频压缩应用中的任意和全部必须可以和广泛的客户端的接收器/播放器、比如大量具有多种性能和操作参数的手持或桌上型装置兼容,
现有的音频CODECS通常包括几种不同类型,在下面将为了说明的目的大致的概括其中几个。
“码激励线性预测”或“CELP”是一使用波形的语音压缩方法的类型CODECS,其中的波形CODEC在激励滤波器架构中使用“分析—合成”或“AbS”以进行目标信号的波形匹配。基于CELP的CODEC近来发展为用于高质量语音压缩的主要技术,并且已经被公布以在最低大约6kbps的数据速率发射长途电话质量的压缩的语音。但是,至少一个出版物公开了CELP编码语音的质量在/或低于4kbps的比特率上严重下降。
“声码器”是不基于波形编码方案的语音CODEC,但是还是使用目标输入语音的量化的参数描述来合成重新构建的输出语音。公开了声码器在低比特率传送更好的语音质量,比如在大约4kbs,并且开发其用于这种应用。低比特率的声码器使用语音讲话的特性和用于讲话分析、编码和合成的平稳的非语音讲话的“类噪声(noise-like)”特性。一些更早版本的声码器(例如,联邦标准1015 LPC-10)使用时域分析和合成方法。但是,大部分最近的版本,至少一个出版物标注为“谐波编码器“,其使用用于发出的语音分段的谐波谱模型。
虽然描述了先前的某些特定语音压缩技术,由工业机构开发并由工业机构和非盈利组织管理大量语音CODEC并作为标准。这些组织的实例包括,但是不限于下面的:欧洲电信标准协会(“ETSI”),电气和电子工程师协会(“IEEE”);以及国际电信联盟电信标准化部分(“ITU-T”),也就是早前的“CCITT”,并且它们的标准通常用作CODEC的参考类型。
一个最近公开的用于语音的混合编码的方法和设备指定在4kbps,其编码用于传递到解码器以进行语音再现的语音,其中将语音信号分为三个类型:(i)稳定状态发声的或“谐音的”;(ii)固定非发声的;以及(iii)“短时间的”或“过渡的”语音。特别类型的编码方案用于每一类。谐音的编码用于稳定状态发声的讲话,“类噪声”编码用于固定的非发声语音,并且特定编码模式用于过渡式讲话,指定来捕捉位置、结构,以及表现语音的过渡部分的特色的本地时间事件的强度。意在将压缩方案应用到语音信号或LP残留信号。
另一近来公开的用于添加新的语音编码方法到现有的电信系统的方法和装置也将在下面概括。为了在系统中并行使用“新的”CODEC和“旧的”CODEC,将CODEC引入数字电信系统的语音发射收发机。通过实现在收发机之间的信号交换过程选择CODEC,其中在所有收发机和在连接的电信系统中的先前使用的收发机中实现语音编码方法。在每一连接的开始使用信号交换。在开始电话呼叫并且在切移之后,该方法检查双方是否能使用新的语音编码。其所选择的交换消息使得它们在语音质量上的效果最小,并且还使得识别该消息的可能性最大。
再一个近来的相关参考文件公开了意在用于语音压缩的用于级联的CODEC的可调可感加权滤波器。可以调谐特定的滤波器参数来提供级联情况的改进的性能。更为特别的,使用的参数是第十阶的LPC预测器系数。这个系统被特定于使用“低延时激励线性预测”CODEC或“LD-CELP”。
就像根据刚刚描述的实例的另一个使用CODEC的流式音频通信系统的详细的实例在下面的US专利参考文件:6,144,935到Chen et al.;6,161,085到Haavisto et al.;以及6,233,550到Gersh中提供,并且在这里完全引入这些参考文件的公开并作为参考。具有CODEC的人工智能(“AI”)和神经网络
近来公开了多种意在结合人工智能(“AI”)或神经网络和流媒体信号的压缩和解压的系统和方法。
术语“人工智能”在这里意在表示由计算机系统进行的人类智能的模拟,包括学习(获得用于使用信息的信息和规则),推理(使用规则来达成大致或精确的结论),以及自我修正。AI的特别的应用包括“专家系统”,其是一种计算机程序,其模拟在特别领域中具有专家级知识和经验的组织或个人的判断及行为。通常,专家系统包括对于每一向程序描述的特别的形势的知识基础,并且可以通过添加知识基础或某组规则来进行加强。
术语“神经网络”在这里意在表示接近人类大脑操作的程序和数据系统,通常包括大量并行操作的处理器,每一都具有它自己的小知识范围并且在它的本地存储器中的存取数据。通常,首先将大量关于数据关系的数据和规则送入神经网络,之后程序可以告诉网络怎样表现来响应外部激励(例如,输入信息)。在做出这个决定的过程中,神经网络使用一些原理,包括但是不限定于基于梯度的训练和模糊逻辑。可以进一步以知识层来描述神经网络,并且通常是具有包括更深层的更复杂的网络。在“前馈”神经网络系统中,可以将学到的关于数据的关系“前馈”到更高层的知识。神经网络还可以学习临时概念,并且将其广泛的用在信号处理和时序分析中。其它公开的神经网络的应用包括石油探测数据分析、天气预报、生物实验中的核苷序列的解释,以及思想和意识的模型的开发。
术语“模糊逻辑”在这里意在表示基于“真实度”而不是“Boolean逻辑”的计算方法,其中的“Boolean逻辑”仅在真/假(或“二进制的,如1或0)的领域内操作。模糊逻辑首先由加州大学伯克利的Dr.LotfiZadeh在1960年代提出,关于计算机理解自然语言的问题方面的工作,其中的自然语言不能被很容易的翻译为绝对的Boolean逻辑术语。模糊逻辑通常包括0和1作为真值的极端情况的情况,但是还包括多种在真值之间(例如,确定状态在一些阈值,比如0.98,可以帮助做出决定来分配1给在操作中的可接受的低错误发生率)的多种状态。
一个先前公开的流媒体压缩/解压系统的实例意在通过神经网络使用人工智能,其为了压缩比如视频数据的数据而使用Radon变换。一些先前公开的AI和/或神经网络系统意在使用AI和/或神经网络用于在使用确定的特定无损压缩CODECS过程中的错误检测的目的。例如,采用学习系统来确定接收器在压缩和传输之后所接收到的和预测在传输终点处所接收到的之间的差别。在学习更改CODEC用于另外的传输的调整时处理此差别。
公开的方法和装置的另一实例意在为了隐藏数字语音帧误差而外插用于插入丢失的数据段的过去的信号历史数据。外插方法使用存储在缓冲器中的过去的信号历史。以公开来使用有限脉冲响应(“FIR”)的、多层、前馈的人工神经网络的装置来实现本发明,其中通过用于语音压缩算法(“SCA”)参数的一步外插的后向传播来训练神经网络。一旦建立了语音连接,语音压缩算法装置开始发送编码的语音帧。随着接收到语音帧,将其解码并且转换回语音信号电压。在正常的解码过程中,将发生需要的SCA参数的预处理,并且之后将其存储在过去的历史缓冲器中。如果检测到语音帧的丢失或者错误,之后,执行外插模块并且产生替换SCA参数作为SCA需要的参数并且发送。以这种方式,发送到SCA的信息意在是透明的,并且SCA处理继续如常。这个公开宣称,因为在过去接收的、丢失的、以及接下来接收的语音帧之间实现了光滑过渡,收听者一般不会注意到语音帧丢失。
意在在系统中使用人工智能和/或神经网络用于媒体压缩和/或解压,并且通常关于特定类型的媒体CODEC方法(例如,话音,视频)的系统的另外的更详细的实例在下面的美国专利参考中多种公开:Naillon et al.的5,005,206;Yoshida et al.的5,041,916;Gerdes的5,184,218;Burel et al.的5,369,503;Fang et al.的5,598,354;Kurdziel的5,692,098;Fang et al.的5,812,700;Imade et al.的5,872,864;Prieto,Jr.的5,907,822;和Mitchell的6,216,267。再一个实例在下面出版的国际专利申请:WO 01/54285中提供;Naillon et al.的EPO 0372608A1。将在这里全文包括在这篇文章中引用的所有这些参考的公开并将其作为参考。
其它公开了使用反馈或其它用于操作CODECS以用于处理多种流媒体信号的系统的CODEC系统,但是不认为是特别使用标志“AI”或“神经网络”的公开,在下面的美国专利申请Betts et al.的6,072,825;Malvar的6,182,034 B1;Malvar的6,253,165 B1;Malvar的6,256,608B1中公开。在这里全文引入这些参考的公开并且作为参考。
虽然在CODEC算法本身中具有显著进步,并且尽管先前为了改进通信中的压缩效率有意的使用AI和其它反馈系统以操作CODECS,仍然需要显著的改进通过多种具有不同带宽和通信协议的传输信道以有效提供多种流媒体信号到多种目的接收器装置的性能。
仍然需要结合AI和/或神经网络来应用用于基于多种参数传递流媒体信号的合适的CODEC,包括但是不限定于下面的一个或多个:(a)从可用的不同类型和操作的CODEC的库中自动选择合适的最优化CODEC,包括特别基于相比其它CODEC操作和/或相对一个标准的所选CODEC操作的智能知识,(b)在表示现有形式的给定组的操作参数内,特别的CODEC操作的预先训练和/或重复学习的知识;以及(c)基于它关于现有形式或参考参数的测试形式中一个或两者的操作的智能知识的,合适的CODEC的转换。
特别的,仍然需要这种智能的CODEC系统,使应用的CODEC基于下述一个或多个所定义的现有形式:流媒体信号本身的参数;参数信道性能和约束条件的参数;以及接收器装置性能和约束条件的参数。
此外,为了最优化主题流媒体信号的合适的压缩、传输、解压和播放,仍然需要这种基于智能知识操作的智能的CODEC系统,其中的智能知识关于所有这些操作和形式的参数。
用于流媒体的传统的代码转换机
近来流媒体通信领域的兴趣在于提供现在使用的多种“特定格式”编码系统之间的交互通信。现有的多种不同的特定格式系统和预编码内容的领域形成了在处理编码内容上广泛的未完成性能,造成在内容提供商和客户用户之间的在可兼容性问题上的相当的困境。如果一个客户需要从特别的源看到或听到流内容而且那个内容必须通过用于压缩的CODEC,在客户侧必须使用可兼容的CODEC用于解压来享用信号。不幸的是,源内容经常只结合一些,并且通常是仅仅一种,特定的CODEC方案。因此,如果客户请求这种编码的内容(或者如果源需要将编码的内容送给特殊的客户),必须达到两个标准中的一个:(1)客户必须下载或以其它方式拥有特定格式的CODEC(解码器);或者(2)为了将源媒体从第一格式解码为可以和客户的设备/系统兼容的第二格式,源媒体必须安放“代码转换机”。术语“代码转换机”在这里意在表示将媒体信号从一个编码的(也就是,压缩的)格式转换为另一个的系统。
已经在先前公开了多种用于将一个媒体格式的代码转换为另一个的技术。图1C示出了一个具有很多已知的代码转换技术特征的一般过程的说明性实例。更为特别的,首先从特别类型的,用于在最初的、不兼容的格式存在的内容的装置或播放器接收请求159。根据在图1C中示出了的特定实例,接收来自微软媒体播放器(microsoft MediaPlayer)的用于实时视频内容(Real Video Content)的请求159。随着特别的请求内容,将内容从最初的格式(例如,实时编码的格式)解码,并且之后“重新编码”为合适的用于请求播放器(例如,微软媒体格式)的格式。然后将这个重新编码的媒体用来请求客户,用于在那个播放器的内置系统中解码。
这个现有的系统具有显著的可量测性方面的限制,在多个信道上同时为多个客户的馈入必须由相等数量的代码转换器支持。例如,图1D示出了刚刚描述的现有代码转换技术的方案实现,其管理从四个微软媒体播放器同时请求的四个流,其中请求的内容最初以RealTM格式编码。用来支持四个编码器151-154和四个解码器155-158的系统结构需要可观的计算资源。例如,认为在实例中提供的每一编码器151-154需要具有128M字节可用RAM的600MHz(例如,奔腾TMIII),或者具有256M字节可用RAM的双400MHz处理器(例如,奔腾II)的计算机。还认为每一解码器155-158需要具有64Mb可用RAM的233MHz机器(例如,奔腾TMII)。所以,四个这种流需要相当于四900Xeon(可从Compaq,Hewlett Packard,Dell and IBM通过购买获得,估计在这个公开的时间零售需要花费$9K)。这只是对于四个同步流,而对于现有的公众需要通常需要上千个同步流。
仍需要使用最小化的计算资源和以最节约成本的方式,用于将多个特定格式的编码流媒体信号有效的转换为多个其它格式的代码转换器系统。
影响媒体通信的参数
为了进一步说明可能影响选择合适的CODEC的变量的目的,下面是多种不同类型的流式视频格式和处理系统的大致总结,这里为了将特殊的流媒体信号传递到所述目标而选择合适的CODEC。相信考虑到可用的传输速度和带宽,以及接收器处理参数,为了最优化流媒体信号的传递和播放,通常这些不同信号每一都需要不同类型的压缩形式(例如,CODECS)。
虽然将在这里进一步详细描述确定的特定类型的通信格式和系统,下面的表1提供关于可用速度和带宽的,当前可用或公开的多种不同的通信系统和传输载体的重要交叉部分的总结。
表1:多种通信载体系统的数据速率
    技术     速度     物理媒介     应用
GSM移动电话服务 9.6到14.4Kpbs 空间中的RF(无线) 用于公司和个人使用的移动电话
高速电路交换数据服务(HSCSD) 最高56Kbps 空间中的RF(无线) 用于公司和个人使用的移动电话
常规的电话服务(POTS) 最高53Kbps 双绞线 家庭和小型公司接入
帧中继上的专用56Kbps 56Kbps 多种 具有相当大的文件附件的公司电子邮件
DS0 64Kbps 所有 在一组数字信号电平的信道上的基带信号
通用分组无线电系统(GPRS) 56到114Kbps 空间中的RF(无线) 用于公司和个人使用的移动电话
ISDN BRI:64Kbps-128KbpsPRI:23(T-1)-30(E1)可分配64-Kbps信道加上 BRI:双绞线PRI:T-1或E1线 BRI:快速家庭和小型公司接入PRI:中型和大型企业接入
控制信道;多达1.544Mbps(T-1)或2.048(E1)
IDSL 128Kbps 双绞线 快速家庭和小型公司接入
AppleTalk 230.4Kbps 双绞线 用于Apple装置的本地区域网络;一些可以被桥接的网络;可以被连接的非Apple装置
增强型数据GSM环境(EDGE) 384Kbps 空间中的RF(无线) 用于公司和个人使用的移动电话
卫星 400Kbps(DirecPC和其它) 空间中的RF(无线) 快速家庭和小型企业接入
帧中继 56Kbps到1.544Mbps 双绞线或同轴电缆 用于LAN到ISP的大型公司主干ISP到互联网基础结构
DS1/T-1 1.544Mbsp 双绞线,同轴电缆或光缆 大型公司到ISPISP到互联网基础结构
通用移动电信业务(UMTS) 高达2Mbps 空间中的RF(无线) 用于公司和个人使用的移动电话(于2002年后可用)
E-carrier 2.048Mbps 双绞线,同轴电缆或光缆 欧洲的等效于T-1的32信道
T-1C(DS1C) 3.152Mbps 双绞线,同轴电缆或光缆 大型公司到ISPISP到互联网基础结构
IBM令牌环路/802.5 4Mbps(还有16Mbps) 双绞线,同轴电缆或光缆 在以太网之后第二最常用的本地区域网络
DS2/T-2 6.312Mbps 双绞线,同轴电缆或光缆 大型公司到ISPISP到互联网基础结构
数字用户线(DSL) 512Kbps到8Mbps 双绞线,同轴电缆或光缆 使用现有铜线路的家庭,小型公司和企业接入
E-2 8.448Mbps 双绞线,同轴电缆或光缆 四倍多路复用E-1信号的载波
电缆调制解调器 512Kbps到52Mbps(参看下面的“按键利解释”) 同轴电缆(通常使用以太网);在一些系统中,电话用于上行流请求 家庭,公司,学校接入
以太网 10Mbps 10BASE-T(双绞线)10BASE-2或-5(同轴电缆);10BASE-F(光纤) 最流行的商用局域网络(LAN)
IBM令牌环路/802.5 4Mbps(还有16Mbps) 双绞线,同轴电缆或光缆 在以太网之后第二最常用的本地区域网络
E-3   34.368Mbps   双绞线或光纤 16个E-1信号的载波
DS3/T-3   44.736Mbps   同轴电缆 ISP到互联网基础结构在互联网基础结构内的较小的链接
OC-1   51.84Mbps   光纤 ISP到互联网基础结构在互联网基础结构内的较小的链接
高速串行接口(FDDI)   高到53Mbps   HSSI电缆 在路由器硬件和WAN线路之间在较慢的LAN装置和较快的WAN线路之间的短范围(50英寸)互联
快速以太网   100Mbps   100BASE-T(双绞线)100BASE-T(双绞线)100BASE-T(光纤) 可以将具有10Mbps以太网卡的工作站插入快速以太网LAN
光纤分布式数据接口(FDDI)   100Mbps   光纤 通常在大型公司或较大的ISP中的大型,宽范围的LAN
T-3D(DS3D)   135Mbps   光纤 ISP到互联网基础结构在互联网基础结构内的较小的链接
E-4   139.264Mbps   光纤 携带4E3信道高达1,920同步语音会话
OC-3/SDH   155.52Mbps   光纤 大型公司主干互联网主干
E-5   565.148Mbps   光纤 携带4E3信道高达7,680同步语音会话
OC-12/STM-4   622.08Mbps   光纤 互联网骨干
吉比特以太网   1Gbps   光纤(和多达100米的“铜线”) 插入吉比特以太网交换的具有10/100Mbps以太网的工作站/网络
OC-24   1.244Gbps   光纤 互联网骨干
SciNet   2.325Gbps(15OC-3线路)   光纤 部分vBNS骨干
OC-48/STM-16   2.488Gbps   光纤 互联网骨干
OC-192/STM-64   10Gbps   光纤 骨干
OC-256   13.271Gbps   光纤 骨干
表的注释和关键词
(i)术语“Kbps”是“千比特每秒”的缩写。在除了美国以外的其它国际英语中,等同于使用“kbits s-1”或“kbits/s”。
(ii)工程师使用数据速率而不是速度,但是速度(比如在“为什么我的页面不能够更快一些到这里?”中)可能看起来更有意义并且技术倾向性更少。
(iii)关于数据传输,相关的术语,比如带宽或者“容量”意味着管道有多宽并且可以多快的将比特在管道中沿信道发送。这些“速度”是总计的速度。就是说,通常由信道分配在载体内的多个信号信道用于不同的使用,或在不同用户中分配。
关键词:(i)″T″=在美国,加拿大,和日本等的T-载体系统...(ii)″DS″=数字信号(digital signal)(在T-载体或在E-载体上运行的)...(iii)″E″=等效使用每信道所有8比特的″T″;使用在除了美国,加拿大,和日本的其它国家中...(iv)″OC″=光学载体(同步光网络)″STM″=同步传输模块(参看同步数字等级)。(v)仅示出最常用的技术。(vi)“物理媒介”通常表述并且不指定双绞线对的类型或数量,或者光纤是单模式还是双模式的。(vii)没有示出技术的有效距离。(viii)公布了用于很多这些技术的标准。
电缆调制解调器注释:电缆上的上限52Mbps是到ISP,当前并不是到单独的PC。现有的多数PC是限于内部设计,只能容纳不大于10Mbps(虽然PCI总线本身以高速携带数据)。52Mbps电缆信道在单独的用户中被细分。很明显,信道越快,ISP将需要越少的信道并且支持单独的用户的成本越低。
互联网载体系统
通过互联网的流式视频的传递可能在多种传输模式中发生,其包括,例如,数字用户线(“DSL”),“T1”线路,电缆调制解调器,简单的旧的电话服务(“POTS”)拨号调制解调器,以及无线载波。虽然在这里分开的处理很多不同无线传输模式的描述,为了在下述中进一步说明的目的,接下来,在这里将紧接着提供多种这些其它传输模式的总结。
术语“POTS”或“简单的旧电话服务”,或“拨号”,作为应用到通信传输信道的,在这里是可互换的使用的。这个术语意在表示通常通过彼此缠绕的铜线,或“双绞线”,连接在家庭或小型公司的终端用户到电话公司办公室的“窄带”通信。创建现有的电话服务来使得你和其它电话用户通过模拟信号交换语音信息,该模拟信号将表示声学模拟信号的模拟信号关于音量(信号幅度)和音调(波变化的频率)转换为等效的电信号。因为已经对于这些模拟的波传输设立好了电话公司的信令传输,对于它,可以很容易的使用作为在你的电话和电话公司之间向前和向后取得信息的方式。因此,拨号调制解调器是用来解调模拟信号并将它的值调整为被称为数字信息的0和1的值的串的。因为模拟传输仅使用可以通过铜线发送的可用信息量的一小部分,使用通常的调制解调器,你可以接收的数据的最大量是大约56Kbps。你的计算机接收信息的性能由这样一个事实所限制,即,电话公司过滤作为数字数据到达的信息,为了你的电话线路将其变为模拟形式,并且需要你的调制解调器将它变回数字形式。换句话说,在你家或公司和电话公司之间的模拟传输是带宽瓶颈。
对于“ISDN”或一些人认为是DSL的有限前身的“互联网用户数字网络”,对于一些终端用户客户来说可以实现引入的数据率高到大约128Kbps。
通常将“DSL”或“数字用户线路”定义为用于通过一般的铜的电话线路传递高带宽通信的“宽带”传输载体。已经公开了很多不同类型的DSL服务,其通常在数据率和预期应用上不同。虽然在这里关于这些确定的DSL类型提供进一步的讨论,为了进一步形成总的理解的目的,下面的表2提供了用于这些确定的DSL类型的信息的概括。
表2:已知的DSL服务的类型
DSL类型 描述 数据率下行流;上行流 距离限制 应用
IDSL IDSN数字用户线路 128Kbps 在24规格线路上18,000英寸 类似于ISDN BRI服务但是只有数据(在相同线路上没有语音)
CDSL 来自Rockwell的用户DSL 1Mbps下行流;上行流更少 在24规格线路上18,000英寸 无分离器的家庭和小型公司服务;类似于DSL Lite
DSL Lite(和G.Lite相同) 没有“交易记录”的“无分离”DSL 根据用户的服务,从1.544Mbps到6Mbps下行流 在24规格线路上18,000英寸 标准ADSL;为不需要在用户的家庭或公司安装分离器而牺牲速度
G.Lite(和DSL Lite相同) 没有“交易记录”的“无分离”DSL 根据用户的服务,从1.544Mbps到6Mbps 在24规格线路上18,000英寸 标准ADSL;为不需要在用户的家庭或公司安装分离器而牺牲速度
HDSL 高比特率数字用户线路 在两个双绞线线路上双向1.544Mbps;在三个双绞线线路上双向2.048Mbps 在24规格线路上12,000英寸 在服务器和电话公司之间或者在公司内的T1/E1服务;WAN,LAN,服务器接入
SDSL 对称DSL 在单一双向线路上下行流和上行流双向1.544Mbps(美国和加拿大);2.048Mbps(欧洲) 在24规格线路上12,000英寸 和HDSL相同但是仅需要双绞线中的一条线路
ADSL 非对称数字用户线路 1.544到6.1Mbps下行流;16到640Kbps上行流 在18,000英寸1.544Mbps;在16,000英寸2.048Mbps;在12,000英寸6.312Mbps在9,000英寸8.448Mbps 用于互联网和网络接入,运动视频,视频点播,远程LAN接入
RADSL 来自Westell的 适应线路, 没有提供 类似于ADSL
比率自适应DSL 640Kbps到2.2Mbps下行流;272Kbps到1.088Mbps上行流
UDSL 由欧洲的公司提出的单向DSL 不知道 不知道 类似于HDSL
VDSL 超高速数字用户线路 12.9到52.8Mbps下行流;1.5到2.3Mbps上行流;1.6Mbps到2.3Mbps下行流 在12.96Mbps4,500英寸;在25.82Mbps3,000英寸;在51.84Mbps1,000英寸 ATM网络;光纤到邻居
通常公布的用于DSL服务的数据率,其包括高到6.1Mbps(理论上公布在8.448Mbps)的速率,认为这已经可以启用电影、音频和3-D效果的连续传输,其中DSL服务可能根据到提供服务的公司的中心办公室的距离而有所不同。更为普遍的单独的连接可以提供从512Kbps到1.544Mbps的下行流和大约128Kbps上行流。DSL线路可以携带数据和语音信号并且线路的数据部分是连续连接的。一些出版物预期DSL在很多区域代替ISDN,并且和电缆调制解调器竞争到家庭和公司的多媒体通信。DSL仅操作在数字域中,并且不需要变换为模拟形式及变回来。将数字数据作为数字数据直接发送到目的计算机,并且这允许电话公司使用更宽的带宽用于前向传输。同时,如果客户用户选择的话,可以分开信号,使得一些带宽可以用来发送模拟信号,这使得可以在相同线路上同时使用电话和计算机。
大部分DSL技术需要在家庭或公司中安装信号分离器,这需要电话公司上门安装。但是,可能从中心办公室远程管理分离。这被称为无分离DSL,“DSL Lite”,G.Lite,或通用ADSL(下面进一步定义),并且近来被作为标准。虽然这些由国际电信联盟(ITU)进行了标准化,多种DSL仍使用几种调制技术。不同的DSL调制解调器制造商使用离散多频声技术(DMT)或无载波幅度调制(CAP)。已知为多虚拟线路(MVL)的第三种技术也是另一可能性。
DSL的多个操作参数是可变的并且其影响可以达到的有效数据速率。DSL调制解调器通常符合北美和欧洲标准建立的数据率的倍数。通常,用于没有转发器的DSL的最大范围是5.5km(18,000英寸)。随着向着电话公司办公室的距离的减少,数据率增加。另一因素是铜线的规格。对于超过5.5千米范围的目的装置,仍然可以提供DSL,但是这通常仅在各个电话公司提供商以光纤电缆延伸了本地回路的情况下。
为了将多个DSL用户互连到作为“骨干“的高速网络,电话公司使用数字用户线路接入多路复用器(“DSLAM”)。通常,该DSLAM连接到可以在吉比特数据率聚集数据传输的异步传输模式(“ATM”)。在每一传输的另一末端,DSLAM将信号解多路复用并且将它们转送到合适的单独DSL连接。
“ADSL”或“非对称数字用户线路”是对于家庭和小型商业用户将变得更加熟悉的DSL形式。因为它的双向或“双工的”带宽专用于发送数据到用户的下行流方向,ADSL被称为“不对称的”。仅仅一小部分带宽被用于上行流或用户交互消息。但是,大多数互联网,而且特别是图形或多媒体密集型网络数据需要大量的下行流带宽,且用户的请求和响应很小并且需要很少的上行流带宽。使用ADSL,可以向下行流发送高达6.1兆比特每秒的数据以及高达640Kbps的上行流。高的下行流带宽意味着电话线路可以传输电影、音频和3-D图像到目的计算机或电视显示器。另外,一小部分下行流带宽可专用于语音而不是数据,且可以不需要单独的线路执行电话谈话。不像类似的通过“电缆”电话线路的服务,ADSL不和给定区域中的邻居竞争带宽。在很多情况中,你的现有的电话线路将工作为ADSL。在一些区域中,可能需要更新。
“CDSL”或“用户DSL”是DSL的标志性版本,由Rockwell公司提供,可能比ADSL慢(在下行流上1Mbps,并且通常预期上行流更低)但是其具有不需要在用户端安装“分离器”的优点。可能需要硬件来由本地电话公司携带CDSL到家庭或公司。CDSL使用它自己的载体技术,而不是DMT或CAP ADSL技术。
很多公司和电话公司共同工作来开发ADSL的标准和更容易安装的版本,被称为“G.Lite”,并且认为在这个公开的时间已在开发之中。认为“G.lite”或“DSL Lite”(还被称为“无分离器ADSL”,和“通用ADSL”)是不需要在用户端分离线路,而是在电话公司远程管理来为用户分离线路的更慢的ADSL,但是成本可能很低。公开G.Lite,正式的ITU-T标准G-992.2来提供从1.544Mbps到6Mpbs下行流数据率和从大约128Kbps到大约384Kbps的上行流数据率。至少一个出版物预计G.Lite将成为最广泛安装的DSL形式。
认为“HDSL”或“高比特率DSL”是DSL最早的变型,其广泛用于在共同的站点和在电话公司和用户之间的宽带数字传输。HDSL的主要特性在于它是对称的:在两个方向上等量的带宽可用。因为这个原因,最大数据率通常低于ADSL。HDSL在双绞线的单一线上可以携带的和在北美的T1线路上所携带的或在欧洲的E1线路上所携带的相同(高达大约2.32Mbps)。
“IDSL”或“ISDN DSL”在一定程度上是用词不当,因为相比通常和ADSL相关联的更高的数据率,它十分接近ISDN的数据率,在大约128Kbps服务。
“RADSL”或“速率自适应DSL”是可从Westell公司获得的ADSL技术,其软件能够确定在给定的用户的电话线路上可以发送的信号的速率并且以此调整传送速率。Westell“FLEXCAP2Z”版本系统使用RADSL来通过现有线路传送从大约640Kbps到大约2.2Mbps下行流到从大约272Kbps到大约1.088Mbps上行流。
“SDSL”或“对称DSL”类似于HDSL,具有单一的双绞线,在双向线路的每一方向上携带大约1.544Mbps(美国和加拿大)或者大约2.048Mbps(欧洲)。因为在两个方向上数据率相等,所以是对称的。
“UDSL”或“单向DSL”是由欧洲公司提出的,并且通常被认为是提供单向版本的HDSL。
认为“VDSL”或“超高数据率DSL”是开发来允许在相对短的距离内极高的数据率的技术,例如在多达大约1,000英寸或大约300米长度上的大约51到大约55Mbps之间的数据率。至少一个出版物预期VDSL可能在ADSL之后在一定程度上被广泛采用并且和它共存。在一些环境中还没有确定传输技术(CAP,DMT,或其它)和它的有效性。一些标准化组织正在开始其工作。
“X2/DSL”是来自3Com的调制解调器,其支持56Kbps调制解调器通信,但是当ADSL在用户的区域中变为可用时,可通过安装新的软件更新到ADSL的调制解调器,至少一个出版物引用3Com对这个技术的描述:“你将需要的最后的调制解调器。
通常认为“T1“传输线路是“宽带”载体,并且将其定义为“T-载体”类型的系统,认为该系统首先由美国的Bell系统在1960年代作为第一个成功支持数字化话音传输的系统提出。T-载波系统是全数字化的,使用脉冲码调制和时分多址。通常在大约8000次每秒取样话音信号并且将每一取样数字化为8比特字。通过同时数字化的24信道,在24个信道中的每一个上以192比特帧表示8比特字,并将192比特帧一秒发送大约8000次。每一帧和下一个由信号比特分开,产生193比特模块。T-1发布的1.544Mbps数据率通常表示乘以8,000的192比特帧、以及1比特信令比特。
T-1系统通常使用4条线路并且提供双向的容量,其中两条线路专用于接收并且两条用于同时发送。T-1数字流包括多路复用的24、64Kbps信道,其中该标准的64Kbps信道基于需要用于话音谈话的带宽。四条线路最初是一对双绞线铜线,但是近来的系统提供同轴电缆、光缆、数字微波以及其它载体技术。信号的数量和使用可能根据标准指导方针来变化。
用于T-1线路的最初的传输率(1.544Mbps),今天通常用在互联网服务提供商(“ISP”)到互联网的连接上。通常互联网服务提供商还使用另一级别,T-3线路,公布其提供44.736Mbps。另一经常使用的服务是“部分T-1”,其是租用T-1线路的24信道中的一些部分,同时不使用另外的信道。
显示容量/约束条件和相关标准
多种不同类型的接收器显示容量可能也会显著的影响用于有效传递特殊的流媒体信号以由接收器显示的合适的CODEC形式。提供了示出这种改变的显示参数(例如,分辨率,清晰度,颜色,深度,尺寸,特定类型/格式)的确定实例的大概的总结以更好的理解下面问题。
在不同类型之间其高度可变并且组成流媒体接收器装置,而且因此可能显著的影响使用的合适的CODEC的一个参数是可能由显示装置表示的颜色的范围,或“调色板”。标准的“浏览器安全”的调色板可能由大多数用于基于互联网的流媒体显示的软件容纳,其可能包括,例如,216个颜色,尽管用于基于网络的流媒体必须了解计算机显示容量以及浏览器软件容量。
关于计算机显示技术,对在屏幕上的每一单独的象素或可寻址的照明元件设置颜色。每一象素具有红、绿和蓝(RGB)成分。通过指定对于每一这些成分的强度的量,可以给予那个象素独特的颜色。“真彩色”显示通常使用24比特值定义在显示屏上的象素的颜色,允许多达16,777,216个可能颜色的可能性。用来定义象素的颜色阴影的比特的数量被称为“比特深度”。有时真彩色指的是“24比特颜色”,尽管很多现代的颜色显示系统提供32比特颜色模式。被称为“alpha信道”的外部字节通常用于控制和特定的效果信息。通常将“灰度级”(包括灰度的离散的阴影)显示设置定义为具有N比特深度,其中N表示在象素内黑色的饱和度。如果N=1,不将图像称为灰度级而是单色,或者黑色和白色,因为比特只能是开或关,并且不包括阴影信息。
通常的计算机分辨率包括,例如,但是不限于下面的:
(i)VGA或视频图形阵列,能够以4∶3的纵横比,以16色显示640×480象素或以256色显示320×240象素;
(ii)SVGA或超级视频图形阵列,能够显示800×600×6比特/象素(16色)或650×480×8比特/象素(256色)。由视频电子协会(VESA)创建SVGA;以及
(iii)XGA(v1-4)或eXtended图形阵列,能够以32,768色显示1024×768象素。
可能添加比如SXGA的另外的标准,定义1960×1440以上的象素尺寸并且颜色深度等于或高于32比特/象素。
在由媒体信号使用比特殊的显示器或浏览器可以处理的范围更大的颜色(调色板)的情况中,多数浏览器通常适于“高频振动”颜色,其在这里意在表示浏览器将在它的调色板内找到颜色,其中浏览器替代任意在它的调色板以外的颜色。为了进一步说明不同系统显示容量的宽范围,基于操作系统使用WindowsTM(可从微软公司获得)以及MacintoshTM(可从Apple公司获得)的系统不具有相同的浏览器,然而其中40个是不同的并且因此如果以由其它系统指定的格式将图像信号传递到那个类型的系统的话,需要由在一个系统内操作的浏览器高频振动。
关于怎样从电子信息启动视觉显示存在很多不同的技术。术语“VDT”或“视频显示终端”通常在计算机工业中使用并且在这里意在和简单的参考“显示器“可互换的使用。关于计算机终端使用,VDT包括计算机输出表面和示出文本和图形图像到计算机用户的投影机制,包括,例如阴极射线管(“CRT”),液晶显示器(“LCD”)发光二极管(“LED”),气体等离子管,或其它图像投影技术。通常认为显示器包括屏幕或投影表面以及在屏幕上生成信息的装置。在一些计算机中,在分开的单元或“监视器”中封装的显示器、或者可能将显示器和计算机处理器一起集成进单一的单元。
特别关于LCD,这个技术通常需要和其它VDT相比最小化的音量和物理深度,并且因此通常在膝上型计算机和手机/PDA中使用。相比LED和气体显示VDT,因为它们通常以阻塞光线而不是放射光线的原理工作,LCD消耗更少的能量。LCD可能是“无源矩阵”或“有源矩阵”,还可称为“薄膜晶体管”或“TFT”显示器。无源矩阵LCD具有导体格,并且在格的每一交叉点放置象素。发送电流通过在格上的两个导体来控制用于任意象素的光线。有源矩阵具有位于每一象素交叉点上的晶体管,需要更少的电流来控制象素的亮度。为了这个原因,可以更为频繁的打开或关闭在有源矩阵显示中的电流,改进屏幕刷新时间和由此的流媒体(例如,动态视频)的更高速度的功效。一些无源矩阵LCD具有双重扫描,在其中他们可以以电流在同一时间扫描格两次,就像在早先版本中的一个扫描;但是,通常仍然认为有源矩阵是两个当中更优越的技术。反射的颜色显示技术--颜色滤波器和无源矩阵显示结构的结合,对有源矩阵技术来说是低能耗、低成本的。因为它们反射周围的光线,反射的LCD在外部白天光线中使用的过程中表现出特别高的性能。特别为电视观看开发了多种不同的显示技术,以及由此的传输格式。这样对于电视传输出现了一些不同标准,并且它们的不同可能显著的影响在电视环境中需要(并且由此选择特别的CODEC)用于传递流媒体信号的压缩特性和程度。这些标准特别包括,并且不限于,标准清晰度电视(“SDTV”);以及高清晰度电视(“HDTV”)。
“SDTV”或“标准清晰度电视”和“HDTV”或“高清晰度电视”是两个种类的用于数字电视(“DTV”)传输的显示格式,并且成为了标准。这些格式提供类似于数字多功能光盘(“DVD”)的画面质量,并且关于他们的相似性和不同总结如下。
HDTV提供更高质量的显示,具有从大约720p到至少大约1080i的垂直分辨率显示以及通常是16∶9的纵横比(屏幕的宽度和高度的比值),用于和观看电影类似的观看感受。相比起来,SDTV具有较低的分辨率范围并且没有定义的纵横比。新的电视机要么是HDTV可行的要么是SDTV可行的,通常是HDTV,其使用以通常将数字信号从大约166Mbps减少到大约3Mbps的方式的MPEG-2文件压缩方法。这允许广播使用现有电缆、卫星和地面系统发送数字信号。MPEG-2使用有损压缩方法,意味着发送到电视的数据信号经过压缩并且丢失了一些数据,但是这些丢失的数据可能会,或可能不会影响人眼观看画面。ATSC和DVB标准都选择MPEG-2用于视频压缩和传输。MPEG-2压缩标准将在这里的其它地方更详细的描述。
因为压缩的SDTV数字信号比压缩的HDTV信号小,广播可以同时发送多达五个SDTV节目,而只能发送一个HDTV节目,另外已知为“多点传送”。因为电视台可以从另外的广播这些附加广告而获得另外的收入,多点传送是很有吸引力的特征。对于现今的模拟电视系统,在一个时间仅可以发送一个节目。注意到这里使用的术语“多点传送”和它在流式视频中的使用不同,在流式视频中它包括使用特定寻址技术。
当美国决定做出从模拟电视到DTV的转变时,联邦通信委员会决定让广播商确定是否广播SDTV或HDTV节目。现今多数决定广播SDTV节目并且在黄金时段的广播中广播HDTV节目。SDTV和HDTV都由数字视频广播(DTV)和高级电视系统委员会(ATSC)设置的标准支持。
作为电视显示技术的HDTV提供类似35mm胶片的画面质量以及类似于现今的光盘的声音质量(另外关于音频质量,HDTV接收,复制,并且输出Dolby Digital 5.1)。一些电视台开始在有限数量的信道上发送HDTV广播给用户。HDTV通常使用数字而不是模拟信号传输。但是,在日本,在1989年6月3日广播了首个模拟HDTV节目。首个出现的图像是自由女神像和纽约港。它需要20Mhz的信道,这就是为什么模拟HDTV广播在大多数国家不可行的原因。
HDTV提供比SDTV更高质量的显示,具有从720p到1080i的垂直分辨率显示。该p代表逐行扫描,表示每一扫描包括用于完整画面的每一条线,以及I代表交织扫描,表示每一扫描包括用于半个画面的交替的线。将这些比率转换为高达60帧每秒的帧速率,是现有电视的两倍。HDTV的一个最主要的特征是它更宽的16∶9的纵横比(屏幕的宽度和高度的比率),本开发是基于通过研究获得的认为可以通过更宽的屏幕增强观看者的体验的事实。相比SDTV的象素在300,000到一百万的范围,HDTV的象素在从一百万到二百万的范围。新的电视机将是HDTV的或SDTV的,并且接收者可以将信号转化为它们的本地显示格式。
在美国,FCC已经分配了用于DTV传输的广播信道。在SDTV格式中,DTV使得其可能使用分配的信道在当前的质量级别上用于多个信号而不是在HDTV级别上的单一信号,这将允许以相同的带宽使用发送更多节目。商业的和公共的广播站当前决定它们怎样进行它们对HDTV的使用。
同时联播是在模拟和数字版本的相同的电视节目使用两个不同频率的信道的同时传输。在DTV传输阶段的最后,认为模拟参数将基本上被代替,使得当前的模拟信道仅用于DTV。用于数字广播的额外的信道,例如,将被拍卖或者用于更多的电视信道或比如数据广播的其它服务。同时联播还用于同时传输电视和互联网服务,传输模拟和数字无线电广播,以及传输以不同屏幕格式的电视节目,比如传统的格式和宽银幕格式。同时联播广播被广泛使用。
到DTV的转变并不是一个容易或廉价的转变。为使一个电视台发送DTV节目,它必须建立它的DTV设备,但是电视台必须有收入来建立这些设备。同时联播允许电视台持续从传统的模拟节目中获得收入并且还从额外的数字节目中获得额外的收入。在到DTV的转变中的另一障碍是用户们缺乏兴趣。对于特定装置的需要妨碍了观看者看到数字和模拟节目之间的不同,并且也降低了公众对DTV的热情。
用于操作DTV的装备根据地面、电缆或卫星服务用作传输信道/载体。在任意事件中,并且根据已知的或预期的系统,通常认为用户将最小程度的需要购买转换器来在他们的旧的电视机上观看DTV传输。另外,使用地面服务或电线来接收电视信号的用户需要装备有数字信号的天线。因为多路径效应,在符合ATSC的国家的位于山区区域的用户可能不能接收基于地面的数字信号。即使对于今天的模拟电视系统这也很常见。在符合DVB的国家,地面不影响数字信号的接收。卫星用户已经可以享受DTV广播,但是可能需要较大的碟型卫星天线来观看HDTV节目。
在这里将“置顶盒“定义为使得电视机可以成为到互联网的用户接口并且还使得模拟电视机可以接收并且解码DTV广播的装置。DTV置顶盒有时被称为接收器。估计到2006年底结束,估计转变到DTV的年份,三千五百万个家庭将使用数字置顶盒,
通常的数字置顶盒包括一个或多个用于运行操作系统,通常是Linux或Windows CE,并且用于分解MPEG传输流的微处理器。置顶盒还包括RAM、MPEG解码器芯片,以及更多的用于音频解码和处理的芯片。置顶盒的内容根据所使用DTV标准。符合DVB的置顶盒包括解码COFDM传输的部分,而且符合ATSC的置顶盒包括解码VSB传输的部分。更加复杂的置顶盒包括用于存储记录的电视广播,用于存储下载的软件,以及用于其它由DTV服务提供商提供的应用的硬盘驱动。数字置顶盒可以用于卫星和地面DTV但是主要用于有线电视。置顶盒的价格在从用于基本特征的$100到用于更为复杂的盒的$1,000之间。
在互联网领域,置顶盒通常真正用作可以和互联网“交谈”的特定的计算机,就是说,它包括网络浏览器(其是真正的超文本传输协议客户)以及互联网的主要程序,TCP/IP。置顶盒可能通过电话线,例如,以网络TV或通过像TCI的有线TV公司附加服务。
为了得到用于卫星广播的Dolby Digital 5.1信道的优势,需要卫星接收者提供Dolby Digital输出。对于电缆用户,所有数字置顶盒装备有Dolby Digital两信道解码器。为使用5.1信道声音,需要符合5.1信道的置顶盒或外部5.1信道解码器单元。
因为更大的屏幕,更宽的纵横比和更好的分辨率,数字电视的优点的最生动的示例是通过高端HDTV。但是,像多数新技术一样,HDTV很昂贵。不过,更便宜的数字TV提供相比现有电视可观的改进的观看体验,并且对于那些选择保留他们的旧的装置的人,即使是置顶盒转换器的情况也可以提供显著改进的画面和声音。
FCC用于转变到DTV的计划时间建议到2002年每一个在美国的人应该可以接入DTV并且到数字传输的转换必须要么到2006年完成要么当在特定区域的85%的家庭购买了数字电视机或置顶盒转换器的时间。
在1990年代早期,欧洲广播,用户装备制造商,以及形成为了在欧洲范围内介绍DTV而启用“DVB”或“数字视频广播”项目的欧洲启用组(ELG)的规则主体。DVB意在提供和闭合系统相对的开放系统。闭合系统是内容提供商指定的,不可扩展的,并且仅为那些为其开发的系统最优化。开放系统,比如DVB,允许用户选择不同的内容提供商并且允许结合PC和电视。DVB系统意在为电视最优化,并且同时支持家庭购物和理财、私人网络广播和互动式观看。DVB意在打开提供十分清楚的电视节目给在公共汽车、汽车、火车中的电视机,和即使手持电视的可能性。因为通过DVB内容提供商可以在任何DVB支持的地方提供服务而不顾地理位置,所以DVB对内容提供商也是有益的,并应该加以提倡。内容提供商可以容易并且廉价的扩展它们的服务并且因为到用户的接入保证无需授权的观看受限,从而降低收入损失。今天,DVB项目在世界范围内超过29个国家包括超过220个组织并且DVB广播服务在欧洲、非洲、亚洲、大洋州和部分北美洲和南美洲可用。
特定格式媒体
用于流媒体信号本身的多种不同格式也在这里通过非限制性实例的方式总结,来提供CODECS对于特殊情况怎样不同的进一步理解。
“DVD”是“数字多功能光盘”的首字母缩写,通常被定义为相对新的光盘技术,其在它的两面上具有大约4.7吉比特的信息,或者足够用于平均大约133分钟长的电影。在它的两面上的每一层如果具有两层,它可能具有17吉比特的视频、音频或其它信息,相比现有的具有大致相同物理尺寸的拥有大约600M字节的CD-ROM光盘(DVD拥有大约28倍以上的信息)。需要DVD播放器来播放DVD,尽管它们还可以播放通常的CD-ROM光盘。DVD可以以下面三种通常格式中的任意记录,分别为(i)视频(例如,连续的电影);(ii)音频(例如,长时间播放的音乐);以及(iii)混合(例如,互动式多媒体表现)最优化。DVD驱动具有在某种程度上比8速CD-ROM播放器要快的传输速率。DVD格式通常使用MPEG-2文件和压缩标准,其具有大约4倍于MPEG-1图像的分辨率并且可以以大约60交织文件每秒传送,其中两个场构成一个图像(MPEG-1传送大约30非交织帧每秒)。MPEG-2和-1标准在这里的其它地方更详细的定义。在DVD上的音频质量可以和当前的音频光盘的质量相比。
“DVD-视频”是通常给予为完整长度的电影分配的DVD格式的名称,并且是将和电视机一起工作的盒。“DVD-ROM”是给予被一些人认为将来在计算机中将代替CD-ROM驱动的播放器的名称,因为这些更新的驱动意在播放通常的CD-ROM光盘和DVD-ROM光盘。“DVD-RAM”是给予DVD的可写版本的名称。“DVD-音频”通常是给予分配来代替小型音乐音频光盘播放器的播放器的名称。
“VHS”是“视频家庭系统”的首字母缩写并且通常被定义为视频磁带盒格式,通常半寸宽,为家庭使用开发,具有记录和回放模拟视频和音频信号的性能。主要因为它的广泛的存在和可记录性,VHS成为流行的格式和用于家庭电影销售和复制的事实上的标准。VHS使用类似于录音带的技术将信号作为模拟格式存储在磁带上。使用VHS录像机(VHS VCR)来回放磁带并在其上记录。VHS磁带通常存储多达两小时的视频,尽管一些VCR能够以更慢的速度记录它们,从而能够允许在每个磁带上记录六小时或甚至八小时。
VHS格式输出略高于200线的水平分辨率。相比DVD输出超过500线的水平分辨率。从技术上和感觉上,VHS是被其它格式,包括,例如,DVD,S-VHS,Hi-8和其它超越的格式。但是,VHS仍然是用于观看视频的主要方式,并且在整个国家和世界范围内仍然可以在四处从电影租赁店到杂货店很容易的找到,使得它们易于获得。
“CD”是“光盘”的缩写,并且通常被定义为小的、可携带的、圆形的用于以电子格式电子的记录、存储和/或播放视频、音频、文本和其它信息的媒介。最初,CD仅是只读的;但是,更新的版本还允许用于记录(例如“CD-RW”)
“超级音频光盘”或“SACD”是高分辨率的音频CD格式,其和DVD-音频(“DVD-A”)一起是竞争来取代标准的音频CD的两个格式(虽然多数工业厂商通常支持DVD-A,但是例外的通常包括Philips和Sony)。SACD,像DVD-A一样,除了2信道立体声,还提供5.1声道环绕声。通过增加比特速率和采样速率,两个格式都可以改进声音的复杂性,并且可以在现有的CD播放器上播放,尽管通常仅可以达到类似于传统CD的质量等级。SACD使用直接流数字(“DSD”)记录,其是Sony公布独有的,将模拟波形转换为1比特的用于直接记录的信号,而不是脉冲码调制(“PCM”)和由标准的CD使用的滤波。DSD使用无损的压缩和大约2.8MHz的取样速率来改进声音的复杂性和真实性。SACD可能还包括另外的信息,比如文本、图形和视频剪辑。
同样为了进一步理解的目的,基于互联网的通信还具有用于必须由使用互联网“超高速公路”的流媒体通信系统相容的通信的特殊协议。这些协议,特别是关于流媒体通信的,为了提供更为详细的理解的目的,将在下面紧接着进行总结。
关于互联网通信,通常以数字格式通过数据分组传递流媒体信号。术语“分组”这里意在表示在源和目的地之间通过互联网或任意其它分组交换网络路由的数据的单元。更为特别的,当发送文件时,通信系统的协议层(例如,基于TCP/IP的系统的TCP层)将文件分为用于路由的大块有效尺寸。对这些分组的每一个分开计数并且其包括目的地的互联网地址。用于给定文件的单独的分组可能通过互联网沿着不同路径传播。当它们全部到达时,将它们重新组合为最初的文件,例如,通过在接收端的TCP层。分组交换方案是有效的处理在无连接的网络,比如互联网上的传输的方式。作为选择的方案,电路交换,用于通常为语音连接分配的网络。在电路交换中,在网络中的线路由很多具有电路交换的用户共享,但是在连接的过程中,每一连接通常需要专用的特别路径。
无线通信和WAP网关
和先进的互联网时代具有同等的重要性,无线通信的时代显著的延伸了公众和家庭及办公室的固定界限的外部互动的能力,允许我们的远程通信剪断和线路及电缆的脐带。例如,在2000年,移动用户的数量增加了将近50%。
但是,无线通信系统、协议和启动技术以特别不连续的方式开发,在世界范围内形成了“特定格式”的市场。相比世界的其它地方,广泛用在美国的系统更是如此。因此,做了大量工作来克服特定格式的系统和相关的操作在不同平台的无线装置之间的兼容性问题。因为其之后涉及本发明,为了进一步理解无线通信的目的,下面将对用在无线通信工业中的重要的技术,系统和协议作一个简单的回顾。
通常,对于用于蜂窝电话的无限通信系统的进步,我们通俗的说,一般使用术语“1G”,“2G”,“2.5G”和“3G”,分别表示第一代、第二代等等。最初的系统完全是模拟的,称作为1G电话和系统。但是,随着快速发展,用于手机的可用带宽快速减少,将道路让给了在2G中处理的数字信号,其显著的拓宽了可用带宽和用于高级电信的复杂信号处理的性能。但是,随着用于无线互联网接入的需求增加,产生了从2G电话(通常没有互联网功能)的技术发展,到2.5G和3G(逐渐具有互联网功能)。像接下来将立即进一步开发的,系统、协议和启用技术的开发将主要集中到使得2.5G和3G模式投入大规模生产和使用。
通常,基于2G技术主要有四种数字无线网络:时分多址(“TDMA”)、码分多址(“CDMA”),全球移动通信系统(“GSM”)和蜂窝数字分组数据(“CDPD”)。在下面将对它们进行简要介绍。
时分多址(“TDMA”)是用在数字蜂窝电话通信中的技术,为了增加可以携带的数据量,其将每一蜂窝信道划分为三个时隙。TDMA由数字美国移动电话服务(D-AMPS),全球移动通信系统(“GSM”),和个人数字蜂窝(“PDC”)使用。但是,这些系统中的每一个以在一定程度上不同和不兼容的方式实现TDMA。TDMA和FDMA(频分多址)的一个作为选择的多路复用方案是码分多址(“CDMA”)。
码分多址(“CDMA”)指的是任意一些用在2G和3G无线通信中的协议。像术语所表示的,CDMA是一种多路复用的形式,其允许多个信号占据单一的传输信道,最优化可用带宽的使用。该技术用在800MHz到1.9GHz带宽的超高频率(UHF)蜂窝电话系统中。CDMA使用模拟数字转换(ADC)并结合频谱扩展技术。首先将音频输入数字化为二进制成分。之后根据定义的模式(码)来使发送的信号频率不同,使得其仅可以由其频率响应由相同码编程,并因此准确地符合发射机频率的接收机获取。存在万亿种可能的频率序列码,这样提高了隐私性并且使其难以被复制。CDMA信道通常是1.23MHz宽。CDMA网络使用所谓的“软切换”的方案,其可以最小化随着手机从一个小区移动到另一小区产生的信号中断。数字和扩展频谱模式的组合在每单元带宽中支持几倍于模拟模式的信号。CDMA可以和其它蜂窝技术兼容;这允许全国范围的漫游。
最初的CDMA,也就是CDMA ONE,于1993年实现标准化并且被认为是在美国的手机中仍然普遍使用的2G技术。CDMA ONE的一个版本,IS-95A,是采用1.25MHz载波并且操作在800MHz到1.9GHzRF通带中的协议;这个协议支持高达14.4Kbps的数据速率。另一版本,IS-95B,通过捆绑八个信道能够支持高达115Kbps的速度。
近来的CDMA变型,CDMA2000和宽带CDMA提供速度快很多倍的数据速率。CDMA2000,也被称为IMT-CDMA多载波或IS-136,是由国际电信联盟(ITU)开发的IMT-2000标准的CDMA版本。该CDMA 2000标准是3G技术,其意在支持在从144Kbps到2Mbps范围内的速率的数据通信。开发这种标准的版本的公司包括Ericsson和Qualcomm公司。宽频CDMA,或者“WCDMA”,是从已知为IMT-2000直接扩频的CDMA引出的ITU标准。WCDMA是意在对于本地区域接入支持高达2Mbps,或者对于广义区域接入的384Kbps的数据速率的3G技术,并且支持在这些速度的移动/便携式语音、图像、数据和视频通信。WCDMA将输入信号数字化并且以编码的、扩频模式在5MHz宽的载波上发送数字化的输出,这比200KHz宽的窄带CDMA的范围要宽很多。
全球移动通信系统(“GSM”)是广泛用在欧洲和世界的其它地方的数字移动电话系统;这个系统使用“TDMA”的变型(紧接着将进行介绍)并且是三种数字无线电话技术(TDMA,GSM,和CDMA)中最常用的。GSM将数据数字化、压缩、并且之后沿着信道和两个其它用户数据流一起发送,每一都在它自己的时隙内。它操作在900MHz或1800MHz频带。在这个公开的时间里,通常认为GSM是在欧洲的无线电话标准,并且公开其在世界范围内具有超过1.2亿用户并且在120个国家可用。至少一个美国公司,美国个人通信(SprintTM)使用GSM作为宽带个人通信服务(“PCS”)的技术。PCS是将语音通信、数字和文本消息、语音邮件和多种其它特征捆绑为一个装置,服务合同和帐单的电信服务。PCS最为通常是在数字蜂窝链路上执行。规划的这个服务具有超过400个用于多种由比如Ericsson,Motorola,和Nokia公司制造的小型移动手机的基站;这些装置通常包括电话、文本寻呼机、以及答录机。GSM是无线移动电信革命的一部分,其包括高速电路交换数据(HCSD),通用分组无线系统(GPRS),增强型数据GSM环境(EDGE),和全球移动电信服务(UMTS)。
蜂窝数字分组数据(“CDPD”)是在现有蜂窝电话信道上提供双向19.2Kbps分组数据传输的无线标准。
一些不同协议已在用于通过多种无线网络的通信中使用。将在下面简要介绍多种特定的这些协议。
“X25”是基于分组的协议,在这个公开的时间主要用在欧洲并且适于由国际电报与电话顾问委员会(CCITT)的标准。X.25是常用的网络协议,其允许在不同公共网络上的计算机(例如,CompuServe,Tymnet,或TCP/IP网络)来通过在网络层级别的中间计算机通信。X.25的协议紧密对应在开放式系统互连(“OSI”)中的数据链路和物理层协议。
“OSI”是网络结构和一套来实现它的协议(协议栈)的模型,由ISO在1978年作为用于在不同种类的计算机网络结构中的国际标准的框架开发。OSD结构分为七层,从最低到最顶:(1)物理层;(2)数据链路层;(3)网络层;(4)传输层;(5)对话层;(6)表示层;和(7)应用层。每一层使用在其下紧邻的层并且提供服务到上层。在一些实施中,层本身可能包括子层。
通用分组无线服务(“GPRS”)是基于分组的无线通信服务,其允许从56到114Kbps的数据速率,并且为移动电话和计算机用户持续连接到互联网。更高的数据速率将允许用户参与视频会议并且和多媒体网络站点互动,以及类似的使用移动手持装置和笔记本计算机的应用。GPRS基于移动通信全球系统(“GSM”)并且将补充现有服务,比如电路交换手机连接和短消息服务(“SMS”)。SMS是由GSM数字手机系统提供的消息服务。使用SMS,可以将短的字符消息(160字母字符)发送到移动电话并在那里显示,更像是在字母寻呼机系统中的。该消息由GSM网络缓存直到电话成为活动为止。
GPRS的基于分组的服务宣称将花费用户少于电路交换的服务的成本,因为通信信道是共享的,作为基于分组需要使用而不是在一个时间仅专用于一个用户。它还意在使得应用对移动用户可用,因为更快的数据速率意味着不再需要当前需要适宜应用到更慢的无线系统速度的中间设备。随着GPRS成为广泛可用的,虚拟个人网络(“VPN”)的移动用户将能够持续接入个人网络而不是通过拨号连接。GPRS还意在实现“蓝牙”,用于代替在装置之间的有线连接的无线无线电连接的标准。除了互联网协议(“IP”),GPRS支持X.25协议。还认为GPRS是迈向增强型数据GSM环境(“EDGE”)和通用移动电话服务(“UMTS”)的革命性的步骤。
全球移动电信服务(“UMTS”)意在是在高达2Mbps的数据速率的3G,宽带基于分组的文本、数字化语音,视频和多媒体传输。UMTS还意在无论移动计算机和电话用户在世界上的什么位置,提供一致的一组服务给它们。这个服务基于GSM通信标准,并且由主要的标准实体和制造商所认可,而且是到2002年在世界范围内用于移动用户的计划标准。一旦完全实现UMTS,计算机和电话用户可以在他们旅行的过程中始终和互联网连接。
增强型数字GSM规划(“EDGE”)服务是全球无线系统(GSM)无线服务的更快速的版本,设计来以高达384Kbps的数据速率传送数据,并且可以传送多媒体和其它宽带应用到移动电话和计算机用户。EDGE标准在现有的GSM标准上建立,使用相同的时分多址(TDMA)帧结构并且被认为是在到全球移动电信服务(UMTS)的路途中的革命性的标准。
无线应用协议(“WAP”)是用于一组通信协议来标准化无线服务,比如手机和无线电收发机的路线的规范,可以用于互联网接入,包括电子邮件、万维网、新闻组以及互联网中继聊天(“IRC”)。虽然互联网接入在WAP之前就已经实现,但是不同的制造商使用“特定格式”的技术。WAP使得装置和服务系统可以互相合作。
最近,为了桥接之前在无线装置上将个人从“信息高速公路”分开的软线、线路和电缆之间的空隙,做了很多努力来混合无线通信和互联网领域。这种技术的混合在,例如,家庭和办公室网络设置本身中开发,在该网络中,开发无线红外线和无线电频率通信系统用于连接“无线”办公室或家庭中的装备。对于和更多的远程无线装置,比如手机和个人数字助理(“PDA”)通信和共享也作出了另一实质性努力。
PDA通常是小的移动装置,其可能是“手持的”并且通常包括用于管理、存储并且显示电话地址簿、日历、计算器和类似功能的有限的处理器和显示屏。近来可用的PDA渐渐成为“具有无线功能”的,要么通过具有嵌入在PDA本身之中的无线调制解调器,要么和比如手机的无线调制解调器“插件”连接。具有无线功能的PDA还通常是“具有互联网功能”的,具有有限的“浏览器”性能,允许PDA和服务器装置通过互联网通信。商用的无线“功能”PDA的实例包括PalmVII(来自Palm有限公司)以及IPAQ(来自Compaq,)。这些PDA包括Windows CE操作系统,其提供有限的浏览器性能以及用于内容的屏幕显示。这些电话具有从大约33MHz到大约220MHz的处理性能以及不同的屏幕显示性能,例如,320×240象素屏幕显示。
类似的,近年来手机本身也渐渐成为“具有互联网功能”的,也具有有限的浏览器性能和显示内容的屏幕。“具有互联网性能”的手机的实例包括,例如:在大量其它同类中的Sanyo SCP-4000,MotorolaIL000PLUSTM;这个很宽的领域表示数百个不同的处理和显示性能。
在“具有互联网功能”的PDA或手机的情况中,必须实现和通信的互联网协议的兼容性。通常,无线通信发生在无线应用协议(“WAP”)上,然而在根据一些不同协议中的一个的互联网处理上,最一般的是传输控制协议/互联网协议(“TCP/IP”)。因此,如图1E所示的WAP网关,在基本技术上根本不同的互联网世界(或任意其它IP分组网络)和无线电话/数据网络化之间形成桥接。本质上,网络做出在这两个不同实体之间的解释,允许用户使用他们的电话或手持计算机装置(例如,PDA)来无线接入互联网。
但是,用于传输到更高能量的计算装置,比如具有可观的显示性能的笔记本计算机的流媒体通常不和这些具有十分有限的处理和显示功能性的装置兼容以由他们接收和观看。开发特别的“特定格式”的压缩方案用于特别用在这些装置中,并且仅特定媒体内容可以被以那些格式发送到这些装置。
仍然需要适于以合适的由无线装置,比如具有独特的限定条件的手机和PDA播放的格式发送很多种类的流媒体信号的流媒体通信系统,其中约束条件包括,例如,有限的和可变的处理、存储和显示性能。
发明内容
本发明提出并克服了先前已知的用于流媒体通信的方法的多种限制、低效、资源限制和不兼容性,并且在下面提供多种有益的模式,方案,实施例和变型。
根据一个实施例,本发明提供了一种流媒体通信系统,其是在网络系统,比如神经网络中使用计算机实现的智能系统,比如人工智能,来在传输装置和至少一个目的装置之间传递流媒体信号。
本发明根据的另一实施例,提供了一种用于在传输装置和多个每一都具有不同媒体信号处理性能的目的装置之间传递流媒体信号的系统。
本发明根据另一实施例,提供了一种流媒体通信系统,其适于从单一的传输装置和至少一个目的装置通过多个不同的传输信道传递流媒体信号,其中多个传输信道每一具有关于传递流媒体信号的不同的传输性能或约束条件。
本发明根据另一实施例,提供了一种包含有人工智能实现的神经网络,其适于在适应性的学习处理中被训练,其中的学习处理关于流媒体压缩系统在源将流媒体信号压缩为流媒体信号的压缩的表示的能力,通过传输信道将压缩的表示发送到目的装置的能力,以及将压缩的表示解压为流媒体信号的适于由目的装置播放的解压的表示的能力。
本发明根据另一实施例,提供了一种用于根据CODEC压缩流媒体信号的系统,其中至少部分基于影响流媒体信号的通信的参数中的至少一个来使用CODEC。根据这个模式的一个方面,根据至少一个下面的参数来使用CODEC:关于另一参考信号的CODEC的先前学习到的行为,关于压缩或解压相同的流媒体信号的先前的尝试的CODEC的先前学习到的行为,关于流媒体信号的CODEC的操作和流媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束条件。在一个有益的实施例中,基于多于一个的这些参数使用CODEC,并且在此外的有益的变型中基于所有这些参数使用CODEC。
本发明根据另一实施例,提供了一种用于使用CODEC库压缩流媒体信号的系统,其中CODEC库适于存储多个不同类型和操作的CODECS,并且适于由网络系统、比如神经网络搜索和存取以从CODEC库中提供用于用在将输入的流媒体信号压缩为用于传输到目的装置的压缩的表示的合适的CODEC。
本发明根据另一实施例,提供了一种CODCE操作系统,其适于与CODEC库和神经网络连接,以在处理中,比如人工智能处理中使用神经网络来从CODEC库中选择合适的CODEC,并且使用所选的CODEC用于将流媒体信号压缩为用于传输到目的装置的流媒体信号的压缩的表示。
根据一个方面,CODEC库适于接收并存储新的CODEC,使得这些新的CODEC可能与神经网络的连接,以便在被提供时被选择并被应用来压缩流媒体信号。
本发明根据另一实施例,提供了一种目的代理,其适于由目的装置存储,以用在解压流媒体信号的压缩的表示中。目的代理适于和远程的压缩的流媒体传输系统通信,以接收并播放来自那里的流媒体信号。在特别有益的方面中,软件代理适于传送关于目的装置的信息到压缩的流媒体传输系统,并且还适于接收和解码来自压缩的流媒体传输系统的确定的编码流媒体信号。
本发明根据另一实施例,提供了一种用于传递具有目的代理的流媒体信号的系统,其中目的代理适于被存储在目的装置中,以将流媒体信号的压缩的表示解压为可由目的装置播放的解压的表示。
根据这个实施例的一个方面,目的代理具有诊断代理和解压代理。诊断代理适于确定用于目的装置的关于用于处理、存储或显示的性能的至少一个参数的值。解压代理适于使用至少部分基于至少一个参数的值的CODEC来应用CODEC解压器来将流媒体信号的压缩的表示解压为解压的表示。
根据另一方面,目的代理包括软件代理。在一个变型中,将软件代理被嵌入目的装置。在另一变型中,软件代理适于至少部分由远程的源载入到目的装置上,其中远程的源适于将流媒体信号的压缩的表示传送到目的装置。
本发明根据另一实施例,提供了一种用于对流媒体信号在至少一个最初的格式和至少一个经过代码转换的格式之间进行代码转换的代码转换器。代码转换器包括用于一些流媒体信号中的每一个的单一线程。
本发明根据另一实施例,提供了一种视频点播流媒体系统,包括有在附图中示出的实施例和其它在这里描述的。
本发明根据另一实施例,提供了一种移动电话通信系统,其包括有在附图中示出的实施例和其它在这里描述的。
本发明根据另一实施例,提供了一种互动游戏系统,其包括有在附图中示出的实施例和其它在这里描述的。
本发明根据另一实施例,在这里包括有上面和其它地方公开的多种模式、实施例、方案、特征和变型,用于静态媒体,以及在处理(例如,压缩)之后本地存储并且不发送的媒体。
附图说明:
图1A-B是示意性的方框图,示出了使用现有的CODEC系统的两个先前的媒体通信系统的各自的变型。
图1C-D是示意性的方框图,示出了先前的媒体代码转换机系统的两个各自的变型。
图1E是示意性的方框流程图,示出了在先前的WAP网关通信系统中的多种相关的组分。
图2-3是示意性的方框图,示出了分别在两个使用模式中的根据本发明的一个实施例的代码转换机系统。
图4A-5是方框流程图,分别示出了根据本发明的一个实施例的媒体通信系统的多种细节。
图6是示意性的方框流程图,示出了根据本发明的一个实施例的“视频点播”流式视频通信系统的多种相关组分。
图7是示意性的方框流程图,示出了根据本发明的一个实施例的无线流式视频通信系统的多种相关组分。
图8是示意性的方框流程图,示出了根据本发明的一个实施例的WAP网关媒体通信系统的多种相关组分。
图9是示意性的方框流程图,示出了根据本发明的一个实施例的媒体通信系统的一个特别使用模式的回程过程中的无线通信系统的多种相关组分。
图10是示意性的方框流程图,示出了根据本发明的一个实施例的互动游戏通信系统和置顶盒TV浏览的多种相关组分。
具体实施方式
像通过下面的实施例以不多种方式示出的(并且通过参考附图),本发明提供一种媒体通信系统,其包括压缩系统、传送系统和解压系统,并且在另一方面包括代码转换机系统。通常,这些单独的子系统的组合提供在多个编码格式之间有效的对媒体进行代码转换的能力,另外基于比如变量的大量系统参数定制随机选择的流媒体信号的压缩、传送、解压。这些变量包括(例如,但是不限于)涉及下面的这些参数:源视频信号,源发送装置,传输模式,以及目的装置。这些定制的媒体信号的压缩、传送和解压以使其对于给定的、变化的、使用环境的最优化有效。结果,可以以高效的标准和很宽的装置兼容性传递很宽范围的复杂的流媒体信号,从而相对其它已知系统做出相当的改进。
虽然在这里描述了整个流媒体通信系统的优点,每一描述的子系统也独立的提供流媒体通信的有益的有用效果。多种子系统本身,以及多种这些子系统的组合的反复,对于本领域普通技术人员,至少部分基于这个公开来说很明显,并且还预期在本发明的范围之内。另外,整个通信系统的多种方案,以及每一描述的子系统,也预期对于其它不是特别用于流媒体通信的应用也是特别有用的。因此,对于本领域普通技术人员来说很明显,这些附加的应用也进一步预期在本发明的范围之内,不论应用什么特别的有用模式都可以改进流媒体通信。代码转换机
根据本发明提供视频/音频代码转换机200,其使得一个引入的视频源210可以在没有人为干涉的情况下在多个格式215(例如,MPEG4,Real VideoTM和QuicktimeTM)上从一个装置流动。根据本实施例的代码转换机200以其它商用代码转换机系统的一小部分价格提供实质上更好的功能性。另外,因为系统工作“在空中(on-the-fly)”。显著的减少了视频源210的预压缩。
更为特别的,根据本发明的代码转换机200系统和方法适于将来自任意压缩或未压缩格式的数字化的媒体进行代码转换,按照要求实时复制为任意其它的压缩格式。系统200和方法也使得可以进行具有来自不同压缩或未压缩的格式的多个不同数据的多个媒体215的有效的、同步的处理,转换为多样的不同压缩的格式。
通过参考图3的方式在这里描述在这个系统中的本实施例的代码转换器200。如图所示,第一播放器最初和装有代码转换器200的服务器300连接。播放器格式(例如,Microsoft Media)、连接速度(例如,32Kbps)和协议(HTTP)是相同的。服务器300将实况或预先编码的视频拉进“实况缓存器”或“高速缓存”310,并且将它们编码为数字化的但是几乎未压缩的数据(例如,AVI或MPEG2)。然后,服务器300在连接速度(例如,32Kbps)载入合适的CODEC线程(例如,Microsoft Media)。之后,服务器300载入HTTP/MS播放器线程,其服务第一个客户,并且之后,由使用M/S播放器的在100Kbps具有MMS的客户请求第二个流。服务器在合适的100Kbps速率载入合适的MS CODEC线程。之后,服务器300载入MMS/MS播放器线程来服务第二个客户。然后,由使用Real Player的客户在具有RTSP的40Kbps上请求第三个流。服务器300在合适的40Kbps速率上载入合适的Real CODEC线程。之后,服务器300载入RTSP/Real player线程来服务第三个客户。并且,这个示图是示例性的,而且可以由其它的特定CODECS,以及其它比特速率等来替代。
为了提供本代码转换机实施例的进一步的理解,图3以应用来为不同客户服务多个不同视频流的另一实例的方式示出了代码转换机200。
大致上,示出和描述的本代码转换机200使用“线程”通信而不是很多现有的代码转换技术使用的“IPC”和“内部处理器通信”。为了这个代码转换机200的描述的目的,在这里术语“线程”意在表示程序中的控制流程的封装(encapsulation)。单一线程的程序是那些“在一个时间”仅执行通过他们的代码的一个路径。多线程程序可能具有通过不同码的线程  “同时”运行的一些线程。在通常的其中存在多个线程的处理中,在任意一个时间可能运行零个或多个线程。这是根据在其上运行处理的计算机的CPU的数量,并且还根据怎样实现线程系统。虽然具有N个CPU的数量的机器或系统可能适于并行运行不多于n个线程,根据本代码转换机发明的线程操作可能会通过在线程之间共享CPU来出现“同步”运行比n多得多的线程。
代码转换机200提供概括的API,并且因此不以本地的编码器总开销(大得多)存取CODEC。创建缓存310作为用于不同视频流的客户拉动的功能。此外,本发明的代码转换机200使用用于每一不同连接的单一线程的网络结构,如果客户在相同内容的缓存段中的话,将它们组合进相同线程。代码转换机200以在这里示出和描述的一种方式使用线程,即,认为其高度有益,因为认为在单一处理中的两个线程之间的内容交换相对于使用在两个处理之间的内容交换便宜很多(处理/存储/IO)。另外,除了用于堆栈和寄存器的,所有数据在线程之间共享的事实使得它们很自然的用于实现可以分解为子任务并且需要合作运行的任务。
虽然为了达成来自一个情况一个情况(case-by-case)基础的特殊需要,可在刚刚描述的代码转换机200周围建立多种特定的结构。但是,为了进一步示出的目的,下面是一个更为详细的使用所述的代码转换机200的实例。提供代码转换机200以适于支持大量的同步客户流,其中每一具有不同的格式。特别的,这种系统可能支持超过5000同步流,并且在一些情况中是多于7000个同步客户流,而且每一具有不同的视频格式。此外,代码转换机200可能实现来将任意的大量的视频源转换为特别适用于很多不同的单独客户所需要的格式,其中每一客户具有不同的需要。在一个特殊的实例中,可能将就像在这里描述的代码转换机200实现来支持这种在任意下面格式上的同时的高需要:MPEG1;MPEG2;MPEG4;Motion JPEG;AVI;H.261;H.263;H.263+;RealVideoTM;G-8;QuickTimeTM;Shockware FlashyTM;IndeoCinepakTM;ASF。
进一步预期代码转换机200可能适于整个通信系统,以符合所有现有的和预期很快出现的固定和移动的终端和装置。另外,可能实现代码转换机200来适于输出流式格式变量以动态的适应每一客户的信道和平台情况。此外,包含有代码转换机的系统适于支持载入平衡服务器和用于多代码转换机安装的路由器。因此,认为本发明的代码转换机200相比现有的代码转换技术和系统具有好得多的功能性和便宜很多的成本。
如上所述,多种不同的系统结构可能结合本发明的代码转换机200并且不脱离本发明的范围。但是,认为适于提供刚刚描述的支持的有益标准的特殊结构的更多细节包括下面的方面:(i)双P3-933处理器;(ii)任意Unix OS的变型;(iii)512MB RAM;备用的防火墙(firewire)或吉比特以太网;备用的电源。这种系统可能以机架(rack)安装的结构设置,或者另外适于特殊需要。
应该认为本发明的代码转换机200的下面的方面是广泛有益的,对于本领域普通技术人员来说,不论是独立的或者以多种组合的方式,至少部分可从本公开看出。
提供一种系统和方法,用于在用户和核心空间中的异步软件线程通信来在多处理器和/或分布的计算平台(比如族)上执行有效的代码转换。能观察到这个方法比使用现有的IPC方法来实现代码转换机有效的多。创建CODEC算法的共享库并且用来访问多种CODEC算法,由此引起相比现有的组合编码器功能,比如用在大多数商业编码器中的所需要的更少的处理总开销以及更低的存储器使用。对于特殊的益处,通常的线程可能用于多个连接,并且事实上即使单一线程可能使用本代码转换机用于每一单独的连接。
还提供了一种系统和方法,来在无论何时要求相同内容并且动态缓存(高速缓存)可能容纳所有要求的数据点时,为组合多个客户来由相同线程服务(为了效率)。
媒体压缩和传送系统
还根据本发明提供一种数据压缩和传送系统400用于实时动态数据信号处理,以最优化在给定的一组约束条件上的最初的媒体数据的大致的再生。通过在图4A和5中的方框流程图的方式示意性的示出了这个系统400和方法。这个系统的多种有益特征和操作的进一步描述在下面以通常包含有参考由这些图4A-5所提供的描述的示例性的实例的方式提供。
图4A是一方框图,示出了本发明的数据压缩和传送系统400的一个实施例。如图4A所示,数据压缩和传送系统400包括:媒体模块405,动态播放器模块407,图像处理器410,基线快像模块415,分类器417,标准质量(QoS)模块420,网络层输入模块425和网络输出层模块430。系统400进一步包括神经网络处理单元440,计时器435,CODEC库模块445,动态客户请求模块450,ICMP模块455,装置和网络参数测量模块460和传送及发送模块465。
在一个实施例中,位于服务器节点的系统400处理引入的未压缩或先前压缩的数据。系统400采用具有人工智能的神经网络440来监控引入的数据,以确定每一数据段的多个关键特性。系统400将引入的数据特性和在输入信号(例如,视频信号)中的帧序列中的场景中的图形的预先开发的自我参考经验式学习的规则的库445相关联,并且和外部施加的约束条件相关联,来为每一数据段最优化的选择优选的商用压缩/解压算法(例如,CODEC)。之后系统400建立使用控制、参数和变量的延伸阵列来最优化所选的算法。算法的选择以及参数和变量的建立将动态的随每一引入的数据段根据数据特性以及最优化处理过程本身的发展而改变。可能的算法的设置很多,仅由可用性和其它商业考虑限定。将每一数据段以上述方式编码并压缩,之后用于通信信道。
刚刚描述的压缩系统400对于流媒体压缩引擎特别有用,其中,引擎基于来自可用的CODEC的信息,并且流媒体传送系统使用另一人工智能神经网络440执行引入的视频的一帧一帧的分析。之后系统400选择最合适的压缩格式,并且基于如在一个实施例,来自下层的系统环境的峰值信号的噪声比率的选择中测量的最好的质量设置压缩参数用于最优化视频压缩。结果是用于本装置和情况的“最优化”的视频和音频服务。
在下面提供作为应用到流媒体信号的这个系统的更为特定的人工智能/神经网络440的说明方面。最初,将分开的和不同的CODEC库添加到系统,作为可搜索的CODEC库445。也提供相关参考信息的另外的库,包括:网络传输标准(NTS)库443;服务质量(QoS)库447。之后,以数字化或非数字化格式(使用AD转换)通过图像处理器410产生视频(媒体源)。之后图像处理器410解压源(如果需要)并且采用用于“清除”源图像的多种标准图像处理算法。作为结果的源媒体之后通过基线快像415知识库,其中它将用作用于今后比较的“完美的金标准”。类似的,还将这个产生的源媒体送到分类器417。
为了创建展示时间、空间和逻辑特征的类似组合的源媒体子段,分类器417分析源媒体的时间、空间和逻辑的特征。定义“类似的”以表示包括通常的时间、空间和逻辑特征的源媒体的相邻的子段,这些特征赋予子段本身特殊的编码/压缩算法(比如在CODEC库445中找到的)。将这个源媒体子段(或,在一个实施例,一组相邻的视频和音频帧)表示为“场景”。
之后,神经网络过程440通过采用来自CODEC库445的CODEC来操作在这个场景上,从而压缩该场景。每一CODEC的内部结构根据从NTS库443、QoS库447、计时器处理435、网络输入层425、ICMP代理455和装置和网络参数测量代理460获得的输入来操纵/改变。然后解压压缩的场景,并且使用由质量标准处理420做出的质量测量相对基线快像415进行比较。在本发明的一个实施例中,为了执行解压的场景和源媒体的基线快像的比较,质量标准处理420采用峰值信号噪声比(PSNR)算法。对于多个来自CODEC库445的CODEC重复比较过程,直到神经网络处理440在从NTS库443、QoS库447、计时器处理435、网络输入层425、ICMP代理455和装置和网络参数测量代理460接收的输入的约束条件之内,对作为结果的压缩场景的质量满意。最后,将产生的压缩的场景发送到网络层输出430,其使用合适的网络传输协议和QoS算法将压缩的场景传输到客户。
重复上述过程直到整个源媒体已经被发送到客户或直到因为多种可能的情况该处理被中断,其中该情况可能包括:客户请求终止,网络传输故障,客户硬件故障等。
NTS库443是由网络层输出430选择和使用来传输压缩的源媒体到客户,和由网络层输入425选择和使用来从客户接收信息的网络传输服务的知识库。该选择是基于从网络层输入425、ICMP代理445和装置和网络参数测量代理460接收的定性和定量的输入的。
QoS库447是由网络层输出430选择和使用来传输压缩的源媒体到客户的服务算法的质量的知识库。该选择是基于从网络层输入425、ICMP代理445和装置和网络参数测量代理460接收的定性和定量的输入。
ICMP代理455产生输入到神经网络处理440,其中神经网络处理440动态提供其具有在处理器和客户之间使用的传输的定性和定量的特性。在本发明的一个实施例中,ICMP协议用于这个目的。
装置和网络参数测量代理460产生输入到神经网络处理440,其中神经网络处理440动态提供其具有在处理器和客户环境之间使用的传输的定性和定量的特性。在本发明的一个实施例中,这些客户环境特性包括中心处理单元(CPU)容量、网络接口特性,存储容量和媒体再现装置性能。
仍然参考图4A,网络层输入425提供入站的(最初来自客户)网络传输服务。网络层输出430提供出站的(最初来自处理器)网络传输服务。计时器处理435提供用于本发明的用户限制神经网络处理440在处理给定源媒体时所花费的时间的最大值的方式。
图4B是一方框图,示出了根据本发明的一个实施例的神经网络处理模块440的CODEC选择方案的一个实施例。如图4B所述的神经网络处理模块440包括:视频帧选择模块475,CODEC参数模块480,输入层模块485,隐藏层486-487和输出模块488。在本发明的一个实施例中,CODEC表示的信号适于用作用于引入到神经网络处理模块440的信号的参考基线信号,其由神经网络处理模块440产生。在一个实施例中,分类器417确定在引入的视频信号的段中的哪个场景代表在下层的CODEC的可用参数的光中的最好场景。标准的清单由神经网络处理模块440使用来确定在信号中哪个场景表示最好场景。在一个实施例中,神经网络处理模块440对在视频的特殊帧中的象素数量取样来通过视频信号的预先确定的参数确定在那个特殊帧中的象素数量的变化。在另一实施例中,可能将在视频信号中的特别场景中的显著的运动变化用作用于接下来的引入视频的基线参考场景(“最好场景”)
在本发明的一个实施例中,神经网络处理模块440将来自分类器417的视频段作为输入,并且接下来使用这个输入的取样来得出足够的关于视频信号特性的信息。例如,在如图4B所示的方案中,神经网络处理模块440采用窗口快像(例如,176×144象素窗口)来检查。对于神经网络处理模块440,观看取样窗口的中心来产生足够的关于视频信号的信息是有益的。在本发明的一个实施例中,神经网络处理440使用最多8帧来产生关于视频信号的必需信息。以从参数模块480到输入层485的特殊CODEC参数表示来自取样窗口的信息。
输入层485和多个隐藏层486-487通过多个神经元连接,其中神经元具有每一形成从一个神经元到其它的强或弱的概要(synoptic)连接的连接。在一个实施例中,提供每一由神经网络处理模块440支持的CODEC具有它自己的神经网络来处理和特别的CODEC一起到来的CODEC特定参数。神经网络处理440通过循环(round robin)方式产生“最好的”视频,其中的循环方式就像从在视频取样捕捉时期内的多个CODEC处理作为“烘烤”(bake-off)提到的处理。在处理来自引入信号的最好的视频表示中,用于每一CODECS的每一对应的神经网络从隐藏层486-487产生最好的表示样本,并且将信号送到输出模块488。在本发明的一个实施例中,来自每一类由神经网络处理440处理的CODEC的最好的CODEC的输出数据设置具有两个可能性。第一个是神经网络处理440提交用于每一CODEC的最好结果到输出模块448来“烘烤”多个用于多个CODEC中每一个的“最好的”样本的神经网络,其中的CODEC反过来从多个最好的CODEC中产生获胜的最好的CODEC。烘烤神经网络比处理CODECS处理的神经网络更小、并且更快。
在第二处理方案中,神经网络处理440可能实现处理由多个CODECS产生的最好的CODEC的基因算法。基因算法采用和弹子游戏相同的统计选择方法。这样,不将来自多种神经网络的获胜的输出CODEC送入“烘烤”神经网络,而是可能应用基因算法处理,来将来自多种神经网络的输出模块488送入存储桶(bucket),并且从在源媒体末尾的场景集合,例如,电影等中挑出最好的CODEC表示。在本发明的一个实施例中,神经网络处理440使用前向和后向传播算法来处理CODECS。
回到图4A,为了提供这个人工智能处理的进一步理解的目的,下面提供了一个特殊应用的实例。应该理解应将由这个示例性应用提供的系统的操作特性认作根据本发明的用于数据压缩和传送的神经网络440方面广泛描述的。可以做出其它应用并落入本发明范围之内。
视频内容提供商在它的服务器上安装本发明的系统。为了执行最初的如上所述的AI处理,将取样视频引入本系统。创建CODEC特性的复杂矩阵,例如,对于每一比特速率的视频图形等,以在后面画出。接下来,为了观看视频M,客户端的用户和内容提供商系统连接。本发明的位于服务器上的通信系统传送软件代理到客户的装置,这样使得客户可以和通信系统连接以传送特定装置的信息和接收合适的压缩的信息和用于播放的解压CODEC。之后,为传输合适的压缩每一帧的目的,AI系统开始将视频M作为流式信号载入缓存用于对每一帧选择合适CODEC。缓存器的时间周期根据多个变量,理论上的系统的处理能力,并且可能通常是,例如,对于具有用于预先记录的合适性能,但是视频媒体未压缩的系统来说大约15秒。在缓存器内,根据如图所示的矩阵中的预先测试的序列的“类型”比较每一帧和每一CODEC。
接下来,系统400通过从在客户装置上的软件代理接收的信息观看用户端的参数,例如,屏幕分辨率、可用存储器。之后选择最合适的CODEC,并且通过在CODEC内设置特定变量到固定数量(例如,基于比较源视频和过去的图形、传输信号性能或约束条件以及目的装置性能或约束条件)来为最优化表现设置/调整。通常由分类器417一帧一帧的做出刚刚描述的处理,但是为了时间的压缩效率比较CODECS,使得用于每一帧的处理预期其它在前和在后的帧。一旦选择了合适的CODEC并为每一帧调整(和其中由系统自动的合适的确定帧的模块),传送系统报告客户代理并且在对应的要被加压并播放的帧之前传送调整的CODEC。
应该认可这个系统400的神经网络440持续学习并且记住在CODEC库445中的CODECS的操作和性能,并且持续使用它的学习来改进输入媒体信号的压缩效率。通过库的运行信号帧的过程,更改CODEC操作参数,通过比较逻辑525(图5)比较压缩性能和参考标准压缩,并且再次运行循环,并进一步更改。该运行信号帧的过程是反复的550(图5),通常持续改进压缩效率。事实上,具有在库445中的一个或多个CODECS的压缩可能达到比参考压缩算法更好的改进标准。
但是,当时间约束条件435(图4A)存在时(比如在用于流媒体内容的实时推动或拉动要求),这个过程必须最终停止在一些点上,使得处理的特殊的帧或帧序列被压缩575,并且传送580到目的,同时没有计时器435的不可接受的延时。然后,可能由神经网络440在CODEC操作系统内操作下一个帧或序列。这些终点可能由到达预先确定的所需结果来定义,例如,但是不限于(i)到达预先确定的百分比(%)压缩效率,例如,相比参考标准;或(ii)到达在处理上的预先确定的或派定的时间限制设置,例如根据关于缓存时间的时间(例如,15秒);或(iii)(i)或(ii)的更早的出现。在任意事件中,虽然到达终点用于选择合适的CODEC,并且执行比较575和传送580操作。这不标志着用于神经网络440训练继续的终点。存储通过每一处理的循环收集的信息550。当将来遇到在引入的帧中的接下来的类似的帧和系统约束条件参数时,记住存储的信息并且通过神经网络440重新获得,以改进压缩575和传送580。
虽然预期很多不同的通信协议,认为是有益的一个特殊的实施例使用“全双工网络堆栈”协议,其允许在服务器和客户装置之间的双向通信。而且,虽然其它协议可能适用于特殊的应用,优选完全双工系统。
通过使用流媒体传送结构来克服潜在的问题和使用嵌入的神经网络440来克服速度考虑,刚刚描述的系统400解决了先前已知的CODEC系统遇到的困难。之后,系统400能够重新设置用于在神经网络440中的压缩的算法,目的是在任意网络结构上每一次都达成最优化结果。
根据刚刚描述的整个压缩系统和方法,可能在CODEC库445中使用多种CODECS,虽然根据本发明的任意特殊的CODEC的有益的使用、预期这种CODEC采取单独的形式或和其它CODECS组合。例如,合适的CODEC库445可能包括一个或多个下面类型的CODECS:(i)模块CODECS(例如,MPEG版本,比如Microsoft MediaTM或QucitimeTM:(ii)分形CODECS;以及(iii)小波CODECS(例如,Real)。根据另一方面,合适的CODEC库445可能包括一个或多个下面类型的CODECS:(i)运动预测的CODECS;以及(ii)静止CODECS。此外,该CODEC库445可能包括一个或多个下面的:(i)有损CODECS;以及(ii)无损CODECS。
在本发明的一个实施例中,所有这些不同的类型的CODECS可能由根据本发明的CODEC库445表示;并且,在库中可能包括给定类型的多于一个特殊CODEC。或者,为了达成所需的性能来最优化流媒体通信在信号本身、传输信道约束条件或目的装置约束条件中的宽范围的实时变量的压缩,提供这些多种类型的多种组合。此外,本发明的另外的高度有利的方案允许新的CODECS载入库445,并且立即可用于用在神经网络440压缩/传送系统400中。但是,认为用在最优化通信多种预期流媒体信号中是有益的,并且具有用于图像信号的特殊益处的CODEC库445的一个特殊实例,包括下面的特定CODECS:MPEG版本1,2或4(例如,Microsoft MediaTM和QuicktimeTM);Duck TrumotionTM;ON2;Real MediaTM;MJPEG;H.261;H.263;H.263+;GIF;JPEG;JPEG2000;BMP;WBMP;DIVX。
下面是刚刚描述的压缩系统和方法的多种方面的进一步的实例,至少部分基于这个公开,认为其不论独立的和以多种组合对于本领域普通技术人员都是广泛有益的。这个广泛的方面的进一步的实例在其它地方的“发明内容”中以及附加的权利要求中提供。
达成多种CODEC操作的具有人工智能的神经网络440的使用是广泛和具有独特利益的。特别的,对由响应于信号质量、数据内容和数据格式学习的应用确定的源数据的预处理410提供一种系统和方法。提供一种系统和方法,用于通过选择和应用合适的CODEC(从所有可用的在CODEC库445中的CODECS中的一组)处理原数据的每一单元(例如,帧或帧模块),其中根据源数据的观察到的特性和响应于压缩类似数据的过去学习到的应用进行合适的CODEC的选择和应用。提供一种系统和方法,其用于通过在所选的压缩算法中设置多个压缩特性来最优化最初数据完整性的捕捉和保存来处理每一单元源数据。此外,将每一或所有上述的信号处理步骤应用到每一单一的、顺序的信号数据单元,例如,信号剪辑(clip),视频帧,或单独的合适的分组。
进一步预期根据本发明的CODEC管理系统400提供图像处理的系统和方法,其中该处理适于正常化最初的源数据/图像并且对最初数据调整大小和重新取样来适应神经网络处理模块440的规范。还提供以单一系统和任意源数据流服务任意传输或记录信道的能力。另外,在这里描述了单独的或者有益的组合的多种系统和方法,提供它们具有和任意连接和无连接的协议,包括,但是不限于TCP、UDP、WTP/WDP、HTTP等的兼容性。
如在这里所示和所述的本发明还允许用于加速神经网络440的学习速率,并且同时最小化实现所述网络的数据存储需要的更为有益的应用。每一不同种类的数据流都具有基本上需要神经网络440更多的处理的独特的特性。例如,视频数据流在运动的流行和程度、颜色对比度、以及细节的图形和可见性上不同。更多的处理需要更长的时间来达到最优化的功能性。更多的处理还需要更多可预测的库存储,通常增长到无限大的尺寸。对于实时神经网络处理,可以最小化处理时间和存储来通过提供预先开发的数据流种类的可预测库特性而显著增加功能性。
因此,下面是本发明的预先训练的神经网络440方面的实例,其应该独立的和以组合方式(包括在这里其它地方所示和所述的其它实施例的组合)广泛的认为该发明是有益的。提供了一种系统和方法,其在神经网络440中创建并使用人工智能,并且预先训练神经网络用于用在解决问题当中,其中的问题可能是,例如,但是不必须限定于,根据本发明的特殊的有益方面的流媒体压缩。还提供了一种系统和方法,用于将通常要被解决的问题细分为可能根据智能网络的学习的历史处理的有用的种类。
还根据本发明提供了智能流媒体传送系统和方法,其基于用户端性能和传输信道约束条件(例如,但是不限定于)的可用的传输速度或带宽、以及互联网拥塞来管理内容传输。数据压缩和传送系统400使用计算机实现的智能处理,比如基于神经网络的人工处理,来分析连接的方面(包括但是不限定于不同的比特速率、等待时间、传输特性和装置限制)来在压缩方法中做出变更并且管理服务质量(“QoS”)420问题。因此,压缩的、数字的、可恢复的和/或可解压的数据流可能通过多个具有不同性能特性的传输媒介传送到多个不同的本地和/或远程装置。另外,提供解压系统用于在终端装置再生该解压的数据。
在一个有益的实施例中,终端装置建立和位于服务节点上的系统的连接。除了建立通信正常需要的软件以外,终端装置可能最初具有嵌入在其中的和本系统相关联的常驻的软件。在链接终端装置到服务器节点的情况中,系统将软件代理发送到终端装置,其中终端装置和其它在一起形成整个传送系统的服务器侧的软件模块合作。软件代理通知终端装置的系统用于解压和播放数据的设置和处理性能。软件代理还报告确定的相关信息到在终端和服务器之间的通信信道的特性的系统。这种信息包括,但是不限于,等待时间、带宽以及信号路径整体性。基于终端装置配置和信道特性和性能的实时更新,系统通过改变参数,比如缓存长度、发送比特速率和错误校正,有效的管理压缩的数据流的传输。系统还将操作情况送到压缩系统来动态的改变编码和压缩设置从而最优化数据的传送。位于终端装置上的传送软件代理将包括一段一段的变更的数据流以压缩/解压算法和它的设置解压。根据终端装置的配置,并且特别的对于非常细小的客户,可能在一段一段的基础上对于每一解压算法和编码设置组合更新说明。如果适于终端装置,可能还保存用于解压的说明。
因此,还认为所述的用于传输到并且由目的装置操作的软件代理是所述压缩/传送系统和方法的高度有益的方面。通过从源传送软件代理到装置,很多的现有目的装置可以用于根据本方法通信,本方法可能包括使用一个或多个算法或其它在传输源的操作的变量。换句话说,可能需要目的装置是“特定格式”的播放器,就像很多现有的流式和静态媒体通信系统的需要。而且,通过把诊断功能提供给目的代理。可能在目的装置收集诊断信息,并且将其以适用于由源使用的格式发送回源,其中源在它的神经网络处理中使用以达成合适的用于给定情况组的CODEC操作。
使用客户侧的代理来提供包括实时的客户侧的装置数据和通信信道状态的服务信息的质量,并且还认为这个使用超出了也在这里提供的本发明的特定应用和其它方面的组合,并且也是广泛有益的。另外,压缩的每一单元的处理,容纳客户侧的服务的数据和实时通信信道情况的传输完毕数据也被广泛的预期为具有广泛达成的益处。此外,所述的系统和方法提供说明到客户侧的代理来使得可以解压每一连续的,独特的数据的压缩单元。因此,本发明的另一广泛益处在于提供目的装置(比如,从如这里所述的用于特殊的实施例的传输源)和适于将最初媒体信号的压缩的表示解压为解压的表示的CODEC,其是基于关于下面的至少一个的可变参数:最初媒体信号的方案、传输信道约束条件、以及目的装置约束条件。在另一广泛的方面中,目的装置适于使用从CODECS库中基于与最初媒体信号有关的方案选择的参数选择的CODEC。
还认为在这里所述的系统和方法可应用到每一信号的独特的、连续的单元,例如,信号剪辑、视频帧和合适的单独的分组的信号处理。另外,系统和它的各种子系统可能还完全是软件的,其必须被载入每一合适的装置,或者可能将其嵌入主机硬件组件或芯片,例如,在服务器侧,或在确定情况中,在客户侧(例如,多个方面的目的代理),或,例如,可能存储在(比如)闪存存储器中。
认为刚刚描述的媒体压缩系统和方法的多个方面易于根据很多已知的和预期很快出现的媒体通信需要的使用,包括,例如,根据在这里的其它地方描述的多种通信装置,通信/传输信道格式和标准,以及媒体类型和格式(例如,在上面的“背景”部分中)。
但是,为了进一步理解的目的,图6示出了根据本发明的一个实施例的作为特别应用到“视频点播”方面的所有流媒体通信系统600的示意性的视图,其中在很多不同位置的很多不同的末端用户610-620可能从远程源请求并且接收实时的(例如,没有实质上的延迟)、预先记录的视频。从在图6中提供进一步的信息,至少一个媒体通信系统600的特定实现在下面的比特速率(指示可由目的装置转换为解压的表示的最初信号的压缩的表示,其中由通常的人类观察者的眼睛观察,解压的表示不具有或基本不具有损失)传送下面类型的视频:低到大约250Kbs的VHS格式视频;在大约400Kbps的DVD格式视频;以及在大约900Kbps的HDTV格式视频。根据这些速度,相信可以由电话携带者通过现有的传输线路信道提供视频点播,例如,在现有的DSL线路630-640上。
但是,随着可用带宽和大量的通信持续出现问题,相信即使可能达到的更高的效率会引起这些类型的视频信号的压缩的表示以更慢的比特速率传输。而且,如在这里其它地方所述的,本发明的压缩效率基本关于神经网络440可用的处理能量的函数,并且随着其改进,而且神经网络440的关于多种类型的媒体持续学习并训练。这些资源可能甚至使得可无需改变本发明的功能特征而达成可观的压缩效率。
因此,认为下面的用于特定压缩的视频信号的传输速率的实例是所需的并且可根据本发明的一个实施例达成:和大约200Kbps一样低的VHS格式视频,更为优选的和大约150Kbps一样低,并且仍然更为优选的和大约100Kbps一样低;和大约350Kbps一样低的DVD格式视频,更为优选的和大约300Kbps一样低,并且仍然更为优选的与大约250Kbps一样低;以及和大约800Kbps一样低的HDTV格式视频,以及仍然更为优选的和大约700Kbps一样低。
而且,至少一个本发明的一个实施例的媒体通信系统400的实现在7Kbps的传输速率传送20-24帧/秒颜色视频。相信这可以产生实质上的流媒体信号通过WAP网关到无线目的装置的进步,这将在下面的其它地方进一步谈到。
还应该认可,虽然在这个公开中强调视频通信,还预期有其它类型的流式和静态数据。例如,观察到至少一个压缩和传输实施例的实现提供基本上达到在大约24Kbps的比特速率的CD质量的声音(例如,通过可由目的装置转换为解压的表示的最初的信号的压缩的表示,其中解压的表示不具有和基本上不具有可由通常人类观察者的耳朵观测到的损耗)。在这些速率,可能传送高保真质量的声音用于通过拨号调制解调器播放。但是,进一步考虑可用的资源事项和神经网络训练的程度,进一步预期本发明适于在低到大约20Kbps的速度传送CD质量的声音,并且甚至低到大约15Kbps和甚至10Kbps。
无线音频通信系统
进一步预期本发明的流媒体通信系统在无线音频通信网络中具有特别有用的应用,并且特别是在手机网络中。因此,图7和8以分别增加的细节量示意性的示出了根据本发明的确定特定的各个实施例,分别特别的应用到无线音频通信系统的流媒体通信系统700和800。虽然认为示出的特别的装置、系统参数和通信装置的布置在本发明的所有应用中是有益的,认为它们不产生限制,并且可能由本领域普通技术人员基于这个公开以合适的替代物来代替。这样,为了根据本发明的一个实施例和多种压缩、传送、解压,以及代码转换的方面集成的目的,将在这个公开的其它地方参考的多种无线通信系统700和800、标准、以及协议包含在这个部分中。
本发明的一个实施例的通信系统400和蜂窝通信网络的其它组分的组合允许根据本发明的增强型的压缩、传送和解压来表明用于无线音频通信的增强的服务质量。根据本发明的蜂窝通信的改进包括,但是不限于,下面的实例:增加可用带宽,扩展接收范围,并且提供功能衰减(graceful degradation),同时保持在低信号质量或接收电平的时期内的连通性。
更为特别的,蜂窝电话信号的特征在于相对高程度的可变性,这是因为,例如,客户的漫游位置,以及有限的小区范围,大气情况,以及在日用周期中的非常有限和变化的可用带宽。因此,根据本发明的自最优化CODEC管理系统特别适于调整合适的通信及压缩形式来改变环境。最起码,可能增加压缩效率并引起用于给定信号的带宽的减少,随着无线信道业务的持续拥塞,这是十分有价值的成就。
在一个特殊的考虑中,如图9所示,根据本发明的增加的压缩效率很好的应用来在“软切换”过程中在小区之间改进带宽问题。在蜂窝电话通信的过程中,无论何时发射机或接收机在小区覆盖区域中迁移,由系统的到小区之间的“终止”有效通信的需要增加通信带宽需要和结果成本。终止通信的行动引起从先前有效的蜂窝发射机到中心办公室的“回程”(hackhaul)信道,用于转发到新的有效的蜂窝发射机。回程信道表示带宽的重要使用。增加压缩可以产生节省。如图所示,这种“回程”方式包括在用于传递特别的信号的带宽的双倍(从第一小区送回的媒体留下并且留到第二小区用于传输)或甚至四倍(从第一和第二小区的重叠传递)。
本发明的媒体通信系统400可能识别何时回程发生,比如根据在软件代理中提供的传输信道诊断,并且可能通过调整压缩的程度响应来补偿。
WAP视频网关
随着特别观看到的在无线或移动互联网中观察到和预期的快速增长,本发明的实施例预期智能压缩/传送/解压实施例和WAP网关功能型的组合应用。
因此也提供了一种根据本发明的系统和方法,用于通过带宽约束的无线通信系统使用无线应用协议(WAP)编码、压缩和发送复杂的数字媒体(例如,视频画面)。在一个实施例中,数据由位于服务器节点的系统处理,该节点采用具有人工智能的神经网络。从输入流捕捉数据的样本段,并且处理来符合某类客户的独特的需要。像在上面消息描述的,系统将持续变化的数字数据流的特性和具有预先开发的经验学习的规则的库相关,并且和外部施加的最优化设计数据的一致,连续性和细节的约束条件相关,其中数据为在客户接口最后接收,解码并呈现的。
在图8中示意性的示出提供了在这里所述的流媒体通信系统的添加的功能性的网关。根据WAP网关系统830,提供客户代理,其适于在多个平台上运行,并且不需要特定的软件来解码视频流。根据在这里其他地方描述的本发明的流媒体传送系统的使用,WAP装置的观看者保持和系统服务器上行流的恒定通信,使得用户侧的客户825可以把用于流媒体通信的相关信息提供给编码平台,该信息包括,但是不限于:可变屏幕尺寸,处理能力,客户操作系统和浏览器版本,连接速度和等待时间,由此允许流媒体传送系统定制流到每一单独的和它“通话”的客户。因此,包含了如在这里所述的AI压缩AI驱动的服务器830可能和WAP网关830结合,将需要的WAP和TCP/IP协议(或其它协议,例如,双向服务器堆栈)转换结合,同时视频和音频服务器835采用在这里所述的压缩、传送和解压的系统和方法,例如,包括在这里所述的代码转换机系统和方法。根据这个系统的合适的主机结构(没有示出)通常包括运行Linux OS的架式安装系统,具有更改的WAP网关830或作为软件插入现有的服务器。
这个WAP网关系统830可能进一步在主/从关系中作为另一整个流媒体传送结构(可应用到除了特殊无线外的其它传送系统)的有益方面。多种内容分配网络,比如通过Akamai和Inktomi可用的,投入在通过互联网在位于互联网的边界的服务器上使用“智能超高速缓存”改进数据传送。这种主/从关系由本系统保持,其中主服务器位于要被传送的内容的源并且从服务器位于边界上。这些服务器通信“智能的”最优化通过互联网的内容传送并且减少等待时间、带宽和存储需要,改进到用户端的视频/音频流的总体质量,并且减少到内容提供商的媒体传送的成本。
随着大型电信操作器过渡到多服务宽带网络,并且随着到移动互联网的用户数量持续快速增加,本发明的WAP网关830支持移动通信的持续增长。特别的,移动通信是很多种类的系统和协议,每一具有它自己的约束条件和用于互动装置来传递流式数据的需要。网关830在特别有益的方面可能支持多种“2G”系统,同时具有可更新性,用于接下来的“2.5G”和“3G”网络技术(系统的数字的增加通常表示互联网功能性的进步)。
下面的表3提供了已知的移动通信标准的实例,并且提供了由本发明的AI系统使用的用于最优化在移动目的装置,如媒体播放器领域中的流媒体的通信的确定的相关信息。
表3:现有的/预期很快的移动通信标准
    模式   波特速率(通常的)
    GSM(2G)     9.6Kbps
    CDMA     9.6Kbps
    TDMA     14.4Kbps
    CDPD     14.4Kbps
    iMODE     128Kbps
    GPRS     144Kbps
    WCDMA或CDMA2000     144Kbps到2Mbps
    GSM(3G)     2Mbps
另外,本发明特别有利的是它的多种流媒体信号到多种不同类型的无线通信装置的能力。适于和本发明的流媒体通信系统和方法一起使用的无线通信装置的实例,以及系统和方法可互换的支持何种类型,在下面的表4中提供:
表4:具有互联网功能的PDA的实例
 装置   制造   速度   存储器   屏幕深度 屏幕尺寸  调制解调器类型   连接速度
 iPAQ  Compaq  206MHz  16-64Mb  12b/象素颜色 320×240   外部的(例如,CDPD)     9600-14.4Kbps
 PalmVII  Palm   33MHz   4-16Mb   4b/象素b/w;8b/象素颜色   内部的   14.4Kbps
 Handspring  Palm   33MHz   4-16Mb   4b/象素b/w;8b/象素颜色   外部的   14.4Kbps
 Blackberry  Research-In-Motion   33MHz    4Mb   2b/象素b/w   内部的     9.6-14.4Kbps
 Jornada     HP  133MHz  16-32Mb   18b/象素 320×240   外部的     9.6-14.4Kbps
 Casseopeia   Casio  150MHz  16-31Mb   12b/象素 320×240   外部的     9.6-14.4Kbps
下面将描述多种特定实例,提供如在这里所述的本发明的实际的无线互联网应用的观察。这种实例包括和下面至少一个(但是不限于)相关联的变化的参数的CODEC库的使用:目的无线通信装置;传输信道;通信协议;以及各个流媒体信号本身。根据这些实例使用的系统和方法的多种特殊特征预期作为本发明进一步定义的独立的有益方面。
共享的交互式环境
还根据本发明提供了一种系统和方法,用于使得实时远程客户可以和高清晰度的、多维的、多共享的模拟环境互动,同时不需要重大的客户侧处理能力。更为特别的,图10示出了作为应用到根据本发明的共享的互动游戏的整体的流媒体通信系统。
这个系统包括:(i)代理服务器;(ii)图形呈现性能;(iii)用于反馈客户输入到游戏的客户软件代理;(iv)用于支持本发明的传送系统的客户软件代理;以及(v)来自服务器到客户的流。预期对于多个客户,通常通过设计表现共享的互动游戏,提供刚刚描述的多个组分来支持每一客户。
互动游戏的实施例预期数据压缩和传送实施例的实现具有也是用于来自其它类似的远程装置系统的信号的目的装置的装置。这个布置是广泛有益的,例如,在进一步的交互式媒体实现,比如视频会议和类似功能当中。因此,每一远程系统是源和目的装置,并且在它和其它远程系统之间发送和接收代理。
目的装置
虽然本发明的通信系统可以将流媒体信号传递到多种目的装置,本发明的进一步预期的特征提供由客户用户将远程接收器作为目的装置/播放器装入。这个置顶盒播放器可能适于服务至少一个,虽然优选的可能有多个,或者可能是下面的全部:视频点播(VOD);音乐点播(MOD);点播的互动游戏(IGOD);互联网协议的语音(“VoIP”),任意通过IP连接提供语音技术服务的技术;电视网络接入;数字视频记录来记录、暂停并重放实况电视;电子邮件,聊天;DVD播放器;以及其它对于本领域普通技术人员很明显的应用。为了舒适,可能将所有这些发送到在用户自己家庭中的现有的电视。另外,客户使用这个盒,或其它作为和本发明的通信系统的接口的系统,可以通过电缆和DSL连接接收DVD质量的视频和环绕声。
实例
为了进一步示出可能根据本发明达成的高度有利的结果的目的,下面是用于不同类型的流媒体通信的特定实施例的实例,包括观察到的结果和相关讨论。这些实例示出了通过不同传输信道传递相同的预先记录的视频和到不同的目的装置,其中预先记录的视频具有下面的最初特性:720线的分辨率和32比特颜色信息,大约1.4吉比特的最初文件大小。
实例1
提供“iPAQ”模型3650手持PDA(可从Compag,Inc通过商业渠道获得,在这个公开的时间是大约$500)。该PDA具有和14.4Kbps(最大)无线CDPD调制解调器(“AirCard300”无线外部调制解调器,可从Sierra Wireless通过商业渠道获得并且在这个公开的时间是大约$200)的接口,该接口使用扩展部件(来自Compaq,Inc.的IPAQTMPCMCIA扩展套件),其具有和无线调制解调器连接的PCMCIA卡槽。使用的IPAQTM通常的特征在于,具有下面的处理参数:206MHz处理器;32Mb存储器;12b/象素颜色;240×320屏幕大小;来自Microsoft公司的PocketPCTM操作系统版本3.0以及立体声。IPAQ在旧金山,加利福尼亚通过接口的CDPD调制解调器通过AT&T蜂窝无线载波系统连接到互联网,并且具有大约13.3K比特/秒的连接带宽。位于圣何塞,加利福尼亚(相距大约50MI)的服务器由PDA连接,其中PDA采用http和rtsp协议,并且使用PDA来启动用于具有下面操作特定的预先记录的视频的请求:720线分辨率和32比特颜色信息,1.4吉比特的最初文件大小。在大约七秒内,由PDA在PDA屏幕接收、解压、和播放预先记录的视频的压缩的近似值。整个视频在全运动中在240×320×12BPP分辨率观看,没有可观察到的延迟和缺陷。
实例2
提供“JornadaTM”模型548手持PDA(可从HP公司通过商业渠道获得,在这个公开的时间是大约$300),该PDA和9.6Kbps(最大)无线CDMA电话(“Motorola i85s”无线外部数字蜂窝电话,可从Motorola授权的卖主通过商业渠道获得,在这个文章的时间是大约$200)接口,该接口使用和电话及PDA连接并一起形成无线调制解调器的适配器(adaptor)电缆(来自Motorola和HP的Motorola和HPRS-232标准接口电缆)。使用的Jornada型PDA装置的总的特征通常是具有下面的处理参数:133MHz处理器;32Mb存储器;12b/象素颜色;240×320屏幕尺寸;来自Microsoft公司的PocketPCTM操作系统版本3.0以及环绕声。JornadaTM和在newark、NJ通过接口的CDMA电话/调制解调器在Nextel数字蜂窝无线载波系统上和互联网连接,具有8K比特/秒的连接带宽。位于圣何塞、加利福尼亚(相距大约2900mi远)的服务器由PDA连接,其中PDA采用http和WDP协议,并且使用PDA来启动用于具有下面初始特性的预先记录的视频的请求:720线分辨率和32比特颜色信息,1.4吉比特的初始文件大小。在大约七秒内,由PDA在PDA屏幕上接收、解压和播放预先记录的视频的压缩的近似值。整个视频在完全运动中在176×120×8BPP分辨率观看,没有可观察到的延迟和缺陷。
实例3
提供“置顶盒”模型st850笔记本PC(可从MSI公司通过商业渠道获得,在这个文章的时间是大约$300)。置顶盒作为10Mbps(最大)以太网/802.11连接的接口,使用连接置顶盒和宽带连接(DS3)的CAT5以太网电缆(一般的)。使用的置顶盒的通常特性是具有下面的处理参数:400MHz处理器;64Mb存储器;32b/象素颜色;720线屏幕分辨率;来自Microsoft公司的Windows CE操作系统版本2.11,以及AC3数字6声道环绕声。置顶盒在Newark、NJ通过结构的共享DS3连接通过Alter.Net互联网主干和互联网连接,具有376K比特/秒的连接带宽。位于圣何塞、加利福尼亚(相距大约2900mI远)的服务器由PDA连接,其中PDA采用http和rtsp协议,并且使用PDA来启动用于具有下面初始特性的预先记录的视频的请求:7201线分辨率和32比特颜色信息,1.4吉比特的最初文件大小。在大约七秒内,由置顶盒在商用的参考监视器(Sony)屏幕上接收、解压和播放预先记录的视频的压缩的近似值。整个视频在完全运动中在720线x32bpp观看,没有可观察到的延迟和缺陷。
虽然为了描述本发明的目的,在这里更详细的示出并描述了多种特别实施例,应该认可可能由本领域的普通技术人员根据这个公开,在不脱离本发明的精神范围的情况下做出进一步的变更和改进。例如,可能做出特别描述的多种实施例的多种不同组合并且仍然在本发明的精神范围之内。根据另一实例,还可以对多种实施例做出明显的改进和更改,并且仍然在这个发明的精神范围之内。

Claims (70)

1.一种用于处理媒体信号的系统,包括:
可搜索的CODEC库,其适于存储多个分开的和独特的CODEC,并且还可由人工智能(AI)系统和操作系统中的至少一个存取和搜索,使得能够单独的定位并存取存储在CODEC库中的每一CODEC,以由AI系统和操作系统中的至少一个为了压缩媒体信号以从源传输到目的装置而使用。
2.如权利要求1所述的系统,其中该CODEC库包括至少一个是下面三种类型的CODECS中至少一个的CODEC:模块CODECS;分型CODECS;以及小波CODECS。
3.如权利要求2所述的系统,其中该CODEC库包括:
三种类型中第一类型的第一CODEC,以及
三种类型中第二类型的第二CODEC。
4.如权利要求3所述的系统,其中该CODEC库包括:
三种类型的第一类型的第一CODEC,
三种类型的第二类型的第二CODEC;以及
三种类型的第三类型的第三CODEC。
5.如权利要求4所述的系统,其中该CODEC库包括:
是运动预测CODEC的第一CODEC;以及
是静止CODEC的第二CODEC。
6.如权利要求5所述的系统,其中该CODEC库包括:
是有损CODEC的第一CODEC;以及
是无损CODEC的第二CODEC。
7.如权利要求1所述的系统,进一步包括:
和CODEC库相关联的注册,并且为了在CODEC库中搜索和定位特殊的CODEC是可搜索的。
8.一种用于通过传输信道从源到目的装置传递媒体信号的系统,包括:
目的代理,其适于由目的装置使用来和源通信,并从源接收媒体信号的压缩的表示,以及将压缩的表示解压为媒体信号的解压的表示,这样解压的表示可由目的装置存储或使用。
9.如权利要求8所述的系统,其中该目的代理包括:
诊断代理,其适于提供用于传输到和源相关联的神经网络的诊断信息,其中该诊断信息表示目的装置接收、存储、处理或显示媒体信号的能力;以及
解压代理,其适于将媒体信号的压缩的表示解压为要由目的装置存储或播放的信号的解压的表示。
10.如权利要求9所述的系统,其中该目的代理进一步包括:
解压代理,其适于接收媒体信号的压缩的表示并且还适于接收和来自传输系统的信号的压缩的表示相关联的CODEC解压器,其还适于使用CODEC解压器来将信号的压缩的表示解压为要由目的装置存储或播放的信号的解压的表示。
11.如权利要求10所述的系统,其中目的代理适于在多个不同目的装置上被存储和操作以解压和播放媒体信号,其中每一目的装置都具有用于解压、存储或播放媒体信号的不同性能。
12.如权利要求11所述的系统,其中通过使用不同的CODEC解压器,该目的代理适于解压多个媒体信号的不同的压缩的表示,其中每一CODEC解压器和用来压缩信号的对应的不同CODEC压缩器相关联。
13.如权利要求12所述的系统,其中该目的代理适于使用CODEC解压媒体的压缩的表示,其中基于至少一个下面的参数提供CODEC:关于参考媒体信号的CODEC的计算机实现的先前学习的行为,关于压缩或解压相同媒体信号的先前尝试的CODEC的计算机实现的先前学习的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束条件。
14.如权利要求13所述的系统,其中该目的代理适于可互换的使用模块CODEC、分型CODEC或小波CODEC。
15.一种用于从源到目的装置通过传输信道通信媒体信号的系统,包括:
CODEC,其适于压缩媒体信号以最优化沿着传输信道的传输和由目的装置的解压,其中该压缩由CODEC基于至少一个下面的参数做出:关于另一参考信号的CODEC的先前学习到的行为,关于压缩或解压相同媒体信号的先前尝试的CODEC的先前学习到的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束条件。
16.如权利要求15所述的系统,其中该CODEC适于将媒体信号压缩为n个不同的媒体信号的压缩的表示,并且这些表示适于分别在n个独特的比率速率被发送到目的装置。
17.如权利要求15所述的系统,进一步包括:
可搜索的服务质量(QoS)库,其和CODEC相关联,并且适于由人工智能系统或操作系统中的至少一个使用,以基于存储在QoS标准库中的至少一个QoS标准确定关于媒体信号的CODEC的合适的使用。
18.一种用于处理媒体信号的系统,包括:
CODEC操作系统,其适于和CODEC库和人工智能(AI)系统接口,以使用AI系统来从库中识别合适的CODEC,并以该CODEC处理该媒体信号。
19.如权利要求18所述的系统,进一步包括:
至少一个CODEC,其和CODEC操作系统相关联,用于使用在至少部分基于由CODEC操作系统操作的处理媒体信号中。
20.如权利要求19所述的系统,进一步包括:
可搜索的CODEC库,其和CODEC操作系统相关联,并且适于存储多个分开的和独特的CODECS,其中该CODEC操作系统适于和可搜索的CODEC库并和AI系统合作,以确定存储在CODEC库中的用于用在处理媒体信号中的合适CODEC。
21.如权利要求20所述的系统,进一步包括:
可搜索的网络传输标准库,其和CODEC操作系统相关联,并且适于由AI系统或CODEC操作系统中的至少一个使用,以基于存储在网络传输标准库中的至少一个网络传输标准确定关于媒体信号的CODEC的合适的使用。
22.如权利要求21所述的系统,进一步包括:
可搜索的标准质量(QoS)库,其和CODEC操作系统相关联,并且适于由AI系统或操作系统中的至少一个使用,以基于存储在QoS标准库中的至少一个QoS标准来确定关于媒体信号的CODEC的合适的使用。
23.如权利要求22所述的系统,进一步包括:
目的代理,其和CODEC操作系统相关联,并且适于由目的地址使用来和也和CODEC操作系统相关联的源通信,从而从源接收媒体信号的压缩的表示,以及将压缩的表示解压为媒体信号的解压的表示,使得可由目的装置存储或使用解压的表示。
24.一种用于处理媒体信号的系统,包括:
目的装置,其适于和源通信并从源接收媒体信号的压缩的表示,其包括CODEC,该CODEC适于基于至少一个下面的参数将压缩的表示解压为解压的表示;关于另一参考信号的CODEC的先前学习到的行为,关于压缩或解压相同媒体信号的先前尝试的CODEC的先前学习到的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束条件。
25.如权利要求24所述的系统,其中该媒体信号适于被根据最初的格式使用,其中最初的格式根据最初的一组参数,而且目的装置适于以另一格式处理和显示媒体信号的解压的表示,并且此格式是根据和最初的一组参数不同的另一组参数的,这样目的装置不能根据最初的一组参数处理和显示最初的格式的媒体信号。
26.如权利要求25所述的系统,其中CODEC适于将媒体信号压缩为n个不同的媒体信号的压缩的表示,并且这些表示适于分别在n个独特的比特速率被发送到目的装置。
27.如权利要求26所述的系统,其中n个不同的压缩的表示适于被至少在n个基本上不同的传输速率发送,其中基于至少一个下面的参数区分不同的传输速率;不同的传输系统标准;不同的目的装置标准;以及不同的媒体类型标准。
28.一种用于处理媒体信号的系统,包括:
CODEC,其适于在媒体信号上执行压缩和解压的至少一个;以及
人工智能(AI)系统,其适于结合CODEC操作,以调整相对媒体信号的CODEC的操作,其中AI系统适于学习CODEC的关于至少一个影响CODEC的操作的参数的行为,并且还适于基于学习到的行为更改AI系统本身或CODEC中至少一个的操作以增加以合适的形式提供CODEC以最优化压缩或解压媒体信号的能力。
29.如权利要求28所述的系统,其中该CODEC包括离散余弦变换CODEC。
30.如权利要求29所述的系统,其中CODEC包括分型CODEC。
31.如权利要求30所述的系统,其中CODEC包括小波CODEC。
32.如权利要求31所述的系统,其中CODEC包括有损CODEC。
33.如权利要求32所述的系统,其中CODEC包括基本上无损的CODEC。
34.如权利要求33所述的系统,进一步包括:
可搜索的CODEC库,其适于存储多个分开的和独特的CODECS,其中该CODEC适于被存储在可搜索的CODEC库中,并且AI系统适于和CODEC库合作,以定位并存取CODEC,使得AI系统可以执行至少一个关于CODEC的操作。
35.一种用于处理媒体信号的系统,包括:
CODEC库,其适于存储多个分开的和独特的CODECS;
人工智能(AI)系统,其和CODEC库相关联,并且适于执行关于CODEC库的操作,以从多个CODECS中确定合适的CODEC以使用在处理媒体信号中;
CODEC操作系统,其和CODEC库及AI系统相关联,并且适于控制AI系统关于CODEC库的操作;
源系统,其适于基于来自CODEC库的CODEC和基于AI系统的操作压缩媒体信号;
目的系统,其适于和源系统通信及从源系统接收媒体信号的压缩的表示,并将压缩的表示解压为用于由目的系统使用的解压的表示,
以及
通信系统,其和源系统以及目的系统相关联,使得源系统适于将媒体信号的压缩的表示发送到目的系统,并且目的系统适于接收压缩的表示并且还适于将压缩的表示合适的解压为解压的表示以由目的系统存储或使用。
36.如权利要求35所述的系统,进一步包括:
可搜索的网络传输标准库,其和AI系统及CODEC操作系统相关联,并且适于由AI系统使用,以基于存储在网络传输标准库中的至少一个网络传输标准从CODEC库中确定用于处理媒体信号的合适的CODEC。
37.如权利要求36所述的系统,进一步包括:
可搜索的QoS标准库,其和AI系统及适于由AI系统使用的CODEC操作系统相关联,以基于存储在QoS标准库中的至少一个QoS标准从CODEC库中确定用于处理媒体信号的合适的CODEC。
38.如权利要求37所述的系统,其中AI系统适于基于至少一个下面的参数从CODEC库中确定用于处理媒体信号的CODEC的合适的使用:关于另一参考信号的CODEC的先前学习到的行为,关于压缩或解压相同媒体信号的先前尝试的CODEC的先前学习到的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束条件。
39.一种用于在源和n个独特的目的装置之间传递媒体信号的系统,并且每一独特的目的装置具有处理媒体信号的独特的能力,其中n是大于等于一的整数,该系统包括:
压缩系统,其和源相关联,并且适于将媒体信号压缩为n个媒体信号的独特的压缩的表示;
其中n个独特的压缩的表示的每一个适于被从源发送到n个目的装置中的独特的一个,并且适于由各个目的装置解压为n个要由各个目的装置播放的媒体信号的解压的表示中的独特的一个。
40.如权利要求39所述的系统,其中该压缩系统进一步包括:
可搜索的CODEC库,其和压缩系统相关联,并且适于存储多个分开的和独特的CODECS,其中该压缩系统适于至少部分基于由CODEC库存储的至少一个CODEC将媒体信号压缩为n个独特的压缩的表示的每一个。
41.如权利要求40所述的系统,其中该压缩系统进一步包括:
可搜索的网络传输标准库,其和压缩系统相关联,并且适于由压缩系统使用,以基于存储在网络传输标准库中的至少一个网络传输标准确定至少一个用于将媒体信号压缩为n个独特的压缩的表示的合适的CODEC。
42.如权利要求41所述的系统,其中该压缩系统进一步包括:
可搜索的QoS标准库,其和压缩系统相关联,并且适于由压缩系统使用以基于存储在QoS标准库中的至少一个QoS标准从CODEC库中确定用于将媒体信号压缩为n个独特的压缩的表示的合适的CODEC。
43.如权利要求42所述的系统,进一步包括:
目的代理,其和压缩系统相关联,并且适于由n个独特的目的装置的每一个使用来和源通信,使得n个目的装置中的每一个可以从源系统接收媒体信号的n个压缩的表示中的独特的一个,并且至少部分基于由压缩系统使用来创建各个压缩的表示的CODEC来使用合适的CODEC,使得各个目的装置可以将各个压缩的表示合适的解压为可由各个目的装置存储或使用的媒体信号的解压的表示中的合适的一个。
44.如权利要求43所述的系统,其中该压缩系统适于将媒体信号至少部分基于至少一个下面的参数压缩为n个不同的压缩的表示中的每一个:关于另一参考信号的至少一个CODEC的先前学习到的行为,关于压缩或解压相同媒体信号的先前尝试的至少一个CODEC的先前学习到的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束条件。
45.一种用于从至少一个源到通常的接收器的传递n个媒体信号的独特的压缩的表示的系统,包括:
目的装置,其适于和至少一个源通信并从至少一个源接收n个独特的压缩的表示中的每一个,其中该目的装置进一步适于将n个独特的压缩的表示中的每一个解压为n个媒体信号的解压的表示,并且播放n个解压的表示中的每一个。
46.一种用于从源到目的装置通过传输信道传递媒体信号的系统,包括:
压缩系统,其适于接收关于传输信道的参数的信息并且通过使用至少部分基于参数信息的压缩技术将媒体信号压缩为媒体信号的压缩的表示。
47.一种用于在源和目的之间传递n个独特的媒体信号的系统,包括:
压缩系统,其适于接收关于媒体信号的参数的信息,并且通过使用至少部分基于参数信息的压缩技术将媒体信号压缩为媒体信号的压缩的表示。
48.一种用于压缩来自源的用于传输到目的装置的媒体信号的系统,包括:
压缩系统,其适于基于传输信道约束条件、目的信道约束条件、媒体信号的参数和压缩系统的先前压缩操作的比较中的至少一个,将媒体信号压缩为媒体信号的压缩的表示。
49.一种用于在目的装置解压从源接收的压缩的媒体信号的系统,其中该目的装置适于从源接收媒体信号的压缩的表示以及来自源的解压说明,使得目的装置适于至少部分基于指令将压缩的表示解压为媒体信号的解压的表示。
50.一种用于构建用来压缩媒体信号的神经网络的方法,包括:
提供多个CODECS;以及
以一种方式预先学习至少一个和每一CODEC的关于预先确定的类型的媒体信号的压缩性能相关联的参数;以及
以一种方式记住每一预先学习到的参数,使得将来可以选择至少一个特殊的CODEC来基于特殊CODEC的预先学习到的参数来压缩特殊的新的媒体信号。
51.如权利要求50所述的方法,进一步包括:
形成具有多个CODECS的CODEC库;
以在CODEC库中的每一CODEC压缩至少一个预先确定的类型的测试媒体信号;
自动地学习至少一个关于在压缩至少一个预先确定的类型的测试媒体信号中的每一CODEC的表现的参数;
以一种方式自动记住每一这种学习到的参数,使得可以压缩特殊的媒体信号。
52.一种用于在源和目的之间至少部分通过无线传输信道传递媒体信号的系统,其中压缩的表示是:
压缩系统,其适于将媒体信号压缩为可进一步适于通过无线载波发送到无线目的装置的媒体信号的压缩的表示;以及
神经网络,其使用人工智能来通过压缩系统学习至少一个下面的参数,从而最优化媒体信号的压缩:无线目的装置的约束条件,无线传输载波的约束条件,以及媒体信号的参数和压缩系统的先前的压缩操作的比较。
53.一种用于压缩用于从无线源传输到目的装置的媒体信号的系统。
54.一种用于将媒体信号压缩为用于传输到无线目的装置的媒体信号的压缩的表示的系统。
55.一种用于在目的装置将媒体信号的压缩的表示解压为媒体信号的解压的表示的系统,其中从源通过无线载波在目的装置接收压缩的表示。
56.一种用于通过IP网络在源和目的装置之间传递媒体信号的系统,其中将媒体信号的压缩的表示从源通过IP网络发送到目的装置。
57.一种用于将媒体信号压缩为媒体信号的压缩的表示的系统,使得能够将媒体信号的压缩的表示从源通过IP网络发送到目的装置。
58.一种用于将媒体信号的压缩的表示解压为媒体信号的解压的表示的系统,其中在目的装置从源通过IP网络接收压缩的表示。
59.一种用于通过IP网络传递媒体信号的方法,包括:
使用人工智能来从多个可用的CODECS中确定最合适的用于压缩和解压媒体信号的CODEC,其中基于至少一个下面的参数确定合适的CODEC:关于另一参考信号的CODEC的先前学习到的行为,关于压缩或解压相同媒体信号的先前尝试的个CODEC的先前学习到的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束条件。
60.如权利要求59所述的方法,其中该系统适于通过IP网络传递流媒体信号。
61.一种用于在源和目的之间通过传输信道传递音频信号的系统,其中压缩音频信号来形成可以通过传输信道发送到目的装置的音频信号的压缩的表示,使得目的装置可以将压缩的表示解压为用于由目的装置存储或使用的解压的表示。
62.如权利要求61所述的系统,其中该系统适于传递流音频信号。
63.一种用于将音频信号压缩为音频信号的压缩的表示以从源通过传输信道传递到目的装置的系统。
64.一种用于在目的装置解压音频信号的压缩的表示以由目的装置存储或使用的系统,其中由目的装置从源通过传输信道接收压缩的表示。
65.一种用于从源通过传输信道传递流音频信号到目的装置的方法,包括:
从源通过传输信号,在低到大约25Kbps的传输速率上传送CD质量的音乐到目的装置。
66.如权利要求65所述的方法,其中通过将源音频信号压缩为压缩的表示并且通过传输信号将压缩的表示在传输速率传送到目的装置来传送CD质量的音乐,其中可由目的装置将压缩的表示解压为解压的表示,其中解压的表示基本上是最初音频信号的CD质量的表示,并且可由目的装置存储或播放。
67.一种用于在源和目的之间通过传输信道传递视频信号的系统,其中将流视频信号压缩为压缩的表示,其中可以将压缩的表示从源通过传输信道发送到目的,并且由目的装置解压为解压的表示以由目的装置存储或播放。
68.一种用于在源和目的之间传递流视频信号的系统,包括:
媒体处理模块;
动态播放器模块;
图像处理器;
基线快像模块;
信号分类器;
多个依靠神经网络处理器的CODECS;
CODECS库;
网络层输入模块;
网络层输出模块;以及
计时器。
69.如权利要求68所述的系统,进一步包括动态客户请求处理模块。
70.如权利要求69所述的系统,进一步包括装置和网络参数测量模块。
CNA028189310A 2001-09-26 2002-09-26 用于传递媒体信号的系统和方法 Pending CN1568466A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US32548301P 2001-09-26 2001-09-26
US60/325,483 2001-09-26

Publications (1)

Publication Number Publication Date
CN1568466A true CN1568466A (zh) 2005-01-19

Family

ID=23268064

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028189310A Pending CN1568466A (zh) 2001-09-26 2002-09-26 用于传递媒体信号的系统和方法

Country Status (14)

Country Link
US (2) US7295608B2 (zh)
EP (1) EP1438673B1 (zh)
JP (2) JP4852228B2 (zh)
KR (1) KR100640122B1 (zh)
CN (1) CN1568466A (zh)
AU (1) AU2002334720B8 (zh)
BR (1) BR0213596A (zh)
CA (2) CA2461830C (zh)
IL (2) IL160981A0 (zh)
MX (1) MXPA04002722A (zh)
NO (1) NO20041725L (zh)
RU (1) RU2282888C2 (zh)
TW (1) TWI293533B (zh)
WO (1) WO2003027876A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100428331C (zh) * 2005-08-12 2008-10-22 深圳华为通信技术有限公司 移动终端中图像自适应缩放的装置及其方法
CN102932841A (zh) * 2011-09-06 2013-02-13 斯凯普公司 信号处理
CN104754280A (zh) * 2014-04-07 2015-07-01 惠州Tcl移动通信有限公司 选择性地采用高画质多媒体的交流系统
CN108665062A (zh) * 2018-04-28 2018-10-16 中国科学院计算技术研究所 一种基于小波变换减少io开销的神经网络处理系统
CN108764454A (zh) * 2018-04-28 2018-11-06 中国科学院计算技术研究所 基于小波变换压缩和/或解压缩的神经网络处理方法
CN109562297A (zh) * 2016-06-13 2019-04-02 亚马逊技术股份有限公司 分区地形编辑
CN114285776A (zh) * 2022-01-14 2022-04-05 广州广哈通信股份有限公司 一种网络线路状态监测方法、装置及视频会议终端

Families Citing this family (398)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US8165155B2 (en) * 2004-07-01 2012-04-24 Broadcom Corporation Method and system for a thin client and blade architecture
US7047312B1 (en) * 2000-07-26 2006-05-16 Nortel Networks Limited TCP rate control with adaptive thresholds
US7606898B1 (en) 2000-10-24 2009-10-20 Microsoft Corporation System and method for distributed management of shared computers
US7356605B1 (en) * 2000-12-29 2008-04-08 Cisco Technology, Inc. System and method for controlling delivery of streaming media
ITMI20010997A1 (it) * 2001-05-16 2002-11-16 Cit Alcatel Metodi per testare il software di controllo di una apparecchiatura per telecomunicazioni dotata di un controllo di tipo distribuito
US7339903B2 (en) 2001-06-14 2008-03-04 Qualcomm Incorporated Enabling foreign network multicasting for a roaming mobile node, in a foreign network, using a persistent address
US8000241B2 (en) * 2001-06-26 2011-08-16 Qualcomm Incorporated Methods and apparatus for controlling access link packet flow aggregation and resource allocation in a mobile communications system
US7027400B2 (en) 2001-06-26 2006-04-11 Flarion Technologies, Inc. Messages and control methods for controlling resource allocation and flow admission control in a mobile communications system
US7457358B2 (en) 2001-09-26 2008-11-25 Interact Devices, Inc. Polymorphic codec system and method
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
US7302102B2 (en) * 2001-09-26 2007-11-27 Reynolds Jodie L System and method for dynamically switching quality settings of a codec to maintain a target data rate
US7389526B1 (en) * 2001-11-02 2008-06-17 At&T Delaware Intellectual Property, Inc. System and method for recording a digital video image
US7143320B2 (en) * 2001-12-31 2006-11-28 Intel Corporation Increasing data throughput on a wireless local area network in the presence of intermittent interference
US20030206597A1 (en) * 2002-04-19 2003-11-06 Droplet Technology, Inc. System, method and computer program product for image and video transcoding
US6862502B2 (en) * 2002-05-15 2005-03-01 General Electric Company Intelligent communications, command, and control system for a land-based vehicle
US7181010B2 (en) 2002-05-24 2007-02-20 Scientific-Atlanta, Inc. Apparatus for entitling remote client devices
US7861082B2 (en) * 2002-05-24 2010-12-28 Pinder Howard G Validating client-receivers
FI118549B (fi) * 2002-06-14 2007-12-14 Nokia Corp Menetelmä ja järjestelmä äänipalautteen järjestämiseksi digitaaliseen langattomaan päätelaitteeseen sekä vastaava päätelaite ja palvelin
US7640565B2 (en) * 2002-06-21 2009-12-29 Thomson Licensing Ever-decreasing network QOS requirements for stored video streaming in a mobile wireless interworking environment
US8068546B2 (en) * 2002-08-29 2011-11-29 Riip, Inc. Method and apparatus for transmitting video signals
US8558795B2 (en) * 2004-03-12 2013-10-15 Riip, Inc. Switchless KVM network with wireless technology
US7818480B2 (en) * 2002-08-29 2010-10-19 Raritan Americas, Inc. Wireless management of remote devices
US7684483B2 (en) * 2002-08-29 2010-03-23 Raritan Americas, Inc. Method and apparatus for digitizing and compressing remote video signals
US7606314B2 (en) * 2002-08-29 2009-10-20 Raritan America, Inc. Method and apparatus for caching, compressing and transmitting video signals
US7643550B2 (en) * 2002-10-09 2010-01-05 Hewlett-Packard Development Company, L.P. Method for presenting streaming media for an event
US7436885B2 (en) * 2002-10-09 2008-10-14 Hewlett-Packard Development Company, L.P. Method for presenting streaming media
US7685315B2 (en) * 2002-10-28 2010-03-23 Nokia Corporation System and method for conveying terminal capability and user preferences-dependent content characteristics for content adaptation
US7926080B2 (en) 2002-11-07 2011-04-12 Microsoft Corporation Trick mode support for VOD with long intra-frame intervals
US20110122063A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US8387099B2 (en) 2002-12-10 2013-02-26 Ol2, Inc. System for acceleration of web page delivery
US8661496B2 (en) * 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
US8840475B2 (en) * 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9003461B2 (en) * 2002-12-10 2015-04-07 Ol2, Inc. Streaming interactive video integrated with recorded video segments
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US8893207B2 (en) 2002-12-10 2014-11-18 Ol2, Inc. System and method for compressing streaming interactive video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US8495678B2 (en) * 2002-12-10 2013-07-23 Ol2, Inc. System for reporting recorded video preceding system failures
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US8468575B2 (en) * 2002-12-10 2013-06-18 Ol2, Inc. System for recursive recombination of streaming interactive video
US9061207B2 (en) * 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8832772B2 (en) * 2002-12-10 2014-09-09 Ol2, Inc. System for combining recorded application state with application streaming interactive video output
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9032465B2 (en) 2002-12-10 2015-05-12 Ol2, Inc. Method for multicasting views of real-time streaming interactive video
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8028093B2 (en) * 2002-12-11 2011-09-27 Broadcom Corporation Media processing system supporting adaptive digital media parameters based on end-user viewing capabilities
TWI220842B (en) * 2003-01-30 2004-09-01 Quanta Comp Inc Transformation device of remote monitoring computer display image
US20040158855A1 (en) * 2003-02-10 2004-08-12 Yihong Gu Systems and applications for delivering multimedia contents and programs to interact with communication devices and display devices
US6938047B2 (en) * 2003-02-19 2005-08-30 Maui X-Stream, Inc. Methods, data structures, and systems for processing media data streams
US7496676B2 (en) * 2003-02-19 2009-02-24 Maui X-Stream, Inc. Methods, data structures, and systems for processing media data streams
US8122106B2 (en) 2003-03-06 2012-02-21 Microsoft Corporation Integrating design, deployment, and management phases for systems
US7890543B2 (en) 2003-03-06 2011-02-15 Microsoft Corporation Architecture for distributed computing system and automated design, deployment, and management of distributed applications
US7570616B2 (en) * 2003-04-09 2009-08-04 Alcatel-Lucent Usa Inc. Mobile cellular communication device presentation of user notification of active communication session handoff between radio technologies that are not directly compatible
AU2003224181A1 (en) * 2003-04-30 2004-11-23 Bankinter S.A Multi-client/multi-conversation system for carrying out financial transactions and/or accessing information by means of sms messages
JP2006525771A (ja) * 2003-05-05 2006-11-09 トムソン ライセンシング ネットワークを介して表示装置と通信するシステム及び方法
DE602004010098T3 (de) 2003-05-06 2014-09-04 Apple Inc. Verfahren zur änderung von einer nachrichtspeicherungs und weiterleitungsnetzwerkssystem und datenbenachrichtigungssystem
US7508943B2 (en) 2003-05-16 2009-03-24 Mo-Dv, Inc. Multimedia storage systems and methods
US7764805B2 (en) * 2003-06-02 2010-07-27 Fujitsu Ten Limited Apparatus for generating surround signal from two-channel stereo signal
US8107525B1 (en) * 2003-06-10 2012-01-31 Avaya Inc. Variable bit rate video CODEC using adaptive tracking for video conferencing
CN100412832C (zh) * 2003-09-02 2008-08-20 竺红卫 一种基于优先级调度的非均匀多媒体流传输调度方法
GB0321337D0 (en) * 2003-09-11 2003-10-15 Massone Mobile Advertising Sys Method and system for distributing advertisements
US9325998B2 (en) * 2003-09-30 2016-04-26 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7707592B2 (en) * 2003-10-10 2010-04-27 Telefonaktiebolaget L M Ericsson (Publ) Mobile terminal application subsystem and access subsystem architecture method and system
US7295568B2 (en) * 2003-12-31 2007-11-13 Nokia Corporation Apparatus, method and system for decision making to support network selection for datascasting in hybrid networks
GB2410145A (en) * 2004-01-16 2005-07-20 Amino Comm Ltd Method of accessing additional service via a television decoder
EP1709530A2 (en) * 2004-01-20 2006-10-11 Broadcom Corporation System and method for supporting multiple users
US8018850B2 (en) * 2004-02-23 2011-09-13 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7778422B2 (en) 2004-02-27 2010-08-17 Microsoft Corporation Security associations for devices
US7602981B2 (en) * 2004-03-09 2009-10-13 Kabushiki Kaisha Toshiba Image storage and display system, maintenance system therefor, and image storage and display method
US7522774B2 (en) * 2004-03-10 2009-04-21 Sindhara Supermedia, Inc. Methods and apparatuses for compressing digital image data
US7853663B2 (en) * 2004-03-12 2010-12-14 Riip, Inc. Wireless management system for control of remote devices
JP2005286426A (ja) * 2004-03-26 2005-10-13 Sharp Corp ホームネットワークサーバ、デジタル放送番組配信方法、無線端末、ホームネットワークシステム、プログラム、および記録媒体
EP1594287B1 (en) * 2004-04-12 2008-06-25 Industry Academic Cooperation Foundation Kyunghee University Method, apparatus and medium for providing multimedia service considering terminal capability
ATE512455T1 (de) 2004-04-15 2011-06-15 Zeiss Carl Sms Gmbh Vorrichtung und methode zur untersuchung oder modifizierung einer oberfläche mittels ladungsträgerstrahls
DE102004019105B3 (de) * 2004-04-20 2005-12-22 Siemens Ag Verfahren sowie Anordnung zum Betreiben von Multimedia Applikationen in einem Schnurlos-Kommunikationssystem
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US20050246529A1 (en) 2004-04-30 2005-11-03 Microsoft Corporation Isolated persistent identity storage for authentication of computing devies
US8868772B2 (en) 2004-04-30 2014-10-21 Echostar Technologies L.L.C. Apparatus, system, and method for adaptive-rate shifting of streaming content
US8028323B2 (en) 2004-05-05 2011-09-27 Dryden Enterprises, Llc Method and system for employing a first device to direct a networked audio device to obtain a media item
US8028038B2 (en) 2004-05-05 2011-09-27 Dryden Enterprises, Llc Obtaining a playlist based on user profile matching
US8443038B2 (en) 2004-06-04 2013-05-14 Apple Inc. Network media device
US8797926B2 (en) * 2004-06-04 2014-08-05 Apple Inc. Networked media station
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
US10972536B2 (en) 2004-06-04 2021-04-06 Apple Inc. System and method for synchronizing media presentation at multiple recipients
US20140071818A1 (en) 2004-07-16 2014-03-13 Virginia Innovation Sciences, Inc. Method and system for efficient communication
US7899492B2 (en) 2004-07-16 2011-03-01 Sellerbid, Inc. Methods, systems and apparatus for displaying the multimedia information from wireless communication networks
US8843931B2 (en) 2012-06-29 2014-09-23 Sap Ag System and method for identifying business critical processes
US7957733B2 (en) 2004-07-16 2011-06-07 Sellerbid, Inc. Method and apparatus for multimedia communications with different user terminals
US20060020966A1 (en) * 2004-07-22 2006-01-26 Thomas Poslinski Program guide with integrated progress bar
US7403929B1 (en) * 2004-07-23 2008-07-22 Ellis Robinson Giles Apparatus and methods for evaluating hyperdocuments using a trained artificial neural network
US9089003B2 (en) * 2004-07-28 2015-07-21 Broadcom Corporation Quality-of-service (QoS)-based delivery of multimedia call sessions using multi-network simulcasting
US9031568B2 (en) * 2004-07-28 2015-05-12 Broadcom Corporation Quality-of-service (QoS)-based association with a new network using background network scanning
US7620892B2 (en) * 2004-07-29 2009-11-17 Xerox Corporation Server based image processing for client display of documents
US7539341B2 (en) * 2004-07-29 2009-05-26 Xerox Corporation Systems and methods for processing image data prior to compression
US7721204B2 (en) * 2004-07-29 2010-05-18 Xerox Corporation Client dependent image processing for browser-based image document viewer for handheld client devices
US20060048179A1 (en) * 2004-08-27 2006-03-02 Kortum Philip T Method and system to access PC-based services from non-PC hardware
US7797720B2 (en) * 2004-10-22 2010-09-14 Microsoft Corporation Advanced trick mode
US7784076B2 (en) * 2004-10-30 2010-08-24 Sharp Laboratories Of America, Inc. Sender-side bandwidth estimation for video transmission with receiver packet buffer
US7797723B2 (en) * 2004-10-30 2010-09-14 Sharp Laboratories Of America, Inc. Packet scheduling for video transmission with sender queue control
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
JP2006191186A (ja) * 2004-12-28 2006-07-20 Toshiba Corp コンテンツの再生システム、再生装置、再生方法、及び配信サーバ
US8194640B2 (en) 2004-12-31 2012-06-05 Genband Us Llc Voice over IP (VoIP) network infrastructure components and method
US7804901B2 (en) * 2005-01-06 2010-09-28 Qualcomm Incorporated Residual coding in compliance with a video standard using non-standardized vector quantization coder
KR100652956B1 (ko) * 2005-01-14 2006-12-01 삼성전자주식회사 비디오 수신지연 알림방법 및 이를 적용한 방송수신장치
US7567565B2 (en) 2005-02-01 2009-07-28 Time Warner Cable Inc. Method and apparatus for network bandwidth conservation
US7502516B2 (en) * 2005-02-17 2009-03-10 Microsoft Corporation System and method for providing an extensible codec architecture for digital images
US7676495B2 (en) * 2005-04-14 2010-03-09 Microsoft Corporation Advanced streaming format table of contents object
US7802144B2 (en) 2005-04-15 2010-09-21 Microsoft Corporation Model-based system monitoring
US8489728B2 (en) 2005-04-15 2013-07-16 Microsoft Corporation Model-based system monitoring
US20060235883A1 (en) 2005-04-18 2006-10-19 Krebs Mark S Multimedia system for mobile client platforms
US7715312B2 (en) * 2005-04-25 2010-05-11 Verizon Services Corp. Methods and systems for maintaining quality of service (QOS) levels for data transmissions
US7634727B2 (en) * 2005-04-26 2009-12-15 Microsoft Corporation System for abstracting audio-video codecs
US8370514B2 (en) 2005-04-28 2013-02-05 DISH Digital L.L.C. System and method of minimizing network bandwidth retrieved from an external network
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
US20070291734A1 (en) * 2005-05-27 2007-12-20 Medhavi Bhatia Methods and Apparatus for Multistage Routing of Packets Using Call Templates
US7747894B2 (en) * 2005-06-06 2010-06-29 Microsoft Corporation Transport-neutral in-order delivery in a distributed system
CN101194513B (zh) * 2005-06-10 2011-07-20 Nxp股份有限公司 上下交替运动矢量
US7983301B2 (en) * 2005-06-24 2011-07-19 O2Micro International, Ltd. Method for extended transmission capabilities of short message service
US8549513B2 (en) 2005-06-29 2013-10-01 Microsoft Corporation Model-based virtual system provisioning
US20070002870A1 (en) * 2005-06-30 2007-01-04 Nokia Corporation Padding time-slice slots using variable delta-T
US20090210946A1 (en) * 2005-07-01 2009-08-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional audio content
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US20070014369A1 (en) * 2005-07-12 2007-01-18 John Santhoff Ultra-wideband communications system and method
US8020102B2 (en) * 2005-08-11 2011-09-13 Enhanced Personal Audiovisual Technology, Llc System and method of adjusting audiovisual content to improve hearing
US8189472B2 (en) * 2005-09-07 2012-05-29 Mcdonald James F Optimizing bandwidth utilization to a subscriber premises
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming
KR100734629B1 (ko) * 2005-09-28 2007-07-03 한국전자통신연구원 부분 캐싱 방법 및 이를 이용한 적응형 콘텐츠 전송 방법
US7877387B2 (en) 2005-09-30 2011-01-25 Strands, Inc. Systems and methods for promotional media item selection and promotional program unit generation
US8478884B2 (en) 2005-09-30 2013-07-02 Riip, Inc. Wireless remote device management utilizing mesh topology
US7941309B2 (en) 2005-11-02 2011-05-10 Microsoft Corporation Modeling IT operations/policies
US8181209B2 (en) * 2005-11-21 2012-05-15 Time Warner Cable Inc. Methods and apparatus for providing video on demand and network PVR functions using IP streaming
US9060047B2 (en) * 2005-12-21 2015-06-16 Genband Us Llc Media stream management
US8812978B2 (en) * 2005-12-22 2014-08-19 Xerox Corporation System and method for dynamic zoom to view documents on small displays
US20070156807A1 (en) * 2005-12-29 2007-07-05 Jian Ma Data transmission method and arrangement for data transmission
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
US8718100B2 (en) 2006-02-27 2014-05-06 Time Warner Cable Enterprises Llc Methods and apparatus for selecting digital interface technology for programming and data delivery
US8458753B2 (en) 2006-02-27 2013-06-04 Time Warner Cable Enterprises Llc Methods and apparatus for device capabilities discovery and utilization within a content-based network
US8170065B2 (en) 2006-02-27 2012-05-01 Time Warner Cable Inc. Methods and apparatus for selecting digital access technology for programming and data delivery
US7916755B2 (en) * 2006-02-27 2011-03-29 Time Warner Cable Inc. Methods and apparatus for selecting digital coding/decoding technology for programming and data delivery
WO2007105362A1 (ja) * 2006-03-07 2007-09-20 Nec Corporation 動画像配信システムおよび変換装置
US11477617B2 (en) * 2006-03-20 2022-10-18 Ericsson Evdo Inc. Unicasting and multicasting multimedia services
US7652994B2 (en) * 2006-03-31 2010-01-26 Sharp Laboratories Of America, Inc. Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels
US8208796B2 (en) * 2006-04-17 2012-06-26 Prus Bohdan S Systems and methods for prioritizing the storage location of media data
WO2007127422A2 (en) * 2006-04-29 2007-11-08 724 Solutions Software Inc. Platform for interoperability
EP2016714A2 (en) * 2006-04-29 2009-01-21 724 Solutions Software Inc. Contextual based identity
US8327024B2 (en) * 2006-04-29 2012-12-04 724 Solutions Software, Inc. System and method for SMS/IP interoperability
US7813293B2 (en) * 2006-05-12 2010-10-12 John Papandriopoulos Method for distributed spectrum management of digital communications systems
JP5080132B2 (ja) * 2006-06-12 2012-11-21 三星電子株式会社 データ補償回路及びこれを有する表示装置
KR101288986B1 (ko) * 2006-06-12 2013-07-23 삼성디스플레이 주식회사 데이터 보상회로 및 이를 갖는 액정표시장치
US9277295B2 (en) 2006-06-16 2016-03-01 Cisco Technology, Inc. Securing media content using interchangeable encryption key
US7978720B2 (en) * 2006-06-30 2011-07-12 Russ Samuel H Digital media device having media content transfer capability
US20080022304A1 (en) * 2006-06-30 2008-01-24 Scientific-Atlanta, Inc. Digital Media Device Having Selectable Media Content Storage Locations
US9137480B2 (en) * 2006-06-30 2015-09-15 Cisco Technology, Inc. Secure escrow and recovery of media device content keys
US8831089B1 (en) * 2006-07-31 2014-09-09 Geo Semiconductor Inc. Method and apparatus for selecting optimal video encoding parameter configurations
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US20080062322A1 (en) * 2006-08-28 2008-03-13 Ortiva Wireless Digital video content customization
US8606966B2 (en) * 2006-08-28 2013-12-10 Allot Communications Ltd. Network adaptation of digital content
US20080059321A1 (en) * 2006-08-31 2008-03-06 Zucker Brian T Online Sales Method for Information Handling Systems and Related Peripherals
US8861597B2 (en) * 2006-09-18 2014-10-14 Sharp Laboratories Of America, Inc. Distributed channel time allocation for video streaming over wireless networks
JP4325657B2 (ja) * 2006-10-02 2009-09-02 ソニー株式会社 光ディスク再生装置、信号処理方法、およびプログラム
US7743161B2 (en) * 2006-10-10 2010-06-22 Ortiva Wireless, Inc. Digital content buffer for adaptive streaming
US20080106638A1 (en) * 2006-10-10 2008-05-08 Ubiquity Holdings Internet media experience data compression scheme
US20080091804A1 (en) * 2006-10-11 2008-04-17 Cingular Wireless Ii, Llc Media delivery utilizing intelligent group list management
US8929434B2 (en) * 2006-10-14 2015-01-06 Ubiquity Broadcasting Corporation Video enhancement internet media experience in converting high definition formats to video formats
US20080104267A1 (en) * 2006-11-01 2008-05-01 Sony Corporation Systems and methods for reducing display latency between streaming digital media
US7652993B2 (en) * 2006-11-03 2010-01-26 Sharp Laboratories Of America, Inc. Multi-stream pro-active rate adaptation for robust video transmission
KR100765193B1 (ko) * 2006-12-21 2007-10-09 (주)스트림비젼 아이피티비 통합방송송출 장치와 방법 및 그 프로그램을저장한 저장매체
US20080205389A1 (en) * 2007-02-26 2008-08-28 Microsoft Corporation Selection of transrate and transcode processes by host computer
US8139487B2 (en) 2007-02-28 2012-03-20 Microsoft Corporation Strategies for selecting a format for data transmission based on measured bandwidth
GB2438475A (en) 2007-03-07 2007-11-28 Cvon Innovations Ltd A method for ranking search results
US20080235746A1 (en) 2007-03-20 2008-09-25 Michael James Peters Methods and apparatus for content delivery and replacement in a network
JP4563417B2 (ja) * 2007-03-20 2010-10-13 株式会社エヌ・ティ・ティ・ドコモ 移動通信システムにおけるユーザ装置、通信方法及び通信システム
US8064475B2 (en) * 2007-03-21 2011-11-22 At&T Intellectual Property I, L.P. Systems and methods of wireless communication
US20080233930A1 (en) * 2007-03-23 2008-09-25 Charles Stewart Wurster Optimized messaging service-based media delivery
US20080243692A1 (en) * 2007-03-30 2008-10-02 Verizon Services Corp. Content ingest, maintenance, and delivery
GB2441399B (en) 2007-04-03 2009-02-18 Cvon Innovations Ltd Network invitation arrangement and method
US8671000B2 (en) * 2007-04-24 2014-03-11 Apple Inc. Method and arrangement for providing content to multimedia devices
US20080294446A1 (en) * 2007-05-22 2008-11-27 Linfeng Guo Layer based scalable multimedia datastream compression
WO2008143493A2 (en) * 2007-05-24 2008-11-27 Jeya Rajendram Alan Rajendram Media stream system and method thereof
FR2917937B1 (fr) * 2007-06-25 2009-10-16 Alcatel Lucent Sas Procede de communication avec interception de messages de controle
EP2015561A1 (fr) * 2007-07-10 2009-01-14 Nagracard S.A. Procédé d'envoi d'un code exécutable à un dispositif de réception et procédé d'exécution de ce code
US8462377B2 (en) * 2007-07-25 2013-06-11 Aptina Imaging Corporation Method, apparatus, and system for reduction of line processing memory size used in image processing
US7720986B2 (en) * 2007-08-24 2010-05-18 At&T Intellectual Property I, L.P. Method and system for media adaption
WO2009032953A2 (en) * 2007-09-04 2009-03-12 Tapioca Mobile, Inc. Delivering merged advertising and content for mobile devices
US8561116B2 (en) 2007-09-26 2013-10-15 Charles A. Hasek Methods and apparatus for content caching in a video network
US9071859B2 (en) 2007-09-26 2015-06-30 Time Warner Cable Enterprises Llc Methods and apparatus for user-based targeted content delivery
US20090089852A1 (en) * 2007-10-01 2009-04-02 At&T Knowledge Ventures, Lp Automated Multimedia Channel Error Reporting from Viewer Premises
US8099757B2 (en) 2007-10-15 2012-01-17 Time Warner Cable Inc. Methods and apparatus for revenue-optimized delivery of content in a network
US7751362B2 (en) 2007-10-19 2010-07-06 Rebelvox Llc Graceful degradation for voice communication services over wired and wireless networks
US7751361B2 (en) * 2007-10-19 2010-07-06 Rebelvox Llc Graceful degradation for voice communication services over wired and wireless networks
US8515767B2 (en) 2007-11-04 2013-08-20 Qualcomm Incorporated Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
JP5033598B2 (ja) 2007-11-28 2012-09-26 株式会社日立製作所 表示装置および映像機器
US8151311B2 (en) 2007-11-30 2012-04-03 At&T Intellectual Property I, L.P. System and method of detecting potential video traffic interference
EP2218039A4 (en) * 2007-12-05 2013-06-05 Onlive Inc SYSTEM AND METHOD FOR VIDEO COMPRESSION BASED ON KNOWN INTRAFRAME MOVEMENT
TWI536804B (zh) * 2007-12-05 2016-06-01 新力電腦娛樂(美國)責任有限公司 基於通信頻道之已偵測之資料速率以壓縮視訊的系統及方法
CN101918956A (zh) * 2007-12-05 2010-12-15 生命力有限公司 用于通过基于所检测的帧内运动或场景复杂度调节图像块大小来压缩视频的系统及方法
TWI399982B (zh) * 2007-12-05 2013-06-21 Ol2 Inc 用以壓縮串流互動視訊之系統
KR20100097722A (ko) * 2007-12-05 2010-09-03 온라이브, 인크. 통신 채널을 통해 전송된 소정 타입의 멀티미디어 데이터를 보호하기 위한 시스템 및 방법
JP2011507352A (ja) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド 通信チャンネルの帯域巾制限を補償するためのビデオ圧縮システム及び方法
KR101525617B1 (ko) 2007-12-10 2015-06-04 한국전자통신연구원 다중 경로를 이용한 스트리밍 데이터 송수신 장치 및 그방법
KR101453131B1 (ko) 2007-12-14 2014-10-27 톰슨 라이센싱 가변 대역폭 채널을 통한 동시송출을 위한 장치 및 방법
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
WO2009078839A1 (en) 2007-12-18 2009-06-25 Thomson Licensing Apparatus and method for file size estimation over broadcast networks
JP2011508497A (ja) * 2007-12-21 2011-03-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データの効率的な伝送の方法及び装置
US8276181B1 (en) 2007-12-21 2012-09-25 General Instrument Corporation Content distribution system and method for optimizing multiplexed transport channels
US8207932B2 (en) 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
US9705935B2 (en) 2008-01-14 2017-07-11 Qualcomm Incorporated Efficient interworking between circuit-switched and packet-switched multimedia services
US20090187957A1 (en) * 2008-01-17 2009-07-23 Gokhan Avkarogullari Delivery of Media Assets Having a Multi-Part Media File Format to Media Presentation Devices
EP2086236A1 (en) * 2008-01-31 2009-08-05 Hewlett-Packard Development Company, L.P. Method and system for accessing applications
US8051445B2 (en) * 2008-01-31 2011-11-01 Microsoft Corporation Advertisement insertion
US8433747B2 (en) * 2008-02-01 2013-04-30 Microsoft Corporation Graphics remoting architecture
EP2104306B1 (en) * 2008-02-14 2010-04-21 Research in Motion Limited Method and apparatus for communicating compression state information for interactive compression
US8572287B2 (en) * 2008-02-14 2013-10-29 Blackberry Limited Method and apparatus for communicating compression state information for interactive compression
US8813143B2 (en) 2008-02-26 2014-08-19 Time Warner Enterprises LLC Methods and apparatus for business-based network resource allocation
EP2104322A1 (en) * 2008-03-18 2009-09-23 BlueTown ApS Communication system for voice-over internet protocol using license-free frequencies
BRPI0822562A2 (pt) * 2008-04-01 2015-06-23 Sharp Kk Sistema de rack de av
US8145779B2 (en) * 2008-04-08 2012-03-27 Microsoft Corporation Dynamic server-side media transcoding
JP2009260818A (ja) * 2008-04-18 2009-11-05 Nec Corp サーバ装置とコンテンツ配信方法とプログラム
US9819489B2 (en) * 2008-05-14 2017-11-14 Sandisk Il, Ltd. Device for controlling access to user-selectable content
US8209733B2 (en) * 2008-05-28 2012-06-26 Broadcom Corporation Edge device that enables efficient delivery of video to handheld device
US8255962B2 (en) * 2008-05-28 2012-08-28 Broadcom Corporation Edge device reception verification/non-reception verification links to differing devices
US20090300687A1 (en) * 2008-05-28 2009-12-03 Broadcom Corporation Edge device establishing and adjusting wireless link parameters in accordance with qos-desired video data rate
WO2009147596A1 (en) * 2008-06-04 2009-12-10 Koninklijke Philips Electronics N.V. Adaptive data rate control
FR2932938B1 (fr) * 2008-06-19 2012-11-16 Canon Kk Procede et dispositif de transmission de donnees
US20100017516A1 (en) * 2008-07-16 2010-01-21 General Instrument Corporation Demand-driven optimization and balancing of transcoding resources
US7692561B2 (en) * 2008-07-17 2010-04-06 International Business Machines Corporation Method and apparatus for data decompression in the presence of memory hierarchies
US8990848B2 (en) 2008-07-22 2015-03-24 At&T Intellectual Property I, L.P. System and method for temporally adaptive media playback
US7996422B2 (en) * 2008-07-22 2011-08-09 At&T Intellectual Property L.L.P. System and method for adaptive media playback based on destination
KR101034919B1 (ko) 2008-09-05 2011-05-17 주식회사 넥슨코리아 유저 디자인 데이터의 문자열 보존 방법 및 장치
US8301792B2 (en) * 2008-10-28 2012-10-30 Panzura, Inc Network-attached media plug-in
US8626064B2 (en) * 2008-11-19 2014-01-07 Ben Moore Communication device
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US9414401B2 (en) * 2008-12-15 2016-08-09 At&T Intellectual Property I, L.P. Opportunistic service management for elastic applications
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US8832733B2 (en) * 2008-12-17 2014-09-09 Verizon Patent And Licensing Inc. Method and system for providing localized advertisement information using a set top box
EP2207312B1 (en) * 2009-01-07 2012-04-18 ABB Research Ltd. IED for, and method of engineering, an SA system
CA3076203C (en) * 2009-01-28 2021-03-16 Dolby International Ab Improved harmonic transposition
PL3985666T3 (pl) 2009-01-28 2023-05-08 Dolby International Ab Ulepszona transpozycja harmonicznych
US9172572B2 (en) * 2009-01-30 2015-10-27 Samsung Electronics Co., Ltd. Digital video broadcasting-cable system and method for processing reserved tone
US10104436B1 (en) * 2009-02-23 2018-10-16 Beachfront Media Llc Automated video-preroll method and device
US8621044B2 (en) * 2009-03-16 2013-12-31 Microsoft Corporation Smooth, stateless client media streaming
US8838824B2 (en) * 2009-03-16 2014-09-16 Onmobile Global Limited Method and apparatus for delivery of adapted media
US8506402B2 (en) 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US9866609B2 (en) 2009-06-08 2018-01-09 Time Warner Cable Enterprises Llc Methods and apparatus for premises content distribution
CN101594242A (zh) * 2009-06-23 2009-12-02 腾讯科技(深圳)有限公司 一种传输视频数据的方法、系统和装置
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US9389877B2 (en) 2009-07-20 2016-07-12 Google Technology Holdings LLC Multi-environment operating system
US9367331B2 (en) 2009-07-20 2016-06-14 Google Technology Holdings LLC Multi-environment operating system
US9372711B2 (en) 2009-07-20 2016-06-21 Google Technology Holdings LLC System and method for initiating a multi-environment operating system
US8473998B1 (en) * 2009-07-29 2013-06-25 Massachusetts Institute Of Technology Network coding for multi-resolution multicast
TWI411239B (zh) * 2009-08-17 2013-10-01 Acer Inc Image file transfer system and method thereof
JP4957831B2 (ja) * 2009-08-18 2012-06-20 ソニー株式会社 再生装置および再生方法、並びに記録装置および記録方法
US8285446B2 (en) * 2009-08-21 2012-10-09 Circuit Works, Inc. Methods and systems for providing accessory steering wheel controls
US8214105B2 (en) 2009-08-21 2012-07-03 Metra Electronics Corporation Methods and systems for automatic detection of steering wheel control signals
KR101697497B1 (ko) 2009-09-18 2017-01-18 돌비 인터네셔널 에이비 입력 신호를 전위시키기 위한 시스템 및 방법, 및 상기 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 저장 매체
JP2011087103A (ja) * 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
CN102045298B (zh) * 2009-10-17 2013-12-04 中兴通讯股份有限公司 一种ims媒体编解码器协商的方法和系统
US7921150B1 (en) 2009-10-23 2011-04-05 Eastman Kodak Company Method for viewing videos on distributed networks
CN102055966B (zh) 2009-11-04 2013-03-20 腾讯科技(深圳)有限公司 一种媒体文件的压缩方法和系统
US10003851B2 (en) * 2009-11-24 2018-06-19 Imagine Communications Corp. Managed multiplexing of video in an adaptive bit rate environment
US20110156886A1 (en) * 2009-12-31 2011-06-30 Clinkscales William L Paging interface adapter
US9510029B2 (en) 2010-02-11 2016-11-29 Echostar Advanced Technologies L.L.C. Systems and methods to provide trick play during streaming playback
JP2011175569A (ja) * 2010-02-25 2011-09-08 Sharp Corp 文書画像生成装置、文書画像生成方法及びコンピュータプログラム
US9237526B2 (en) 2010-03-12 2016-01-12 Sunrise Micro Devices, Inc. Power efficient communications
US8125357B1 (en) * 2010-03-23 2012-02-28 Sandia Corporation Deflate decompressor
US9613142B2 (en) * 2010-04-26 2017-04-04 Flash Networks Ltd Method and system for providing the download of transcoded files
US9276986B2 (en) * 2010-04-27 2016-03-01 Nokia Technologies Oy Systems, methods, and apparatuses for facilitating remote data processing
US9367847B2 (en) 2010-05-28 2016-06-14 Apple Inc. Presenting content packages based on audience retargeting
US8947492B2 (en) 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
KR20120002918A (ko) * 2010-07-01 2012-01-09 삼성전자주식회사 스테이션간에 사용할 동영상 코덱을 선택하는 방법 및 그 장치
DE102010026841A1 (de) * 2010-07-12 2012-01-12 Vodafone Holding Gmbh Verfahren und Rechnereinrichtung zum Optimieren einer Datenübtertragungseinrichtung
CA2842098C (en) * 2010-07-15 2017-01-03 Dejero Labs Inc. A system and method for transmission of data signals over a wireless network
KR101681589B1 (ko) * 2010-07-27 2016-12-01 엘지전자 주식회사 영상 처리 장치 및 그 방법
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
US8533166B1 (en) * 2010-08-20 2013-09-10 Brevity Ventures LLC Methods and systems for encoding/decoding files and transmission thereof
KR102126910B1 (ko) 2010-09-13 2020-06-25 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
KR20170129967A (ko) 2010-09-13 2017-11-27 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 게임 서버를 포함하는 컴퓨터 게임 시스템에서 통신 네트워크를 통해 클라이언트들 간에 게임 세션을 이송하는 방법
US8751795B2 (en) 2010-09-14 2014-06-10 Mo-Dv, Inc. Secure transfer and tracking of data using removable non-volatile memory devices
US10873191B2 (en) 2010-11-19 2020-12-22 Tseng-Lu Chien Desk top alarm or time or LED lighting device has USB-port(s)
US10873190B2 (en) 2010-11-19 2020-12-22 Tseng-Lu Chien Desktop or floor LED lighting device has USB-port(s)
US8385414B2 (en) * 2010-11-30 2013-02-26 International Business Machines Corporation Multimedia size reduction for database optimization
US20120151080A1 (en) * 2010-12-14 2012-06-14 of California Media Repackaging Systems and Software for Adaptive Streaming Solutions, Methods of Production and Uses Thereof
US9354900B2 (en) 2011-04-28 2016-05-31 Google Technology Holdings LLC Method and apparatus for presenting a window in a system having two operating system environments
RU2451328C1 (ru) * 2011-05-31 2012-05-20 Государственное образовательное учреждение высшего профессионального образования "Казанский государственный энергетический университет" (КГЭУ) Адаптивное цифровое прогнозирующее устройство
US8982942B2 (en) 2011-06-17 2015-03-17 Microsoft Technology Licensing, Llc Adaptive codec selection
WO2013023287A1 (en) 2011-08-16 2013-02-21 Destiny Software Productions Inc. Script-based video rendering
US9088804B2 (en) * 2011-08-25 2015-07-21 Ustream, Inc. On-demand selection of transcoding formats for multimedia broadcast streams
US8855195B1 (en) 2011-09-09 2014-10-07 Panamorph, Inc. Image processing system and method
WO2013067436A1 (en) * 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Binarization of prediction residuals for lossless video coding
WO2013071144A1 (en) * 2011-11-09 2013-05-16 Movable Ink Management of dynamic email content
US9277230B2 (en) 2011-11-23 2016-03-01 Qualcomm Incorporated Display mode-based video encoding in wireless display devices
RU2480831C1 (ru) * 2011-11-24 2013-04-27 Общество с ограниченной ответственностью "КБК Групп" Способ выборки изображений из базы изображений
US8990474B2 (en) * 2011-12-02 2015-03-24 Altera Corporation Logic device having a compressed configuration image stored on an internal read only memory
US9008177B2 (en) 2011-12-12 2015-04-14 Qualcomm Incorporated Selective mirroring of media output
US20150163271A1 (en) * 2011-12-22 2015-06-11 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and method for monitoring performance in a communications network
EP2611153A1 (en) * 2011-12-29 2013-07-03 Thomson Licensing System and method for multiplexed streaming of multimedia content
EP2629543A1 (en) * 2012-02-20 2013-08-21 Thomson Licensing Method and controller for device power state control
US8904451B2 (en) * 2012-04-13 2014-12-02 Theplatform, Llc Systems for prioritizing video processing events based on availability of media file and agent to process the event type
SG11201406385UA (en) * 2012-04-13 2014-11-27 Sony Corp Wireless communication device, information processing device, and communication method
US10148374B2 (en) * 2012-04-23 2018-12-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for altering an in-vehicle presentation
CN102638726B (zh) * 2012-04-24 2016-06-15 惠州Tcl移动通信有限公司 一种基于太赫兹无线通信的多媒体流传输方法及系统
US9417753B2 (en) 2012-05-02 2016-08-16 Google Technology Holdings LLC Method and apparatus for providing contextual information between operating system environments
US9342325B2 (en) 2012-05-17 2016-05-17 Google Technology Holdings LLC Synchronizing launch-configuration information between first and second application environments that are operable on a multi-modal device
US9426476B2 (en) * 2012-07-09 2016-08-23 Hewlett-Packard Development Company, L.P. Video stream
US9854280B2 (en) 2012-07-10 2017-12-26 Time Warner Cable Enterprises Llc Apparatus and methods for selective enforcement of secondary content viewing
WO2014033284A1 (en) * 2012-08-31 2014-03-06 Axel Springer Digital Tv Guide Gmbh Electronic media content guide
US8976226B2 (en) 2012-10-15 2015-03-10 Google Inc. Generating an animated preview of a multi-party video communication session
RU2510957C1 (ru) * 2012-10-25 2014-04-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ восстановления искаженных сжатых файлов
US9794134B2 (en) 2012-11-16 2017-10-17 Apple Inc. System and method for negotiating control of a shared audio or visual resource
US9131283B2 (en) 2012-12-14 2015-09-08 Time Warner Cable Enterprises Llc Apparatus and methods for multimedia coordination
US9939822B2 (en) 2013-02-11 2018-04-10 Graco Minnesota Inc. Remote monitoring for fluid applicator system
US10969805B2 (en) 2013-02-11 2021-04-06 Graco Minnesota Inc. Paint sprayer distributed control and output volume monitoring architectures
US8869218B2 (en) 2013-03-15 2014-10-21 Wowza Media Systems, LLC On the fly transcoding of video on demand content for adaptive streaming
US10506067B2 (en) * 2013-03-15 2019-12-10 Sonitum Inc. Dynamic personalization of a communication session in heterogeneous environments
US9681116B2 (en) * 2013-03-15 2017-06-13 Arris Enterprises, Inc. System and method for delivering 3DTV content to variety of receivers
US9933990B1 (en) 2013-03-15 2018-04-03 Sonitum Inc. Topological mapping of control parameters
GB2512310A (en) * 2013-03-25 2014-10-01 Sony Corp Media Distribution
US9672041B2 (en) * 2013-08-01 2017-06-06 Andes Technology Corporation Method for compressing variable-length instructions including PC-relative instructions and processor for executing compressed instructions using an instruction table
US9167311B2 (en) * 2013-09-25 2015-10-20 Verizon Patent And Licensing Inc. Variant playlist optimization
WO2015053673A1 (en) 2013-10-11 2015-04-16 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
CN104661045B (zh) * 2013-11-21 2017-09-01 青岛海尔电子有限公司 多媒体内容自适应方法和多媒体播放系统
WO2015134835A1 (en) * 2014-03-07 2015-09-11 Remote Media, Llc Virtual file system and method with bi-directional media file synchronization
US9397947B2 (en) * 2014-03-11 2016-07-19 International Business Machines Corporation Quality of experience for communication sessions
US20150271226A1 (en) * 2014-03-18 2015-09-24 Qualcomm Incorporated Transport accelerator implementing a multiple interface architecture
US9838455B2 (en) * 2014-09-19 2017-12-05 Mobitv, Inc. Fast encoding of live streaming media content
US9456075B2 (en) * 2014-10-13 2016-09-27 Avaya Inc. Codec sequence detection
JP6590925B2 (ja) * 2014-11-05 2019-10-16 コリン,ジャン−クロード 動画像を作成するための方法
RU2595598C2 (ru) * 2014-11-27 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство сжатия с использованием подхода на основе нейронной сети
US9286313B1 (en) * 2014-12-27 2016-03-15 Ascava, Inc. Efficient lossless reduction of data by deriving data from prime data elements resident in a content-associative sieve
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
KR102423827B1 (ko) * 2015-08-10 2022-07-21 삼성전자주식회사 송신 장치 및 이의 제어 방법
US9766816B2 (en) 2015-09-25 2017-09-19 Seagate Technology Llc Compression sampling in tiered storage
CN105681682B (zh) * 2016-01-19 2019-06-14 广东威创视讯科技股份有限公司 视频数据传输方法和系统
US10402700B2 (en) 2016-01-25 2019-09-03 Deepmind Technologies Limited Generating images using neural networks
US10390082B2 (en) 2016-04-01 2019-08-20 Oath Inc. Computerized system and method for automatically detecting and rendering highlights from streaming videos
US10687115B2 (en) 2016-06-01 2020-06-16 Time Warner Cable Enterprises Llc Cloud-based digital content recorder apparatus and methods
RU2632818C1 (ru) * 2016-09-20 2017-10-10 Общество с ограниченной ответственностью "КАСКАД" Широкополосная система радиосвязи с частотным дуплексом
US20180107926A1 (en) * 2016-10-19 2018-04-19 Samsung Electronics Co., Ltd. Method and apparatus for neural network quantization
US10911794B2 (en) 2016-11-09 2021-02-02 Charter Communications Operating, Llc Apparatus and methods for selective secondary content insertion in a digital network
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
US10714118B2 (en) * 2016-12-30 2020-07-14 Facebook, Inc. Audio compression using an artificial neural network
US10515115B2 (en) * 2017-03-03 2019-12-24 Proactive Cctv System and method for closed-circuit television file archival and compression
US10715177B2 (en) 2017-06-20 2020-07-14 Samsung Electronics Co., Ltd. Lossy compression drive
KR102050780B1 (ko) * 2018-01-10 2019-12-02 한국과학기술원 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법
KR102037951B1 (ko) * 2018-01-31 2019-10-29 주식회사 에벤에셀케이 파일 형식에 기반한 이미지 처리 장치 및 방법
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US11297369B2 (en) 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
US10783929B2 (en) 2018-03-30 2020-09-22 Apple Inc. Managing playback groups
WO2019209007A1 (ko) * 2018-04-24 2019-10-31 주식회사 지디에프랩 Ai 기반의 영상 압축 및 복원 시스템
KR102190483B1 (ko) * 2018-04-24 2020-12-11 주식회사 지디에프랩 Ai 기반의 영상 압축 및 복원 시스템
CN110754093A (zh) 2018-05-21 2020-02-04 Gdf实验室株式会社 基于人工智能影像学习平台的视频点播服务系统
EP3576019A1 (en) 2018-05-29 2019-12-04 Nokia Technologies Oy Artificial neural networks
US10862938B1 (en) 2018-06-21 2020-12-08 Architecture Technology Corporation Bandwidth-dependent media stream compression
US10812562B1 (en) 2018-06-21 2020-10-20 Architecture Technology Corporation Bandwidth dependent media stream compression
US11019123B2 (en) * 2018-06-22 2021-05-25 International Business Machines Corporation Multi-bitrate component sharding
US10614857B2 (en) 2018-07-02 2020-04-07 Apple Inc. Calibrating media playback channels for synchronized presentation
RU2698414C1 (ru) * 2018-09-21 2019-08-26 Владимир Александрович Свириденко Способ и устройство сжатия видеоинформации для передачи по каналам связи с меняющейся пропускной способностью и запоминания в системах хранения данных с использованием машинного обучения и нейросетей
US10923135B2 (en) * 2018-10-14 2021-02-16 Tyson York Winarski Matched filter to selectively choose the optimal audio compression for a metadata file
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US11503117B2 (en) 2018-11-07 2022-11-15 Phacil, Llc Secure expeditionary AI sense-understand-decide-act system and method
US10735141B2 (en) * 2018-12-21 2020-08-04 Huawei Technologies Co., Ltd. System and a method for error correction coding using a deep neural network
GB2611668B (en) * 2019-02-28 2023-09-13 Displaylink Uk Ltd Image data encoding
GB2581822B (en) * 2019-02-28 2023-03-15 Displaylink Uk Ltd Image data encoding
US11729406B2 (en) * 2019-03-21 2023-08-15 Qualcomm Incorporated Video compression using deep generative models
US11527266B2 (en) * 2019-04-04 2022-12-13 Wowza Media Systems, LLC Artificial intelligence analysis of multimedia content
US10373300B1 (en) * 2019-04-29 2019-08-06 Deep Render Ltd. System and method for lossy image and video compression and transmission utilizing neural networks
US10489936B1 (en) * 2019-04-29 2019-11-26 Deep Render Ltd. System and method for lossy image and video compression utilizing a metanetwork
CN112020043A (zh) * 2019-05-28 2020-12-01 瑞昱半导体股份有限公司 蓝牙装置与其操作方法及非瞬时计算机可读记录介质
GB2585880B (en) * 2019-07-19 2023-09-20 Displaylink Uk Ltd Processing Display Data
CN110648311B (zh) * 2019-09-03 2023-04-18 南开大学 一种基于多任务学习的痤疮图像病灶分割与计数网络模型
CN112530444B (zh) * 2019-09-18 2023-10-03 华为技术有限公司 音频编码方法和装置
CN111128193B (zh) * 2019-12-27 2023-06-02 科大讯飞股份有限公司 语音交互方法、网络分析端及客户端
US11648467B2 (en) * 2020-02-14 2023-05-16 Microsoft Technology Licensing, Llc Streaming channel personalization
US11533658B2 (en) * 2020-02-24 2022-12-20 Qualcomm Incorporated Compressed measurement feedback using an encoder neural network
WO2022004914A1 (ko) * 2020-07-01 2022-01-06 엘지전자 주식회사 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치
US11900640B2 (en) * 2020-07-15 2024-02-13 Tencent America LLC Method and apparatus for substitutional neural residual compression
BR102020015189A2 (pt) * 2020-07-26 2022-02-08 Leonardo Severo Alves De Melo Sistema computacional especializado para compressão analítica e individual de dados
US20220067509A1 (en) * 2020-09-02 2022-03-03 Alibaba Group Holding Limited System and method for learning from partial compressed representation
JP2022069795A (ja) 2020-10-26 2022-05-12 株式会社日立製作所 データ圧縮伸長システムおよびデータ圧縮伸長方法
US11949927B2 (en) * 2020-10-30 2024-04-02 Stryker Corporation Methods and systems for hybrid and concurrent video distribution for healthcare campuses
US20220191482A1 (en) * 2020-12-16 2022-06-16 Tencent America LLC Method and apparatus for video coding
CN113473218B (zh) * 2021-07-08 2022-05-24 北京安盟信息技术股份有限公司 一种平台级联视频平衡方法及系统
US11665215B1 (en) * 2022-05-05 2023-05-30 At&T Intellectual Property I, L.P. Content delivery system
US20230370664A1 (en) * 2022-05-12 2023-11-16 Wipro Limited Method and system for optimizing video content acquisition and delivery during events

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002720A (en) * 1991-01-07 1999-12-14 H. Lee Browne, D/B/A Greenwich Information Technologies Llc Audio and video transmission and receiving system
US6870884B1 (en) * 1992-01-29 2005-03-22 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
JPH0614313A (ja) * 1992-06-29 1994-01-21 Canon Inc 画像処理装置
US5596659A (en) * 1992-09-01 1997-01-21 Apple Computer, Inc. Preprocessing and postprocessing for vector quantization
CA2143633A1 (en) * 1992-09-01 1994-03-17 James Oliver Normile Improved vector quantization
US5539908A (en) * 1992-11-24 1996-07-23 International Business Machines Corporation Dynamically linked and shared compression/decompression
US5481297A (en) * 1994-02-25 1996-01-02 At&T Corp. Multipoint digital video communication system
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
KR100211916B1 (ko) * 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
US6754181B1 (en) 1996-11-18 2004-06-22 Mci Communications Corporation System and method for a directory service supporting a hybrid communication system architecture
US6421726B1 (en) 1997-03-14 2002-07-16 Akamai Technologies, Inc. System and method for selection and retrieval of diverse types of video data on a computer network
FR2760872B1 (fr) * 1997-03-17 2000-06-09 Alsthom Cge Alcatel Procede d'optimisation de la compression de donnees d'image, a selection automatique de conditions de compression
US6195692B1 (en) * 1997-06-02 2001-02-27 Sony Corporation Television/internet system having multiple data stream connections
US6266419B1 (en) 1997-07-03 2001-07-24 At&T Corp. Custom character-coding compression for encoding and watermarking media content
US6356545B1 (en) * 1997-08-08 2002-03-12 Clarent Corporation Internet telephone system with dynamically varying codec
WO1999018728A1 (en) 1997-10-02 1999-04-15 General Datacomm, Inc. Interconnecting multimedia data streams having different compressed formats
US6085236A (en) * 1998-01-06 2000-07-04 Sony Corporation Of Japan Home audio video network with device control modules for incorporating legacy devices
US6252544B1 (en) * 1998-01-27 2001-06-26 Steven M. Hoffberg Mobile communication device
US6157965A (en) * 1998-02-27 2000-12-05 Intel Corporation System and method for binding a virtual device driver to a network driver interface
US6115755A (en) * 1998-04-09 2000-09-05 Novaweb Technologies, Inc. Integrated apparatus for interfacing several computers to the internet through a single connection
US6624761B2 (en) 1998-12-11 2003-09-23 Realtime Data, Llc Content independent data compression method and system
US6243676B1 (en) * 1998-12-23 2001-06-05 Openwave Systems Inc. Searching and retrieving multimedia information
US6349151B1 (en) * 1998-12-29 2002-02-19 Eastman Kodak Company Method and apparatus for visually optimized compression parameters
US6212302B1 (en) * 1998-12-29 2001-04-03 Eastman Kodak Company Method and apparatus for visually optimized rate control
US6356668B1 (en) * 1998-12-29 2002-03-12 Eastman Kodak Company Method for efficient rate control
US6356589B1 (en) * 1999-01-28 2002-03-12 International Business Machines Corporation Sharing reference data between multiple encoders parallel encoding a sequence of video frames
US6091177A (en) * 1999-03-22 2000-07-18 Siemens Westinghouse Power Corporation Spring mounting for an electric generator
US6492326B1 (en) * 1999-04-19 2002-12-10 The Procter & Gamble Company Skin care compositions containing combination of skin care actives
US6587638B1 (en) * 1999-08-02 2003-07-01 Hitachi, Ltd. Recording/ reproducing apparatus and input/ output device
AU6639800A (en) * 1999-08-13 2001-03-13 Vingage Corporation System and method for delivering video images
JP2003513538A (ja) * 1999-10-22 2003-04-08 アクティブスカイ,インコーポレイテッド オブジェクト指向ビデオシステム
US6804401B2 (en) * 2000-05-12 2004-10-12 Xerox Corporation Method for compressing digital documents with control of image quality subject to multiple compression rate constraints
US20020067907A1 (en) * 2000-06-06 2002-06-06 Eric Ameres Universal video client/universal video server system
US7219364B2 (en) * 2000-11-22 2007-05-15 International Business Machines Corporation System and method for selectable semantic codec pairs for very low data-rate video transmission
US6947598B2 (en) 2001-04-20 2005-09-20 Front Porch Digital Inc. Methods and apparatus for generating, including and using information relating to archived audio/video data
US6968006B1 (en) * 2001-06-05 2005-11-22 At&T Corp. Method of content adaptive video decoding
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
US20060008434A1 (en) * 2004-05-25 2006-01-12 Knopf Michael A Deodorant body wash with lotion
US20060128579A1 (en) * 2004-05-25 2006-06-15 Knopf Michael A Cleansing foaming lotion
US20050265936A1 (en) * 2004-05-25 2005-12-01 Knopf Michael A Cleansing foaming sunscreen lotion

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100428331C (zh) * 2005-08-12 2008-10-22 深圳华为通信技术有限公司 移动终端中图像自适应缩放的装置及其方法
CN102932841A (zh) * 2011-09-06 2013-02-13 斯凯普公司 信号处理
CN102932841B (zh) * 2011-09-06 2016-01-13 斯凯普公司 信号处理
CN104754280A (zh) * 2014-04-07 2015-07-01 惠州Tcl移动通信有限公司 选择性地采用高画质多媒体的交流系统
CN104754280B (zh) * 2014-04-07 2019-03-01 惠州Tcl移动通信有限公司 选择性地采用高画质多媒体的交流系统
CN109562297A (zh) * 2016-06-13 2019-04-02 亚马逊技术股份有限公司 分区地形编辑
CN108665062A (zh) * 2018-04-28 2018-10-16 中国科学院计算技术研究所 一种基于小波变换减少io开销的神经网络处理系统
CN108764454A (zh) * 2018-04-28 2018-11-06 中国科学院计算技术研究所 基于小波变换压缩和/或解压缩的神经网络处理方法
CN108764454B (zh) * 2018-04-28 2022-02-25 中国科学院计算技术研究所 基于小波变换压缩和/或解压缩的神经网络处理方法
CN114285776A (zh) * 2022-01-14 2022-04-05 广州广哈通信股份有限公司 一种网络线路状态监测方法、装置及视频会议终端
CN114285776B (zh) * 2022-01-14 2023-07-14 广州广哈通信股份有限公司 一种网络线路状态监测方法、装置及视频会议终端

Also Published As

Publication number Publication date
MXPA04002722A (es) 2005-11-04
JP4852228B2 (ja) 2012-01-11
KR100640122B1 (ko) 2006-10-31
RU2282888C2 (ru) 2006-08-27
CA2461830A1 (en) 2003-04-03
US8036265B1 (en) 2011-10-11
JP2008236758A (ja) 2008-10-02
RU2004112547A (ru) 2005-09-20
TWI293533B (en) 2008-02-11
JP4852563B2 (ja) 2012-01-11
NO20041725L (no) 2004-06-11
WO2003027876A1 (en) 2003-04-03
JP2005508590A (ja) 2005-03-31
IL160981A0 (en) 2004-08-31
US20040045030A1 (en) 2004-03-04
KR20040063899A (ko) 2004-07-14
AU2002334720B8 (en) 2006-08-10
IL160981A (en) 2009-12-24
EP1438673A1 (en) 2004-07-21
AU2002334720B2 (en) 2006-07-06
CA2461830C (en) 2009-09-22
US7295608B2 (en) 2007-11-13
EP1438673A4 (en) 2007-12-19
CA2669171A1 (en) 2003-04-03
CA2669171C (en) 2012-05-01
EP1438673B1 (en) 2012-11-21
BR0213596A (pt) 2004-10-26

Similar Documents

Publication Publication Date Title
CN1568466A (zh) 用于传递媒体信号的系统和方法
AU2002334720A1 (en) System and method for communicating media signals
CN103814562B (zh) 用信号表示片段的特性以用于媒体数据的网络流式传输
US8589591B2 (en) Customized delivery of content by a broadband gateway
CN1366775A (zh) 压缩视频的代码转换方法
US20090300701A1 (en) Area of interest processing of video delivered to handheld device
CN102007774A (zh) 服务器装置、内容分配方法以及程序
JP2006155602A (ja) トランスコーダーを備える分散型マルチメディア伝送ネットワークのトランスコーディング装置及びトランスコーディング方法
CN1992890A (zh) 提供媒体节目的装置及方法
CN1843013A (zh) 用于管理流式媒体服务的方法
Perkis et al. Universal multimedia access from wired and wireless systems
CA2821466A1 (en) System and method for micro-cloud computing
CN1488195A (zh) 分布式随选媒体代码转换系统和方法
CN1336059A (zh) 信息传输方法
CN1960260A (zh) 为不同类型的终端提供iptv业务的方法和iptv业务系统
CN101035243A (zh) 基于互联网的三网融合数字高清电视系统
CN1833391A (zh) 降低在流式会话期间传输信道差错所造成的影响
CN1212016C (zh) 调整图形场景的方法和设备
US7228535B2 (en) Methods and apparatus for multimedia stream scheduling in resource-constrained environment
CN105791964A (zh) 跨平台的媒体文件播放方法及系统
Nepal et al. DAVE: A system for quality driven adaptive video delivery
Vetro et al. Digital item adaptation–tools for universal multimedia access
CN1867076A (zh) 图像显示方法、图像编码装置及图像解码装置
da Costa Magalhães Universal access to multimedia content based on the mpeg-7 standard
Tashiro et al. NTT's technologies for next-generation video services

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1069901

Country of ref document: HK

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20050119

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1069901

Country of ref document: HK