CN1209020A - 视频目标平面的时间和空间可变尺度编码 - Google Patents
视频目标平面的时间和空间可变尺度编码 Download PDFInfo
- Publication number
- CN1209020A CN1209020A CN98109558A CN98109558A CN1209020A CN 1209020 A CN1209020 A CN 1209020A CN 98109558 A CN98109558 A CN 98109558A CN 98109558 A CN98109558 A CN 98109558A CN 1209020 A CN1209020 A CN 1209020A
- Authority
- CN
- China
- Prior art keywords
- vop
- basic unit
- enhancement layer
- pixel data
- video sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Abstract
一种对包括视频目标平面的视频图像进行时间和空间可变尺度编码的方法和装置。通过自适应压缩变尺度场模式视频而提高编码效率。增强层中的向上采样VOP被重排序以提供与输入视频序列间更大的相关性。利用空间变换编码所得残余。一运动补偿方案通过对基层VOP已确定的运动向量作尺度变换而被用于对增强层VOP编码。可变尺度编码的应用包括立体视频、画中画、预览频道和ATM通信。
Description
本发明涉及为数字视频序列中包括视频目标平面的视频图像提供时间和空间尺度变换的方法和装置。特别是提出一种适用于变尺度帧模式或场模式视频的运动补偿方案。也提出一种利用空间变换如离散余弦变换(DCT)对场模式视频进行自适应压缩的方案。
本发明尤其适用于各种多媒体应用,且与此处作为参考引用的文献ISO/IEC/JTC1/SC29/WG11 N1642中标题为″MPEG-4视频校验模式7.0版″,1997年4月,所描述的MPEG-4校验模式(VM)7.0标准兼容。本发明还可提供立体视频编码、画中画、预览频道和异步传输模式(ATM)通信。
MPEG-4是一种提供灵活框架及用于对数字音频视频数据进行通信、访问和操作的开放式编码工具集合的新编码标准。这些工具支持广泛的特征。MPEG-4灵活的框架支持编码工具的各种组合及其由计算机、远程通信和娱乐(如,电视和电影)业所要求应用的相应功能,如数据库浏览、信息检索和交互式通信。
MPEG-4提供标准核心技术,允许在多媒体环境中高效存贮、发送和操纵视频数据。MPEG-4取得高效的压缩、目标可变尺度、空间和时间可变尺度及误差回弹。
MPEG-4视频VM编1码器/解码器(编码解码器)是带有运动补偿的基于块和目标的混合编码器。通过采用重叠块运动补偿用8×8DCT对纹理进行编码。目标形状被表示为alpha图并利用基于内容的算术编码(CAE)算法或改进的DCT编码器进行编码,二者均利用时间预测。该编码器可处理由计算机图形得到的子图形。其它编码方法,如小波和子图形编码,也可用于特殊应用。
运动补偿纹理编码是众所周知的视频编码方法。该方法可构造成三级过程模型。第一级是包括运动估计和补偿(ME/MC)和二维空间变换的信号处理。ME/MC和空间变换的目标是利用视频序列中时间和空间相关性优化复杂限制情况下量化和熵编码的率失真性能。最常见的ME/MC技术是块匹配,最常见的空间变换是DCT。然而,对于任意形状VOP边界块的ME/MC和DCT编码产生特殊的关注。
MPEG-2主要轮廓是MPEG-4标准的前身,且在文献ISO/IEC JTC1/SC29/WG11 N0702中,标题为″信息技术-运动图像和相关音频通用编码,建议H.262″,1994年3月25日,中描述,此处作为参考文献引用。对MPEG-2主要轮廓进行可变尺度延伸已被定义,其为两个或更多独立位流或层提供。每一层可被结合以形成单个高质量信号。例如,基层可提供低质量视频信号,而增强层提供可增强基层图像的附加信息。
尤其是,时间和空间可变尺度可提供不同视频标准或解码器功能间的兼容性。通过空间可变尺度,基层视频可具有比输入视频序列低的空间分辨率,在该情况下,增强层载有将基层分辨率恢复到输入序列的分辨率水平的信息。例如,对应国际电信联盟-无线电部(ITU-R)601标准(分辨率720×576像素)的输入视频序列可载于对应公共交换格式(CIF)标准(分辨率360×288像素)的基层。在该情况下,增强层载有被解码器用来将基层视频恢复到ITU-R601标准的信息。或者,增强层可能具有减小的空间分辨率。
利用时间可变尺度,基层可具有比输入视频序列低的时间分辨率(即,帧频),而增强层载有丢失帧。当在解码器结合时,原有的帧频可被恢复。
因此,期望提供用于视频信号(包括视频目标平面(VOP),如用于MPEG-4标准中的)编码的时间和空间可变尺度功能。期望具备立体视频编码、画中画、预览频道和异步传输模式(ATM)通信功能。
还期望具有较低复杂性和低成本的编码解码器设计,其中,搜索范围被减小,用于对双向预测VOP(B-VOP)进行增强层预测编码的运动估计。还期望在确定残余并对数据进行空间转换之前通过自适应重排序增强层VOP的像素线对交错视频输入信号进行高效编码。本发明提供一具备上述和其它优点的系统。
根据本发明,提出一种为数字视频序列中的视频图像如视频目标平面提供时间和空间的尺度变化的方法和装置。VOP可包括整个帧和/或帧的子集,且可为任意形状。此外,多个VOP可在一帧中提供或瞬时重合。
提出一种用于对包含视频目标平而(VOP)的输入视频序列进行尺度变化的方法,用以在相应的基层和增强层中进行通信,其中,向下取样数据被载于基层。输入视频序列中的VOP具有相关的空间分辨率和时间分辨率(例如帧频)。
输入视频序列的第一特定VOP的像素数据被向下取样,以提供具有减小的空间分辨率的第一基层VOP。第一基层VOP的至少一部分的像素数据被向上取样,以在增强层提供第一向上取样VOP。第一向上取样VOP利用输入视频序列的第一特定VOP被进行差分编码,且被提供于增强层中对应于第一基层VOP的时间位置。
差分编码包括根据第一向上取样VOP的像素数据与输入视频序列的第一特定VOP的像素数据间的差确定残余的步骤。残余利用例如DCT被空间转换以提供转换因子。
输入视频序列的VOP是场模式VOP时,若像素数据行满足重排序准则,差分编码包括在确定残余之前,将第一向上取样VOP的像素数据行重排序为场模式。该准则是,是否对立场行(例如,奇对偶,偶对奇)的亮度值之差的和值大于相同场行(奇对奇,偶对偶)的亮度数据之差与偏差项的和值。
第一基层VOP的向上取样像素数据可为整个第一基层VOP的子集,以致于未向上取样的第一基层VOP的余下部分比已向上取样的像素数据具有较低的空间分辨率。
第二基层VOP和增强层中的向上取样VOP可以类似方式提供。第一基层VOP和第二基层VOP之一或两者可被用于预测对应于第一和第二向上取样VOP的中间VOP。中间VOP被编码,用于在增强层中进行第一和第二向上取样VOP间的通信。
而且,当在第一和第二基层VOP间无中间基层VOP时,增强层可能比基层具有较高的时间分辨率。
在特定应用中,基层和增强层提供画中画(PIP)功能(其中,PIP图像被载于基层),或预览频道功能(其中,预览图像被载于基层)。在此应用中,可以接受PIP图像或自由预览图像具有减少的空间和/或时间分辨率。在ATM应用中,较高优先级、低比特率数据可在基层中提供,而较低优先级、高比特率数据可在增强层中提供。在此情况下,基层被分配一保用带宽,但增强层可能偶然丢失。
一用于对包括视频目标平面的输入视频序列进行变尺度的方法(其中,向下取样数据被载于增强层,而不是基层)被提出。通过此方法,输入视频序列的第一特定VOP被作为第一基层VOP提供于基层,例如不改变空间分辨率。至少一部分第一基层VOP的像素数据被向下取样,以在增强层中对应于第一基层VOP的时间位置提供相应的第一向下取样VOP。第一特定VOP的相应像素数据被向下取样,以提供一比较VOP,且第一向下取样VOP利用比较VOP被差分编码。
基层和增强层可提供立体视频功能,其中,增强层中的图像数据比基层中的图像数据具有较低的空间分辨率。
一用于对双向预测视频目标平面(B-VOP)编码的方法也被提出。对应输入视频序列VOP的第一和第二基层VOP被提供于基层中。第二基层VOP是P-VOP(其可根据运动向量MVP从第一基层VOP预测)。B-VOP被提供于增强层中第一和第二基层VOP之间。
B-VOP利用通过对运动向量MVP按尺度变换所得的向前运动向量MVf和向后运动向量MVB中的至少一个编码。此高效编码技术避免需在参考VOP中进行独立的耗时的搜索。时间间隔TRP分离第一和第二基层VOP,而时间间隔TRB分离第一基层VOP和B-VOP。
比值m/n被定义为第一和第二基层VOP的空间分辨率与B-VOP的空间分辨率的比值。即,基层VOP或增强层中的B-VOP可相对输入视频序列的VOP以比值m/n被向下取样。假定基层或增强层VOP与输入视频序列具有相同的空间分辨率。向前运动向量MVf根据关系式MVf=(m/n)·TRB·MVP/TRP确定,向后运动向量MVb根据关系式MVb=(m/n)·(TRB-TRP)·MVP/TRP确定。m/n是任一正数,包括分数值。
B-VOP利用第一基层VOP的搜索区(其中心根据向前运动向量MVf确定)和第二基层VOP的搜索区(其中心根据向后运动向量MVB确定)编码。
相应的解码器方法和装置也被提出。
图1是根据本发明的视频目标平面(VOP)编码和解码过程图。
图2是根据本发明的VOP编码器和解码器框图。
图3是根据本发明的像素向上取样图。
图4是基层与增强层VOP间预测过程的示例图。
图5是根据本发明的VOP空间和时间尺度变换图。
图6描述根据本发明由帧到场模式像素行重排序。
图7是根据本发明的带有空间和时间尺度变换的画中画(PIP)或预览频道应用图。
图8是根据本发明的立体视频应用图。
提出一种为数字视频序列中包括视频目标平面的视频图像提供时间和空间尺度变换的方法和装置。
图1描述了根据本发明的对视频目标进行编码和解码过程的图。帧105包括三个图形单元,包括方形前景单元107,椭圆形前景单元108,和背景单元109。在帧115中,该单元是采用分段掩膜设计,从而VOP117代表方形前景单元107,VOP118代表椭圆形前景单元108,VOP119代表背景单元109。VOP可具有任意形状,一系列VOP被称作一视频目标。一整个矩形视频帧也可被称作一VOP。由此,术语″VOP″在此处使用以表明任意或非任意图像区域形状。可利用已知技术获得分段掩膜,且具有类似于ITU-R601亮度数据的格式。每一像素被确认为属于视频帧中某一区域。
帧105和来自帧115的VOP数据被提供给独立的编码功能。尤其是,VOP117、118和119分别在编码器137、138和139处进行形状、运动和纹理编码。通过形状编码,二进制和灰度级形状信息被编码。通过运动编码,利用一帧中的运动估计来编码形状信息。通过纹理编码,进行空间变换如DCT以获取可被变长编码而用于压缩的变换系数。
编码的VOP数据此后在多路器(MUX)140结合以通过信道145传输。或者,该数据可被存贮于记录媒质。所接收到的编码VOP数据通过解多路复用器150分离,以便被分离的VOP117-119被解码并恢复。帧155、165和175分别示出VOP117、118和119已被解码和恢复,且由此可利用合成器160(其例如与视频库170接口)各自独立处理。
合成器可为一例如可安放于用户家中的个人计算机以允许编辑所接收的数据从而提供特制的图像。例如,用户的个人视频库170可包括先前存贮的与所接收VOP不同的VOP178(例如,一个圆)。用户可制作其中圆形VOP178替换方形VOP117的帧185。帧185由此包括所接收的VOP118和119,和当地存贮的VOP178。
在另一例中,背景VOP109可由用户所选择的背景取代。例如,当观看电视新闻时,播讲员可被作为与背景,如新闻演播室分离的VOP编码。用户可由库170或其它电视节目,如带有股票价格或天气信息的频道,选择背景。用户由此可作为视频编辑者。
视频库170也可存贮通过信道145所接收的VOP,且可通过网络如Internet访问VOP或其它图像单元。
可以理解,帧105可能包括不是VOP的区域,由此不能被独立操作。而且,帧105无需具有VOP。通常,一视频段可包含单个VOP,或一个VOP序列。
图1中的视频目标编码和解码过程可带来许多娱乐、商业和教育应用,包括个人计算机游戏、虚拟环境、图形用户界面、可视会议、Internet应用及其它。尤其是,根据本发明的VOP时间和空间尺度变换的能力可提供更强大的功能。
图2是根据本发明的视频目标编码器和解码器的框图。编码器201,其对应图1所示单元137-139,包括接收输入视频数据序列″in″的可变尺度预处理器205。为对比增强层具有较低空间分辨率的基层取得空间尺度变化,″in″被空间向下取样,以获得信号″in_0″,它又通过路径217被提供给基层编码器220。″in_0″在基层编码器220处编码,且被编码的数据被提供给多路器(MUX)230。MPEG-4系统和描述语言(MSDL)MUX可被使用。
应注意,当输入视频序列″in″是场(交错)模式时,由于向下取样不保留奇和偶场的像素数据,向下取样信号″in_0″将处于帧(顺序)模式。当然,″in″为帧模式时,″in_0″也将处于帧模式。
经路径218将重建的图像数据从基层编码器220提供给完成像素向上取样的中处理器215,联系图3下文将详细描述。处于帧模式的向上取样图像数据此后经路径212提供给增强层编码器210,在其中利用从预处理器205经路径207提供给编码器210的输入图像数据进行差分编码。具体说,该向上取样像素数据(例如,亮度数据)从输入图像数据中减去以获得残余,此后利用DCT或其它空间变换可对该残余编码。
根据本发明,当输入视频序列为场模式时,通过将对应输入视频序列的初始偶(项部)和奇(底部)场的向上取样增强层图像的像素行分组,编码效率可被提高。这样在某些情形下可减小残余幅度,因为一场内的像素数据与相同场内其它像素数据常具有比对立场数据更大的相关性。因此,通过减小残余的幅度,更少的比特被要求用于对图像数据编码。参考图6和相关讨论,下面进行更详尽的描述。
增强层中向上取样图像的编码残余被提供给MUX230,用以通过信道245与基层数据一起传输。或者数据可本地存贮。注意,MUX230、信道245和DEMUX250分别对应图1中的单元140、145和150。
注意,从基层编码器220提供给中处理器215的图像数据可为整个视频图像,如全帧VOP,或为整个图像一子集的VOP。而且,多个VOP可提供给中处理器215。MPEG-4目前支持到256VOP。
在解码器299,编码数据在解多路复用器(DEMUX)250,如-MPEG-4 MSDLD EMUX被接收。在本例中比基层数据具有更高的空间分辨率的增强层数据被提供给增强层解码器260。基层数据被提供给基层解码器270,其中信号″out_0″被恢复并经路径267提供给中处理器265,经路径277提供给尺度变换后处理器280。该中处理器通过对基层数据向上取样来恢复全分辨率图像,以与编码器侧的中处理器215类似的方式工作。该图像经路径262被提供给增强层解码器260用于恢复增强层数据信号″out_1″,其此后经路径272被提供到尺度变换后处理器280。尺度变换后处理器280完成例如对解码基层数据进行空间向上取样以作为信号″outp_0″显示,增强层数据被输出以作为信号″outp_1″显示的操作。
当编码器201被用于时间尺度变换时,预处理器205对于例如基层完成时间分路(例如,拉开过程或帧抛弃)以减小帧频。例如,为将帧频由30帧/秒减小到15帧/秒,每隔一帧被抛弃。
下面的表1示出中处理器215和265、尺度变换预处理器205和尺度变换后处理器280的24个可能的配置。
表1
配置 | 层 | 时间分辨率 | 空间分辨率 | 可变尺度预处理器 | 中处理器 | 可变尺度预处理器 |
1 | 基层 | 低(高) | 低 | 向下取样滤波 | 向上取样滤波 | N/C |
增强层 | 低(高) | 高 | N/C | N/A | N/C | |
2 | 基层 | 低 | 低 | 向下取样滤波和拉开处理 | 向上取样滤波 | N/C |
增强层 | 高 | 高 | N/C | N/A | N/C | |
3 | 基层 | 高 | 低 | 向下取样滤波 | 向上取样滤波 | N/C |
增强层 | 低 | 高 | 拉开处理 | N/A | N/C | |
4 | 基层 | 低(高) | 高 | N/C | 向下取样滤波 | N/C |
增强层 | 低(高) | 低 | 向下取样滤 | N/A | 向上取样 |
波 | 滤波 | |||||
5 | 基层 | 低 | 高 | 拉开处理 | 向下取样滤波 | N/C |
增强层 | 高 | 低 | 向下取样滤波 | N/A | 向上取样滤波 | |
6 | 基层 | 高 | 高 | N/C | 向下取样滤波 | N/C |
增强层 | 低 | 低 | 向下取样滤波和拉开处理 | N/A | 向上取样滤波 | |
7 | 基层 | 低(高) | 高 | N/C | N/C | N/C |
增强层 | 低(高) | 高 | N/C | N/A | N/C | |
8 | 基层 | 低 | 高 | 拉开处理 | N/C | N/C |
增强层 | 高 | 高 | N/C | N/A | N/C | |
9 | 基层 | 高 | 高 | N/C | N/C | N/C |
增强层 | 低 | 高 | 拉开处理 | N/A | N/C | |
10 | 基层 | 低(高) | 低 | 向下取样滤波 | N/C | 向上取样滤波 |
增强层 | 低(高) | 低 | 向下取样滤波 | N/A | 向上取样滤波 | |
11 | 基层 | 低 | 低 | 向下取样滤波和拉开处理 | N/C | 向上取样滤波 |
增强层 | 高 | 低 | 向下取样滤波 | N/A | 向上取样滤波 | |
12 | 基层 | 高 | 低 | 向下取样滤波 | N/C | 向上取样滤波 |
增强层 | 低 | 低 | 向下取样滤波和拉开处理 | N/A | 向上取样滤波 |
表1中,第一列指明配置数,第二列指明层,第三列指明层的时间分辨率(例如,高或低)。当″低(高)″被列出,基层和增强层的时间分辨率或均为高或均为低。第四列指明空间分辨率。第五、第六和第七列指明尺度变换预处理器205、中处理器215和265及后处理器280的相应动作。″N/C″表示在时间或空间分辨率上无变化,即进行通常处理过程。″N/A″意味着″不可用″。中处理器215、265动作不影响增强层。
空间变尺度编码采用配置1作为实例描述。如上所述,当可变尺度编码器201被用于编码VOP时,预处理器205生成两个具有不同空间分辨率的VOP子流。如表1所示,基层具有较低的空间分辨率,增强层具有对应输入序列分辨率的较高的空间分辨率。因此,基层序列″in_0″在变尺度预处理器205处由输入视频序列″in″的向下取样过程生成。增强层序列通过在变尺度中处理器215、265处对向下取样基层序列进行向上取样滤波生成,以取得与″in″相同的高空间分辨率。后处理器280完成常规过程,即,它不改变″out_1″或″out_0″的时间或空间分辨率。
例如,基层CIF分辨率序列(360×288像素)可由对ITU-R601分辨率输入序列(720×576像素)进行2∶1向下取样滤波生成。可使用任意整数或非整数比率向下取样。
时间和空间变尺度编码采用配置2作为实例描述。此处,输入视频序列″in″,其具有较高的空间和时间分辨率,被转换为具有较低的空间和时间分辨率的基层序列,和具有较高的空间和时间分辨率的增强层序列。由表1所示,通过在预处理器205进行向下取样滤波和拉开处理以提供信号″in_0″,在中处理器215和265中进行向上取样滤波,在后处理器280中进行常规处理,来获得上述转换。
通过配置3,具有低或高时间分辨率和高空间分辨率的输入视频序列″in″被转换为具有相应的低或高的时间分辨率和高空间分辨率的基层序列,和具有相应低或高时间分辨率和低空间分辨率的增强层序列。通过在预处理器205进行对于增强层序列″in_1″的向下取样滤波,在中处理器215和265进行向下取样滤波,在后处理器280进行增强层序列″out_1″的向上取样滤波,来获得上述转换。
其它配置可由上述实例理解。
图3是根据本发明的像素向上取样图。向上取样滤波可通过表1的配置1由中处理器215和265完成。例如,具有CIF分辨率(360×288像素)的VOP可通过2∶1向上取样转换为ITU-R601分辨率(720×576像素)。CIF图像的像素310、320、330和340可被取样以生成ITU-R601图像的像素355、360、365、370、375、380、385和390。具体说,ITU-R601的像素360通过分别如箭头312和322所示对CIF像素310和320取样获得。类似地,ITU-R601的像素365也通过分别如箭头314和324所示对CIF像素310和320取样获得。
图4是基层和增强层中VOP间预测过程的示例图。在图2所示增强层编码器210中,增强层VOP可被编码为P-VOP或B-VOP。在本例中,增强层中的VOP具有比基层VOP更大的空间分辨率,由此被画成较大区域。时间分辨率(例如帧频)对于两层是相同的。VOP以出现顺序从左到右示出。
基层包括I-VOP405,B-VOP415和420,及P-VOP430。增强层包括P-VOP450和490,B-VOP460和480。B-VOP415如箭头410和440所示由其它基层VOP预测,B-VOP420如箭头425和435所示也由其它基层VOP预测。P-VOP430如箭头445所示由I-VOP405预测。P-VOP450如箭头455所示通过对基层VOP向上取样来得到,P-VOP490如箭头495所示通过对基层VOP向上取样得出。B-VOP460如箭头465和475所示由基层VOP预测,B-VOP480如箭头470和485所示由基层VOP预测。
通常,与基层I-VOP瞬间重合(如在显示或出现顺序中)的增强层VOP被编码为P-VOP。例如,VOP450与I-VOP405瞬时重合,由此被编码为P-VOP。与基层P-VOP瞬间重合的增强层VOP被编码为P-或B-VOP。例如,VOP490与P-VOP430瞬间重合而被编码为P-VOP。与基层B-VOP瞬间重合的增强层VOP被编码为B-VOP。例如,见B-VOP460与480。
I-VOP405和P-VOP430己知为固定(anchor)VOP,因为它们被用作增强层VOP的预测参考。I-VOP405和P-VOP430由此在增强层对应预测VOP编码之前被编码。增强层P-VOP的预测参考由MPEG-4兼容语法中的向前(预测)时间参考指示器forward_temporal_ref指定。该指示器是指向瞬时重合的基层I-VOP的非负整数。增强层B-VOP的预测参考由ref_select_code、forward_temporal_ref和backward_temporal_ref指定。如下面表2所示。注意该表对于MPEG-2和MPEG-4VM3.0可变尺度方案是不同的。
表2
Ref-select-code | 向前时间参考VOP | 向后前时间参考VOP |
00 | 基层 | 基层 |
01 | 基层 | 增强层 |
10 | 增强层 | 基层 |
11 | 增强层 | 增强层 |
表2示出了对于增强层中B-VOP的预测参考选择。例如,假定基层中的I-VOP405和P-VOP430的时间参考码temporal_ref分别为0和3。同时,令增强层中P-VOP450的temporal_ref为0。则图4中,对于P-VOP450有forward_temporal_ref=0。分别如箭头465和475,470和485所指示的B-VOP460和480的预测参考由ref_select_code=00,forward_temporal_ref=0和backward_temporal_ref=3确定。P-VOP490的预测参考由ref_select_code=10,forward_temporal_ref=0和backward_temporal_ref=3指定。
在对基层和增强层编码中,预测模式可由下面表3所示2位字VOP_prediction_type指明。
表3
VOP-prediction-type | Code |
I | 00 |
P | 01 |
B | 10 |
″I″预测类型指明一内部编码VOP,″P″预测类型指明一预测的VOP,″B″预测类型指明双向预测VOP。基层序列″in_0″的编码与非可变尺度编码过程相同,例如,根据MPEG-2主框架或H.263标准。
图6描述根据发明将像素行由帧到场重排序或置换。如上所述,当输入VOP为场模式且被向下取样时,所产生的VOP将为帧模式。由此,当向下取样图像被在空间向上取样时,所产生的VOP也将为帧模式。然而,当向上取样VOP通过从向上取样VOP中减去输入VOP而被差分编码时,若空间变换如DCT被随后在残余上操作时,所产生的残余可能不会产生最优的编码效率。即,在许多情形下,残余值可通过对向上取样图像行置换(即重排序)以对偶数和奇数行分组而减小,因为在相同场的像素之间比对立场像素间可能有更大的相关性。
一代表增强层中向上取样像素(例如亮度)数据的图像示于600。例如,假定图像600是一通过对一8×8的块进行2∶1向上取样而得到的16×16的宏块。该宏块包括偶数行602、604、606、608、610、612、614和616,以及奇数行603、605、607、609、611、613、615和617。偶数和奇数行分别组成顶部场和底部场。宏块600包括四个8×8的亮度块,包括由区域620与行602至609相交所定义的第一块,由区域625与行602至609相交所定义的第二块,由区域620与行610至617相交所定义的第三块,由区域625与行610至617相交所定义的第四块。
根据本发明,在确定残余并进行DCT之前,当图像600中的像素行被置换以形成相同场亮度块时,650处所示的宏块被形成。示于645的箭头指明行602至617的重排序。例如,偶数行602,其为宏块600的第一行,也是宏块650的第一行。偶数行604为宏块650的第二行。类似地,偶数行606、608、610、612、614和616被分别作为宏块650的第三行至第八行。因此,带有偶数行的16×8的亮度区680被作成。第一8×8块由区域680与670相交定义,而第二8×8的块由区域680与675相交定义。
类似地,奇数行被移至16×8的区域685。区域685包括由区域685与670相交所定义的第一8×8的块,而第二8×8的块由区域685与675相交所定义。区域685由此包括奇数行603、605、607、609、611、613、615和617。
根据宏块600是否如宏块650所示被重排序,作用于残余的DCT此处被称为″场DCT″或″帧DCT″或其它。但是,应当理解,本发明可适用于其它空间变换。当采用场DCT时,宏块空间域的亮度行(或亮度误差)被由帧DCT取向置换到顶部(偶)和底部(奇)场DCT配置。所产生的宏块被按常规转换、量化并变长编码。当一场DCT宏块被解码时,在所有亮度块由反向DCT(IDCT)获得之后进行反向置换。4∶2∶0的色度数据不受该模式影响。
根据本发明选择场模式或帧模式DCT的准则如下所述。在下面情况 下应选择场DCT:
其中,pi,j是在DCT作用于每一8×8亮度块之前的空间亮度差分(如残余)数据。其优势在于,该式仅使用一阶差分,由此可使运算简便而廉价。项″bias″是考虑未被计算在内的非线性影响的因子。例如,bias=64可被采用。若上述关系不成立,则采用帧DCT。
注意,在上式的左手侧,误差项指对立场像素差(如,偶对奇,奇对偶)。因此,左手侧是对立场行亮度值之差的和。在右手侧,误差项指相同场像素差(如,偶对偶,奇对奇)。因此,右手侧是相同场行亮度数据差值与偏差项的和。
或者,通过修正上式以取每一误差项的平方值而不是绝对值,二阶式可被用于确定是帧还是场DCT可被使用。在此情况下,″bias″项不被要求。
图5是描述根据本发明的VOP空间和时间尺度变化的图。通过基于目标的尺度变化,所选VOP的帧频和空间分辨率可被增强,以使其比其余区域具有更高的质量,例如,所选目标的帧频和/或空间分辨率可比其余区域高。例如,新闻播讲员的VOP可被提供比演播室背景更高的分辨率。
轴505和506指明帧数。在基层,包括VOP520的帧510被提供于帧0的位置,而带有VOP532(对应于VOP520)的帧530被提供于帧3的位置。而且,帧530由帧510预测,如箭头512所示。增强层包括VOP522、524、526和542。这些VOP相对于VOP520和532具有增加的空间分辨率,由此被画成较大区域。
P-VOP522如箭头570所示由向上取样VOP520得出。B-VOP524和526由基层VOP520和532预测,分别如箭头572和576,及574和578所示。
用于生成基层和增强层序列的输入视频序列具有全分辨率(例如,对于对应国家电视标准委员会(NTSC)的ITU-R601为720×480或对于对应相位变化线(PAL)的ITU-R为720×576)和全帧频(对于对应NTSC的ITU-R为30帧/60场或对于对应PAL的ITU-R601为25帧/50场)。可变尺度编码被实行,以通过利用增强层编码使物体的分辨率和帧频被保留。基层的视频目标,包括VOP520和532,具有较低的分辨率(如全分辨率VOP的四分之一)和较低的帧频(如初始帧频的三分之一)。而且,在增强层,只有VOP520被增强。帧510的其余部分未被增强。虽然仅一个VOP被示出,实际上,可提供任意数量的VOP。而且,当两个或更多数量的VOP被提供时,所有或只有所选择的VOP可被增强。
基层序列可由对原始序列进行向下取样和帧抛弃而生成。然后基层VOP通过顺序编码工具被编码为I-VOP或P-VOP。当输入视频序列是交错的,交错的编码工具如场/帧运动估计和补偿,及场/帧DCT不被使用,因为输入交错视频序列的向下取样生成顺序视频序列。增强层VOP利用时间和空间可变尺度工具编码。例如,在增强层,VOP522和VOP542被利用空间可变尺度编码为P-VOP。VOP524和VOP526利用时间可变尺度工具分别由基层参考VOP的向上取样VOP,即VOP520和VOP532,被编码为B-VOP。
本发明的另一方面揭示了一种通过减少运动向量搜索范围以减少B-VOP的运动估计编码复杂性的技术。该技术可应用于帧模式和场模式输入视频序列。尤其是,参考VOP的搜索中心通过对相应基层VOP的运动向量变换尺度,而不是通过在参考VOP中进行独立的耗时的搜索来确定。该耗时的搜索一般覆盖,例如水平+/-64像素和垂直+/-48像素的范围,因此没有所揭示技术高效。
增强层B-VOP524和526的运动向量搜索中心由下式决定:
MVf=(m/n·TRB·MVP)/TRP
MVb=(m/n·(TRB-TRP)·MVP)/TRP
其中,MVf是向前运动向量,MVb是向后运动向量,MVp是基层中P-VOP(如VOP532)的运动向量,TRB是已往参考VOP(如VOP520)与增强层中当前B-VOP之间的时间间隔,TRp是已往参考VOP与基层未来参考P-VOP(如VOP532)之间的时间间隔。m/n是基层VOP空间分辨率对增强层VOP空间分辨率之比值。即,基层VOP或增强层中的B-VOP可相对于输入视频序列以比值m/n被向下取样。在图5的实例中,m/n是随后被向上取样以提供增强层VOP的基层VOP的向下取样率。m/n可能小于、等于或大于1。例如,对于B-VOP524,TRB=1,TRP=3,且2∶1向下取样(即,m/n=2),我们可得MVf=2/3MVp,且MVb=-4/3MVp。注意所有运动向量是二维的。运动向量搜索范围是16×16方形区域,例如,其中心由MVf和MVb确定。运动向量与传输数据流中的增强层和基层视频数据通信,且由用于对视频数据解码的解码器恢复。
通常,为根据本发明对交错视频编码,交错编码工具被用于获取更好的性能。这些工具包括用于宏块内和差分间宏块的场/帧DCT,以及场预测,即,顶部场到底部场、顶部场到顶部场、底部场到顶部场和底部场到底部场。
对于上述表1中的配置,这些交错编码工具被结合如下。
(1)对于两层均具有低空间分辨率的配置,只有顺序(帧模式)编码工具被使用。在此情况下,两层将编码不同的视频序列,例如,在立体视频信号中。为编码立体视频,对右视图(增强层)序列的运动估计搜索范围是8×8像素。该8×8(全像素)搜索范围集中于对应VOP的基层中相应宏块的同类型运动向量周围。
(2)对于基层具有低空间分辨率、增强层具有高空间分辨率的配置,交错编码工具只用于增强层序列。用于对增强层序列编码的运动估计搜索范围是8×8(全像素)。该8×8搜索范围集中于对应VOP的基层中相应宏块的重变尺度(即因子为2)同类型运动向量周围。基于场的估计和预测将仅被用于增强层的搜索和补偿。
(3)对于基层具有高空间分辨率、增强层具有低空间分辨率的配置,交错编码工具只用于基层序列,如MPEG-2主框架的主层。用于对增强层序列编码的运动估计搜索范围是4×4(全像素)。该4×4搜索范围集中于对应VOP的基层中相应宏块的重变尺度(即,1/2倍)同类型运动向量周围。对于表1中的配置2,如上所述,例如,两层序列的编码具有不同的时间单位频率。
图7是根据本发明带有空间和时间尺度变换的画中画(PIP)或预览频道应用图。通过PIP,次级节目被作为电视上所见到的主要节目的子集而提供。由于次级节目占有较小区域,观众不关心减小了分辨率的图像,于是PIP图像的时间和/或空间分辨率可被减小以保留带宽。
类似地,预览频道节目可给用户提供节目(该节目可用一定费用购买)的免费低分辨率样本。此应用提供授权频道(如,Pay-Per-View为每幅画面付费)的几分钟免费浏览以进行预览。在预览频道编码的视频可具有较低的分辨率和较低的帧频。解码器为此类预览频道控制浏览时间。
表1中时间和空间可变尺度编码的配置2,如上所述,可被用于提供具有比基层和增强层解码输出更低空间分辨率的基层解码输出。基层的视频序列可用较低的帧频编码,而增强层用较高帧频编码。
例如,基层中的视频序列可具有CIF分辨率和15帧/秒的帧频,增强层中的对应视频序列具有ITU-R601分辨率和30帧/秒的帧频。在此情况下,增强层可符合NTSC标准,而PIP或预览功能由基层提供,其可符合CIF标准。由此,PIP功能可由具有与MPEG-2主框架Main Level标准相类似的编码复杂度和效率的变尺度编码提供。
基层包括低空间分辨率VOP705和730。而且,基层的时间分辨率是增强层的1/3。增强层包括高空间分辨率VOP750、760、780和790。P-VOP750由向上取样I-VOP705得到,如箭头755所示。B-VOP760如箭头765和775所示由基层VOP预测。B-VOP780如箭头770和785所示由基层VOP预测。P-VOP790由向上取样P-VOP730而获得,如箭头795所示。
如图8所示是根据本发明立体视频应用图。立体视频功能被提供于MPEG-2多视图框架(MVP)系统,在文献ISO/IEC/JTC1/SC29/WG11 N1196中描述。基层被分配到左视图,增强层被分配到右视图。
为提高编码效率,增强层图像可用比基层低的分辨率编码。例如,表1的配置4可被用于基层具有ITU-R601空间分辨率,增强层具有CIF空间分辨率的情况。用于预测增强层图像的基层参考图像被向下取样。由此,增强层的解码器包括向上取样过程。此外,自适应帧/场DCT编码可被用于基层,但不可用于增强层。
基层包括VOP805、815、820和830,增强层包括VOP850、860、880和890。B-VOP815和820分别如箭头810、840,和835、825所示由其它基层VOP预测。P-VOP830如箭头845所示由I-VOP805预测。P-VOP850如箭头855所示由I-VOP805向下取样得出。B-VOP860如箭头865和875所示由基层VOP预测。B-VOP880如箭头870和885所示由基层VOP预测。P-VOP890如箭头895所示由P-VOP830向下取样得出。
或者,为使基层和增强层具有相同的空间分辨率和帧频,表1中的配置7可被采用。在此情况下,基层的编码过程可与非可变尺度编码过程相同,例如,如MPEG-4VM非可变尺度编码或MPEG-2主框架Main Level标准所描述,自适应帧/场DCT编码被用于增强层中。
在本发明的进一步应用中,异步传输模式(ATM)通信技术被提供。一般地说,通过ATM网络传输视频信号的趋势迅速增长。这是由于这些网络较固定比特率(CBR)传输可提供许多优势的变比特率(VBR)性质。例如,在VBR信道,可获得大致稳定的图像质量。而且,在ATM网络中的视频源可被按统计特性多路传输,要求比通过CBR信道传输低的传输比特率,因为CBR系统中的弹性缓冲使得视频信号的长期平均数据率小于短期平均值。
但是,尽管ATM网络具有许多优势,其主要不足在于拥塞。在拥塞的网络中,视频包被排队以寻找输出路径。长期延迟包可能到达太晚从而在接收机处无用,结果被解码器抛弃。视频编码解码器必须设计成可经受包丢失。
为使视频编码器几乎不受包丢失的影响,可使用本发明的时间和空间可变尺度编码技术。尤其是,来自基层的视频数据可以高优先级被发送,并被提供ATM网络保用的比特率。若发生拥塞,由于信道不是保证的,来自增强层的视频数据包可能丢失。若增强层包被接收到,则图像质量提高。一采用表1中配置1的编码方案可取得该结果。该方案可如图4所示被实现,如上结合预测模式的描述,其中,基层是高优先级层。因此,在基层进行高优先级低比特率通信,在增强层进行低优先级高比特率通信。
类似地,该可变尺度编码可用于视频编码和通过Internet、intranet和其它通信网的传输。
由此,可以看出,本发明提供为一数字视频序列中包括视频目标平面(VOP)的视频图像提供时间和空间尺度变换的方法和装置。本发明一方面通过自适应压缩变尺度的场模式输入视频序列使编码效率提高。基于线性准则,增强层中的向上取样VOP被重排序以提供与原始视频序列更大的相关性。通过使用例如DCT的空间变换对所产生的残余编码。本发明另一方面,提出通过变尺度运动向量(其己对基层VOP确定)对增强层VOP编码的运动补偿方案。减小的搜索区域被定义(其中心由变尺度运动向量定义)。此技术适用于可变尺度帧模式或场模式输入视频信号。
此外,各种编码解码器处理器配置被提出以取得特定的变尺度编码结果。变尺度编码的应用,包括立体视频、画中画、预览频道和ATM通信,也被描述。
尽管本发明已结合特定的实施例被描述,本领域的技术人员可理解,在不偏离权利要求中所提出的发明的精神与范围的情况下,可对其进行各种改进。例如,虽然两可变尺度层被描述,也可提供多于两层。而且,虽然为简便起见,在一些图中采用方形或长方形VOP,本发明同样适用于任意形状的VOP。
Claims (45)
1.一种用于对包括视频目标平面(VOP)的输入视频序列变换尺度以在相应基层和增强层中通信的方法,所述输入视频序列中的所述VOP具有相关联的空间和时间分辨率,该方法包括步骤:
对所述输入视频序列的第一特定所述VOP的像素数据向下取样,以提供具有减小的空间分辨率的第一基层VOP;
对所述第一基层VOP的至少一部分的像素数据向上取样,以在增强层中提供第一向上取样VOP;以及
利用输入视频序列的第一特定VOP对第一向上取样VOP进行差分编码,以在所述增强层中对应于所述第一基层VOP的时间位置通信。
2.权利要求1的方法,其中所述输入视频序列的所述VOP是场模式VOP,且所述差分编码步骤包括下列各步:
若像素数据行满足重排序准则,将所述第一向上取样VOP的所述像素数据行重排序为场模式;然后
根据所述输入视频序列的第一特定VOP的像素数据与所述第一向上取样VOP的像素数据之差确定残余;
以及对残余进行空间变换以提供变换系数。
3.权利要求2的方法,其中:
当对立场行的亮度值之差的和值大于相同场行的亮度数据之差与偏差项的和值时,所述第一向上取样VOP的像素数据行满足重排序准则。
4.前述任一权利要求的方法,包括下列各步:
对所述输入视频序列的第二所述特定VOP的像素数据向下取样,以提供一具有减小的空间分辨率的第二基层VOP;
对所述第二基层VOP的至少一部分的像素数据向上取样,以在增强层中提供对应于所述第一向上取样VOP的第二向上取样VOP;
利用所述第一和第二基层VOP中至少一个预测对应于第一和第二向上取样VOP的中间VOP;
对所述中间VOP编码,用于在增强层中处于所述第一和第二向上取样VOP中间的时间位置通信。
5.权利要求4的方法,其中:
所述增强层具有比所述基层高的时间分辨率;且
所述基层和增强层适于提供下面至少一种应用:
(a)画中画(PIP)功能,其中,PIP图像被载于所述基层;
(b)预览频道功能,其中,预览图像被载于所述基层。
6.前述任一权利要求的方法,其中:
所述基层适于装载较高优先级、较低比特率数据,而所述增强层适于装载较低优先级、较高比特率数据。
7.一种用于对包括视频目标平面(VOP)的输入视频序列变换尺度以在相应基层和增强层中通信的方法,所述输入视频序列中的所述VOP具有相关联的空间和时间分辨率,该方法包括下列步骤:
提供用于在所述基层中通信的所述输入视频序列的第一特定所述VOP作为第一基层VOP;
对所述第一基层VOP的至少一部分的像素数据向下取样作为第一向下取样VOP在所述增强层中对应于所述第一基层VOP的时间位置通信;
对所述第一特定VOP的对应像素数据向下取样,以提供比较VOP;和
利用比较VOP对所述第一向下取样VOP差分编码。
8.权利要求7的方法,包括下列各步:
利用所述第一特定VOP对所述第一基层VOP差分编码,该编码是通过:
根据所述第一基层VOP像素数据与所述第一特定VOP像素数据之差确定残余;
以及对所述残余进行空间变换以提供转换系数。
9.权利要求8的方法,其中,所述输入视频序列中的所述VOP是场模式VOP,且第一基层VOP通过下述步骤差分编码:
如果所述像素数据行满足重排序准则,则在所述确定步骤之前将第一基层VOP像素数据行重排序成场模式。
10.权利要求9的方法,其中:
当对立场行的亮度值之差的和值大于相同场行的亮度数据之差与偏差项的和值时,所述第一基层VOP像素数据行满足所述重排序准则。
11.权利要求7至10的方法,进一步包括下述各步:
提供所述输入视频序列的第二特定所述VOP作为第二基层VOP,用于在所述基层中通信;
对所述第二基层VOP的至少一部分的像素数据向下取样,并作为第二向下取样VOP在增强层中对应所述第二基层VOP的时间位置通信。
对第二特定VOP的相应像素数据向下取样,以提供一比较VOP;
利用比较VOP差分编码第二向下取样VOP;
利用所述第一和第二基层VOP中至少一个预测对应于第一和第二向下取样VOP的中间VOP;和
对所述中间VOP编码,用于在增强层中处于所述第一和第二向上取样VOP之间的时间位置通信。
12.权利要求7至11的方法,其中:
基层和增强层适于提供立体视频功能,其中,增强层中的图像数据比基层中的图像数据具有较低的空间分辨率。
13.一种用于对双向预测的视频目标平面(B-VOP)编码的方法,包括下列各步:
对包括视频目标平面(VOP)的输入视频序列编码,用以在相应基层和增强层中通信;
在所述基层中提供对应于所述输入视频序列VOP的第一和第二基层VOP:
根据运动向量MVp,由所述第一基层VOP预测所述第二基层VOP;
在增强层中处于所述第一和第二基层VOP之间的时间位置提供所述B-VOP;和
利用通过对所述运动向量MVp进行尺度变化而得到的:
(a)向前运动向量MVf和
(b)向后运动向量MVB
中至少一个来编码所述B-VOP。
14.权利要求13的方法,其中:
时间间隔TRP分离所述第一和第二基层VOP;
时间间隔TRB分离所述第一基层VOP和所述B-VOP;
m/n是第一和第二基层VOP的空间分辨率与B-VOP空间分辨率的比值;且
至少下列之一:
(a)所述向前运动向量MVf根据关系式MVf=(m/n)·TRB·MVP/TRP确定;且
(b)所述向后运动向量MVb根据关系式MVb=(m/n)·(TRB-TRP)·MVP/TRP确定。
15.权利要求13或14的方法,还包括步骤:
利用至少下述之一编码所述B-VOP:
(a)所述第一基层VOP的搜索区,其中心根据所述向前运动向量MVf确定;和
(b)所述第二基层VOP的搜索区,其中心根据所述向后运动向量MVB确定。
16.用于恢复变尺度并在相应基层和增强层中通信的包括视频目标平面(VOP)的输入视频序列的方法,所述输入视频序列的所述VOP具有相关的空间和时间分辨率,其中:
所述输入视频序列的第一特定所述VOP的像素数据被向下取样,并作为具有减小的空间分辨率的第一基层VOP被装载;
至少一部分第一基层VOP的像素数据被向上取样,并作为第一向上取样VOP被装载于增强层中对应于第一基层VOP的时间位置;且
利用所述输入视频序列的第一特定所述VOP对所述第一向上取样VOP差分编码;
所述方法包括以下各步:
对所述第一基层VOP的像素数据向上取样,以恢复所述相关空间分辨率;和
处理具有所恢复的相关空间分辨率的所述第一基层VOP和所述第一向上取样VOP,以提供具有所述相关空间分辨率的输出视频信号。
17.权利要求16的方法,其中:
所述输入视频序列中的所述VOP为场模式VOP;且
若像素行满足重排序准则,通过将所述第一向上取样VOP的所述像素数据行重排序成场模式,然后根据所述输入视频序列的第一特定VOP的像素数据与所述第一向上取样VOP的像素数据之差确定残余,并对残余进行空间变换以提供变换系数,来对所述第一向上取样VOP差分编码。
18.权利要求17的方法,其中:
当对立场行的亮度值之差的和值大于相同场行的亮度数据之差与偏差项的和值时,所述第一向上取样VOP的所述像素数据行满足重排序准则。
19.权利要求16至18中的方法,其中:
所述输入视频序列的第二特定所述VOP被向下取样,以提供具有减小的空间分辨率的第二基层VOP;
至少一部分第二基层VOP的像素数据被向上取样,以在所述增强层中提供对应于第一向上取样VOP的第二向上取样VOP;且
用所述第一和第二基层VOP中至少一个来预测对应于第一和第二向上取样VOP的中间VOP;
编码所述中间VOP,用于在增强层中处于所述第一和第二向上取样VOP之间的时间位置通信。
20.权利要求19的方法,其中:
所述增强层比所述基层具有较高的时间分辨率;且
所述基层和增强层适于提供至少下列之一:
(a)画中画(PIP)功能,其中,PIP图像被载于所述基层;及
(b)预览频道功能,其中,预览图像被载于所述基层。
21.权利要求16至20中任一权利要求的方法,其中:
所述基层适于装载较高优先级、较低比特率数据,而所述增强层适于装载较低优先级、较高比特率数据。
22.用于恢复变尺度并在相应基层和增强层中通信的包括视频目标平面(VOP)的输入视频序列的方法,所述输入视频序列中的所述VOP具有相关的空间和时间分辨率,其中:
在所述基层中提供所述输入视频序列的第一特定所述VOP作为第一基层VOP;
至少一部分第一基层VOP的像素数据被向下取样,并作为第一向下取样VOP被装载于增强层中对应所述第一基层VOP的时间位置;
所述第一特定VOP的对应像素数据被向下取样以提供比较VOP;且
利用所述比较VOP对所述第一向下取样VOP差分编码;
所述方法包括以下各步:
对所述第一向下取样VOP的像素数据向上取样,以恢复所述相关空间分辨率;和
处理具有所恢复的相关空间分辨率的第一增强层VOP和所述第一基层VOP,以提供具有所述相关空间分辨率的输出视频信号。
23.权利要求22的方法,其中:
通过根据第一基层VOP的像素数据与第一特定所述VOP的像素数据之差确定残余,并将残余进行空间转换以提供转换因子,所述第一基层VOP利用第一特定VOP被进行差分编码。
24.权利要求23的方法,其中:
所述输入视频序列中的所述VOP是场模式VOP,且若所述像素数据行满足重排序准则,则在确定残余之前通过将第一基层VOP的像素数据行重排序成场模式而使所述第一基层VOP被差分编码。
25.权利要求24的方法,其中:
当对立场行的亮度值之差的和值大于相同场行的亮度数据之差与偏差项的和值时,所述第一基层VOP的所述像素数据行满足重排序准则。
26.权利要求22至25中的方法,其中:
所述输入视频序列的第二特定所述VOP被作为第二基层VOP提供于所述基层;
至少一部分第二基层VOP的像素数据被向下取样,并作为第二向下取样VOP装载于增强层中对应于所述第二基层VOP的时间位置;
所述第二特定VOP的对应像素数据被向下取样,以提供比较VOP;
利用比较VOP,所述第二向下取样VOP被差分编码;
用所述第一和第二基层VOP中至少一个预测对应于第一和第二向上取样VOP的中间VOP;
所述中间VOP被编码,用于在增强层中处于所述第一和第二向上取样VOP之间的时间位置通信。
27.权利要求22至26的方法,其中:
所述基层和增强层适于提供立体视频功能,其中,所述增强层中的图像数据比基层中的图像数据具有较低的空间分辨率。
28.用于恢复数据流中变尺度并在相应基层和增强层中通信的包括视频目标平面(VOP)的输入视频序列的方法,所述输入视频序列中的所述VOP具有相关的空间和时间分辨率,其中:
在所述基层中提供对应于所述输入视频序列VOP的第一和第二基层VOP;
根据运动向量MVp,所述第二基层VOP由所述第一基层VOP预测;
双向预测视频目标平面(B-VOP)被提供在增强层中处于所述第一和第二基层VOP之间的时间位置;且
所述B-VOP采用通过对所述运动向量MVp进行尺度变化而得到的向前运动向量MVf和向后运动向量MVB编码;
所述方法包括下列步骤:
从所述数据流中恢复向前运动向量MVf和向后运动向量MVB;且
利用所述向前运动向量MVf和所述向后运动向量MVB解码所述B-VOP。
29.权利要求28的方法,其中:
时间间隔TRP分离所述第一和第二基层VOP;
时间间隔TRB分离所述第一基层VOP和所述B-VOP;
m/n是第一和第二基层VOP的分辨率与B-VOP分辨率的比值;且
至少为下列之一:
(a)所述向前运动向量MVf根据关系式MVf=(m/n)·TRB·MVP/TRP确定;且
(b)所述向后运动向量MVb根据关系式MVb=(m/n)·(TRB-TRP)·MVP/TRP确定。
30.权利要求28或29的方法,其中:
所述B-VOP利用至少下述之一被编码:
(a)所述第一基层VOP的搜索区,其中心根据所述向前运动向量MVf确定;和
(b)所述第二基层VOP的搜索区,其中心根据所述向后运动向量MVB确定。
31.用于恢复变尺度并在相应基层和增强层中通信的包括视频目标平面(VOP)的输入视频序列的解码装置,所述输入视频序列中的所述VOP具有相关的空间和时间分辨率,其中:
所述输入视频序列的第一特定所述VOP的像素数据被向下取样,并作为具有减小的空间分辨率的第一基层VOP被装载;
至少一部分第一基层VOP的像素数据被向上取样,并作为第一向上取样VOP被装载于增强层中对应于第一基层VOP的时间位置;且
利用所述输入视频序列的第一特定所述VOP对所述第一向上取样VOP差分编码。
所述装置包括:
用于对所述第一基层VOP的像素数据向上取样,以恢复所述相关空间分辨率的装置;和
处理具有所恢复的相关空间分辨率的所述第一基层VOP和所述第一向上取样VOP,以提供具有所述相关空间分辨率的输出视频信号的装置。
32.权利要求31的装置,其中:
所述输入视频序列中的所述VOP为场模式VOP;且
若像素数据行满足重排序准则,通过将所述第一向上取样VOP的所述像素数据行重排序成场模式,然后根据所述输入视频序列的第一特定VOP的像素数据与所述第一向上取样VOP的像素数据之差确定残余,对残余进行空间变换以提供变换系数,来对第一向上取样VOP差分编码。
33.权利要求31或32的装置,其中:
当对立场行的亮度值之差的和值大于相同场行的亮度数据之差与偏差项的和值时,所述第一向上取样VOP的像素行满足重排序准则。
34.权利要求31至33中任一项的装置,其中:
所述输入视频序列的第二所述特定VOP被向下取样,以提供一具有减小的空间分辨率的第二基层VOP;
所述第二基层VOP的至少一部分的像素数据被向上取样,以在增强层中提供对应于所述第一向上取样VOP的第二向上取样VOP;
所述第一和第二基层VOP中至少一个被用于预测对应于第一和第二向上取样VOP的中间VOP;
所述中间VOP被编码,用于在增强层中处于所述第一和第二向上取样VOP之间的时间位置通信。
35.权利要求34的方法装置,其中:
所述增强层具有比所述基层高的时间分辨率;且
所述基层和增强层适于提供下面至少一种应用:
(a)画中画(PIP)功能,其中,PIP图像被载于所述基层;
(b)预览频道功能,其中,预览图像被载于所述基层;
36.权利要求31至35中任一项的装置,其中:
所述基层适于装载较高优先级、较低比特率数据,而所述增强层适于装载较低优先级、较高比特率数据。
37.用于恢复变尺度并在相应基层和增强层中通信的包括视频目标平面(VOP)的输入视频序列的解码装置,所述输入视频序列中的所述VOP具有相关的空间和时间分辨率,其中:
所述输入视频序列的第一特定所述VOP作为第一基层VOP被提供在基层中;
至少一部分第一基层VOP的像素数据被向下取样,并作为第一向下取样VOP被装载于增强层中对应于第一基层VOP的时间位置;且
所述第一特定VOP的对应像素被向下取样以提供比较VOP;以及
利用所述比较VOP,所述第一向下取样VOP被差分编码;
所述装置包括:
用于对所述第一向下取样VOP的像素数据向上取样,以恢复所述相关空间分辨率的装置;和
用于处理所述具有所恢复空间分辨率的第一增强层VOP和所述第一基层VOP,以提供具有所述相关空间分辨率的输出视频信号的装置。
38.权利要求37的装置,其中:
通过根据所述第一向下取样VOP的像素数据与所述输入视频序列的第一特定VOP的像素数据之差确定残余,并对残余进行空间变换以提供变换系数,对所述第一向下取样VOP进行差分编码。
39.权利要求38的装置,其中:
所述输入视频序列的所述VOP是场模式VOP,且若所述像素数据行满足重排序准则,则在确定残余之前通过将第一基层VOP的像素数据行重排序成场模式而使所述第一基层VOP被差分编码。
40.权利要求39的装置,其中:
当对立场行的亮度值之差的和值大于相同场行的亮度数据之差与偏差项的和值时,所述第一基层VOP的所述像素数据行满足重排序准则。
41.权利要求37至40中的装置,其中:
所述输入视频序列的第二特定所述VOP被作为第二基层VOP提供于所述基层;
至少一部分第二基层VOP的像素数据被向下取样,以在增强层中提供对应所述第一向上取样VOP的第二向下取样VOP;
所述第一和第二基层VOP中至少一个被用于预测对应于第一和第二向下取样VOP的中间VOP;
所述中间VOP被编码,用于在增强层中处于所述第一和第二向上取样VOP之间的时间位置通信。
42.权利任一要求37至41的装置,其中:
所述基层和增强层适于提供立体视频功能,其中,所述增强层中的图像数据比基层中的图像数据具有较低的空间分辨率。
43.用于恢复数据流中变尺度并在相应基层和增强层中通信的包括视频目标平面(VOP)的输入视频序列的解码装置,所述输入视频序列中的所述VOP具有相关的空间和时间分辨率,其中:
对应于所述输入视频序列VOP的第一和第二基层VOP被提供于所述基层中;
根据运动向量MVP,所述第二基层VOP由所述第一基层VOP预测;
双向预测视频目标平面(B-VOP)被提供在增强层中处于所述第一和第二基层VOP之间的时间位置;且
所述B-VOP采用通过对所述运动向量MVP进行尺度变化而得到的向前运动向量MVf和向后运动向量MVB编码;
所述装置包括:
用于由所述数据流中恢复向前运动向量MVf和向后运动向量MVB的装置;和
利用所述向前运动向量MVf和所述向后运动向量MVB解码所述B-VOP的装置;
44.权利要求43的装置,其中:
时间间隔TRP分离所述第一和第二基层VOP;
时间间隔TRB分离所述第一基层VOP和所述B-VOP;
m/n是第一和第二基层VOP的空间分辨率与B-VOP的空间分辨率的比值;且
至少为下列之一:
(a)所述向前运动向量MVf根据关系式MVf=(m/n)·TRB·MVP/TRP确定;且
(b)所述向后运动向量MVb根据关系式MVb=(m/n)·(TRB-TRP)·MVP/TRP确定。
45.权利要求43或44的装置,其中:
所述B-VOP利用至少下述之一被编码:
(a)所述第一基层VOP的搜索区,其中心根据所述向前运动向量MVf确定;和
(b)所述第二基层VOP的搜索区,其中心根据所述向后运动向量MVB确定。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/869,493 | 1997-06-05 | ||
US08/869,493 US6057884A (en) | 1997-06-05 | 1997-06-05 | Temporal and spatial scaleable coding for video object planes |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100369258A Division CN1294764C (zh) | 1997-06-05 | 1998-06-05 | 用于编码双向预测视频对象面的方法及其解码装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1209020A true CN1209020A (zh) | 1999-02-24 |
Family
ID=25353640
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100369258A Expired - Lifetime CN1294764C (zh) | 1997-06-05 | 1998-06-05 | 用于编码双向预测视频对象面的方法及其解码装置 |
CN98109558A Pending CN1209020A (zh) | 1997-06-05 | 1998-06-05 | 视频目标平面的时间和空间可变尺度编码 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100369258A Expired - Lifetime CN1294764C (zh) | 1997-06-05 | 1998-06-05 | 用于编码双向预测视频对象面的方法及其解码装置 |
Country Status (10)
Country | Link |
---|---|
US (1) | US6057884A (zh) |
EP (1) | EP0883300B1 (zh) |
JP (1) | JPH1118085A (zh) |
KR (1) | KR19990006678A (zh) |
CN (2) | CN1294764C (zh) |
AU (1) | AU733055B2 (zh) |
BR (1) | BR9801762A (zh) |
CA (1) | CA2238900C (zh) |
NO (1) | NO982508L (zh) |
TW (1) | TW406512B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100338958C (zh) * | 2001-05-10 | 2007-09-19 | 索尼株式会社 | 运动图像编码设备 |
CN100466735C (zh) * | 2004-07-15 | 2009-03-04 | 三星电子株式会社 | 视频编码和解码方法以及视频编码器和解码器 |
CN100562130C (zh) * | 2004-12-17 | 2009-11-18 | 三菱电机株式会社 | 用于分解多视图视频的方法和系统 |
CN101176349B (zh) * | 2005-04-01 | 2010-09-01 | Lg电子株式会社 | 可对视频信号缩放地进行编码和解码的方法 |
CN101044764B (zh) * | 2004-10-20 | 2010-12-15 | 汤姆森许可贸易公司 | 视频图像的分级编码方法 |
US7864841B2 (en) | 2005-04-01 | 2011-01-04 | Lg Electronics, Inc. | Method for scalably encoding and decoding video signal |
CN1856111B (zh) * | 2000-05-15 | 2011-05-11 | 诺基亚有限公司 | 视频信号编解码方法、编解码器及其相关的设备 |
US8040950B2 (en) | 2004-03-31 | 2011-10-18 | Samsung Electronics Co., Ltd. | Method and apparatus for effectively compressing motion vectors in multi-layer structure |
CN101292538B (zh) * | 2005-10-19 | 2012-11-28 | 汤姆森特许公司 | 使用可缩放的视频编码的多视图视频编码 |
US8660180B2 (en) | 2005-04-01 | 2014-02-25 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US8755434B2 (en) | 2005-07-22 | 2014-06-17 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US8761252B2 (en) | 2003-03-27 | 2014-06-24 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
Families Citing this family (202)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6404813B1 (en) * | 1997-03-27 | 2002-06-11 | At&T Corp. | Bidirectionally predicted pictures or video object planes for efficient and flexible video coding |
ID20680A (id) * | 1997-04-01 | 1999-02-11 | Sony Corp | Alat dan metode pemberian kode bayangan, alat dan metode penguraian kode bayangan, dan media pendistribusinya |
US6741748B1 (en) * | 1997-06-19 | 2004-05-25 | Samsung Electronics Co. | Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same |
US6233356B1 (en) * | 1997-07-08 | 2001-05-15 | At&T Corp. | Generalized scalability for video coder based on video objects |
US6993201B1 (en) | 1997-07-08 | 2006-01-31 | At&T Corp. | Generalized scalability for video coder based on video objects |
DE19730305A1 (de) * | 1997-07-15 | 1999-01-21 | Bosch Gmbh Robert | Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion |
JP4014263B2 (ja) * | 1997-10-01 | 2007-11-28 | 松下電器産業株式会社 | 映像信号変換装置及び映像信号変換方法 |
KR100535632B1 (ko) * | 1997-10-17 | 2006-04-12 | 주식회사 팬택앤큐리텔 | 적응적으로 보더링하는 모양정보 부호화/복호화 장치 및 방법 |
WO1999021367A1 (fr) * | 1997-10-20 | 1999-04-29 | Mitsubishi Denki Kabushiki Kaisha | Codeur et decodeur d'image |
DE19746611A1 (de) * | 1997-10-22 | 1999-04-29 | Bosch Gmbh Robert | Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung |
US6144772A (en) * | 1998-01-29 | 2000-11-07 | Canon Kabushiki Kaisha | Variable compression encoding of digitized images |
KR100374717B1 (ko) * | 1998-03-05 | 2003-03-04 | 주식회사 팬택앤큐리텔 | 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치 |
US6621932B2 (en) * | 1998-03-06 | 2003-09-16 | Matsushita Electric Industrial Co., Ltd. | Video image decoding and composing method and video image decoding and composing apparatus |
JP3382173B2 (ja) * | 1998-03-10 | 2003-03-04 | 株式会社ハイニックスセミコンダクター | 飛越し走査方式の映像信号に対するvop境界矩形の設定方法及び装置 |
US6292512B1 (en) * | 1998-07-06 | 2001-09-18 | U.S. Philips Corporation | Scalable video coding system |
US6275253B1 (en) | 1998-07-09 | 2001-08-14 | Canon Kabushiki Kaisha | Stereographic image compression with image moment normalization |
US6215825B1 (en) * | 1998-07-09 | 2001-04-10 | Canon Kabushiki Kaisha | Stereographic image compression with image difference generation and lossy compression |
CN1147079C (zh) * | 1998-07-17 | 2004-04-21 | 皇家菲利浦电子有限公司 | 用于将编码数据解复用的设备 |
US6445828B1 (en) * | 1998-09-28 | 2002-09-03 | Thomson Licensing S.A. | Transform domain resizing of an image compressed with field encoded blocks |
US6510553B1 (en) * | 1998-10-26 | 2003-01-21 | Intel Corporation | Method of streaming video from multiple sources over a network |
JP4018266B2 (ja) * | 1998-11-13 | 2007-12-05 | キヤノン株式会社 | 機器制御装置、端末装置、ネットワークシステム、制御方法、及び記憶媒体 |
US6483874B1 (en) * | 1999-01-27 | 2002-11-19 | General Instrument Corporation | Efficient motion estimation for an arbitrarily-shaped object |
US6529552B1 (en) * | 1999-02-16 | 2003-03-04 | Packetvideo Corporation | Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks |
JP4332249B2 (ja) * | 1999-02-18 | 2009-09-16 | キヤノン株式会社 | ビットストリーム復号化装置、方法及び記憶媒体 |
FI106421B (fi) * | 1999-03-11 | 2001-01-31 | Nokia Multimedia Network Termi | Menetelmä ja järjestely videokuvien yhdistämiseksi |
US6499060B1 (en) * | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
US7082162B2 (en) * | 1999-04-17 | 2006-07-25 | Pts Corporation | Segment-based encoding system including segment-specific metadata |
US7050503B2 (en) * | 1999-04-17 | 2006-05-23 | Pts Corporation | Segment-based encoding system using residue coding by basis function coefficients |
US7085319B2 (en) * | 1999-04-17 | 2006-08-01 | Pts Corporation | Segment-based encoding system using segment hierarchies |
US6600786B1 (en) | 1999-04-17 | 2003-07-29 | Pulsent Corporation | Method and apparatus for efficient video processing |
KR20020047031A (ko) * | 1999-04-17 | 2002-06-21 | 펄센트 코포레이션 | 효율적인 화상 처리 방법 및 장치 |
US6993076B1 (en) * | 1999-05-11 | 2006-01-31 | Thomson Licensing S.A. | Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal |
US6879634B1 (en) * | 1999-05-26 | 2005-04-12 | Bigband Networks Inc. | Method and system for transmitting media streams over a variable bandwidth network |
KR100334722B1 (ko) * | 1999-06-05 | 2002-05-04 | 강호석 | Mpeg 데이터를 이용한 입체영상생성방법 및 그 장치 |
US8595764B2 (en) * | 1999-06-25 | 2013-11-26 | Jlb Ventures, Llc | Image-oriented electronic programming guide |
US6501797B1 (en) | 1999-07-06 | 2002-12-31 | Koninklijke Phillips Electronics N.V. | System and method for improved fine granular scalable video using base layer coding information |
US7245663B2 (en) * | 1999-07-06 | 2007-07-17 | Koninklijke Philips Electronis N.V. | Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images |
JP2001145020A (ja) * | 1999-11-12 | 2001-05-25 | Canon Inc | 画像編集装置及び方法 |
US7743092B2 (en) * | 1999-11-12 | 2010-06-22 | Wood Lawson A | Method for recognizing and distributing music |
US6639943B1 (en) * | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
US7286724B2 (en) * | 1999-12-06 | 2007-10-23 | Hyundai Curitel, Inc. | Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy |
US7389356B2 (en) * | 1999-12-15 | 2008-06-17 | Microsoft Corporation | Generalized differentiation methods and arrangements for adaptive multimedia communications |
US7093028B1 (en) * | 1999-12-15 | 2006-08-15 | Microsoft Corporation | User and content aware object-based data stream transmission methods and arrangements |
US6510177B1 (en) * | 2000-03-24 | 2003-01-21 | Microsoft Corporation | System and method for layered video coding enhancement |
US6493387B1 (en) * | 2000-04-10 | 2002-12-10 | Samsung Electronics Co., Ltd. | Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together |
US7103103B2 (en) * | 2000-04-17 | 2006-09-05 | Pts Corporation | Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information |
US7082166B2 (en) * | 2000-04-17 | 2006-07-25 | Pts Corporation | Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder |
US6888894B2 (en) * | 2000-04-17 | 2005-05-03 | Pts Corporation | Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation |
FR2813485B1 (fr) * | 2000-08-24 | 2003-12-26 | France Telecom | Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant |
US7463683B2 (en) * | 2000-10-11 | 2008-12-09 | Koninklijke Philips Electronics N.V. | Method and apparatus for decoding spatially scaled fine granular encoded video signals |
EP1336303A2 (en) * | 2000-11-23 | 2003-08-20 | Koninklijke Philips Electronics N.V. | Video coding method |
CN1248508C (zh) * | 2000-11-23 | 2006-03-29 | 皇家菲利浦电子有限公司 | 视频解码方法 |
DE60120745T2 (de) * | 2000-12-01 | 2007-05-24 | Koninklijke Philips Electronics N.V. | Verfahren und gerät zur zusammenstellung von videoszenen aus verschiedenartigen daten |
US20020149696A1 (en) * | 2001-02-23 | 2002-10-17 | Eastman Kodak Company | Method for presenting improved motion image sequences |
US20020118742A1 (en) * | 2001-02-26 | 2002-08-29 | Philips Electronics North America Corporation. | Prediction structures for enhancement layer in fine granular scalability video coding |
US6728318B2 (en) | 2001-03-02 | 2004-04-27 | Redrock Semiconductor, Ltd. | Error recovery of corrupted MPEG-4 bitstreams using fuzzy decoding of start codes and resync markers |
US6778610B2 (en) | 2001-03-02 | 2004-08-17 | Redrock Semiconductor, Ltd. | Simultaneous search for different resync-marker patterns to recover from corrupted MPEG-4 bitstreams |
JP2004531925A (ja) * | 2001-03-05 | 2004-10-14 | インタービデオインコーポレイテッド | 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法 |
FR2822330B1 (fr) * | 2001-03-14 | 2003-05-02 | Thomson Multimedia Sa | Procede de codage par blocs, de type mpeg, dans lequel on affecte une resolution a chaque bloc |
US7450641B2 (en) * | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
US20020135695A1 (en) * | 2001-03-26 | 2002-09-26 | Edelson Steven D. | Video data reduction by selected frame elimination |
US7929610B2 (en) * | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
US6931063B2 (en) | 2001-03-26 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding |
US6608867B2 (en) | 2001-03-30 | 2003-08-19 | Koninklijke Philips Electronics N.V. | Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video |
US6792044B2 (en) | 2001-05-16 | 2004-09-14 | Koninklijke Philips Electronics N.V. | Method of and system for activity-based frequency weighting for FGS enhancement layers |
KR100388820B1 (ko) * | 2001-05-16 | 2003-06-25 | 주식회사 넷앤티비 | 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법 |
US7958532B2 (en) * | 2001-06-18 | 2011-06-07 | At&T Intellectual Property Ii, L.P. | Method of transmitting layered video-coded information |
US7162083B2 (en) * | 2001-07-06 | 2007-01-09 | Vision Iii Imaging Inc. | Image segmentation by means of temporal parallax difference induction |
US6975680B2 (en) * | 2001-07-12 | 2005-12-13 | Dolby Laboratories, Inc. | Macroblock mode decision biasing for video compression systems |
US20030048846A1 (en) * | 2001-07-31 | 2003-03-13 | Myeong-Hwan Lee | Motion image compression apparatus capable of varying frame rate and method of compressing motion image using the same |
JP2003116053A (ja) * | 2001-10-05 | 2003-04-18 | Hitachi Ltd | 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法 |
JP2005506815A (ja) * | 2001-10-26 | 2005-03-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 空間拡張可能圧縮のための方法及び装置 |
KR100397511B1 (ko) | 2001-11-21 | 2003-09-13 | 한국전자통신연구원 | 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법 |
US20030138045A1 (en) * | 2002-01-18 | 2003-07-24 | International Business Machines Corporation | Video decoder with scalable architecture |
AU2003240828A1 (en) * | 2002-05-29 | 2003-12-19 | Pixonics, Inc. | Video interpolation coding |
KR100523052B1 (ko) * | 2002-08-30 | 2005-10-24 | 한국전자통신연구원 | 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법 |
BR0316559A (pt) * | 2002-11-25 | 2005-10-04 | Thomson Licensing Sa | Decodificador em duas camadas para dvd hìbrido de alta definição |
WO2004052003A1 (en) * | 2002-12-03 | 2004-06-17 | Thomson Licensing S.A. | Hybrid scalable decoder and method for standard-definition and high-definition video formats on a single-disc |
US20040131122A1 (en) * | 2002-12-09 | 2004-07-08 | Kei Kudo | Encoding device and encoding method |
JP4003128B2 (ja) * | 2002-12-24 | 2007-11-07 | ソニー株式会社 | 画像データ処理装置および方法、記録媒体、並びにプログラム |
CN1751519A (zh) * | 2003-02-17 | 2006-03-22 | 皇家飞利浦电子股份有限公司 | 视频编码 |
KR20060109247A (ko) * | 2005-04-13 | 2006-10-19 | 엘지전자 주식회사 | 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치 |
KR100556826B1 (ko) * | 2003-04-17 | 2006-03-10 | 한국전자통신연구원 | Mpeg-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법 |
US20130107938A9 (en) * | 2003-05-28 | 2013-05-02 | Chad Fogg | Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream |
US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
KR100965881B1 (ko) * | 2003-10-10 | 2010-06-24 | 삼성전자주식회사 | 비디오 데이터 인코딩 시스템 및 디코딩 시스템 |
US7889792B2 (en) | 2003-12-24 | 2011-02-15 | Apple Inc. | Method and system for video encoding using a variable number of B frames |
US7830965B2 (en) * | 2004-01-14 | 2010-11-09 | Sony Ericsson Mobile Communications Ab | Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data |
KR20050077874A (ko) * | 2004-01-28 | 2005-08-04 | 삼성전자주식회사 | 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치 |
US7869503B2 (en) | 2004-02-06 | 2011-01-11 | Apple Inc. | Rate and quality controller for H.264/AVC video coder and scene analyzer therefor |
US7986731B2 (en) * | 2004-02-06 | 2011-07-26 | Apple Inc. | H.264/AVC coder incorporating rate and quality controller |
US7492820B2 (en) | 2004-02-06 | 2009-02-17 | Apple Inc. | Rate control for video coder employing adaptive linear regression bits modeling |
US7453938B2 (en) * | 2004-02-06 | 2008-11-18 | Apple Inc. | Target bitrate estimator, picture activity and buffer management in rate control for video coder |
US20060168632A1 (en) * | 2004-02-20 | 2006-07-27 | Yoshimasa Honda | Video reception device, video transmission device, and video transmission system |
KR100586883B1 (ko) | 2004-03-04 | 2006-06-08 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법 |
EP1574995A1 (en) * | 2004-03-12 | 2005-09-14 | Thomson Licensing S.A. | Method for encoding interlaced digital video data |
WO2005091215A1 (en) * | 2004-03-18 | 2005-09-29 | Pixe Pty Ltd | System and method for transforming graphics data |
JP2008507194A (ja) * | 2004-07-15 | 2008-03-06 | サムスン エレクトロニクス カンパニー リミテッド | 動き情報符号化装置及び方法、動き情報復号化装置及び方法、これを採用したスケーラブル映像符号化装置及び方法とスケーラブル映像復号化装置及び方法 |
KR100621581B1 (ko) * | 2004-07-15 | 2006-09-13 | 삼성전자주식회사 | 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치 |
US20060023782A1 (en) * | 2004-07-27 | 2006-02-02 | Microsoft Corporation | System and method for off-line multi-view video compression |
KR100584603B1 (ko) * | 2004-08-03 | 2006-05-30 | 학교법인 대양학원 | 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치 |
KR100658222B1 (ko) * | 2004-08-09 | 2006-12-15 | 한국전자통신연구원 | 3차원 디지털 멀티미디어 방송 시스템 |
KR100640900B1 (ko) | 2004-10-20 | 2006-11-02 | 엘지전자 주식회사 | 바코드 라벨 스티커 |
US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
KR100779875B1 (ko) * | 2005-01-14 | 2007-11-27 | 주식회사 휴맥스 | 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체 |
KR100703751B1 (ko) * | 2005-02-14 | 2007-04-06 | 삼성전자주식회사 | 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치 |
KR101233854B1 (ko) | 2005-02-18 | 2013-02-15 | 톰슨 라이센싱 | 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치 |
US7961963B2 (en) | 2005-03-18 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for extended spatial scalability with picture-level adaptation |
US8638862B2 (en) * | 2005-03-18 | 2014-01-28 | Sharp Laboratories Of America, Inc. | Methods and systems for upsampling filter design |
EP1878249B1 (en) * | 2005-04-01 | 2020-03-04 | LG Electronics, Inc. | Method for scalably decoding a video signal |
WO2006104364A1 (en) * | 2005-04-01 | 2006-10-05 | Lg Electronics Inc. | Method for scalably encoding and decoding video signal |
KR100732961B1 (ko) * | 2005-04-01 | 2007-06-27 | 경희대학교 산학협력단 | 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 |
KR100878825B1 (ko) * | 2005-04-01 | 2009-01-14 | 엘지전자 주식회사 | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 |
EP1878250A4 (en) * | 2005-04-01 | 2012-11-28 | Lg Electronics Inc | METHOD OF ENCODING AND DECODING THAT CAN BE SCALED ON A VIDEO SIGNAL |
JP2008536393A (ja) * | 2005-04-08 | 2008-09-04 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | 少なくとも一のデジタル画像をエンコードする方法、エンコーダ、及びコンピュータプログラム製品 |
KR100896279B1 (ko) * | 2005-04-15 | 2009-05-07 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
KR100762783B1 (ko) * | 2005-07-11 | 2007-10-05 | (주)블루비스 | 다시점 영상 부호화 및 복호화 장치 |
JP4839035B2 (ja) * | 2005-07-22 | 2011-12-14 | オリンパス株式会社 | 内視鏡用処置具および内視鏡システム |
WO2007020233A2 (fr) * | 2005-08-18 | 2007-02-22 | Thomson Licensing | Procede de codage et de decodage d'images entrelacees a haute resolution et progressives a basse resolution |
US8670437B2 (en) * | 2005-09-27 | 2014-03-11 | Qualcomm Incorporated | Methods and apparatus for service acquisition |
US8229983B2 (en) | 2005-09-27 | 2012-07-24 | Qualcomm Incorporated | Channel switch frame |
US8949235B2 (en) | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
US8102406B2 (en) * | 2005-11-15 | 2012-01-24 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for producing a video synopsis |
FR2894422A1 (fr) | 2005-12-01 | 2007-06-08 | Thomson Licensing Sas | Procede de prediction de donnees mouvement et de texture |
FR2894423A1 (fr) * | 2005-12-05 | 2007-06-08 | Thomson Licensing Sas | Procede de prediction de donnees mouvement et de texture |
FR2894424A1 (fr) * | 2005-12-05 | 2007-06-08 | Thomson Licensing Sas | Procede de prediction de donnees mouvement et de texture |
CN101356820B (zh) | 2006-01-05 | 2011-01-26 | 汤姆森许可贸易公司 | 层间运动预测方法 |
KR100914713B1 (ko) * | 2006-01-09 | 2009-08-31 | 엘지전자 주식회사 | 영상 신호의 레이어 간 예측 방법 |
US8902977B2 (en) * | 2006-01-09 | 2014-12-02 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multi-view video coding |
US20090141814A1 (en) | 2006-01-09 | 2009-06-04 | Peng Yin | Method and Apparatus for Providing Reduced Resolution Update Mode for Multi-View Video Coding |
US20070160134A1 (en) * | 2006-01-10 | 2007-07-12 | Segall Christopher A | Methods and Systems for Filter Characterization |
KR100772873B1 (ko) * | 2006-01-12 | 2007-11-02 | 삼성전자주식회사 | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 |
US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
US8937997B2 (en) * | 2006-03-16 | 2015-01-20 | Apple Inc. | Scalable video coding/multiplexing compatible with non-scalable decoders |
US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
US7840078B2 (en) * | 2006-07-10 | 2010-11-23 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing control based on adjacent block characteristics |
US8532176B2 (en) * | 2006-07-10 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for combining layers in a multi-layer bitstream |
US7885471B2 (en) * | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
US8059714B2 (en) * | 2006-07-10 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for residual layer scaling |
US8422548B2 (en) * | 2006-07-10 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for transform selection and management |
US8130822B2 (en) * | 2006-07-10 | 2012-03-06 | Sharp Laboratories Of America, Inc. | Methods and systems for conditional transform-domain residual accumulation |
EP1879399A1 (en) | 2006-07-12 | 2008-01-16 | THOMSON Licensing | Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method |
US20080043832A1 (en) * | 2006-08-16 | 2008-02-21 | Microsoft Corporation | Techniques for variable resolution encoding and decoding of digital video |
US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
US7456760B2 (en) * | 2006-09-11 | 2008-11-25 | Apple Inc. | Complexity-aware encoding |
EP2077038B1 (en) * | 2006-10-18 | 2013-01-30 | Apple Inc. | Scalable video coding with filtering of lower layers |
UA93118C2 (ru) * | 2006-11-14 | 2011-01-10 | Квелкомм Инкорпорейтед | Системы и способы для переключения каналов |
CA2669153A1 (en) * | 2006-11-15 | 2008-05-22 | Qualcomm Incorporated | Systems and methods for applications using channel switch frames |
US7876808B2 (en) * | 2006-11-30 | 2011-01-25 | Broadcom Corp. | Method and apparatus for adaptive noise and/or signal filtering in an HSDPA channel quality indicator (CQI) selection |
US8233536B2 (en) | 2007-01-23 | 2012-07-31 | Sharp Laboratories Of America, Inc. | Methods and systems for multiplication-free inter-layer image prediction |
US8665942B2 (en) * | 2007-01-23 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
US7826673B2 (en) * | 2007-01-23 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction with color-conversion |
US8503524B2 (en) * | 2007-01-23 | 2013-08-06 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction |
WO2008110719A1 (fr) * | 2007-02-01 | 2008-09-18 | France Telecom | Procede de codage de donnees representatives d'une texture multidimensionnelle, dispositif de codage, procede et dispositif de decodage, signal et programme correspondants |
US7760949B2 (en) | 2007-02-08 | 2010-07-20 | Sharp Laboratories Of America, Inc. | Methods and systems for coding multiple dynamic range images |
US8767834B2 (en) | 2007-03-09 | 2014-07-01 | Sharp Laboratories Of America, Inc. | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
WO2009034486A2 (en) * | 2007-09-10 | 2009-03-19 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
CN101420609B (zh) * | 2007-10-24 | 2010-08-25 | 华为终端有限公司 | 视频编码、解码方法及视频编码器、解码器 |
US20090135916A1 (en) * | 2007-11-26 | 2009-05-28 | Mediatek Inc. | Image processing apparatus and method |
CN101478671B (zh) * | 2008-01-02 | 2011-05-11 | 中兴通讯股份有限公司 | 应用于视频监控的视频编码装置及其视频编码方法 |
US8855199B2 (en) * | 2008-04-21 | 2014-10-07 | Nokia Corporation | Method and device for video coding and decoding |
JP4670902B2 (ja) * | 2008-05-30 | 2011-04-13 | ソニー株式会社 | 送信装置、送信方法および受信装置 |
US20090304086A1 (en) * | 2008-06-06 | 2009-12-10 | Apple Inc. | Method and system for video coder and decoder joint optimization |
KR101557504B1 (ko) * | 2009-04-13 | 2015-10-07 | 삼성전자주식회사 | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 |
WO2010126227A2 (en) * | 2009-04-27 | 2010-11-04 | Lg Electronics Inc. | Broadcast receiver and 3d video data processing method thereof |
US9049430B2 (en) | 2009-10-13 | 2015-06-02 | Lg Electronics Inc. | Broadcast receiver and 3D video data processing method thereof |
EP2532162B1 (en) * | 2010-02-01 | 2017-08-30 | Dolby Laboratories Licensing Corporation | Filtering for image and video enhancement using asymmetric samples |
CN106131574B (zh) * | 2010-04-13 | 2019-09-10 | Ge视频压缩有限责任公司 | 跨平面预测 |
DK2559246T3 (en) | 2010-04-13 | 2016-09-19 | Ge Video Compression Llc | Fusion of sample areas |
CN106454376B (zh) | 2010-04-13 | 2019-10-01 | Ge视频压缩有限责任公司 | 解码器、重建数组的方法、编码器、编码方法及数据流 |
BR122020007923B1 (pt) | 2010-04-13 | 2021-08-03 | Ge Video Compression, Llc | Predição interplano |
PL3621306T3 (pl) | 2010-04-13 | 2022-04-04 | Ge Video Compression, Llc | Kodowanie wideo przy wykorzystaniu podpodziałów obrazów multidrzewa |
JP5510097B2 (ja) * | 2010-06-16 | 2014-06-04 | ソニー株式会社 | 信号伝送方法、信号送信装置および信号受信装置 |
US8731152B2 (en) | 2010-06-18 | 2014-05-20 | Microsoft Corporation | Reducing use of periodic key frames in video conferencing |
US20110317755A1 (en) * | 2010-06-24 | 2011-12-29 | Worldplay (Barbados) Inc. | Systems and methods for highly efficient compression of video |
US20130156113A1 (en) * | 2010-08-17 | 2013-06-20 | Streamworks International, S.A. | Video signal processing |
US8976856B2 (en) | 2010-09-30 | 2015-03-10 | Apple Inc. | Optimized deblocking filters |
EP2628298A1 (en) * | 2010-10-12 | 2013-08-21 | Dolby Laboratories Licensing Corporation | Joint layer optimization for a frame-compatible video delivery |
IT1403450B1 (it) * | 2011-01-19 | 2013-10-17 | Sisvel S P A | Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione |
US20120257675A1 (en) * | 2011-04-11 | 2012-10-11 | Vixs Systems, Inc. | Scalable video codec encoder device and methods thereof |
ITTO20110439A1 (it) * | 2011-05-17 | 2012-11-18 | Sisvel Technology Srl | Method for generating, transmitting and receiving stereoscopic images, and related devices |
US20130031589A1 (en) * | 2011-07-27 | 2013-01-31 | Xavier Casanova | Multiple resolution scannable video |
EP2757783A4 (en) * | 2011-09-13 | 2015-03-18 | Panasonic Corp | ENCODING DEVICE, DECODING DEVICE, READING DEVICE, ENCODING METHOD, AND DECODING METHOD |
TWI595770B (zh) | 2011-09-29 | 2017-08-11 | 杜比實驗室特許公司 | 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術 |
EP2761877B8 (en) | 2011-09-29 | 2016-07-13 | Dolby Laboratories Licensing Corporation | Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery |
US20130089153A1 (en) * | 2011-10-06 | 2013-04-11 | Mstar Semiconductor, Inc. | Image compression method, and associated media data file and decompression method |
TWI508530B (zh) * | 2011-10-06 | 2015-11-11 | Mstar Semiconductor Inc | 影像壓縮方法、媒體資料檔案與解壓縮方法 |
EP2792146A4 (en) | 2011-12-17 | 2015-12-09 | Dolby Lab Licensing Corp | ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER |
US10390041B2 (en) * | 2012-03-30 | 2019-08-20 | Sun Patent Trust | Predictive image coding and decoding using two reference pictures |
JP2013232775A (ja) * | 2012-04-27 | 2013-11-14 | Sharp Corp | 動画像復号装置、および動画像符号化装置 |
KR102001415B1 (ko) * | 2012-06-01 | 2019-07-18 | 삼성전자주식회사 | 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템 |
US9420280B2 (en) | 2012-06-08 | 2016-08-16 | Qualcomm Incorporated | Adaptive upsampling filters |
US9544612B2 (en) * | 2012-10-04 | 2017-01-10 | Intel Corporation | Prediction parameter inheritance for 3D video coding |
US10085017B2 (en) * | 2012-11-29 | 2018-09-25 | Advanced Micro Devices, Inc. | Bandwidth saving architecture for scalable video coding spatial mode |
TW201424380A (zh) | 2012-12-07 | 2014-06-16 | Ind Tech Res Inst | 影像與訊息編碼系統、編碼方法、解碼系統及解碼方法 |
US9591254B2 (en) * | 2015-03-26 | 2017-03-07 | Qualcomm Incorporated | Device and method for processing video data |
CA2957079A1 (en) | 2016-02-03 | 2017-08-03 | Evertz Microsystems Ltd. | Systems and methods for improving video compression efficiency |
EP3474225B1 (en) * | 2017-10-18 | 2019-09-25 | Axis AB | Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames |
GB2618298A (en) * | 2021-09-21 | 2023-11-08 | V Nova Int Ltd | Low complexity enhancement video coding with temporal scalability |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2521145B2 (ja) * | 1989-02-20 | 1996-07-31 | 日本ビクター株式会社 | 動き補償予測符号化復号化方式 |
US5467136A (en) * | 1991-05-31 | 1995-11-14 | Kabushiki Kaisha Toshiba | Video decoder for determining a motion vector from a scaled vector and a difference vector |
JP3545000B2 (ja) * | 1992-11-02 | 2004-07-21 | ソニー株式会社 | 画像信号符号化装置、画像信号復号化装置 |
EP0639031A3 (en) * | 1993-07-09 | 1995-04-05 | Rca Thomson Licensing Corp | Method and device for encoding stereo image signals. |
CA2126467A1 (en) * | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
KR100186979B1 (ko) * | 1994-12-28 | 1999-05-01 | 김주용 | 영상데이터의 물체별 배경 정보 부호화 방법 및 장치 |
CA2168327C (en) * | 1995-01-30 | 2000-04-11 | Shinichi Kikuchi | A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium. |
KR0175741B1 (ko) * | 1995-02-20 | 1999-05-01 | 정선종 | 호환적 영상부호화를 위한 이동보상 상향변환 방법 |
US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
US5692063A (en) * | 1996-01-19 | 1997-11-25 | Microsoft Corporation | Method and system for unrestricted motion estimation for video |
US5778100A (en) * | 1996-03-08 | 1998-07-07 | Lucent Technologies Inc. | Method and apparatus for reducing the bit rate in a video object planes sequence coder |
KR100249029B1 (ko) * | 1996-06-12 | 2000-03-15 | 전주범 | 영상신호의 윤곽선 부호화 방법 및 그 장치 |
KR100235347B1 (ko) * | 1996-09-19 | 1999-12-15 | 전주범 | 윤곽선 영상신호 부호화 방법 및 장치 |
US5790196A (en) * | 1997-02-14 | 1998-08-04 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
-
1997
- 1997-06-05 US US08/869,493 patent/US6057884A/en not_active Expired - Lifetime
-
1998
- 1998-05-21 TW TW087107902A patent/TW406512B/zh not_active IP Right Cessation
- 1998-05-26 EP EP98109563A patent/EP0883300B1/en not_active Expired - Lifetime
- 1998-05-28 CA CA002238900A patent/CA2238900C/en not_active Expired - Lifetime
- 1998-06-02 NO NO982508A patent/NO982508L/no not_active Application Discontinuation
- 1998-06-03 BR BR9801762A patent/BR9801762A/pt not_active IP Right Cessation
- 1998-06-04 AU AU69934/98A patent/AU733055B2/en not_active Ceased
- 1998-06-05 CN CNB2004100369258A patent/CN1294764C/zh not_active Expired - Lifetime
- 1998-06-05 KR KR1019980020782A patent/KR19990006678A/ko not_active IP Right Cessation
- 1998-06-05 JP JP10157181A patent/JPH1118085A/ja active Pending
- 1998-06-05 CN CN98109558A patent/CN1209020A/zh active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1856111B (zh) * | 2000-05-15 | 2011-05-11 | 诺基亚有限公司 | 视频信号编解码方法、编解码器及其相关的设备 |
CN100338958C (zh) * | 2001-05-10 | 2007-09-19 | 索尼株式会社 | 运动图像编码设备 |
US8761252B2 (en) | 2003-03-27 | 2014-06-24 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US8559520B2 (en) | 2004-03-31 | 2013-10-15 | Samsung Electronics Co., Ltd. | Method and apparatus for effectively compressing motion vectors in multi-layer structure |
US8040950B2 (en) | 2004-03-31 | 2011-10-18 | Samsung Electronics Co., Ltd. | Method and apparatus for effectively compressing motion vectors in multi-layer structure |
CN100466735C (zh) * | 2004-07-15 | 2009-03-04 | 三星电子株式会社 | 视频编码和解码方法以及视频编码器和解码器 |
CN101044764B (zh) * | 2004-10-20 | 2010-12-15 | 汤姆森许可贸易公司 | 视频图像的分级编码方法 |
CN100562130C (zh) * | 2004-12-17 | 2009-11-18 | 三菱电机株式会社 | 用于分解多视图视频的方法和系统 |
CN101176348B (zh) * | 2005-04-01 | 2011-01-19 | Lg电子株式会社 | 可对视频信号缩放地进行编码和解码的方法 |
US7864849B2 (en) | 2005-04-01 | 2011-01-04 | Lg Electronics, Inc. | Method for scalably encoding and decoding video signal |
US7970057B2 (en) | 2005-04-01 | 2011-06-28 | Lg Electronics Inc. | Method for scalably encoding and decoding video signal |
US7864841B2 (en) | 2005-04-01 | 2011-01-04 | Lg Electronics, Inc. | Method for scalably encoding and decoding video signal |
US8369400B2 (en) | 2005-04-01 | 2013-02-05 | Lg Electronics, Inc. | Method for scalably encoding and decoding video signal |
US8514936B2 (en) | 2005-04-01 | 2013-08-20 | Lg Electronics Inc. | Method for scalably encoding and decoding video signal |
CN101176349B (zh) * | 2005-04-01 | 2010-09-01 | Lg电子株式会社 | 可对视频信号缩放地进行编码和解码的方法 |
US8660180B2 (en) | 2005-04-01 | 2014-02-25 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US9288486B2 (en) | 2005-04-01 | 2016-03-15 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US8755434B2 (en) | 2005-07-22 | 2014-06-17 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
CN101292538B (zh) * | 2005-10-19 | 2012-11-28 | 汤姆森特许公司 | 使用可缩放的视频编码的多视图视频编码 |
Also Published As
Publication number | Publication date |
---|---|
EP0883300A2 (en) | 1998-12-09 |
CN1294764C (zh) | 2007-01-10 |
AU733055B2 (en) | 2001-05-03 |
MX9804502A (es) | 1998-12-31 |
KR19990006678A (ko) | 1999-01-25 |
CA2238900A1 (en) | 1998-12-05 |
TW406512B (en) | 2000-09-21 |
NO982508D0 (no) | 1998-06-02 |
EP0883300B1 (en) | 2013-01-23 |
US6057884A (en) | 2000-05-02 |
BR9801762A (pt) | 1999-06-29 |
AU6993498A (en) | 1998-12-10 |
CA2238900C (en) | 2003-10-21 |
JPH1118085A (ja) | 1999-01-22 |
CN1551636A (zh) | 2004-12-01 |
NO982508L (no) | 1998-12-07 |
EP0883300A3 (en) | 2000-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1294764C (zh) | 用于编码双向预测视频对象面的方法及其解码装置 | |
US10652536B2 (en) | Encoder, decoder, encoding method, and decoding method | |
US6404814B1 (en) | Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal | |
EP0863674B1 (en) | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video | |
Ebrahimi et al. | MPEG-4 natural video coding–An overview | |
AU728469B2 (en) | Intra-macroblock DC and AC coefficient prediction for interlaced digital video | |
US6005980A (en) | Motion estimation and compensation of video object planes for interlaced digital video | |
Sikora | The MPEG-4 video standard verification model | |
AU2007202789B2 (en) | High-fidelity motion summarisation method | |
CN1226786A (zh) | 用于立体视频编码的视图偏移估算 | |
JPH1118094A (ja) | 動き補償圧縮形式の空間的に低減されたイメージ・シーケンスを抽出するシステム及び方法 | |
JP2005510984A (ja) | デジタルビデオコンテンツのためのピクチャレベルの適応フレーム/フィールド符号化 | |
CN1812577A (zh) | 译码数字影像位流所含画面的方法及其数字影像译码系统 | |
CN101584220B (zh) | 对视频信号进行编码的方法和系统、编码的视频信号、对视频信号进行解码的方法和系统 | |
Sikora | MPEG digital video coding standards | |
CN1297147C (zh) | 对交错数字视频的双向预测的视频目标平面的预测和编码 | |
USRE38564E1 (en) | Motion estimation and compensation of video object planes for interlaced digital video | |
JPH09331536A (ja) | 誤り訂正デコーダ及び誤り訂正デコーディング方法 | |
CN100586185C (zh) | 一种h.264视频降低分辨率转码的模式选择方法 | |
Tsung et al. | Video encoder design for high-definition 3D video communication systems | |
Panusopone et al. | Coding tools in MPEG-4 for interlaced video | |
Bhaskaran et al. | The MPEG Video Standards | |
Son et al. | Scan interleaving based scalable binary shape coding | |
Cooray | Semi-automatic video object segmentation for multimedia applications | |
O’Connor et al. | Current Developments in MPEG-4 Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
C20 | Patent right or utility model deemed to be abandoned or is abandoned |