CN102217314B - 用于视频图像删减的方法和装置 - Google Patents

用于视频图像删减的方法和装置 Download PDF

Info

Publication number
CN102217314B
CN102217314B CN200980145861.6A CN200980145861A CN102217314B CN 102217314 B CN102217314 B CN 102217314B CN 200980145861 A CN200980145861 A CN 200980145861A CN 102217314 B CN102217314 B CN 102217314B
Authority
CN
China
Prior art keywords
picture
region
data
line
puncturer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980145861.6A
Other languages
English (en)
Other versions
CN102217314A (zh
Inventor
邓格·T·沃
乔尔·索尔
尹澎
郑云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102217314A publication Critical patent/CN102217314A/zh
Application granted granted Critical
Publication of CN102217314B publication Critical patent/CN102217314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

提供了用于视频数据删减的方法和装置。一种装置包括：数据删减器(110)，用于在通过编码进行压缩之前以及在准备通过编码进行压缩时预处理画面。该数据删减器(110)在空间域中选择性地去除所述画面中的至少一个区域。在解码器端，一种装置包括数据恢复器(140)，用于接收在通过解码进行解压缩之后的解压缩的画面，并且通过基于指示在先前执行的编码过程之前进行的对至少一个区域的去除的信息在空间域中选择性地恢复所述解压缩的画面中的所述至少一个区域，来对解压缩的画面进行后处理。

Description

用于视频图像删减的方法和装置
相关申请交叉引用
本申请要求2008年9月18日提交的美国临时申请序列号61/098125的权益，其通过引用而被整体合并于此。
技术领域
本原理一般地涉及视频编码和解码，并且更具体地涉及用于视频图像删减的方法和装置。
背景技术
目前，对于更高质量视频的要求一直在增长。视频内容需求倾向于走向更高分辨率、更高帧速率和更高比特深度。为了应对与高清晰度(HD)视频和其它对比特率要求高的发展相对应的比特率增大，尤其是为了满足网络和通信技术的传输限制，非常需要进一步减小比特率的新技术。
至少有两种基本的方法来减小压缩比特率。第一种方法涉及改进压缩技术，第二种方法涉及在压缩之前执行某种预处理。
对于第一种方法，即，改进压缩技术，其进展可以在各种运动画面专家组视频编码标准的发展中容易地看到，所述运动画面专家组视频编码标准例如为国际标准化组织/国际电子技术委员会(ISO/IEC)MPEG-1标准、ISO/IECMPEG-2标准、ISO/IEC MPEG-4标准以及ISO/IEC MPEG-2第10部分高级视频编码(AVC)标准/国际电信联盟电信分部(ITU-T)H.264建议(在下文中称为“MPEG-4AVC标准”)。
对于大多数视频编码标准，增大量化步长是用来减小比特率的手段。然而，由于高频细节的缺失，该技术可能导致严重的块状伪像以及其它编码伪像。
对于第二种方法，即，在压缩之前执行某种预处理，这种预处理的目标是去除在视觉感知方面较不重要的信息、或者能够在解码过程之后恢复而不显著改变内容的信息。该比特率减小通常也被称为数据删减。通过数据删减来执行该比特率减小的一些常用技术为使用低通滤波器和下采样(其可被视为滤波过程)，然后在解码器处进行上采样。这些方案的一个后果是经过解码和重建的视频看起来有些不清楚，这是因为这些技术被设计用于消除视频中的高频信息以便减小比特率。
对于例如可用于先前描述的上采样的内插，已经讨论和开发了范围广泛的内插方法和机制，从传统的双线性和双三次内插开始，一直继续到复杂的迭代内插方法，例如凸集投影(POCS)和非凸非线性偏微分方程。
为了避免沿着边缘出现的急抖，提出了使用马尔可夫随机场和低分辨率图像的协方差的面向边缘的内插方法。
一种现有技术方法采用定向滤波和数据融合的组合，通过线性最小均方误差(LMMSE)来估计缺失的高分辨率(HR)像素。另一组内插算法使用不同种类的变换(例如小波变换或轮廓(countourlet)变换)而从HR图像的对应的低分辨率(LR)图像来预测HR图像的精细结构。
上述方法中的每一种适合于在水平和垂直两个方向上(即，在固定的和规则的数据网格中(即，所有数据点都处于矩形网格中))以相同的比率进行上采样。然而，当与数据删减一起使用内插时，希望有灵活性以便适应被丢弃的数据以及适合于每个像素的变化的环境，以取得最佳的性能。
发明内容
本原理解决现有技术的这些和其它缺点和不足，本原理针对的是用于视频图像数据删减的方法和装置。
根据本原理的一个方面，提供了一种装置。该装置包括数据删减器，用于在通过编码进行压缩之前以及在准备通过编码进行压缩时预处理画面。该数据删减器在空间域中选择性地去除所述画面中的至少一个区域。
根据本原理的另一方面，提供了一种方法。该方法包括：在通过编码进行压缩之前以及在准备通过编码进行压缩时预处理画面。该预处理步骤使用具有处理器的数据删减器在空间域中选择性地去除所述画面中的至少一个区域。
根据本原理的另一方面，提供了一种装置。该装置包括：数据恢复器，用于接收在通过解码进行解压缩之后的解压缩的画面，并且通过基于指示在先前执行的编码过程之前进行的对至少一个区域的去除的信息，在空间域中选择性地恢复解压缩的画面中的所述至少一个区域，来对解压缩的画面进行后处理。
根据本原理的另一方面，提供了一种方法。该方法包括：接收在通过解码进行解压缩之后的解压缩的画面。该方法还包括：使用具有处理器的数据恢复器，通过基于指示在先前执行的编码过程之前进行的对至少一个区域的去除的信息，在空间域中选择性地恢复解压缩的画面中的所述至少一个区域，来对解压缩的画面进行后处理。
根据对示例实施例的以下详细描述，本原理的这些和其它方面、特征和优点将变得清楚，应当结合附图来阅读所述详细描述。
附图说明
根据以下示例附图，可以更好地理解本原理，在附图中：
图1是示出根据本原理实施例的用于数据删减和恢复的示例系统的框图；
图2是示出根据本原理实施例的用于数据删减和恢复的示例方法的流程图；
图3是示出根据本原理实施例的、可以应用本原理的示例视频编码器的框图；
图4是示出根据本原理实施例的、可以应用本原理的示例视频解码器的框图；
图5A是示出根据本原理实施例的、涉及NEDI-4和NEDI-8的高阶边缘指导内插(edge-directed interpolation)的模型参数的图；
图5B是示出根据本原理实施例的、涉及NEDI-6的高阶边缘指导内插的模型参数的图；
图6是示出根据本原理实施例的、通过丢弃任意的线(line)来进行数据删减的示例的图；
图7是示出根据本原理实施例的、通过丢弃一帧中的列和行来进行数据删减的示例的图；
图8是示出根据本原理实施例的、通过对于整个画面组(GOP)和/或场景丢弃相同的列和行来进行数据删减的示例的图；
图9A是示出根据本原理实施例的、用于指示公知的Akiyo序列的第一帧中的被丢弃的列和行的线的图；
图9B是示出根据本原理实施例的、与图7A的示例对应的被删减的帧的图；
图10是示出根据本原理实施例的、用于基于数据删减的压缩的示例系统的框图；
图11是示出根据本原理实施例的、用于数据删减阶段(phase)的示例系统的框图；
图12是示出根据本原理实施例的、用于最佳数据删减的示例方法的流程图；以及
图13是示出根据本原理实施例的、用于最佳数据恢复的示例方法的流程图。
具体实施方式
本原理针对用于视频图像数据删减的方法和装置。
本说明书说明本原理。因此，将认识到，本领域技术人员将能够设计各种装置，尽管在这里没有被明确地描述或示出，但是所述装置实施本原理，并且被包括在本原理的精神和范围内。
在此叙述的所有示例和条件性语言意图是用于教导的目的以帮助读者理解本原理和由发明人贡献以推动技术的构思，并且应被解释为不限于这种具体叙述的示例和条件。
此外，在此描述本原理的原理、方面和实施例及其具体示例的所有陈述意欲包括其结构和功能等效物二者。此外，意图是，这样的等效物包括当前已知的等效物和将来开发的等效物，即，所开发的执行相同功能的任何元件，而不管结构如何。
因此，例如，本领域技术人员将认识到，在此呈现的框图表示实施本原理的说明性电路的概念图。类似地，将认识到，任何流程图、流图、状态转移图、伪代码等表示各种过程，所述各种过程实质上可以在计算机可读介质中表示，并且由此由计算机或处理器执行，而无论这种计算机或处理器是否被明确示出。
附图中示出的各种元件的功能可以通过使用专用硬件提供、以及通过能够运行软件的硬件与适当的软件相关联地提供。当通过处理器来提供时，所述功能可以通过单个专用处理器、通过单个共享处理器、或者通过多个独立的处理器(其中一些可以被共享)来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为排他地指代能够运行软件的硬件，而是可以没有限制地隐含数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存贮器等。
也可以包括其它传统的和/或定制的硬件。类似地，图中示出的任何开关只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地执行，具体技术可以由实施者按照根据上下文更具体地理解的那样进行选择。
在这里的权利要求中，被表述为用于执行指定功能的部件的任何元件意图包括执行该功能的任何方式，例如包括a)执行该功能的电路元件的组合或b)与适当电路组合的任何形式的软件，所述软件因此包括固件、伪代码等，所述电路用于运行该软件以执行所述功能。由这样的权利要求限定的本原理在于以下事实：按照权利要求所要求的方式来组合和集中由各种所述部件提供的功能性。因此，认为可以提供那些功能性的任何部件等效于这里示出的那些部件。
在本说明书中对于本原理的“一个实施例”或“实施例”以及它们的其它变型的提及是指结合该实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在说明书的各处出现的短语“在一个实施例中”或“在实施例中”及其任何其它变型的出现不一定都是指相同的实施例。
应当认识到，以下“/”、“和/或”以及“至少一个”中的任何一个的使用(例如，在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下)意图是包括对于仅仅第一个列出的选项(A)的选择、或者对于仅仅第二个列出的选项(B)的选择、或者对两个选项(A和B)的选择。作为另一示例，在“A、B和/或C”以及“A、B和C中的至少一个”的情况中，这样的措辞意图是包括对于仅仅第一个列出的选项(A)的选择、或者对于仅仅第二个列出的选项(B)的选择、或者对于仅仅第三个列出的选项(C)的选择、或者对于仅仅第一个和第二个列出的选项(A和B)的选择、或者对于仅仅第一个和第三个列出的选项(A和C)的选择、或者对于仅仅第二个和第三个列出的选项(B和C)的选择、或者对于全部三个选项(A和B和C)的选择。如本领域和相关领域普通技术人员容易认识到的，对于所列出的许多项目，这可以被扩展。
如在这里使用的，术语“图像”和“画面”被可互换地使用，并且可以指代作为视频序列的一部分和/或静止图像的任何视频画面。
如上面所述，本原理针对的是用于视频图像数据删减的方法和装置。
此外，应当认识到，尽管在这里针对MPEG-4 AVC标准描述了本原理的一个或多个实施例，但是本原理不仅仅限于这一标准，因此可以针对其它视频编码标准、建议及其扩展(包括MPEG-4 AVC标准的扩展)而被使用，同时保持本原理的精神。
转到图1，通过参考标号100来总地指示用于数据删减和恢复的示例系统。系统100包括数据删减器110、编码器(或压缩器)120、解码器(或解压缩器)130以及数据恢复器140。数据删减器110在通过编码进行压缩之前执行预处理，以便在空间域中从画面去除至少一个区域(例如线、曲线、区域等)。编码器120随后将被去除了至少一个区域的画面编码。解码器130将被去除了至少一个区域的编码画面解码。数据恢复器140执行后处理，以便在空间域中将所述至少一个区域恢复到解码后的画面中。数据删减器110、编码器120、解码器130、以及数据恢复器140中的任何一个可以包括例如一个或多个处理器、存储器等，以便执行其对应的功能。例如，数据删减器110中的至少一个或多个处理器可以执行这里描述的预处理，而数据恢复器140中的一个或多个处理器可以执行这里描述的后处理。应当注意，数据删减器110可以包括其它元件，所述其它元件在一些实施例中可以与数据删减器相分离，而在其它实施例中可以与数据删减器集成在一起。例如，在一实施例中，数据删减器110(或数据删减阶段)可以包括抽选器和内插器(例如参见图11)。在另一实施例中，数据删减器110(或数据删减阶段)可以包括数据删减器(作为执行所述至少一个区域的实际去除的子元件)、存储器或压缩器、以及内插器(例如参见图10)。图1的元件的这些和其它变化容易被本领域和相关领域的普通技术人员想到，而同时保持本原理的精神。
转到图2，通过参照标号200总地指示用于数据删减和恢复的示例方法。方法200包括开始块205，其将控制传递到功能块210。功能块210接收画面，并且将控制传递到功能块215。功能块215执行画面的预处理，以便在空间域中从画面去除至少一个区域(例如线、曲线、区域等)，并且将控制传递到功能块220。功能块220将被去除了至少一个区域的画面编码，并且将控制传递到功能块225。功能块225将编码画面提供(例如传送)给解码器(或具有解码器的设备)，并且将控制传递到功能块230。功能块230将被去除了至少一个区域的编码画面解码，并且将控制传递到功能块235。功能块235接收被去除了至少一个区域的解码画面，执行后处理以便在空间域中将所述至少一个区域恢复到该解码画面，并且将控制传递到结束块299。
转到图3，通过参考标号300总地指示可以应用本原理的示例视频编码器。
视频编码器300包括帧排序缓冲器310，其具有与组合器385的非反相输入进行信号通信的输出。组合器385的输出在信号通信上与变换器和量化器325的第一输入相连接。变换器和量化器325的输出在信号通信上与熵编码器345的第一输入以及逆变换器和逆量化器350的第一输入相连接。熵编码器345的输出在信号通信上与组合器390的第一非反相输入相连接。组合器390的输出在信号通信上与输出缓冲器335的第一输入相连接。
编码器控制器305的第一输出在信号通信上与帧排序缓冲器310的第二输入、逆变换器和逆量化器350的第二输入、画面类型判定模块315的输入、宏块类型(MB类型)判定模块320的输入、帧内预测模块360的第二输入、去块滤波器365的第二输入、运动补偿器370的第一输入、运动估计器375的第一输入、以及参考画面缓冲器380的第二输入相连接。
编码器控制器305的第二输出在信号通信上与补充增强信息(SEI)插入器330的第一输入、变换器和量化器325的第二输入、熵编码器345的第二输入、输出缓冲器335的第二输入、以及序列参数集(SPS)和画面参数集(PPS)插入器340的输入相连接。
画面类型判定模块315的第一输出在信号通信上与帧排序缓冲器310的第三输入相连接。画面类型判定模块315的第二输出在信号通信上与宏块类型判定模块320的第二输入相连接。
序列参数集(SPS)和画面参数集(PPS)插入器340的输出在信号通信上与组合器390的第三非反相输入相连接。
逆变换器和逆量化器350的输出在信号通信上与组合器319的第一非反相输入相连接。组合器319的输出在信号通信上与帧内预测模块360的第一输入和去块滤波器365的第一输入相连接。去块滤波器365的输出在信号通信上与参考画面缓冲器380的第一输入相连接。参考画面缓冲器380的输出在信号通信上与运动估计器375的第二输入相连接。运动估计器375的第一输出在信号通信上与运动补偿器370的第二输入相连接。运动估计器375的第二输出在信号通信上与熵编码器345的第三输入相连接。
运动补偿器370的输出在信号通信上与开关397的第一输入相连接。帧内预测模块360的输出在信号通信上与开关397的第二输入相连接。宏块类型判定模块320的输出在信号通信上与开关397的第三输入相连接。开关397的第三输入确定开关的“数据”输入(与控制输入相对，即，第三输入)将由运动补偿器370还是帧内预测模块360提供。开关397的输出在信号通信上与组合器319的第二非反相输入和组合器385的反相输入相连接。
帧排序缓冲器310和编码器控制器305的输入可用作编码器300的用于接收输入画面301的输入。此外，补充增强信息(SEI)插入器330的输入可用作编码器300的用于接收元数据的输入。输出缓冲器335的输出可用作编码器300的用于输出比特流的输出。
转到图4，通过参考标号400总地指示可以应用本原理的示例视频解码器。
视频解码器400包括输入缓冲器410，该输入缓冲器410具有在信号通信上与熵解码器445的第一输入相连接的输出。熵解码器445的第一输出在信号通信上与逆变换器和逆量化器450的第一输入相连接。逆变换器和逆量化器450的输出在信号通信上与组合器425的第二非反相输入相连接。组合器425的输出在信号通信上与去块滤波器465的第二输入和帧内预测模块460的第一输入相连接。去块滤波器465的第二输出在信号通信上与参考画面缓冲器480的第一输入相连接。参考画面缓冲器480的输出在信号通信上与运动补偿器470的第二输入相连接。
熵解码器445的第二输出在信号通信上与运动补偿器470的第三输入和去块滤波器465的第一输入相连接。熵解码器445的第三输出在信号通信上与解码器控制器405的输入相连接。解码器控制器405的第一输出在信号通信上与熵解码器445的第二输入相连接。解码器控制器405的第二输出在信号通信上与逆变换器和逆量化器450的第二输入相连接。解码器控制器405的第三输出在信号通信上与去块滤波器465的第三输入相连接。解码器控制器405的第四输出在信号通信上与帧内预测模块460的第二输入、运动补偿器470的第一输入以及参考画面缓冲器480的第二输入相连接。
运动补偿器470的输出在信号通信上与开关497的第一输入相连接。帧内预测模块460的输出在信号通信上与开关497的第二输入相连接。开关497的输出在信号通信上与组合器425的第一非反相输入相连接。
输入缓冲器410的输入可用作解码器400的用于接收输入比特流的输入。去块滤波器465的第一输出可用作解码器400的用于输出输出画面的输出。
根据本原理，我们提出一种用于数据删减的新方案，以便减小压缩视频比特速率，同时在解码器端保持解码高得多的解码和重建的画面的质量。在关于实施例的进一步的细节中，在压缩之前将原始图像/画面删减为更小的尺寸，然后在解码之后将其内插为其原始尺寸。这一内插使用关于在数据删减步骤期间删减了哪些线、片段或区域的信息，以便使视频图像/画面返回其原始尺寸。在编码之前，通过根据若干种可能的评估方案之一在空间域中丢弃线、片段和/或区域来执行删减，然后在将比特流解码回空间域之后恢复这些线、片段和/或区域。在实施例中，使用边缘指导内插来将解码画面重建为其原始尺寸。由于我们避免对图像/视频画面中的剩余像素进行滤波，因此重建的画面可以从较低的比特率获得较高的质量。
在一个实施例中，按照只丢弃行或列的方式执行数据删减，因此在这些区域中只需要沿一个方向进行上采样。尽管在这样的上下文中进行了描述，但是对于本领域和相关领域技术人员来说显而易见的是：在编码之前也可以使用在空间域中丢弃多个部分(section)的其它手段，同时保持本原理的精神。因此，所丢弃的线可以是行或列，但是不仅仅限于前面所述。例如，取代线以及/或者除了线之外，所丢弃的线可以是对角线或者可以是非线性曲线。此外，在要删减的必要单元不是空间域的线或曲线、而是片段或区域的情况下，相同的原理将适用，并且处于本原理的范围内。因此，在这里在线的上下文中提供的对于本原理的描述不应当如此将本发明的范围仅仅限制为线，而是任何对于在编码之前要丢弃(因此在解码之后恢复)的空间域中的线、曲线、部分和/或区域的选择。因此，给出在这里提供的本原理的教导，本原理的这些和其它变化由此被想到，并且能够容易地由本领域和相关领域普通技术人员实现，同时保持本原理的精神。应当认识到，如这里使用的，术语“区域”可以表示线、曲线、部分和/或区域中的一种或多种。
出于说明的目的，我们关注如何调整新的边缘指导内插(NEDI，具体地，NEDI-4)以进行内插。转到图5A，通过参考标号500总地指示涉及NEDI-4和NEDI-8的高阶边缘指导内插的模型参数。如这里示出的，使用梅花形子格点(quincunx sub-lattice)执行两个回合(pass)。在第一回合中，对于任意四个最近的低分辨率像素的交叉点处的高分辨率像素，通过使用自适应四阶内插器从其四个最近的像素来对所述高分辨率像素进行内插。在第二回合中，使用所述低分辨率像素和在第一回合中内插的像素，利用相同的算法来对剩余的高分辨率像素进行内插。从较低分辨率模型参数估计内插器的高分辨率模型参数。
数据删减
通过丢弃画面中的线来实现数据删减。特定的情况将是该线为直线。在该情况下，线可以是行或列、或者任何有方向的直线(如在图6中看到的)。转到图6，通过参考标号600总地指示通过丢弃任意线来进行数据删减的示例。数据删减600涉及帧610、被删减的线620和被删减的曲线630。
转到图7，通过参考标号700总地指示通过丢弃一帧中的列和行来进行数据删减的示例。数据删减700涉及帧710、被丢弃的列720和被丢弃的行730。
转到图8，通过参考标号800总地指示通过对于整个画面组(GOP)和/或场景丢弃相同的列和行来进行数据删减的示例。数据删减800涉及第一帧810、中间帧820和最后一帧830、被丢弃的行840和被丢弃的列850。
转到图9A，通过参考标号900总地表示用于指示公知的Akiyo序列的第一帧中的被丢弃的列和行的线。转到图9B，通过参考标号950总地指示与图9A的示例相对应的删减后的帧。
在解码器处我们需要知道被丢弃的线的位置，这是因为解码器需要对缺失的像素进行内插。在用信号通知被丢弃的线的像素的位置和跟踪该被丢弃的线的开销之间存在着折衷。在一个实施例中，我们只丢弃列和行，以便显著减小指示该线的开销。在此情况下，仅使用每行/列1比特来跟踪，从而指示所述线是否被丢弃(如在丢弃一帧中的列和行的图7中、在丢弃一个GOP/场景中的列和行的图8中、在具有指示被丢弃的列和行的白线的图9A中、以及在用于删减后的帧的图9B中看到的)。在另一实施例中，我们只丢弃奇数线，并且保持偶数线不动。在一个实施例中，一个GOP/场景中的所有画面具有相同的丢弃模式，以便进一步减小开销。为了决定将首先丢弃哪条线，在一个实施例中，我们假设不进行压缩，并且我们使用失真标准。我们首先设定最终目标。该目标可以是失真、丢弃像素的百分比和/或任何复杂性限制。当然，给出在这里提供的本原理的教导，所述目标不限于前面所述，因此根据本原理，也可以使用其它目标，同时保持本原理的精神。在一个实施例中，假定丢弃一条线，我们对被丢弃的线进行内插，而不考虑压缩。然后，我们比较内插的线与原始图像中的相同线的MSE(均方误差)。具有最小MSE的线被选择为首先被丢弃。在另一实施例中，我们考虑失真和线的比特率二者。在一个实施例中，线的比特率可以使用其方差来近似。
最佳数据删减实施例
转到图10，通过参考标号1000来总地指示基于数据删减的压缩的示例系统。系统1000包括数据删减器1010、数据存储器或压缩器1020、以及内插器1030。尽管被作为分离的元件示出，但是数据删减器1010、数据存储器或压缩器1020、或内插器1030中的一个或多个可以被组合成集成元件。例如，在实施例中，数据删减器1010可以被包括在数据存储器或压缩器1020中。数据存储器或压缩器1020可被视为用于本原理的目的的编码器。尺寸为M×N的原始帧I被删减成较小尺寸(M-Mp)×(N-NP)的帧P，其中Mp和Np分别是被丢弃的行和列的数目。数据删减的目的在于减少表示所存储或压缩的帧P’的比特的数目。然后，将P’内插为I’以便重建为原始帧尺寸。这里考虑的压缩级是MPEG-4 AVC标准编解码器，其具有图3所示的编码器和图4所示的解码器。然而，如上所述，本原理不仅仅限于MPEG-4 AVC标准，因此可以应用于其它视频编码标准、建议及其扩展，同时保持本原理的精神。
只考虑丢弃偶数行和列，而保留奇数行和列以用于以后的内插。转到图11，通过参考标号1100总地指示用于数据删减阶段的示例系统。系统1100包括抽选器1110和内插器1120。在数据删减阶段，对于仅丢弃列、仅丢弃行、以及丢弃列和行二者的各个情况，原始帧I被抽选器1110按照1×2、2×1和2×2的比率抽选为低分辨率帧Il。然后，内插器1120将帧Il内插为高分辨率(HR)帧Ih。由于内插，重建的帧与其原始帧不同。与I中对应的行和列相比，Ih中具有最小误差的行和列被选择丢弃。所述均方误差(MSE)被定义为Ih和I之间的均方误差。
给出目标MSEmax，优化数据删减以丢弃大多数像素，同时仍然保持整体MSE小于MSEmax。被丢弃的行和列的位置分别利用αm和αn来表示。如果αi的值为1，则第i偶数线(行或列)被丢弃，否则其将被保留。这些指示符被存储为编码的比特流中的附加信息。一条被丢弃的线的均方线误差(MSLE)被定义为仅仅对于该线上的像素在Ih和I之间的均方误差。与具有较高MSLE的线相比，具有较小MSLE的线具有更高的被丢弃的优先级。假定丢弃具有最小的MSLE的Mp行和Np列，并且这些线的最大MSLE为MSLEmax。整体MSE成为所有被丢弃的像素的平均MSE。例如，基于被丢弃的行的数目Mp、被丢弃的列的数目Np、以及MSLEmax来获得MSE的上限。作为找出最佳数据删减方案的条件，该上限应当小于MSEmax。
转到图12，通过参考标号1200总地指示用于最佳数据删减的示例方法。方法1200包括开始块1201，其将控制传递给功能块1203。功能块1203输入帧或GOP，并且将控制传递到功能块1206、功能块1209和功能块1212。功能块1206去除偶数行，并且将控制传递到功能块1215。功能块1215基于例如NEDI-6执行内插，并且将控制传递到功能块1224。功能块1224求出原始行和重建的行之间的误差(1)，并且将控制传递到功能块1233。
功能块1209去除偶数行，并且将控制传递到功能块1218。功能块1218基于例如NEDI-6执行内插，并且将控制传递到功能块1227。功能块1227求出原始列和重建的列之间的误差(2)，并且将控制传递到功能块1233。
功能块1212去除偶数行和列，并且将控制传递到功能块1221。功能块1221基于例如NEDI-8执行内插，并且将控制传递到功能块1230。功能块1230求出原始行/列和重建的行/列之间的误差(3)，并且将控制传递到功能块1233。
功能块1233设置所丢弃的行的数目(no.)M_d＝0，设置被丢弃的列的数目N_d＝0，设置最多被丢弃的像素Pel＝0，并且将控制传递到判定块1236。判定块1236确定是否M_d＝0。如果是，则将控制传递到功能块1242。否则，将控制传递到判定块1239。
功能块1242选择丢弃具有(1)(即，功能块1224计算的误差)中的最小误差的N_d列，并且将控制传递到功能块1246。功能块1246计算误差MSE和所丢弃的像素的数目Pel，并且将控制传递到判定块1252。判定块1252确定是否MSE＜MSE_max并且Pel＞Pel_max。如果是，则将控制传递到功能块1255。否则，将控制传递到功能块1270。
功能块1255设置Pel_max＝Pel，设置M_d_opt＝M_d，设置N_d_opt＝N_d，并且将控制传递到功能块1258。功能块1258确定是否N_d＜N。如果是，则将控制传递到功能块1264。否则，将控制传递到功能块1261。
功能块1264设置N_d＝N_d+16，并且将控制返回给判定块1236。
功能块1261确定是否M_d＜M。如果是，则将控制传递到功能块1267。否则，将控制传递到功能块1270。
判定块1239确定是否N_d＝0。如果是，则将控制传递到功能块1245。否则，将控制传递到功能块1249。
功能块1245选择丢弃具有(2)(即，功能块1227计算的误差)中的最小误差的M_d列，并且将控制传递到功能块1246。
功能块1249选择丢弃具有(3)(即，功能块1230计算的误差)中的最小误差的M_d列和N_d行，并且将控制传递到功能块1046。
功能块1270输出M_d_opt和N_d_opt，并且将控制传递到结束块1299。
转到图13，通过参考标号1300总地指示用于最佳数据恢复的示例方法。方法1300包括开始块1305，其将控制传递到功能块1310。功能块1310输入被删减的帧和/或画面组(GOP)以及被丢弃的帧的列表，并且将控制传递到功能块1315。功能块1315将帧尺寸重新确定为其原始尺寸，并且将控制传递到循环限制块1320。循环限制块1320在被删减的数据上循环，并且将控制传递到判定块1325。判定块1325确定是否已经去除偶数行和列。如果是，则将控制传递到功能块1330。否则，将控制传递到判定块1340。
功能块1330利用NEDI-8对行和列进行内插，并且将控制传递到循环限制块1335。
循环限制块1335结束该循环，并且将控制传递到功能块1360。功能块1360输出重建的帧/GOP，并且将控制传递到结束块1399。
判定块1340确定是否已经去除了偶数行。如果是，则将控制传递到功能块1345。否则，将控制传递到判定块1350。
功能块1345利用NEDI-6对行进行内插，并且将控制传递到循环限制块1335。
判定块1350确定是否已经去除了偶数列。如果是，则将控制传递到功能块1355。否则，将控制传递到循环限制块1335。
功能块1355利用NEDI-6对列进行内插，并且将控制传递到循环限制块1335。
高阶边缘指导内插
通过内插，我们的意图是能够从缺失的像素的周围像素或时间相关的帧估计/填充缺失的像素的任何方法。这样的方法可以是诸如双三次方法的经典内插、诸如NEDI的较新的方法、或者诸如修描(inpainting)的其它种类的方法，其根据缺失的像素的环境来填充所述缺失的像素的空洞。当然，根据本原理的内插不仅仅限于前述内插技术，因此也可以使用其它内插技术，同时保持本原理的精神。
对于解码器处的内插，我们提出应用高阶边缘指导内插，因此可以适应更多方向。我们的方法不同于在现有技术方案中描述的方法，在现有技术方案中描述的方法涉及低分辨率图像的协方差，其只使用4个相邻像素，并且只能应用于2×2的尺寸增大比率。我们将其适配为用于所提出的数据删减方案。在实施例中，将六阶和八阶边缘指导内插分别用于只在一个维度上丢弃线(仅仅行或仅仅列)以及在2个维度上丢弃线(行和列二者)的情况。
实施例：NEDI-6
讨论用于只丢弃列的算法，因为相同的算法可以应用于只丢弃列的情况和只丢弃行的情况。首先，提取与原始帧I中的奇数列相对应的P’的列，以便形成尺寸为M×N/2的低分辨率帧P’l。P’l的列被映射到尺寸为M×N的HR帧P’h的奇数列。如在这里解释的，从奇数列通过六阶内插来对P’h的偶数列进行内插。
所内插的像素是如图5B所示的加权的6个相邻的周围像素之和。转到图5B，通过参考标号500总地指示涉及NEDI-6的高阶面向边缘的内插的模型参数。这些权重是高分辨率帧的模型参数。在模型参数在局部窗口内恒定的假设下，通过使内插的像素和原始像素之间的MSE最小来获得最佳模型参数。应用几何二元性假设，对不同的尺度(scale)将模型参数视为恒定，并且可以从低分辨率像素估计所述模型参数。如图5B所示，在可以获得原始像素和内插的像素的情况下，低分辨率帧的模型参数可以通过使二者之间的误差来最小获得。然后，使用这些低分辨率模型参数作为高分辨率模型参数来对缺失的高分辨率像素进行内插。最后，使用列指示符来从压缩的被删减的帧或内插的帧中选择像素，以便形成最后的重建的帧。如果列指示符值为1，则从内插的帧取出重建的帧。否则，如果列指示符值为0，则从压缩的被删减的帧取出重建的列。
实施例：NEDI-8
与NEDI-6相似，提取与原始帧I中的下采样比率2×2的低分辨率像素相对应的P’中的像素以便形成尺寸为的LR帧P’l。对于第一回合，使用NEDI-4执行内插，对于第二回合，使用NEDI-8执行内插。在第二回合中可以获得所有8个相邻像素的情况下，实施NEDI-8以便从4个方向获得额外的信息。这一回合的优点是可以直接从其高分辨率像素来估计模型参数，因此减少了NEDI-4的过拟合问题。将NEDI-8应用于所有缺失的高分辨率像素以便保持一致。用于HR尺度的四阶模型参数h4和八阶模型参数h8在图3A中示出。通过与用于NEDI-6的算法相似的算法来计算最佳的h8。
现在将描述本发明的很多伴随的优点/特征中的一些，所述优点/特征中的一些已经在上面提到。例如，一个优点/特征是一种装置，其具有数据删减器，用于在通过编码进行压缩之前以及在准备通过编码进行压缩时对画面进行预处理。该数据删减器选择性地在空间域中去除所述画面中的至少一个区域。
另一个优点/特征是如上所述的具有数据删减器的装置，其中所述数据删减器被包括在编码器中。
另一个优点/特征是如上所述的具有数据删减器的装置，还包括编码器，该编码器耦接到数据删减器，用于对被去除了至少一个区域的画面进行编码。
另一个优点/特征是如上所述的具有数据删减器的装置，其中指示画面中的所述至少一个区域的位置的附加信息被显性地或隐性地发送给解码器或其它设备。
另一个优点/特征是如上所述的具有数据删减器的装置，其中所述至少一个区域包括直线、非线性曲线和区域中的至少一个。
此外，另一个优点/特征是如上所述的具有数据删减器的装置，其中数据删减器只去除偶数或奇数线。
此外，另一个优点/特征是如上所述的具有数据删减器的装置，其中所述画面被包括在画面组中，并且画面组中的所有画面被分配相同的去除模式。
此外，另一个优点/特征是如上所述的具有数据删减器的装置，其中响应于对图像失真量度、速率失真量度、丢弃像素量度和复杂性量度中的至少一个的评估而确定被选择性地去除的至少一个区域。
此外，另一个优点/特征是如上所述的具有数据删减器的装置，其中使用六阶内插来在一个维度上去除至少一个区域，并且使用八阶内插来在两个维度上去除至少一个区域。
基于这里的教导，本领域普通技术人员可以容易地确定本原理的这些和其它特征和优点。应当理解，本原理的教导可以用硬件、软件、固件、专用处理器或其组合的各种形式实现。
更优选地，作为硬件和软件的组合来实现本原理的教导。此外，可以作为在程序存储单元上有形地包含的应用程序来实现所述软件。所述应用程序可以被上载到包括任何适当架构的机器并且由其执行。优选地，在计算机平台上实现所述机器，该计算机平台具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口的硬件。该计算机平台也可以包括操作系统和微指令代码。在此描述的各种过程和功能可以是可以由CPU执行的微指令代码的一部分或者应用程序的一部分、或者其任意组合。此外，各种其它外围单元可以连接到该计算机平台，例如附加的数据存储单元和打印单元。
还应当理解，因为优选地用软件来实现附图中示出的一些组成系统组件和方法，所以所述系统组件或处理功能块之间的实际连接可以根据本原理被编程的方式而不同。给出这里的教导，本领域普通技术人员将能够想到本原理的这些和类似的实现或配置。
尽管在这里参照附图描述了说明性实施例，但是应当理解，本原理不限于那些精确的实施例，并且本领域技术人员可以在其中进行各种改变和修改而不背离本原理的范围或精神。所有这样的改变和修改意欲被包括在由所附权利要求阐述的本原理的范围内。

Claims (34)

1.一种编码装置，包括：
数据删减器(110，1010)，用于在通过编码进行压缩之前以及在准备通过编码进行压缩时预处理画面，其中所述数据删减器基于空间域而不是基于频域，仅仅选择性地去除所述画面的部分，每个所述部分包括至少一个区域、线或片段，每个线或片段包括所述画面中的对角线或非线性曲线，并且使所述画面的剩余部分被编码，以及
其中优化所述数据删减器以去除尽可能多的像素，同时仍然保持均方误差值小于目标值。
2.如权利要求1所述的装置，其中所述数据删减器(110，1010)被包括在编码器(120，300)中。
3.如权利要求1所述的装置，还包括编码器(120，300)，该编码器耦接到所述数据删减器，用于对被去除了至少一个区域的画面进行编码。
4.如权利要求1所述的装置，其中指示画面中的所述至少一个区域的位置的附加信息被显性地或隐性地发送给解码器或其它设备。
5.如权利要求1所述的装置，其中所述至少一个区域包括直线、非线性曲线和区域中的至少一个。
6.如权利要求1所述的装置，其中所述数据删减器(110，1010)只去除偶数或奇数线。
7.如权利要求1所述的装置，其中所述画面被包括在画面组中，并且该画面组中的所有画面被分配相同的去除模式。
8.如权利要求1所述的装置，其中响应于对图像失真量度、速率失真量度、丢弃像素量度和复杂性量度中的至少一个的评估而确定被选择性地去除的至少一个区域。
9.如权利要求1所述的装置，其中使用六阶内插来在一个维度上去除至少一个区域，并且使用八阶内插来在两个维度上去除至少一个区域。
10.一种编码方法，包括：
在通过编码进行压缩之前以及在准备通过编码进行压缩时预处理画面，其中所述预处理包括使用具有处理器的数据删减器基于空间域而不是基于频域，仅仅选择性地去除所述画面的部分，每个所述部分包括至少一个区域、线或片段，每个线或片段包括所述画面中的对角线或非线性曲线，并且使所述画面的剩余部分被编码，
其中优化所述数据删减器以去除尽可能多的像素，同时仍然保持均方误差值小于目标值。
11.如权利要求10所述的方法，其中所述方法被包括在编码器中。
12.如权利要求10所述的方法，还包括对被去除了至少一个区域(220)的画面进行编码(220)。
13.如权利要求10所述的方法，其中指示画面中的所述至少一个区域的位置的附加信息被显性地或隐性地发送给解码器或其它设备。
14.如权利要求10所述的方法，其中所述至少一个区域包括直线、非线性曲线和区域中的至少一个。
15.如权利要求10所述的方法，其中所述预处理只去除偶数或奇数线。
16.如权利要求10所述的方法，其中所述画面被包括在画面组中，并且该画面组中的所有画面被分配相同的去除模式(1203)。
17.如权利要求10所述的方法，其中响应于对图像失真量度、速率失真量度、丢弃像素量度和复杂性量度中的至少一个的评估而确定被选择性地去除的至少一个区域(1246，1252)。
18.如权利要求10所述的方法，其中使用六阶内插来在一个维度上去除至少一个区域，并且使用八阶内插来在两个维度上去除至少一个区域(1215，1221)。
19.一种解码装置，包括：
数据恢复器(140)，用于接收在通过解码进行解压缩之后的解压缩的画面，并且通过基于空间域而不是基于频域，仅仅选择性地恢复所述画面的部分，来对解压缩的画面进行后处理，每个所述部分包括至少一个区域、线或片段，每个线或片段包括所述解压缩的画面中的对角线或非线性曲线，并且使所述画面的剩余部分被编码，以及
其中根据指示在先前执行的编码过程之前的至少一个区域的去除的信息，优化所述数据删减器以去除尽可能多的像素，同时仍然保持均方误差值小于目标值。
20.如权利要求19所述的装置，其中所述数据恢复器(140)被包括在解码器(130，400)中。
21.如权利要求19所述的装置，还包括解码器(130，400)，其耦接到所述数据恢复器(140)，用于将被去除了至少一个区域的画面解码。
22.如权利要求19所述的装置，其中，所述数据恢复器接收从解码器或其它设备显性地或隐性地接收的、指示画面中的至少一个区域的位置的附加信息。
23.如权利要求19所述的装置，其中所述至少一个区域包括直线、非线性曲线和区域中的至少一个。
24.如权利要求19所述的装置，其中所述数据恢复器只恢复偶数或奇数线。
25.如权利要求19所述的装置，其中所述画面被包括在画面组中，并且该画面组中的所有画面被分配相同的去除模式。
26.如权利要求19所述的装置，其中使用六阶内插来在一个维度上恢复至少一个区域，并且使用八阶内插来在两个维度上恢复至少一个区域。
27.一种解码方法，包括：
接收在通过解码进行解压缩之后的解压缩的画面；以及
使用具有处理器的数据恢复器，通过基于空间域而不是基于频域，仅仅选择性地恢复所述画面的部分，来对解压缩的画面进行后处理，每个所述部分包括至少一个区域、线或片段，每个线或片段包括所述解压缩的画面中的对角线或非线性曲线，并且使所述画面的剩余部分被编码，
其中根据指示在先前执行的编码过程之前的至少一个区域的去除的信息，优化所述数据删减器以去除尽可能多的像素，同时仍然保持均方误差值小于目标值。
28.如权利要求27所述的方法，其中，所述方法被包括在解码器中。
29.如权利要求27所述的方法，还包括在接收步骤之前对被去除了至少一个区域的画面进行解码(230，1300)。
30.如权利要求27所述的方法，其中所述数据恢复器接收从解码器或其它设备显性地或隐性地接收的、指示画面中的所述至少一个区域的位置的附加信息。
31.如权利要求27所述的方法，其中所述至少一个区域包括直线、非线性曲线和区域中的至少一个(1300)。
32.如权利要求27所述的方法，其中所述后处理只恢复偶数或奇数线。
33.如权利要求27所述的方法，其中所述画面被包括在画面组中，并且该画面组中的所有画面被分配相同的去除模式(1310)。
34.如权利要求27所述的方法，其中使用六阶内插来在一个维度上恢复至少一个区域，并且使用八阶内插来在两个维度上恢复至少一个区域(1345，1330)。
CN200980145861.6A 2008-09-18 2009-09-01 用于视频图像删减的方法和装置 Active CN102217314B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9812508P 2008-09-18 2008-09-18
US61/098,125 2008-09-18
PCT/US2009/004950 WO2010033151A1 (en) 2008-09-18 2009-09-01 Methods and apparatus for video imaging pruning

Publications (2)

Publication Number Publication Date
CN102217314A CN102217314A (zh) 2011-10-12
CN102217314B true CN102217314B (zh) 2017-07-28

Family

ID=41582015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980145861.6A Active CN102217314B (zh) 2008-09-18 2009-09-01 用于视频图像删减的方法和装置

Country Status (8)

Country Link
US (1) US9571857B2 (zh)
EP (1) EP2335419B1 (zh)
JP (2) JP2012503416A (zh)
KR (3) KR20160114186A (zh)
CN (1) CN102217314B (zh)
BR (1) BRPI0918044A2 (zh)
TW (1) TWI499310B (zh)
WO (1) WO2010033151A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011361A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 샘플링을 이용한 영상 데이터 인코딩／디코딩 장치 및 인코딩／디코딩 방법
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
KR101791919B1 (ko) 2010-01-22 2017-11-02 톰슨 라이센싱 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
US20130163679A1 (en) * 2010-09-10 2013-06-27 Dong-Qing Zhang Video decoding using example-based data pruning
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033967A1 (en) * 2010-09-10 2012-03-15 Thomson Licensing Video decoding using block- based mixed - resolution data pruning
US20120275511A1 (en) * 2011-04-29 2012-11-01 Google Inc. System and method for providing content aware video adaptation
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9197888B2 (en) * 2012-03-13 2015-11-24 Dolby Laboratories Licensing Corporation Overlapped rate control for video splicing applications
CN103379348B (zh) * 2012-04-20 2016-11-16 乐金电子(中国)研究开发中心有限公司 一种编码深度信息时的视点合成方法、装置及编码器
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
IL262845B (en) * 2016-05-16 2022-08-01 Numeri Ltd A new pyramid algorithm for video compression and analysis
KR102010479B1 (ko) * 2018-01-15 2019-08-13 옵티시스 주식회사 비디오 월 시스템
JP6985609B2 (ja) * 2018-05-21 2021-12-22 日本電信電話株式会社 符号化装置、画像補間システム及び符号化プログラム
WO2020037566A1 (zh) * 2018-08-22 2020-02-27 深圳配天智能技术研究院有限公司 一种图像处理、匹配方法、装置及存储介质
US11432009B2 (en) * 2019-07-02 2022-08-30 Intel Corporation Techniques for encoding and decoding immersive video
US11477429B2 (en) 2019-07-05 2022-10-18 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
EP3968635A1 (en) 2020-09-11 2022-03-16 Axis AB A method for providing prunable video
EP3968636A1 (en) * 2020-09-11 2022-03-16 Axis AB A method for providing prunable video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
EP1401211A2 (en) * 2002-09-04 2004-03-24 Microsoft Corporation Multi-resolution video coding and decoding

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2537269B2 (ja) 1988-07-28 1996-09-25 株式会社竹中工務店 危険薬品使用工場等用クリ―ンル―ム
JP2856219B2 (ja) 1990-12-28 1999-02-10 ソニー株式会社 画像データの符号化装置及び符号化方法
US5293434A (en) * 1991-04-10 1994-03-08 International Business Machines Corporation Technique for use in a transform coder for imparting robustness to compressed image data through use of global block transformations
JPH07177507A (ja) * 1993-12-17 1995-07-14 Victor Co Of Japan Ltd 画像データ圧縮装置
US5867602A (en) * 1994-09-21 1999-02-02 Ricoh Corporation Reversible wavelet transform and embedded codestream manipulation
US6873734B1 (en) * 1994-09-21 2005-03-29 Ricoh Company Ltd Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
US5966465A (en) * 1994-09-21 1999-10-12 Ricoh Corporation Compression/decompression using reversible embedded wavelets
US6195465B1 (en) * 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US6181825B1 (en) * 1994-12-02 2001-01-30 Comsat Corporation Methods for performing 2-dimensional maximum differences coding and decoding during real-time facsimile image compression and apparatus therefor
JPH08331498A (ja) * 1995-06-01 1996-12-13 Asahi Optical Co Ltd 画像データ再圧縮装置
JP3540447B2 (ja) * 1995-07-20 2004-07-07 三洋電機株式会社 動画像符号化装置及び復号装置
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
TW364107B (en) * 1996-03-25 1999-07-11 Trw Inc Method and system for three-dimensional compression of digital video signals
JP3747970B2 (ja) 1996-12-24 2006-02-22 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
US5928313A (en) * 1997-05-05 1999-07-27 Apple Computer, Inc. Method and apparatus for sample rate conversion
US5995923A (en) * 1997-06-26 1999-11-30 Nortel Networks Corporation Method and apparatus for improving the voice quality of tandemed vocoders
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
US6195394B1 (en) * 1998-11-30 2001-02-27 North Shore Laboratories, Inc. Processing apparatus for use in reducing visible artifacts in the display of statistically compressed and then decompressed digital motion pictures
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
JP2001359096A (ja) 1999-06-08 2001-12-26 Matsushita Electric Ind Co Ltd 画像符号化装置
KR20010094694A (ko) * 2000-04-06 2001-11-01 윤종용 티시엠 복호장치 및 방법
DE10048735A1 (de) * 2000-09-29 2002-04-11 Bosch Gmbh Robert Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu
IL158156A0 (en) * 2001-03-30 2004-03-28 Yissum Res Dev Co Discriminative feature selection for data sequences
US7028060B2 (en) * 2001-05-07 2006-04-11 Hrl Laboratories Llc Method and apparatus for jointly optimizing linear signal processing filters with subband filters
DE60230666D1 (de) * 2001-11-29 2009-02-12 Panasonic Corp Verfahren zur beseitigung von kodierungsverzerrung und verfahren zur videokodierung und -dekodierung
JP3797209B2 (ja) * 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
US6829579B2 (en) * 2002-01-08 2004-12-07 Dilithium Networks, Inc. Transcoding method and system between CELP-based speech codes
US7133368B2 (en) 2002-02-01 2006-11-07 Microsoft Corporation Peer-to-peer method of quality of service (QoS) probing and analysis and infrastructure employing same
DE60332328D1 (de) * 2002-03-13 2010-06-10 Imax Corp Systeme und verfahren für ein digitales remastering oder anderweitiges modifizieren von beweglichen bildern oder anderen bildsequenzdaten
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
JP4762486B2 (ja) 2002-09-04 2011-08-31 マイクロソフト コーポレーション マルチ・リゾルーション・ビデオ符号化および復号化
JP3946177B2 (ja) * 2003-08-29 2007-07-18 三洋電機株式会社 動画像符号化装置及び復号装置
EP1698167A1 (en) 2003-12-17 2006-09-06 Koninklijke Philips Electronics N.V. Image format conversion
US8130825B2 (en) * 2004-05-10 2012-03-06 Nvidia Corporation Processor for video data encoding/decoding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR100648308B1 (ko) * 2004-08-12 2006-11-23 삼성전자주식회사 해상도 변환방법 및 장치
US8738565B2 (en) * 2005-11-07 2014-05-27 International Business Machines Corporation Collecting data from data sources
US8112399B2 (en) * 2005-11-07 2012-02-07 International Business Machines Corporation Method and apparatus for configurable data aggregation in a data warehouse
US20070112876A1 (en) * 2005-11-07 2007-05-17 Blaisdell Russell C Method and apparatus for pruning data in a data warehouse
US20070127824A1 (en) * 2005-12-07 2007-06-07 Trw Automotive U.S. Llc Method and apparatus for classifying a vehicle occupant via a non-parametric learning algorithm
GB2435140B (en) * 2006-02-13 2011-04-06 Snell & Wilcox Ltd Sport action coding
EP1837826A1 (en) * 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
US20070258012A1 (en) 2006-05-04 2007-11-08 Syntax Brillian Corp. Method for scaling and cropping images for television display
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US7903894B2 (en) * 2006-10-05 2011-03-08 Microsoft Corporation Color image coding using inter-color correlation
JP2008123086A (ja) 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
US20080120676A1 (en) * 2006-11-22 2008-05-22 Horizon Semiconductors Ltd. Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
KR20080071452A (ko) * 2007-01-30 2008-08-04 삼성전자주식회사 리스트 생성용 ｇｕｉ 제공방법 및 이를 적용한 영상기기
US20090299990A1 (en) * 2008-05-30 2009-12-03 Vidya Setlur Method, apparatus and computer program product for providing correlations between information from heterogenous sources
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
US8543884B2 (en) * 2009-06-16 2013-09-24 Qualcomm Incorporated Communications channel parallel interleaver and de-interleaver

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
EP1401211A2 (en) * 2002-09-04 2004-03-24 Microsoft Corporation Multi-resolution video coding and decoding

Also Published As

Publication number Publication date
JP2012503416A (ja) 2012-02-02
US20110170615A1 (en) 2011-07-14
TWI499310B (zh) 2015-09-01
KR20170102033A (ko) 2017-09-06
US9571857B2 (en) 2017-02-14
CN102217314A (zh) 2011-10-12
BRPI0918044A2 (pt) 2015-12-01
KR20160114186A (ko) 2016-10-04
WO2010033151A1 (en) 2010-03-25
JP5907941B2 (ja) 2016-04-26
JP2014060805A (ja) 2014-04-03
KR20110059766A (ko) 2011-06-03
EP2335419B1 (en) 2020-11-04
KR101915425B1 (ko) 2018-11-05
EP2335419A1 (en) 2011-06-22
TW201031215A (en) 2010-08-16

Similar Documents

Publication Publication Date Title
CN102217314B (zh) 用于视频图像删减的方法和装置
CN101390401B (zh) 借助伪影评价的提高的图像/视频质量
JP2022008296A (ja) 省略符号化を用いた映像符号化及び復号化装置及びその方法
JP5364820B2 (ja) フィルタを選択する装置及び方法
JP5330647B2 (ja) 適応参照画像の発生
CN102986220B (zh) 视频信号的编解码器及方法和视频编解码器设备
KR20120118477A (ko) 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
KR101906614B1 (ko) 모션 보상 예제 기반 초해상도를 사용하는 비디오 디코딩
CN108289224B (zh) 一种视频帧预测方法、装置及自动补偿神经网络
JP2013537381A5 (zh)
CN111510739B (zh) 一种视频传输方法及装置
CN108235020A (zh) 一种面向量化分块压缩感知的螺旋式逐块测量值预测方法
CN108370445A (zh) 用于预测编码的自适应锐化滤波器
CN111800629A (zh) 视频解码方法、编码方法以及视频解码器和编码器
EP3879829A1 (en) Method and device for coding an image block, corresponding method and decoding device
Ma et al. Perceptual image compression via adaptive block-based super-resolution directed down-sampling
EP3672243A1 (en) Method and device for encoding image according to low-quality coding mode, and method and device for decoding image
CN101217667B (zh) 四分之一像素插值方法及装置
US20240073425A1 (en) Image encoding apparatus and image decoding apparatus both based on artificial intelligence, and image encoding method and image decoding method performed by the image encoding apparatus and the image decoding apparatus
WO2022246809A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
EP2429191A1 (en) Coding of depth or disparity images
US20110305276A1 (en) Iterative computation of adaptive interpolation filter
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190201

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190201

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING