CN102172026B - 基于特征的视频压缩 - Google Patents

基于特征的视频压缩 Download PDF

Info

Publication number
CN102172026B
CN102172026B CN200980139619.8A CN200980139619A CN102172026B CN 102172026 B CN102172026 B CN 102172026B CN 200980139619 A CN200980139619 A CN 200980139619A CN 102172026 B CN102172026 B CN 102172026B
Authority
CN
China
Prior art keywords
feature
video
frame
model
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980139619.8A
Other languages
English (en)
Other versions
CN102172026A (zh
Inventor
C·P·佩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euclid Discoveries LLC
Original Assignee
Euclid Discoveries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euclid Discoveries LLC filed Critical Euclid Discoveries LLC
Publication of CN102172026A publication Critical patent/CN102172026A/zh
Application granted granted Critical
Publication of CN102172026B publication Critical patent/CN102172026B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions

Abstract

提供处理视频数据的系统和方法。接收和处理具有一系列视频帧的视频数据。在所述视频帧中检测候选特征的一个或者多个实例。处理先前已解码的视频帧以识别所述候选特征的潜在匹配。当先前已解码的视频帧的大量部分包括所述候选特征的实例时，将所述候选特征的所述实例聚集到集合中。使用候选特征集合来创建基于特征的模型。基于特征的模型包括所述候选特征的实例的形变变化模型和外观变化模型。将基于特征的模型的压缩效率与常规视频压缩效率进行比较。

Description

基于特征的视频压缩
相关申请
本发明要求提交于2008年10月7日的美国临时申请No.61/103,362的优先权。而且，本申请是提交于2008年1月4日的申请No.12/522,322的部分继续申请，申请No.12/522,322要求提交于2007年1月23日的美国临时申请No.60/881,966的优先权，No.60/881,966与提交于2006年6月8日的美国临时申请No.60/811,890相关，且No.60/881,966为提交于2006年3月31日的美国申请No.11/396,010的部分继续申请，申请No.11/396,010是提交于2006年1月20日的美国申请No.11/336,366的部分继续申请，申请No.11/336,366为提交于2005年11月16日的美国申请No.11/280,625的部分继续申请，申请No.11/280,625为提交于2005年9月20日的美国请No.11/230,686的部分继续申请，申请No.11/230,686为提交于2005年7月28日的美国申请No.11/191,562的部分继续申请，现在美国专利No.7,158,680和美国专利申请No.11/396,010也要求提交于2005年3月31日的美国临时申请No.60/667,532以及提交于2005年4月13的美国临时申请No.60/670,951的优先权。通过引用将上述申请的全部教导结合于此。
背景技术
预测分割[主要]
常规视频压缩(例如MPEG-4以及H.264)具有这样的工具，其用于指定在运动补偿预测期间使用以便预测当前帧的多个参考帧。这些标准通常将参考帧限制为一个或者多个连续的前帧，且在一些情况下是先前已被解码的任何帧集合。通常，参考帧的数目是有限制的，而且选择过程可以在已解码帧的流中后退多远也是有限制的。
压缩感测(CS)
图像及视频压缩技术通常试图利用数据中的冗余，这允许在“少”量参数中捕获数据中最重要的信息。“少”相对于原始数据的大小而定义。事先并不知道哪些参数对于给定数据集而言是重要的。由此，常规的图像/视频压缩技术在选择将会产生最紧致编码的那些参数之前，将会计算(或者测量)相对大量的参数。举例来说，JPEG和JPEG2000图像压缩标准基于将图像像素转换成变换系数的线性变换(通常为离散余弦变换[DCT]或者离散小波变换[DWT])，由此得到与原始像素的数目相等的多个变换系数。在变换空间中，继而可以通过各种技术选择重要的系数。一个示例是标量量化。在极端情况下，标量量化等同于幅度阈值化。虽然DCT和DWT可以高效率地计算，但是在数据缩减之前计算完整变换的需要导致了低效率。该计算需要与用于这两个变换的输入数据的大小相等的多个测量。常规图像/视频压缩技术的这个特性使其不适于在要求高计算效率时使用。
常规压缩允许混合来自多个帧的多个匹配，以便预测当前帧的区域。混合通常是匹配的线性组合或者经过对数缩放的线性组合。这种双预测方法行之有效的一个示例是当从一个图像到另一图像存在随时间的衰落(fade)时。衰落的过程是两个图像的线性混合，并且有时可以使用双预测对该过程进行有效地建模。另外，MPEG-2内插模型允许对线性参数的内插，以便在多个帧内对双预测模型进行合成。
常规压缩允许指定一个或多个参考帧，据此可以得出对当前帧的编码的预测。虽然参考帧通常在时间上邻近当前帧，但是也可以在时间上邻近的帧的集合之外指定参考帧。
与常规基于变换的图像/视频压缩算法不同，压缩感测(CS)算法在测量(“感测”)步骤中直接应用数据中的大部分冗余。时域、空域和频域中的冗余是较高压缩率的主要贡献者。所有压缩感测算法的关键结果是：可以利用相对少量的、以及比常规压缩算法所要求的数量少得多的随机测量来感测可压缩信号。图像继而可以被精确且可靠地重建。给定已知的统计特性，可视信息的子集被用来推测其余数据。
给定的CS算法中所要求的测量的精确数目取决于信号的类型以及根据测量(系数)来重建信号的“恢复算法”。注意，CS算法以某种确定性对信号进行重建所需要的测量数目并不直接与算法的计算复杂性相关。举例来说，使用L1最小化来恢复信号的一类CS算法需要相对较小数目的测量，但是L1最小化算法非常慢(非实时)。因此，实用的压缩感测算法试图在所需要的测量数目与重建的精度和计算复杂性之间寻求平衡。与常规编解码器相比较，CS提供了完全不同的编解码器设计模型。
一般而言，典型CS算法中有三个主要步骤：(1)建立测量矩阵M；(2)使用测量矩阵进行数据测量，也被称为创建数据的编码；以及(3)根据编码恢复原始数据，也被称为解码步骤。恢复算法(解码器)可以是复杂的，并且因为在接收器处对计算能力的限制较少，因此总CS算法通常以其解码器命名。在现有技术中，存在对CS算法的三个感兴趣的实际应用：正交匹配追踪(OMP)、L1最小化(L1M)以及链追踪(CP)。一般地，对于大多数视频处理应用而言，L1M在计算上是低效的。较为高效的OMP和CP算法提供与L1M相同的大部分益处，并且因此，它们是针对L1M的大数应用的两种CS算法选择。
经由反向合成算法的图像对齐
Basri和Jacobs(″Lambertian Reflectances and Linear Subspaces，″IEEE Trans.Pattern Analysis and Machine Intelligence，2/03)，此后称作LRLS，已经证明：朗伯(Lambertian)对象(其表面反射各个方向的光)可以由基于球面调和函数的LRLS“基图像”的小(9个维度)线性子空间很好地逼近。可以对LRLS基图像进行可视化，以作为不同光照条件和纹理下的对象版本。由此，LRLS基图像依赖于对象的结构(通过其表面法线)、对象在其不同反射点处的漫反射系数以及光照模型(其遵循朗伯余弦定律，在方向上积分以产生球面调和函数)。在这个模型的假设下，9D子空间捕获对象图形中超过99％的能量强度。外观子空间的低维度指示数据中比可用于常规压缩方案更多的冗余。
反向合成算法(IC)首先作为针对2D运动估计和图像配准的Lucas-Kanade算法的有效实现而被提出。后续的实现已经使用IC算法将诸如主动外观模型和3D形变模型(3DMM)的3D模型拟合为脸部图像。
增量奇异值分解(ISVD)算法的应用
通常的维度缩减技术包括在保范(norm preserving)的基础上使用线性变换。SVD表示的缩减是指删除SVD中的某些奇异值/奇异向量配对，以产生计算上和表示上更加有效的数据表示。最常见地，通过将特定阈值之下的所有奇异值归零并且删除与之对应的奇异向量，SVD因数分解被有效地缩减。这一幅度阈值化产生缩减的SVD，其具有r个奇异值(r＜N)，从L2-范数的角度来看，它是数据矩阵D的最佳r维度逼近。缩减的SVD由以下给出：
D ^ = U r S r V r T 公式1
其中Ur为M×r，Sr为r×r对角矩阵，且Vr为N×r。
奇异值分解(SVD)是数据矩阵的因数分解，其自然地导致数据的最小化(紧致)描述。给定大小为M×N的矩阵D，SVD因数分解由D＝U*S*V’给出，其中U为(左)奇异向量的M×N的列正交矩阵，S为具有沿对角线的奇异值(s1，s2，...sN)的N×N对角矩阵，且V为(右)奇异向量的N×N正交矩阵。
紧致流形(manifold)预测
匹配追踪(MP)是一种用于导出有效信号表示的迭代算法。给定按照基函数(不一定是正交的)的词典D来表示信号向量s这一个问题，MP通过这里描述的迭代过程来选择用于该表示的函数。表示中的第一基函数(记为d1)被选择为与信号向量具有最大相关性的函数。接下来，通过从信号本身减去d1在信号上的投影而计算残差向量r1：r1＝s-(d1′*s)*d1。然后，表示中的下一函数(d2)被选择为与残差r1具有最大相关性的函数。通过从r1中减去d2在r1上的投影来形成另一残差r2。然后重复相同的过程，直到残差的范数下降到特定阈值之下。
正交匹配追踪(OMP)遵循与MP相同的迭代过程，区别在于执行附加步骤以确保残差与表示全集中已有的每个函数正交。虽然OMP递归比在MP中的递归复杂，但是附加计算确保了OMP在不超过Nd个步骤中收敛到解，其中Nd为词典D中函数的数目。
发明内容
本发明扩展了常规视频压缩，尤其是在可视现象的冗余超过常规视频编解码器的建模能力的情况下。通过利用鲁棒的计算机视觉和模式识别算法，本发明扩展并且有可以完全替代现有的常规视频压缩方法。具体地，本发明包括特征建模方法和系统，其关注于对视频的先前已解码的一个或者多个帧中出现的特征进行分割、规范化以及整合。与考虑较少帧、较小区域和较小像素的常规压缩相比较，基于特征的视频压缩考虑数目更多的先前已解码的帧，并且考虑在每个这样的帧内的较大区域和多得多的像素。
通过使用多个参考帧、宏块划分、子宏块划分以及运动补偿预测，常规压缩提供在宏块级的隐含形式的分割。另外，常规压缩利用运动补偿预测对出现在视频中的空间形变进行建模，并且利用变换编码对外观变化进行建模。本发明利用较为复杂的模型扩展这些相异信号元素的建模技术，该模型包括空间分割蒙板(mask)、规则网格形变、特征仿射运动、三维特征运动、三维光照以及其他计算机视觉和模式识别建模技术。注意，在本文通篇中，“个体模式”和“相异信号元素”是等价的。
本发明支持对视频信号的个体模式的识别和分割。在本发明中，使用在常规运动补偿预测中使用的参考帧处理的概念，来支持此识别和分割。常规运动补偿预测过程在宏块级选择来自一个或者多个参考帧的信号的部分。注意，常规运动补偿预测过程通常基于某个比率失真度量来做出这样的选择。本发明可以向过去的帧应用分析，以确定具有提供针对当前帧的匹配的最高概率的帧。另外，参考帧的数目可以比常规压缩中典型的1到16的参考帧最大值大得多。取决于系统资源，参考帧的数目可以达到系统存储的极限；假定这些帧中存在足够数目的有用匹配。另外，本发明产生的数据的中间形式可以降低用于存储相同数目的参考帧所需要的存储量。
在一个实施方式中，本发明基于这一参考帧处理来推断视频信号的分割。通过运动补偿预测过程，当前帧中的宏块(像素的块)可以从先前已解码的帧中选择像素区片(tile)，使得这些区片在空间和时间二者上都是分离的，这意味着：在运动补偿预测过程中使用的区片的源可来自不同帧。用于预测当前帧宏块的、由来自不同帧的源区片的选择所暗示的分离指示正在识别不同信号模式的潜在可能。当所识别的分离信号模式可以以较为紧致的方式编码时，这进一步证实了已经识别了不同的信号模式。在本发明中，这些分离模式叫做“特征”。当这些特征在视频的多个帧中持续并且特征可以进行相关时，已经识别出视频中新的冗余类型。本发明通过创建外观和形变模型来利用此冗余，以创建超出常规压缩可获得范围的进一步压缩。另外，由于特征在参考帧内被识别，参考帧处理倾向于使用包含特征的参考帧；这提高了以下可以性，即，参考帧处理将进一步获得在信号中出现的模式的分割。
可以提供用于处理视频数据的系统和方法。可以接收和编码由一系列视频帧形成的视频数据。可以在一个或者多个视频帧中检测候选特征的一个或者多个实例。候选特征的检测包括确定一个或者多个先前已解码的视频帧中的实例的位置信息。位置信息包括帧编号、该帧中的位置以及实例的空间周长。候选特征可以是一个或者多个已检测实例的集合。运动补偿预测过程可以用于使用一个或者多个先前已解码的视频帧来预测序列中当前帧的部分。可以利用位置预测来初始化运动补偿预测过程。位置预测可以提供来自所检测的特征实例在先前已解码的视频帧中的位置信息。可以通过增强运动补偿预测过程对一个或者多个实例进行变换。可以定义随同经变换实例的特征。可以使用线性变换对一个或者多个实例进行变换。包括经变换实例的所定义特征可以用于创建第一基于特征的模型。第一基于特征的模型可以支持在当前帧内预测实质匹配的特征实例的外观和源位置。优选地，实质匹配的特征是使用比率失真度量而确定的最佳匹配。实质匹配的特征实例可以是关键特征实例。关键特征可以是第一基于特征的模型当前帧特征实例合成。可以将第一基于特征的模型与一个或者多个所定义的帧的常规视频编码模型进行比较，并且该比较可以用来确定哪个模型支持更大的编码压缩。比较和确定步骤的结果可以用来引导编码过程将基于特征的编码应用于一个或者多个视频帧的部分，而将常规视频编码应用于一个或者多个视频帧的其他部分。
可以通过识别具有实质上靠近的空间邻域的像素的空间连续群组，来检测候选特征的实例。所识别的像素可用于定义一个或者多个视频帧之一的部分。像素群组可以包括一个或者多个宏块或者一个或者多个宏块的部分。
运动补偿预测过程可以用于从多个候选特征实例中选择被预测为提供编码效率的一个或者多个实例。可以根据当前视频帧中的其他特征和非特征来确定对候选特征的当前实例的分割。分割可以基于运动补偿预测过程的对来自独特的先前已解码视频帧的预测的选择。运动补偿预测过程可以使用属于一个或者多个特征(这样的特征具有当前帧中与视频部分符合的实例)的特征实例的位置信息来初始化，其中视频部分在当前帧中，并且位置信息对应于与先前已解码视频帧中的相同特征相关联的特征实例。
可形成第二基于特征的模型。第二基于特征的模型可以这样来形成：使用第一基于特征的模型作为针对来自一个或者多个特征实例的一个或者多个运动补偿预测的预测目标。该第二基于特征的模型产生第一基于特征的模型的预测集合。一旦预测集合与第一基于特征的模型相结合，预测集合就变成第二基于特征的模型。第二基于特征的模型可以用于根据第一基于特征的模型对残差进行建模。结构变化和外观变化可以根据第二基于特征的模型相对于该残差而被建模。残差可以利用特征实例来编码，这产生外观和形变参数。该参数可用于缩减残差的编码大小。
一个或者多个特征可包括一个或者多个聚集特征。聚集特征基于候选特征的一个或者多个实例。可通过将不同候选特征的实例聚集为聚集候选特征来建立聚集特征。聚集候选特征的实例集合可以用于形成实质上大于未聚集候选特征的原始实例的区域。可以通过识别集合中的候选特征实例之间的一致性，来形成较大的区域。一致性可被定义为由较低的参数运动模型实质上逼近的实例中的外观对应性。第二基于特征的模型可以提供相对于空间位置、与已解码帧中的实例相关联的像素的可选矩形区域范围。可以通过对特征的先前规范化的实例进行建模，导出第二基于特征的模型。先前规范化的实例可以是以下任何一个：当前帧中的实例，来自时间上实质接近的先前已解码帧的实例，或者来自先前已解码视频帧的实例的平均值。
外观模型可由规范化的第二基于特征的模型实例的PCA分解来表示。可以使用每个集合的特征实例对应性相对于其第二基于特征的模型实例的空间变化，来确定形变模型。对于集合中的每个特征实例，可使用以下一个或者多个对形变模型的形变实例的变化进行逼近：运动补偿预测过程，网格形变，以及具有实质缩减的参数化的运动模型。形变实例可以整合到形变模型中。形变模型的变化可以由PCA分解表示。
可以预测外观参数和形变参数。所预测的参数可以在使用基于特征的模型的当前实例合成期间使用。外观模型和形变模型以及时间上新近的参数可被用于根据基于特征的模型来内插和外插参数，以预测当前帧中的像素。时间上新近的特征实例的合成值可被线性内插或者线性外插，这基于哪个方法产生这些实例的最精确逼近。可选地，模型的真实参数可以相对于所预测的参数不同地编码。
运动补偿预测过程可以对数目明显比常规视频数据编码中大的先前已解码视频帧的选择进行操作。先前已解码视频帧的选择无需依靠用户监督。
可通过实例预测过程来增强常规视频编码，该实例预测过程在形成当前帧的部分的预测时，支持一个或者多个视频帧的部分在存储器中的较大压缩。实例预测过程可使用基于特征的模型来确定伴随正在被编码的目标宏块的、已定义特征的一个或多个实例。以这种方式，实例预测过程可以创建当前帧的预测部分。基于特征的模型可用于合成像素，以预测当前帧的部分。
可以指派针对先前已解码视频帧的概率。该概率可以基于帧的组合预测编码性能改善，其是使用根据运动补偿预测过程的位置预测来确定的。该概率可被定义为运动补偿预测过程的组合编码性能，它在针对当前帧的第一基于特征的模型以及第二基于特征的模型的分析期间被使用。基于先前已解码视频帧的概率，可以创建基于对先前已解码视频帧进行排序的索引，从最好到最差。可以基于计算和存储要求截断索引列表。
基于特征的模型可以使用一个或者多个已定义特征来形成。基于特征的模型可以包括已定义特征的位置信息。位置信息可以包括来自先前已解码视频帧的已定义特征的位置和空间周长。举例来说，位置信息可以包括关于特定帧内的区域的空间位置的信息，以及在该帧中的该区域的矩形范围。基于特征的模型可以指定哪些先前已解码视频帧(或者其部分)与已定义特征相关联。
可以使用宏块运动补偿预测从视频数据中规范化和分割已定义特征。已定义特征可以使用基于特征的模型来规范化。宏块运动补偿预测可以使用先前已解码图像帧中的特征位置作为位置预测。所得到的规范化提供当前视频帧中的特征的预测。
基于特征的模型可以与对相同视频数据的常规编码获得的另一模型进行比较。该比较可以用于确定哪个模型支持更高的编码压缩效率。不同编码技术可以应用在视频数据的不同部分，这取决于编码比较的结果。以这种方式，可以提供不同的编码，使得系统能够根据是基于特征的编码还是基于常规的编码提供更高的压缩效率，来选择用于视频数据的每个部分的不同视频编码方案。
已定义特征可以由一个或者多个视频帧中的特征实例的集合来表示。每个实例可以包括：对实例出现于其中的帧的参考，与该帧内的实例相关联的空间位置，以及相对于空间位置的、与该帧内的该实例相关联的像素的可选矩形区域范围。空间位置可以提供匹配预测，以用于编码一个或者多个视频帧的部分。可以针对每个已定义特征而提供外观模型，以便对已定义特征在集合中逐个实例之间的变化进行建模。外观模型可以通过对特征的先前规范化的实例进行建模而导出。先前规范化的实例可以使用以下任何组合而被规范化：运动补偿预测过程，网格形变以及参数简化的运动建模(例如仿射)。
规范化可用于建立形变模型，该形变模型可被用于对每个集合的特征实例中的对应性的空间变化进行建模。对于集合中的每个特征实例，以下一个或者多个可以用来确定形变模型的形变实例：运动补偿预测过程，网格形变以及参数简化的运动建模。形变实例可以整合到形变模型中。形变模型可以由使用主元分析(PCA)的分解来表示。形变模型可以由使用任何分解算法的分解来表示。运动补偿预测过程可以对数目明显大于常规视频数据编码中的先前已解码视频帧的选择进行操作，并且无需监督。
常规视频编码可以包括运动补偿的基于块的压缩。可以通过残差缩减过程来增强常规视频编码，该残差缩减过程在形成残差帧时支持视频帧在存储器中的较大压缩。残差缩减过程可以包括基于特征的模型，以确定伴随正在被编码的目标宏块的、已定义特征的一个或多个实例，以形成残差帧。可使用基于特征的模型来合成像素，以预测残差帧。基于特征的模型可用于参考帧索引预测。响应于确定已定义特征的一个或者多个实例覆盖当前帧中的不止一个宏块，合成的像素可复用于其他残差缩减。当已定义特征的一个或者多个实例实质上与当前帧中的宏块的位置信息匹配时，响应于确定已定义特征的一个或者多个实例代表一个宏块，合成的像素可以复用于其他残差缩减。可以根据基于特征的模型对外观和形变进行建模。外观模型和形变模型可以与这些模型中的历史参数集合一起，用于内插和外插来自基于特征的模型的参数，以预测当前帧中的像素。另外，较高阶的二次滤波器甚至是扩展的卡尔曼(Kalman)滤波器模型可用于预测外观和形变参数。来自基于特征的模型的参数的预测支持缩减残差参数的幅度，导致较低的精确度并且因而导致预测当前帧中的像素所要求的参数的较低比特率表示。
可以使用运动参数补偿预测过程选择来自一个或者多个帧的一个或者多个宏块。来自PCA模型中的宏块的像素可以是线性组合的像素，并且PCA模型参数可以被内插。等效地，可以使用任何分解算法来替代PCA，并且可以基于所述分解算法实质上相对益处而使用。
可以在视频帧中识别实质上很小的空间区域。可以使用一致性标准来识别可以组合成为实质上较大的空间区域的空间区域。对于较大空间区域，可以通过对该较大空间区域的基于特征的模型的编码，来确定较大空间区域成为已定义特征的适当性。较小空间区域可以是已定义特征，并且较大区域也可以是已定义特征。
基于特征的压缩可以包括基于对象的压缩过程。基于对象的检测、跟踪以及分割可以应用于当前帧中或者先前已解码帧中的特征实例。可以使用空间分割导出特征实例的中间形式。举例来说，空间分割过程可以将前景对象从非对象背景中分割出来。当特征中的给定对象存在于一个帧中时，所得分割可以向其在下一帧中的出现提供像素级对应性。与对象相关联的像素数据被重采样，并且随后使用模型来恢复经重采样的像素数据的空间位置。重采样将对象像素数据从一个帧到下一帧有效地进行规范化，并且所得结果是提供视频数据的中间形式，所述中间形式对于处理目的而言具有计算和分析优势。以这种方式，在基于特征的编码过程期间，基于对象的规范化和建模过程可以应用于当前帧中或者先前已解码帧中的特征实例(或其部分)。对应性建模、形变建模、外观建模、轮廓线建模以及结构建模可被用于对当前帧中或者先前已解码帧中的特征实例(或其部分)进行建模。
已定义特征可以自由地对应于显著实体(对象、子对象)。举例来说，可以通过有监督的标记来确定显著实体，该有督导的标记将检测的特征标记为属于或者不属于一个对象。已定义特征可以包含以下元素：两个或者更多显著对象、背景或者视频帧的其它部分。一个或者多个特征可以构成对象。而且，已定义特征可以不对应于对象。已定义特征可以不包括在任何对象中。以这种方式，基于特征的压缩可以比基于对象的检测更为灵活和通用。虽然已定义特征可以包括对象以及可以被包括在对象中，但已定义特征并非必需基于对象，而是可以采取任何形式。
在另一实施方式中，将压缩感测(CS)应用于基于特征的编码技术。CS被应用于具有有效特征或者已定义特征的视频帧中的像素。CS还可被应用于对视频帧中其余像素的常规编码。可以使视频数据稀疏，以增加应用CS的效力。在模型形成期间(外观和形变模型)CS可以应用于根据部分参数测量求解模型参数。
CS可被应用于第二基于特征的模型的预测的残差。CS的应用可以使用平均外观作为测量，并且据此预测视频信号。与CS预测相关联的变化可以从第二基于特征的模型中移除。基于特征的模型可被用于关注其余部分的更加紧致的编码。CS编码可被应用于一个或者多个视频帧中的其余像素，并且可被应用于其余视频帧。
可以提供混合编解码器的解码器，其使用基于特征的解压缩来解码视频数据。可以通过在宏块级确定已编码的视频数据中是否存在已编码的特征，来解码已编码的视频数据。已编码的特征可以包括基于特征的模型。如果不存在已编码的特征，则可以使用常规视频解压缩来解码已编码视频数据中的宏块。如果确实存在已编码的特征，则解码器可以这样对在已编码视频数据中检测到已编码特征做出响应：将特征已编码的部分从已编码的视频数据中分离出来。通过分离特征已编码的部分，系统能够与视频帧中被常规编码的部分相分离地合成已编码的特征。来自已编码的特征部分的特征参数可以与包括在已编码特征中的特征模型相关联。特征参数可以由解码器使用以合成已编码的特征。视频数据中被常规压缩的部分可以与合成的特征组合，以重建原始视频帧。
在另一实施方式中，视频编解码器能够处理多个已压缩的视频信号模式。在视频信号模式之一中，编解码器的编码器提供基于特征的视频压缩。在另一模式中，编解码器的编码器提供常规视频压缩。类似地，编解码器的解码器可响应于不同视频信号模式，并且能够根据视频信号的内容(例如，视频信号模式)而提供基于特征的视频解压缩和常规视频压缩。
对于视频信号的视频帧中的一个或多个特征，编解码器可以根据是基于特征的编码还是基于常规的编码可以提供更高的压缩效率来确定哪类视频压缩是适当的。
附图说明
通过下文对如随附附图所示的本发明示例性实施方式的更具体的描述，之前的描述将会更加清楚，在这些附图中相似标号在不同的图中通篇地指代相同部分。附图并非一定按比例绘制，而是强调图示本发明示例实施方式。
图1为本发明一个实施方式(混合编解码器)的示意图。
图2为实施在本发明编码器中的视频压缩架构的方框图。
图3为本发明的实施方式将部署在其中的计算机网络环境的示意图。
图4为图3中的网络中计算机节点的方框图。
图5为描述了表示本发明一个实施方式的特征建模的框图。
图6为描述根据本发明一个实施方式的预测过程的框图。
图7为本发明一个实施方式(编解码器)的方框图。
图8为描述了根据本发明一个实施方式的特征跟踪的框图。
具体实施方式
介绍部分
以下是本发明示例性实施方式的描述。这里引用的所有专利、公开申请和参考的教示将通过引用全文并入。
数字处理环境和网络
优选地，本发明实施在软件或者硬件环境中。图3示出了一个这样的环境，其图示了本发明可以实施于其中的一个计算机网络或者相似数字处理环境。
客户计算机/设备350和服务器计算机360提供执行应用程序等的处理、存储和输入/输出设备。客户计算机/设备350也可通过通信网络370链接到其他计算设备，包括其他客户设备/处理350和服务器计算机360。通信网络370可以是远程接入网络、全球网络(例如互联网)、全球计算机汇集、局域或者广域网以及当前使用相应协议(TCP/IP，蓝牙等)来相互通信的网关的一部分。其他电子设备/计算机网络架构也是适合的。
图4为图3的计算机系统中的计算机(例如客户计算机/设备350或服务器计算机360)的内部结构框图。每个计算机350、360包含系统总线479，其中总线是用于在计算机或者处理系统的组件之间进行数据传输的真实或者虚拟的硬件线的集合。总线479实质上是连接计算机系统不同元件(例如，处理器、磁盘存储、存储器、输入/输出端口等)的共享管道，其实现元件之间的信息传输。附接到系统总线479的是I/O设备接口482，其用于将各种输入和输出设备(例如键盘、鼠标、显示器、打印机、扬声器等)连接到计算机350、360。网络接口486允许计算机连接到附接至网络(例如图3的370例示的网络)的各种其他设备。存储器490为用于实现本发明实施方式(例如以上详细描述的混合编解码器、视频编码器压缩代码和解码器代码/例程)的计算机软件指令492或者数据494提供易失性存储。磁盘存储495为用于实现本发明实施方式的计算机软件指令492(相当于“OS程序”)和数据494提供非易失性存储。中央处理器单元484也附接到系统总线479上，并且提供对计算机指令的执行。注意，在本文通篇中，“计算机软件指令”和“OS程序”是等价的。
在一个实施方式中，处理器例程492和数据494是计算机程序产品(通称为492)，其包括提供针对本发明系统的至少一部分软件指令的计算机可读介质(例如可移除存储介质，诸如一个或者多个DVD-ROM、CD-ROM、磁碟、磁带等)。如本领域公知的，计算机程序产品492可经由任何合适的软件安装过程安装。在另一实施方式中，软件指令的至少一部分也可以通过电缆、通信和/或无线通信下载。在其他实施方式中，本发明的程序是计算机程序传播的信号产品307，其在传播介质(例如，无线电波、红外波、激光波、声波、或者经由互联网或者其他网络之类的全球网络而传播的电波)上的传播信号上具体化。这样的承载介质或者信号提供用于本发明例程或者程序492的软件指令的至少一部分。
在备选实施方式中，所传播的信号是传播介质上承载的模拟载波或者数字信号。举例来说，所传播的信号可以是在全球网络(例如互联网)、电信系统或者其他网络上传播的数字化信号。在一个实施方式中，所传播的信号在一段时间内在传播介质上传输，例如软件应用指令在毫秒、秒、分钟或者更长的时间段内在网络上以分组发送。在另一实施方式中，计算机程序产品492的计算机可读介质是计算机系统350可以接收或者读取的传播介质，其中接收或读取例如是通过接收传播介质并且识别在传播介质中包含的传播信号，如上文针对计算机程序传播的信号产品而描述的。
一般而言，术语“载波介质”或者瞬态载体涵盖了上述瞬态信号、所传播信号、传播介质、存储介质等。
概述-基于特征的视频压缩
本发明提供一种混合(基于特征的和常规的)编解码器方法(图1)，其具有对视频中的特征进行检测113、分离115、建模117、编码111以及解码124的装置，同时允许常规编解码器118对非特征以及无法通过特征编码器/解码器有利地处理的特征进行编码和解码。图1图示目标视频信号输入110(由一系列图像帧形成的视频数据)由本发明的混合编解码器121编码。混合编解码器包含编码决定启发式方法，并且如以下这样来处理视频信号：在步骤113，主要通过识别表现出复杂性的、靠近邻域中的像素群组来实现特征的检测。复杂性一般被定义为指示像素的编码超过常规视频压缩所能有效编码的水平的任何度量。对靠近邻域中的像素进行群组化提供了所检测的特征(在115)与背景和其他特征的分割。随后对群组化进行分析，以确定使用本发明的特征建模117能否有利地建模所述复杂性。
一旦特征被检测及跟踪并且生成了特征的模型(在117)，便对特征建模与常规建模进行比较(在比较器119)，以确定哪一种益处更大。在此过程中使用常规视频编码机制(在步骤118)，其中常规视频编码机制采用在当前帧的运动补偿预测中使用的参考帧处理。由于比较119已经采用常规参考帧处理，得到了当前帧的一个分割(基于来自不同参考帧的预测的选择)。在一个参考帧相对另一参考帧的像素选择(更典型地，作为宏块)指示帧中以及目标视频110本身中的特征的分割。所得的目标视频信号输入110的编码120包括常规视频编码流(常规编码器118的输出)，并伴随有再次生成参考帧中的特征所需要的附加已编码信息。
混合编解码器的解码器112图示了解码已编码视频以合成(逼近)输入视频信号110。在检查已编码视频中所包含的信息流时，混合编解码器的解码器在子帧级、宏块级确定123已编码视频中是否存在已编码特征。如果不存在已编码特征，则常规宏块或者非特征宏块被常规地解码。如果在已编码视频流中发现已编码特征，混合编解码器将特征编码的部分从常规编码的部分中分离125，以便分别对其进行合成，并且在进行合成之后进行组合。混合编解码器将已编码特征参数与解码器所创建的特征模型(与编码器中产生的模型完全相同且并行产生的模型)结合使用，以合成特征124。继而，对常规编码的特征部分与特征编码的部分进行复合126，以产生完整的特征合成。接下来，混合编解码器在127将特征合成与非特征合成进行组合，以产生完全合成的视频信号128。
图7表示了本发明一个实施方式，其使用基于特征的编码作为常规编码的部分替代或者在一些情况下作为常规编码的全部替代。图示了对视频信号中的特征的检测710、跟踪720、比较730、建模740、编码750以及解码760。
在步骤710，如在113一样，主要通过识别表现出复杂性的、空间上邻近的像素群组来实现特征的检测，使得它们可以比常规方式更为有效地被编码/建模。这些像素群组有效地将所检测的特征(710)与其周围的非特征分离，也如115中所示。所检测的特征或者说特征实例候选或者简单地来说特征候选被进一步分析，以便在两个或者更多帧上对像素群组进行相关。此相关确认：特征实例代表可被跟踪720的视频帧中的离散实体，由此确认可以通过建模特征740而潜在缩减的视频中的附加冗余。在步骤720中，通过当前帧中的特征实例(等效地说，区域)以及一个或者多个其他帧中的特征实例的识别而跟踪特征，也如117中所示。注意，在本文通篇中，“特征实例”等价于“区域”。同时，在“实例”引用“特征实例”及“区域”，“实例”时等价于它们。
每个个体特征的实例被认为是候选特征，并且通过将它们分组到特征集合(或简称特征)而将其变得被组合为完全特征。在步骤730，通过实例之间对应性的识别，对实例进行分析、比较以及分类到特征集合中。
在本文中，特征候选和特征实例是等价的。分析特征集合，以获得特征实例的形变变化和外观变化的模型。通过形变建模过程来确定特征实例之间的形变变化。形变建模过程比较两个或者更多实例，以确定缩减实例之间每个像素的差别所需的空间像素重采样。
在步骤740中对特征候选进行建模，其应用多个分析技术以细化采样区域。视频流的特征编码750使用特征模型，并且在不使用常规视频编码的情况下对视频流的部分或者全部进行编码。解码760在建模操作750的逆操作中使用特征模型来合成特征，以便将已编码特征解码为每个特征实例的像素合成770，从而按照特征在视频中的原始外观来逼近该特征。
预测分割[主要]
图6显示通过使用位于一个或多个参考帧中的、一个或者多个过去帧中包含的信息，来预测当前视频帧中的元素的过程。在一个实施方式中，预测方法1-640将来自一个或者多个先前已解码帧610的区域复制到参考帧620中。方法2-650附加地将包括特征区域630-1、630-2...630-n的特征实例660放置到参考帧中。直接将特征实例插入参考帧中表示本发明的一个简单形式，其中在一个进一步实施方式中，分割简单地是矩形区域，并且特征的模型是特征实例。当附加建模技术被应用于所识别的特征660并且在参考帧内被使用时，可以实现附加压缩增益。
预测分割是一种这样的方法，常规压缩的运动补偿预测方法可以通过该方法得以扩展，以允许更加准确的预测。常规压缩使用附加参考帧来提高准确性，其中附加参考帧是使用本发明的特征建模方法而生成的。当这些特征参考帧的一部分由常规压缩方案使用时，当特征编码小于常规编码时，可以实现压缩的增益。
在一个实施方式中，特征被表示为元素或者特征实例的集合。在一个实施方式中，特征实例被实现为矩形区域，每个区域提供对唯一帧的参考、在该帧内的空间位置以及该区域在该帧内的矩形范围。特征的每个实例表示该特征的采样图像。特征的外观随实例的变化由特征建模方法来进行建模。
在一个实施方式中，参考帧由来自先前合成的帧的一个或者多个子帧样本填充。子帧样本基于先前合成的(解码的)帧和当前帧中的这些子帧区域之间的特征实例对应性。
在另一个实施方式中，将多个图像平面合并为较少的图像平面。这些较少的图像平面的特征靠近将要预测的帧中的期望位置而定位。帧缩减的基础是将非重叠或者接近零空间重叠的特征合并到相同平面中。
通过基于特征信息(先前匹配、跟踪信息、建模信息)来估计特征的包围盒(bounding box)，本发明的缩减得到进一步的实践。
在另一非限制实施方式中，每个合并的帧的大小等于正在被预测的帧的大小，并且特征在空间上接近甚至完全位于常规运动补偿预测机制所期望的位置。
特征检测
图5描述了在视频内的一个或者多个帧520-1、520-2...520-n中的已检测特征510-1、510-2...510-n。通常，基于从像素导出的结构信息以及指示常规压缩使用了不成比例的资源量来编码特征的复杂性标准二者，此类特征可以使用多种不同标准加以检测。与特征编码相比较，可以通过在图中被示为“区域”530-1、530-2...530-n的相应空间范围、周长而在帧520-1、520-2...520-n中在空间上进一步识别每个特征。
这些区域530-1、530-2...530-n可以被提取作为例如像素数据的简单矩形区域，并且被放置在全集540中，整个全集表示特征。
帧中的每个特征实例是该特征的外观的样本。注意，当足够数量的这些样本被并入全集中时，它们可被用于对该特征在这些帧中以及在没有从中采样该特征的其他帧中的外观进行建模。这样的模型可以将所述外观变换为一组经编码的参数，所述参数能够进一步通过反向模型而被解码，以便建立特征的合成。
对小空间区域进行识别和分析，以确定是否可以基于某个一致标准而将这些小空间区域组合为较大空间区域。继而对这些较大的空间区域进行分析，以确定其作为候选特征的适当性。如果区域的特征建模不能提供有益编码，则丢弃候选特征或者保留候选特征以便使用后来的帧来建模该特征的未来实例。检测过程继续，直到只留下表现出有利建模的那些候选特征。
空间区域的大小从像素或者亚像素群组变化到可以对应于实际对象或者这些对象的部分的较大区域，所述较大的区域倾向于被常规视频压缩算法所确定的宏块或者子宏块划分步骤隐含地分割。然而，值得注意的是，已检测特征可以不对应于诸如对象或者子对象等离散地独特且可分离的实体。并不要求特征对应于这样的实体。单个特征可以包括两个或者多个对象的元素，或者也可以不包括任何元素。关键因素在于：仅仅基于通过基于特征的视频压缩技术对这些信号分量进行有效的建模，本发明具有比常规方法更高效地处理这些信号分量的潜力，并且它们充分地满足特征的定义。
小空间区域可以聚集为较大区域以便将这些较大区域识别为特征。小区域聚集为较大区域是通过识别小区域之间的一致性来实现的。存在多种可识别一致性的方式，包括一致运动、运动补偿预测以及编码复杂性。
可通过更高阶的运动模型来发现一致运动。举例来说，每个个体小区域的平移运动被整合到仿射运动模型中，该仿射运动模型能够对每个小区域的较为简单的运动模型进行逼近。
如果可以在一致的基础上将小区域运动整合到较为复杂的模型中，这暗示了区域之间的依赖关系，该依赖关系可以潜在地提供相对于常规运动补偿预测方法的优点，并且还指示了可以通过特征建模对小区域之间的一致性加以利用。
可以通过分析常规压缩表示一个或者多个小区域所要求的带宽，来确定编码复杂性。当存在向常规解码无法有效压缩并且也无法作为帧之间的冗余而进行相关的特定小区域集合的不成比例带宽分配时，这些区域可被潜在地聚集为特征，该特征的编码复杂性可以指示特征建模将更好地表示这一现象的存在。
已知帧的集合的每一个被完全划分为按照非重叠模式布置的统一区片(tiles)。每个区片作为独立的像素采样区域而被分析，该像素采样区域在实践中被确定以包含对特征进行表征的足够信息。本发明使用这些采样区域来产生多个分类，多个分类转而被用于训练分类器。注意，任何特征的最终位置可以与这个原始位置不同。
另一实施方式根据所定义的区片以及与这些区片重叠的区片来产生采样区域。可以对重叠采样进行偏移，使得重叠区片的中心出现在每4个基础区片角落的交点处。这种过完整划分意味着增加初始采样位置将会得到已检测特征的概率。还可以想到其他可能更加复杂的拓扑划分方法。
特征建模预测器将采样区域分类为簇(cluster)，簇具有如下显著可能性，即，一个区域将具有与同一簇中的其他区域的某种对应性。特征建模预测器使用根据采样区域导出的模式示例。
在优选实施方式中，在频谱轮廓化的协助下检测特征(以下在频谱轮廓化部分描述)。频谱轮廓化提供可以是单个特征的部分的帧区域。这被用作将采样区域组合为特征的手段。
在一个实施方式中，模式特征被定义为频谱特征。频谱特征是通过将区域从颜色域变换到HSV颜色空间而被找到的。继而对经变换的区域重复地进行向下子采样，直到所导出区域的图像向量空间的维度远小于原始区域的图像向量空间。这些导出的区域被认为是频谱特征。使用修正的K均值(K-means)算法将频谱特征划分为簇。K均值簇被用于基于原始区域的频谱分类而标记原始区域。
在一个实施方式中，基于采样区域的边缘内容而建立分类器。将每个区域变换到DCT空间。而后针对上三角矩阵和下三角矩阵而对所导出特征的DCT系数求和。这些和继而被用于形成边缘特征空间。然后使用K均值将所述特征空间划分为簇，并且根据原始区域的所导出区域簇的分类来标记原始区域。
在又一实施方式中，使用频谱特征和边缘模式特征分类器来为每个区域产生多个分类。
特征跟踪
一个实施方式使用新检测的特征和先前跟踪的特征的组合，作为确定当前帧中相同对应特征的实例的基础。在当前帧中对这一特征实例的识别和这一实例的包括，以及该区域的先前出现的实例，组成特征的跟踪。
图8说明了将特征跟踪器830与新检测的和先前跟踪的特征810的组合一起使用来跟踪以及分类特征820-1、820-2...820-n。最初，使用通用特征检测器850来识别特征。基于当前帧840与先前检测的帧810的匹配来确定对应性。将跟踪的特征组织为特征集合，或者将其分类为属于先前聚集的特征集合，或者分类到一个新特征集合中。
可以通过最小化均方误差估计的常规梯度下降，来初始确定特征对应性。所得空间位移给出当前帧中特征的逼近位置。在搜索中使用的模板无需是特征的单个区域，而是可以是与特征相关联的任何区域。继而，以鲁棒的方式将最终的匹配赋值为符合MSE阈值的非重叠区域区片的数目。
通过向两个或者更多区域的重合施加空间约束，跟踪器能够降低正在跟踪的特征的数目，并且因此提高跟踪的计算效率。两个或者更多特征的空间重合还可以指示其他特征情况，其中特征可以实际上是两个过去的特征或者某些其他复杂的特征拓扑。跟踪器模式允许暂时退化的跟踪状态，这允许特征被跟踪，但是使所跟踪区域的优先级较低。
特征建模
在一些分析阶段期间，使用将要预测的区域来遍历区域对应性模型(RCM)以便确定模型内将要用于构建区域预测模型的区域。
在一个实施方式中，目标区域被用于更新RCM，由此在包含在RCM内的其他区域和目标区域之间产生平移和中点规范化的对应性。所得的成对区域对应性识别最有可能产生用于目标区域的预测模型的其他区域。
本发明包括将针将特定目标区域的一个或者多个最佳对应性聚集到称为区域全集的集合中。区域全集可以朝向该全集中的一个关键区域而在空间上被规范化。在一个实施方式中，选择时间上最接近目标区域的区域为关键区域。执行这些规范化所需要的形变被收集到形变全集中，并且所得的规范化图像被收集到外观全集中，如美国专利No.7,508,990、No.7,457,472、No.7,457,435、No.7,426,285、No.7,158,680、No.7,424,157、No.7,436,981以及美国专利申请No.12/522,322(都属于受让人)中所描述的。以上所列举的专利和专利申请的所有教示都通过引用并入。
处理外观全集以产生外观模型，并且处理形变全集以产生形变模型。外观和形变模型的组合成为目标区域的特征模型。在一个实施方式中，模型形成方法是对全集的主元分析(PCA)分解以及随后对所得基向量的截断。在另一实施方式中，截断标准可以是全集内重建。
在另一实施方式中，模型形成的方法(外观和形变模型)为压缩感测(CS)(另行描述)，其中模型参数由部分参数测量求解。
目标区域被投影到特征模型上，由此产生特征参数。特征参数用于区域的形变建模和外观建模。特征参数也是目标区域的编码。
使用时间标准来选择两个或者更多全集内区域的特征模型参数。给定区域本身与目标区域之间的已知间隔，这些参数被用于预测目标区域的状态。状态模型的一个示例是在给定时间步长的情况下对两个或者更多特征参数的线性外插。线性模型被用于预测给定目标区域的特征参数。
如果外插的值提供目标区域的适当合成(解码)，目标区域的特征参数的指定不是必需的，或者目标区域的特征参数可以相对于外插的参数有区别地指定。
外插的状态模型可以比简单线性模型的阶数高。在一个实施方式中，使用扩展的卡尔曼滤波器来估计特征参数状态。
区域对应性模型
分类、配准以及形变分析的组合提供了这样的信息集合，其指示两个或者更多区域可被组合为外观和形变的联合模型的概率，该联合模型称作区域对应性模型(RCM)。
在一个优选实施方式中，特征检测方法(上文描述)增量式地分析新的特征。这种分析的一个结果是一个区域将对应于用于构建特征检测器之一的其他区域的较高概率。
一旦区域在上文讨论的特征检测中被分类到簇中，并且给定其相应的簇标记时，则对簇间区域进行分析，以确定区域配对之间每个区域的对应性。
在优选实施方式中，上述分类器被用来定义采样区域的簇，簇的区域源像素通过区域平移细化(以下描述)而被进一步分析和定义。
另外，在优选实施方式中，在平移区域细化之后，区域对应性可以在其区域形变分析(下文讨论)方面被进一步定义。
在一个实施方式中，RCM的构建以增量方式实现。两个或者更多区域被用来初始地播种(seed)组合的分类器/形变分析机制。继而，利用改变分类器和形变分析元素的新区域来更新RCM。
在一个实施方式中，构建上述RCM的增量更新，使得给定模型的区域对应性按照取决于基本复杂性分析(下文详述)的遍历顺序而被处理。
在一个实施方式中，如上讨论的依赖于基本复杂性分析(以下描述)的遍历顺序是利用遍历终止标准来更新RCM的迭代过程的部分。终止标准使处理完成于如下水平：RCM表示对应性的能力被最大化，并且当外观/形变模型根据对应性而被导出时，降低复杂性的可能性最大。
区域平移细化
在一个实施方式中，采样的区域被一起收集到训练采样区域的集合中。对这些区域在每个帧中的空间位置进行细化。
细化包括每个采样区域与每个其他采样区域的穷尽比较。这种比较包括两个区片配准。一个配准是第一区域向第二区域的比较。第二配准是第二区域向第一区域的比较。每个配准在区域在其相应图像中的位置处执行。所得配准偏移与对应的位置偏移一起保留，并且被称作相关性。
分析相关性以确定是否多个配准指示采样区域的位置应当细化。如果源帧中的经细化位置将会产生针对一个或者多个其他区域的较低错误匹配，则将该区域位置调整到经细化位置。
区域在源帧中的经细化位置是这样确定的：对时间上跨越源帧中的该区域的其他区域对应性的位置进行内插。
频谱轮廓化
频谱轮廓化方法是一种统计上的“平均值跟踪和拟合”方法。这样的方法的其他示例在文献中描述的有CAMSHIFT、平均值偏移(mean shift)、medoid偏移(medoid shift)以及它们的运用于图像和视频帧中出现的空间概率分布建模、检测以及跟踪的衍生方法。本发明的频谱轮廓化方法开始于跨一个或者多个帧对强度元素进行分析，其中强度元素是图像平面的区域的频谱(颜色)平面的像素。首先通过经由直方图区间化(binning)方法的数值离散化对强度元素进行处理。继而将区域的直方图与跟踪机制一起使用，以识别后续帧中具有相似直方图的更多对应区域。区域的元素集合(位置、离散化标准以及直方图)被迭代地细化，使得其收敛于这些元素的共同集合。经细化的元素集合是频谱轮廓。频谱轮廓方法是一种特征检测方法。
使用一维K平均分类是有益的，因此在分类器的形成中使用HSV颜色空间中的色相(Hue)通道。另外，对像素进行分类并且填充直方图区间，以及确定空间不变时刻。
本发明的核心基函数使用事先存在的数据来导出用于新数据的模型。事先存在的数据可以通过任何编码/解码方案获得，并且假定事先存在的数据是可用的。本发明分析此数据以确定候选模式数据(称为特征数据)的集合，其可以包括针对视频信号的空间局部化分量的外观和形变二者的数据。
给定事先存在的特征数据的特定集合以及新的目标数据点，执行分析以确定建立用于表示目标数据点的模型所需的特征数据的最小描述。不失一般性，事先存在的数据称为候选特征向量，而目标数据点称为目标向量。另外，此过程可应用于一个或者多个目标向量。
给定目标向量和候选特征向量的集合(所有特征向量都被视为相同特征的部分)时，选择候选特征向量的最小子集，以便以较低的误差合成目标向量，得到紧致且精确的流形表示。
本发明将候选特征向量的集合聚集为所称的特征全集。在一个实施方式中，创建特征全集的第一步骤是选择关键向量，即被确定为目标向量的良好逼近的特征向量。关键向量是特征全集中的第一个向量。其他候选特征向量按照其与关键向量的相关性的顺序被选入特征全集(因此，特征全集中的第二个向量是与关键向量的相关性次高的特征向量)。以此方式对特征全集进行排序称作关键相关性排序(KCO)。
在另一实施方式中，使用目标向量本身来创建特征全集。基于候选特征向量与目标向量的相关性为特征全集选择候选特征向量。利用目标向量相关性的任何排序方法都称作目标相关性排序(TCO)。TCO特征全集中的第一个特征向量是与目标向量相关性最大的候选特征。在优选实施方式中，每次特征向量“进入”全集，便计算经由最新全集(Ur)的逼近目标重建Ur*Ur*t，然后将其从目标向量t中减去，以形成残差向量。继而将全集的下一特征向量选择为与残差向量相关性最大的候选特征。由此，计算残差向量继而选择与该残差的最佳匹配的这一迭代过程称为连续目标相关性排序(STCO)。对于给定的全集大小，STCO确保目标向量的最为有效表示。STCO与正交匹配追踪(参见现有技术)功能上等价，但是对于较小的全集大小，STCO在计算上更为高效。
在另一个实施方式中，不计算残差向量，并且所有候选特征向量基于其与目标向量本身的相关性而被选入特征全集。这种TCO方法称作全局目标相关性排序(GTCO)方法，GTCO比STCO更加快速且简单，但是GTCO可以会导致全集中的冗余。然而对于选择全集来说，两种TCO方法通常都比KCO方法优越的多。
使用位掩码来传输为特征全集而选择的特征向量。
在一个实施方式中，特征全集中的特征向量以及目标向量本身在基于SVD编码之前通过离散小波变换(DWT)。这使得目标向量中的信息更加紧致，并且更加容易由SVD向量的较小子空间表示。DWT是一种用于使信号信息在多个标度上紧致的公知方法。在优选实施方式中，利用Daubechies 9-7双正交小波来应用DWT。如特征向量在YUV颜色空间一样，DWT分别应用于每个分量。举例来说，长度为384的YUV向量要求Y组分上一个长度为256的DWT，并且在U和V组分上要求长度为64的DWT。
压缩感测(CS)
在本发明的一个实施方式中，利用压缩感测(CS)作为在特征建模(其他地方描述)过程中的模型(外观和形变模型)形成方法。
在本发明中，存在感兴趣的CS算法的三个实际应用：正交匹配追踪(OMP)、L1最小化(L1M)以及链追踪(CP)。每个算法有其自身的优势和弱点，但是L1M对于大多数视频处理应用来说非常缓慢，且因此在这个领域中，OMP和CP是两种可选择的CS算法，而L1M不经常使用。
在实践中，CS算法的效力受到计算时间、存储限制或者测量总数的限制。为了应对这些限制并且切实改善CS算法的性能，本发明使用若干可行方法中的一个或者多个。简而言之，所述方法通过以下获得益处：(1)减少文献中指定的为获得精确重建的测量数目；(2)通过一个或者多个特定的数据缩减技术增加输入数据的稀疏性；(3)划分数据以缓解存储限制；以及(4)自适应地将误差期望构建到重建算法中。
一个实施方式利用以下事实：通常，重建的数学要求比必要的严格。可以使用比文献指定的少的测量一贯地获得图像数据的“良好”重建。“良好”重建的意思是对人眼来说，与“全部”重建相比较视觉上只有很小差别。举例来说，使用指定测量数量的一半来应用链追踪(CP)仍然可以获得“良好”重建。
在另一实施方式中，输入数据被“缩减”以使其更加稀疏，这减少了所要求的测量数目。数据缩减技术包括将数据通过离散小波变换(DWT)，因此数据在小波域中通常更加稀疏；通过截断而物理地减少输入数据的总大小，也称作向下采样；以及阈值化所述数据(移除比某一阈值小的所有分量)。在数据缩减技术中，DWT是最不“侵入式(invasive)”的，并且理论上允许输入数据被全部恢复。其他两个缩减技术存在“损耗”，并且不允许全部信号恢复。DWT适用于CP，但是DWT对于正交匹配追踪(OMP)或者L1最小化(L1M)不适用。因此数据缩减实施方式的最理想组合是链追踪算法和离散小波变换数据缩减技术。
在特别适用于并行处理架构的另一实施方式中，输入数据被划分为段(或者将2D图像划分为区片)，并且使用较小数目的所需测量分别处理每个段。这种方法适用于通常被存储限制阻碍的OMP和L1M二者。所要求的测量矩阵的大小导致对OMP和L1M二者的存储限制。可以计算存储矩阵超过系统存储的数量。这个过量存储要求为“过采样”因素。它为信号被划分为段的数量设定下限。
在另一实施方式中，过程将某误差期望构建到重建算法中。期望误差可能归因于超常噪声或者不精确测量。过程通过放松优化限制或者通过在重建过程完成前阻止迭代来进行补偿。然后，重建是数据的逼近拟合，但是当输入数据有噪声或者不精确时，这样的逼近方案可以是足够的或者可以是唯一可以的方案。
图2显示了在编码器处实现压缩感测测量的概念上的视频压缩架构。原始视频流200通过运动补偿预测算法202被发送，以配准数据203，由此在多个帧中的像素群组之间建立对应性，使得运动导致的冗余可被剔除。继而，应用预处理204以使数据尽可能地稀疏(在205)，使得接下来的CS测量和重建尽可能地有效。CS测量在206中进行，并且变成CS编码207(以为传输做准备)。稍后在合成期间，使用CS算法来解码测量。
本发明将来自原始视频流的信号分量识别、分离以及预处理为适合CS处理的稀疏信号。CS算法本质上与本发明的实施方式兼容。值得注意的是，图2的一些方面涉及在美国专利No.7,508,990、No.7,457,472、No.7,457,435、No.7,426,285、No.7,158,680、No.7,424,157和No.7,436,981以及美国专利申请No.12/522,322(都属于受让人)中讨论的实施方式。以上所列举的专利和专利申请的所有教示都通过引用并入于此。
在视频压缩的上下文中，当输入图像具有一定的稀疏性或者可压缩性时，CS具有显著的益处。如果输入图像是致密的，则CS并不是用于压缩或者重建的恰当途径。CS算法可以使用比常规压缩算法所要求的测量(常规压缩算法所要求的测量的数量等于图像中的像素数量)更少的测量来压缩和重建稀疏输入图像。注意，多数压缩技术都假定信号稀疏性或者可压缩性，因此CS提供改善的图像是多数压缩技术设计所针对的图像。
还应注意，向稀疏图像添加噪声将使得其在数学上更为致密，但是并不会使稀疏图像“在信息上”不稀疏。稀疏图像仍然是稀疏信号，并且利用一个或者多个上述实践实现来使用CS可以产生这些类型信号的有用重建。
基本复杂性分析
代表性的采样视频区域可以使用基本方法来进行分析。一个这样的方法可以是常规基于块的压缩，例如MPEG-4。
通过反向合成算法的图像对准
Xu和Roy-Chowdhury(″Integrating Motion，Illumination，andStructure in Video Sequences...，″IEEE Trans.Pattern Analysis andMachine Intelligence，May 2007)将LRLS框架扩展到移动对象(例如在视频序列中)，其示出这样的对象由9个光照函数的15维双线性基础(原始的LRLS基础图像)以及反应运动在所述LRLS基础图像上的效果的6个运动函数很好地进行逼近。
Xu和Roy-Chowdhury最近提出的IC实现(″InverseCompositional Estimation of 3D Pose and Lighting in Dynamic Scenes，″IEEE Trans.Pattern Analysis and Machine Intelligence，to be published)使用反向合成(IC)算法估计来自视频帧序列的3D运动和光照参数。使用2D到3D到2D扭曲(warping)函数将来自不同帧的(目标)图像与具有规范姿态的“关键”帧(模板)对准。给定图像数据的帧和被成像的对象的基本3D模型，2D到3D映射确定3D模型中的哪个3D点(面或者顶点)对应于哪个图像像素。一旦定义了2D到3D映射，以先前帧的姿态估计在3D中偏移对象姿态，从而将当前帧与关键帧对齐。在3D中偏移的对象然后通过使用3D到2D(投影)映射回到2D以形成“姿态规范化”的图像帧。
一旦使用2D到3D到2D映射将目标帧配准到模板(关键帧)，所得姿态规范化帧(PNF)被用于估计15个运动参数，其对应于9个光照变量和6个运动变量。光照变量经由PNF到LRLS(光照)基础图像的最小二乘方拟合来估计。在一个实施方式中，由LRLS基础图像估计的光照组分继而从PNF中被减去，并且残差被用于经由运动函数的最小二乘方拟合来估计6个运动参数(3个平移和3个旋转)。继而可以根据15维“双线性”光照/运动基础以及其对应的参数向量来重建PNF。
本发明使用Xu/Roy-Chowdhury的IC实现的方面来辅助图像配准应用。在一个实施方式中，将2D到3D到2D映射使用为特征区域中点规范化的计算上有效的替代。映射过程对于存在精确3D模型(例如人脸的Vetter模型)的特征尤其有用。在这个实施方式中，指定模型点到某个姿态(“模型姿态”)且关键帧(模板)和当前帧(或者目标帧)两者都配准到模型姿态。
增量式奇异值分解(ISVD)算法的应用
在本发明中，使用常见幅度阈值处理方法的一个变化方法来减少SVD，在此称为百分比阈值化。在一个实施方式中，计算给定SVD因数分解中的奇异值的总能量E，作为奇异值的和。当奇异值被顺序添加时(按照幅度的降序，从最大到最小)，创建奇异值群组(在本文称作“缩减集”)，直到“缩减集”中的奇异值的和超过了E的某个阈值百分比。此缩减方法等效于幅度阈值化(参见现有技术)，区别在于幅度阈值事先不必是已知的。
在本发明中，奇异值分解(SVD)如下这样应用于特征数据。M×N的数据矩阵D包括从给定视频图像帧的区域(区片)导出的特征向量的全集。M×1特征向量从2D图像区片被进行列向量化，并且被连结以形成数据矩阵D的列。在一个实施方式中，数据矩阵继而被因数分解为其SVD并且继而被缩减，Dr＝Ur*Sr*Vr’，其中缩减通过百分比阈值化。继而使用左奇异向量来编码M×1目标向量t(将要传输的特征)，最终编码由Ur’*t给出。典型的维度可以是M＝384，N＝20，且r＝10，因此384长度的目标向量由10个系数压缩(编码)。
由于并非全集数据矩阵D中的所有特征向量都立即可用，因此使用增量式SVD(ISVD)基于现有奇异值分解和数据更新来更新SVD。在一个实施方式中，较小数目的特征向量被分组在一起，以形成初始数据矩阵D0，针对其容易计算常规SVD。然后，随着附加特征数据向量被添加到全集数据矩阵中，使用ISVD来更新针对增强数据矩阵的SVD。在另一个实施方式中，在子空间已经在全集数据矩阵中被表示的情况下，新特征向量有时可能是冗余的，因此在将新数据向量添加到现有全集之前，对新数据向量应用线性独立性测试。一旦特征数据向量的完整集合已被添加到全集中，更新并缩减(通过百分比阈值化)SVD，以提供最终的基于SVD的编码。
在另一实施方式中，使用左奇异向量(Ur的列)与目标向量t的相关性来缩减SVD。计算总相关性能量CE的和，作为相关性的和。当顺序地添加相关性时(以幅度递减顺序，从最大到最小)，创建奇异值群组(在本文中称作“缩减集”)，直到“缩减集”中的相关性的和超过了CE的某个阈值百分比。这一缩减SVD的方法(称作目标相关性百分比阈值化)与基本的百分比阈值化SVD缩减方法遵循相同的方法学，区别在于使用目标相关性(左奇异向量与目标向量)替代奇异值被用于计算。
基于变换的处理
本发明在变换空间中对视频帧数据执行经验特征分类。在一个实施方式中，来自参考帧的Nt个特征的集合作为分类器的输入被给出。使用所选择的线性变换(可行变换包括离散小波变换[DWT]和曲波变换[CuT])将每个特征从像素空间变换到变换空间。继而，针对对应于每个特征的最大的P个系数的索引进行制表，并且使用在所有系数列表中最常出现的P个系数来创建针对每个特征的(P×1)分类向量(CV)(总共有Nt个“参考”CV)。继而，通过如下方式对每个新特征向量v进行分类：对向量进行变换，针对v提取CV索引，并且计算针对v的CV与每个参考CV之间的相似性测量。测试特征被分类为如下特征，该特征的参考CV使相似性测量最大化。
可使用正交匹配追踪来组合来自具有不同优点和弱点的两个或者多个线性变换的信息，以便改善经验的基于变换的特征分类器的性能。在一个实施方式中，将在表示纹理方面有效的来自DWT的基向量和在表示边缘方面有效的来自CuT的基向量组合在词典D中。继而，针对Nt个特征中的每一个使用D中的功能，利用OMP计算信号表示以及计算“测试”特征向量的表示。分类器然后像上述描述的基础的基于变换的分类器一样执行。以这样的方式组合来自多个变换的信息可以改善分类器的性能从而超过单独分类器中的每个所能获得的性能。
线性变换(例如DWT和CuT)也可用于特征的压缩和编码。在一个实施方式中，一旦特征经变换，将以根据能量保留标准(例如，保留足够的系数使得99％的特征能量被保留)的幅度和阈值排序变换系数。通常，保留99％的信号能量所需要的变换系数比在像素空间中需要的像素少得多。变换系数值表示特征的编码，且压缩增益由所保留的变换系数相对于特征中像素数量的百分比给出。在另一实施方式中，可以再次使用OMP来组合来自多个变换的信息以改善压缩增益。
尽管已经参照示例实施方式具体地示出和描述了本发明，但是本领域技术人员将会理解，可以对其做出形式上和细节上的各种改变而不背离由所附的权利要求涵盖的本发明的范围。

Claims (35)

1.一种处理视频数据的计算机方法，包括计算机实施的步骤：
接收包括一系列视频帧的视频数据；以及
使用基于特征的编码如下编码所述视频帧的部分：
在一个或者多个所述视频帧中检测特征的一个或者多个实例，其中所述特征在所述视频帧中的一个视频帧中的相应实例是表现出复杂性的靠近邻域中的像素群组；
由运动补偿预测过程使用一个或者多个先前已解码的视频帧来预测所述系列中的当前视频帧的部分；
所述运动补偿预测过程利用位置预测而被初始化，其中所述位置预测根据先前已解码的视频帧中已检测特征实例来提供位置信息；
使用通过增强所述运动补偿预测过程而被变换的一个或者多个所述实例，定义特征以及经变换的所述实例以创建第一基于特征的模型，所述第一基于特征的模型支持在当前帧中预测匹配特征实例的外观和源位置；
将所述第一基于特征的模型与所述一个或者多个已定义特征的MPEG-4或者H.264视频编码模型进行比较；以及
根据所述比较确定哪个模型支持较大的编码压缩；以及
使用所述比较和确定步骤的结果，向所述视频帧中的一个或多个视频帧的部分应用所述基于特征的编码，并且向所述一个或者多个视频帧的其他部分应用MPEG-4或者H.264视频编码。
2.根据权利要求1所述的方法，其中在一个或者多个所述视频帧中检测特征的一个或者多个实例进一步包括：
通过识别具有靠近的空间邻域的、空间上连续的所述像素群组，来检测特征的至少一个实例；以及
所述识别的像素定义所述一个或者多个视频帧中的一个视频帧的部分。
3.根据权利要求2所述的方法，其中在一个或者多个所述视频帧中检测特征的一个或者多个实例进一步包括：
使用所述运动补偿预测过程，从多个特征实例中，选择被预测为提供编码效率的一个或者多个实例；以及
基于所述运动补偿预测过程从独特的先前已解码视频帧的预测选择，根据所述当前视频帧中的其他特征和非特征来确定所述特征的当前实例的分割。
4.根据权利要求2所述的方法，其中所述运动补偿预测过程使用属于一个或者多个特征的特征实例而被进一步初始化，此类特征在当前帧中具有与视频部分相一致的实例，其中所述视频部分在当前帧中。
5.根据权利要求2所述的方法，其中所述像素的群组进一步包括以下一个或者多个：宏块或者宏块的部分。
6.根据权利要求1所述的方法，进一步包括如下形成第二基于特征的模型：
使用所述第一基于特征的模型作为针对来自一个或者多个特征实例的一个或者多个运动补偿预测的预测目标，产生所述第一基于特征的模型的预测集合；以及
其中所述预测集合变成所述第二基于特征的模型。
7.根据权利要求6所述的方法，其中所述第二基于特征的模型被用于对所述第一基于特征的模型的残差进行建模，包括：
对所述第二基于特征的模型相对于所述残差的结构变化和外观变化进行建模；
利用所述模型来编码所述残差，产生外观和形变参数；以及
使用所述参数来缩减所述残差的编码大小。
8.根据权利要求1所述的方法，其中定义一个或者多个特征进一步包括基于所述特征的一个或者多个所述实例，如下定义一个或者多个聚集特征：
将不同特征的实例聚集为聚集特征；以及
使用所述聚集特征的实例的集合来形成大于未经聚集的特征的原始实例的区域，其中所述较大的区域通过识别所述集合中所述特征的实例之间的一致性而形成。
9.根据权利要求8所述的方法，其中所述一致性被定义为由较低的参数运动模型逼近的、实例中的外观对应性。
10.根据权利要求7所述的方法，其中所述第二基于特征的模型提供与已解码的帧中的实例相关联的像素相对于空间位置的可选矩形区域范围。
11.根据权利要求10所述的方法，其中所述第二基于特征的模型通过对所述特征的先前规范化的实例进行建模而导出；以及
其中所述先前规范化的实例是以下任何一个：所述当前帧中的实例，来自新近的先前已解码帧的实例，或者来自先前已解码视频帧的实例的平均值。
12.根据权利要求11所述的方法，其中所述外观模型由规范化的第二基于特征的模型实例的PCA分解表示。
13.根据权利要求10所述的方法，进一步包括确定每个集合的所述特征实例与其第二基于特征的模型实例相比较的对应性的空间变化的形变模型；
对于所述集合中的每个特征实例，使用以下一个或者多个对针对所述形变模型的形变实例的变化进行逼近：运动补偿预测过程，网格形变，以及具有缩减的参数化的运动模型；
将所述形变实例集成到所述形变模型；以及
其中所述形变模型的变化由PCA分解表示。
14.根据权利要求1所述的方法，其中与所述MPEG-4或者H.264视频数据编码中相比较，所述运动补偿预测过程对较大数目的先前已解码视频帧的选择进行操作；以及
其中所述先前已解码视频帧的选择不依靠用户监督。
15.根据权利要求1所述的方法，其中响应于所述比较和确定步骤而应用所述MPEG-4或者H.264视频编码进一步包括：利用实例预测过程来增强所述MPEG-4或者H.264视频编码，所述实例预测过程在形成所述当前帧的部分的预测时支持一个或者多个所述视频帧的部分在存储器中的较大压缩；以及
其中所述实例预测过程进一步包括：
使用基于特征的模型来确定伴随正在被编码的目标宏块而言的、已定义特征的一个或多个实例，以形成所述当前帧的预测部分；以及
使用所述基于特征的模型，合成像素以预测所述当前帧的部分。
16.根据权利要求15所述的方法，其中响应于所述比较和确定步骤而向所述一个或者多个所述视频帧的部分应用MPEG-4或者H.264视频编码进一步包括：
为所述先前已解码的视频帧指派概率，其中所述概率基于使用来自所述运动补偿预测过程的位置预测而确定的针对所述帧的组合预测编码性能改善；
将所述概率定义为在针对所述当前帧对所述第一基于特征的模型以及第二基于特征的模型的分析期间使用的运动补偿预测过程的组合编码性能；
基于根据其概率从最好到最差对所述先前已解码的视频帧进行排序来确定索引；以及
基于计算和存储要求截断索引的列表。
17.根据权利要求15所述的方法，进一步包括响应于确定以下项，复用所述特征实例的预测像素以用于预测当前帧中的其他特征实例：
所述已定义特征的一个或者多个实例与当前帧中的不止一个宏块重叠；或者
当所述已定义特征的一个或者多个实例与当前帧中的一个宏块的位置信息匹配时，所述已定义特征的一个或者多个实例表示一个宏块。
18.根据权利要求10所述的方法，进一步包括步骤：预测外观参数和形变参数以用于基于特征的模型的当前实例的合成，以及使用外观模型和形变模型和时间上新近的参数来内插和外插来自所述基于特征的模型的参数，以预测所述当前帧中的像素，包括：
确定针对所述时间上新近的特征实例的所述合成的值是线性地内插还是线性地外插，所述确定基于哪种方法产生这些实例的最精确逼近；
使用较高阶二次方法，检测线性内插和外插方法的缩减效力；
检测二次方法的缩减效力，并且采用包括扩展的卡尔曼滤波器在内的较为高级的基于状态的方法来预测所述外观和形变参数；以及
其中所述模型的实际参数可选地相对于预测的参数不同地编码。
19.根据权利要求18所述的方法，其中来自所述基于特征的模型的参数支持预测所述当前帧中的像素所需的计算资源的缩减，使得当使用MPEG-4或者H.264视频压缩来利用所述先前已解码视频帧的一个或者多个部分预测所述当前帧中的像素时需要较多的计算资源。
20.根据权利要求1所述的方法，其中所述基于特征的编码嵌在MPEG-4或者H.264视频编码中。
21.根据权利要求1所述的方法，其中一个或者多个已定义特征自由地对应于所述一个或者多个视频帧中的不同显著实体。
22.根据权利要求21所述的方法，其中所述显著实体是通过所检测的特征属于或者不属于对象的用户监督标记而确定的。
23.根据权利要求1所述的方法，其中已定义特征包括两个或者更多显著实体的组件、背景或者所述视频帧的其他部分。
24.根据权利要求1所述的方法，其中已定义特征不对应于对象。
25.根据权利要求11所述的方法，其中向一个或者多个所述视频帧的部分应用基于特征的编码，并且向所述一个或者多个视频帧的其他部分应用MPEG-4或者H.264视频编码的步骤包括：
向第二基于特征的模型预测的残差应用压缩感测；
其中压缩感测的应用使用平均外观作为测量，并且据此预测信号；
其中与压缩感测预测相关联的变化从所述第二基于特征的模型中被移除；
其中基于特征的建模关注于剩余残差的较为紧致的编码；以及
向所述一个或者多个视频帧的剩余像素以及剩余视频帧应用MPEG-4或者H.264视频编码。
26.根据权利要求25所述的方法，进一步包括步骤：使所述视频数据稀疏，以提高应用压缩感测的步骤的效力。
27.根据权利要求1所述的方法，其中所述一个或者多个实例使用线性变换而被变换。
28.根据权利要求1所述的方法，其中所述匹配特征是使用比率失真度量确定的最佳匹配。
29.根据权利要求1的方法，进一步包括如下解码已编码视频数据：
在宏块级确定所述已编码视频数据中是否存在已编码特征；
响应于确定所述已编码视频数据中不存在已编码特征，使用MPEG-4或者H.264视频解码进行解码；
响应于确定所述已编码视频数据中存在已编码特征，将所述已编码特征从所述已编码视频数据中分离，以便独立于所述视频数据的MPEG-4或者H.264编码的部分而合成所述已编码特征；
确定基于特征的模型以及与所述已编码特征相关联的特征参数；
使用所述确定的基于特征的模型和所述特征参数来合成已编码特征实例；以及
将所述视频数据的MPEG-4或者H.264编码的部分与所述合成的特征实例组合，以重建原始视频数据。
30.根据权利要求1所述的方法，其中所述基于特征的编码包括针对所述一个或者多个视频帧的部分应用基于对象的编码。
31.一种用于处理具有一个或者多个视频帧的视频数据的数字处理系统，所述系统包括：
执行编码器的一个或者多个计算机处理器；
所述编码器使用基于特征的编码如下编码所述视频帧的部分：
在一个或者多个所述视频帧中检测特征的一个或者多个实例，其中所述特征在所述视频帧中的一个视频帧中的相应实例是表现出复杂性的靠近邻域中的像素群组；
使用运动补偿预测过程，将所述特征的所述一个或者多个实例与所述一个或者多个视频帧中的非特征分割，所述运动补偿预测过程选择具有对应于所述特征的一个或者多个实例的特征的先前已解码视频帧；
使用所述特征的一个或者多个所述实例来定义一个或者多个特征实例，其中已定义的所述一个或者多个特征实例被预测相对于MPEG-4或者H.264视频编码而言提供相对增加的压缩效率；
确定来自所述一个或者多个先前已解码视频帧的位置信息，所述位置信息包括已定义的所述一个或者多个特征实例在所述一个或者多个先前已解码视频帧中的位置；
使用已定义的所述一个或者多个特征实例形成基于特征的模型，所述基于特征的模型包括来自所述先前已解码视频帧的所述位置信息；
使用所述基于特征的模型规范化已定义的所述一个或者多个特征实例，所述规范化使用来自所述一个或者多个先前已解码视频帧的所述位置信息，所述规范化得到对已定义的所述一个或者多个特征实例在当前视频帧中的预测；
将所述基于特征的模型与针对一个或者多个已定义特征的MPEG-4或者H.264视频编码模型进行比较，并且根据所述比较确定哪个模型支持较大的编码压缩；以及
使用所述比较和确定步骤的结果，向一个或者多个所述视频帧的部分应用基于特征的编码，并且向所述一个或者多个视频帧的其他部分应用MPEG-4或者H.264视频编码。
32.一种处理视频数据的方法，其包括：
接收具有一系列视频帧的视频数据；
在一个或者多个所述视频帧中检测特征，其中所述特征在所述视频帧中的一个视频帧中的相应实例是表现出复杂性的靠近邻域中的像素群组；
通过使用在运动补偿预测过程中使用的参考帧处理，将所述特征与所述视频帧中的非特征分割；
处理先前已解码视频帧的一个或者多个部分，以识别所述特征的潜在匹配；
确定先前已解码视频帧的大量部分包括所述特征的实例；
将所述特征的所述实例聚集到所述特征的实例的集合中；
处理特征集合以创建基于特征的模型，其中所述基于特征的模型包括所述特征的所述实例的外观变化的模型和形变变化的模型，所述外观变化的模型通过对所述特征的所述实例的像素变化进行建模来创建，所述形变变化的模型通过对所述特征的所述实例的像素对应性变化进行建模来创建；
确定与使用所述基于特征的模型对所述特征集合进行建模相关联的压缩效率；
确定与使用MPEG-4或者H.264视频压缩对所述特征组进行建模相关联的压缩效率；
将所述基于特征的模型的压缩效率与MPEG-4或者H.264视频建模的压缩效率进行比较，并且确定哪个具有较大的压缩值；以及
基于哪个具有较大的压缩值，使用所述基于特征的模型和MPEG-4或者H.264视频编码对所述视频数据进行编码。
33.一种用于处理具有一个或者多个视频帧的视频数据的数字处理系统，所述系统包括：
执行编码器的一个或者多个计算机处理器；
所述编码器使用基于特征的编码如下编码所述视频帧的部分：
在一个或者多个所述视频帧中检测特征，其中所述特征在所述视频帧中的一个视频帧中的相应实例是表现出复杂性的靠近邻域中的像素群组；
通过使用在运动补偿预测过程中使用的参考帧处理，将所述特征与所述视频帧中的非特征分割；
处理先前已解码视频帧的一个或者多个部分，以识别所述特征的潜在匹配；
确定先前已解码视频帧的大量部分包括所述特征的实例；
将所述特征的所述实例聚集到所述特征的实例的集合中；
处理特征集合以创建基于特征的模型，其中所述基于特征的模型包括所述特征的所述实例的外观变化的模型和形变变化的模型，所述外观变化的模型通过对所述特征的所述实例的像素变化进行建模来创建，所述形变变化的模型通过对所述特征的所述实例的像素对应性变化进行建模来创建；
确定与使用所述基于特征的模型对所述特征集合进行建模相关联的压缩效率；
确定与使用MPEG-4或者H.264视频压缩对所述特征集合进行建模相关联的压缩效率；
将所述基于特征的模型的压缩效率与MPEG-4或者H.264视频建模的压缩效率进行比较，并且确定哪个具有较大的压缩值；以及
基于哪个具有较大的压缩值，使用所述基于特征的模型和MPEG-4或者H.264视频编码对所述视频数据进行编码。
34.一种处理视频数据的方法，包括：
通过在宏块级确定已编码视频数据中是否存在已编码特征，解码所述已编码视频数据；
响应于确定所述已编码视频数据中不存在已编码特征，使用MPEG-4或者H.264视频解码进行解码；
响应于确定所述已编码视频数据中存在已编码特征，将所述已编码特征从所述已编码视频数据中分离，以便独立于所述视频数据的MPEG-4或者H.264编码的部分而合成已编码特征实例；
确定基于特征的模型以及与所述已编码特征相关联的特征参数；
使用所述确定的基于特征的模型和特征参数来合成已编码特征实例；以及
将所述视频数据的MPEG-4或者H.264编码的部分与合成的特征实例组合，以重建原始视频数据。
35.一种用于处理视频数据的数据处理系统，包括：
一个或者多个计算机处理器，执行混合编解码器的解码器，所述解码器能够如下使用视频数据解码：
通过在宏块级确定已编码视频数据中是否存在已编码特征，解码所述已编码视频数据；
响应于确定所述已编码视频数据中不存在已编码特征，使用MPEG-4或者H.264视频解码进行解码；
响应于确定所述已编码视频数据中存在已编码特征，将所述已编码特征从所述已编码视频数据中分离，以便独立于所述视频数据的MPEG-4或者H.264编码的部分而合成已编码特征实例；
确定基于特征的模型以及与所述已编码特征相关联的特征参数；
使用所述确定的基于特征的模型和特征参数来合成已编码特征实例；以及
将所述视频数据的MPEG-4或者H.264编码的部分与所述视频数据合成的特征组合，以重建原始视频数据。
CN200980139619.8A 2008-10-07 2009-10-06 基于特征的视频压缩 Expired - Fee Related CN102172026B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10336208P 2008-10-07 2008-10-07
US61/103,362 2008-10-07
PCT/US2009/059653 WO2010042486A1 (en) 2008-10-07 2009-10-06 Feature-based video compression

Publications (2)

Publication Number Publication Date
CN102172026A CN102172026A (zh) 2011-08-31
CN102172026B true CN102172026B (zh) 2015-09-09

Family

ID=41528424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980139619.8A Expired - Fee Related CN102172026B (zh) 2008-10-07 2009-10-06 基于特征的视频压缩

Country Status (7)

Country Link
US (3) US8942283B2 (zh)
EP (1) EP2345256B1 (zh)
JP (1) JP5567021B2 (zh)
CN (1) CN102172026B (zh)
CA (1) CA2739482C (zh)
TW (1) TW201016016A (zh)
WO (1) WO2010042486A1 (zh)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9532069B2 (en) * 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9743078B2 (en) * 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
WO2007050593A2 (en) * 2005-10-25 2007-05-03 William Marsh Rice University Method and apparatus for signal detection, classification, and estimation from compressive measurements
CN102685441A (zh) 2007-01-23 2012-09-19 欧几里得发现有限责任公司 用于提供个人视频服务的系统和方法
CN101622874A (zh) 2007-01-23 2010-01-06 欧几里得发现有限责任公司 对象存档系统和方法
CN101939991A (zh) * 2007-01-23 2011-01-05 欧几里得发现有限责任公司 用于处理图像数据的计算机方法和装置
US8503523B2 (en) * 2007-06-29 2013-08-06 Microsoft Corporation Forming a representation of a video item and use thereof
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
CN102172026B (zh) 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
US8401075B2 (en) * 2008-12-31 2013-03-19 General Instrument Corporation Hybrid video encoder including real-time and off-line video encoders
FR2959037A1 (fr) * 2010-04-14 2011-10-21 Orange Vallee Procede de creation d'une sequence media par groupes coherents de fichiers medias
US8638863B1 (en) 2010-05-18 2014-01-28 Google Inc. Apparatus and method for filtering video using extended edge-detection
US8860835B2 (en) 2010-08-11 2014-10-14 Inview Technology Corporation Decreasing image acquisition time for compressive imaging devices
US8929456B2 (en) * 2010-09-30 2015-01-06 Alcatel Lucent Video coding using compressive measurements
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
KR20120040015A (ko) * 2010-10-18 2012-04-26 한국전자통신연구원 벡터 분류기 및 그것의 벡터 분류 방법
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US20130002858A1 (en) * 2011-06-28 2013-01-03 Bridge Robert F Mechanisms for Conserving Power in a Compressive Imaging System
EP2754291A4 (en) * 2011-09-06 2015-04-29 Intel Corp ASSISTED CODING BY ANALYSIS
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9253857B2 (en) 2012-03-05 2016-02-02 Empire Technology Development Llc Integrated occupancy and ambient light sensors
JP2015515806A (ja) * 2012-03-26 2015-05-28 ユークリッド・ディスカバリーズ・エルエルシーＥｕｃｌｉｄ Ｄｉｓｃｏｖｅｒｉｅｓ，Ｌｌｃ コンテキストベースの映像符号化及び映像復号化
FR2989805A1 (fr) * 2012-04-19 2013-10-25 France Telecom Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
US9473780B2 (en) 2012-07-13 2016-10-18 Apple Inc. Video transmission using content-based frame search
US9286648B2 (en) * 2012-08-03 2016-03-15 Nadar Mariappan S Zero communication block partitioning
TW201421423A (zh) 2012-11-26 2014-06-01 Pixart Imaging Inc 影像感測器及其運作方法
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9349072B2 (en) * 2013-03-11 2016-05-24 Microsoft Technology Licensing, Llc Local feature based image compression
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US10728298B2 (en) 2013-09-12 2020-07-28 Qualcomm Incorporated Method for compressed sensing of streaming data and apparatus for performing the same
CN104750697B (zh) * 2013-12-27 2019-01-25 同方威视技术股份有限公司 基于透视图像内容的检索系统、检索方法以及安全检查设备
US9258525B2 (en) * 2014-02-25 2016-02-09 Alcatel Lucent System and method for reducing latency in video delivery
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
WO2015138008A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
TWI577178B (zh) * 2016-01-06 2017-04-01 睿緻科技股份有限公司 影像處理裝置及其影像壓縮方法
US10542267B2 (en) 2016-01-21 2020-01-21 Samsung Display Co., Ltd. Classification preserving image transform compression
US10140734B2 (en) * 2016-01-29 2018-11-27 Wisconsin Alumni Research Foundation System and method for simulataneous image artifact reduction and tomographic reconstruction of images depicting temporal contrast dynamics
US10339235B1 (en) * 2016-03-23 2019-07-02 Emc Corporation Massively parallel processing (MPP) large-scale combination of time series data
US9946933B2 (en) * 2016-08-18 2018-04-17 Xerox Corporation System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
US20180189143A1 (en) * 2017-01-03 2018-07-05 International Business Machines Corporation Simultaneous compression of multiple stored videos
JP6857716B2 (ja) * 2017-04-27 2021-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
KR102256110B1 (ko) * 2017-05-26 2021-05-26 라인 가부시키가이샤 영상 압축 방법 및 영상 복원 방법
CN110999298A (zh) * 2017-07-05 2020-04-10 Red.Com有限责任公司 电子装置中的视频图像数据处理
US10740985B2 (en) 2017-08-08 2020-08-11 Reald Spark, Llc Adjusting a digital representation of a head region
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
CN108832934B (zh) * 2018-05-31 2022-02-18 安徽大学 一种基于奇异值分解的二维正交匹配追踪优化算法
US11109065B2 (en) 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
EP3836548A4 (en) * 2018-09-26 2021-08-04 Huawei Technologies Co., Ltd. PROCESS AND APPARATUS FOR COMPRESSION AND DECOMPRESSION OF 3D GRAPHIC DATA
US10405005B1 (en) 2018-11-28 2019-09-03 Sherman McDermott Methods and systems for video compression based on dynamic vector wave compression
CN109447921A (zh) * 2018-12-05 2019-03-08 重庆邮电大学 一种基于重构误差的图像测量矩阵优化方法
CN110458902B (zh) * 2019-03-26 2022-04-05 华为技术有限公司 3d光照估计方法及电子设备
CN110113607B (zh) * 2019-04-25 2022-02-01 长沙理工大学 一种基于局部与非局部约束的压缩感知视频重建方法
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US10911775B1 (en) * 2020-03-11 2021-02-02 Fuji Xerox Co., Ltd. System and method for vision-based joint action and pose motion forecasting
JP7017596B2 (ja) * 2020-03-17 2022-02-08 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
US11451480B2 (en) * 2020-03-31 2022-09-20 Micron Technology, Inc. Lightweight artificial intelligence layer to control the transfer of big data
US20230156212A1 (en) * 2020-04-03 2023-05-18 Lg Electronics Inc. Video transmission method, video transmission device, video reception method, and video reception device
WO2021205067A1 (en) * 2020-04-07 2021-10-14 Nokia Technologies Oy Feature-domain residual for video coding for machines
US11227396B1 (en) * 2020-07-16 2022-01-18 Meta Platforms, Inc. Camera parameter control using face vectors for portal
CN112559618B (zh) * 2020-12-23 2023-07-11 光大兴陇信托有限责任公司 一种基于金融风控业务的外部数据整合方法
US11917162B2 (en) 2021-04-30 2024-02-27 Tencent America LLC Content-adaptive online training with feature substitution in neural image compression
US20230024288A1 (en) * 2021-07-13 2023-01-26 Tencent America LLC Feature-based multi-view representation and coding
US20230162372A1 (en) * 2021-11-24 2023-05-25 Microsoft Technology Licensing, Llc Feature Prediction for Efficient Video Processing
CN114422805B (zh) * 2022-03-30 2022-09-02 浙江智慧视频安防创新中心有限公司 一种视频编解码方法、装置及设备
WO2024025280A1 (en) * 2022-07-27 2024-02-01 Samsung Electronics Co., Ltd. Method and system for content-based scaling for artificial intelligence based in-loop filters
CN115941966B (zh) * 2022-12-30 2023-08-22 深圳大学 一种视频压缩方法及电子设备
CN116760983B (zh) * 2023-08-09 2023-11-28 中国科学技术大学 用于视频编码的环路滤波方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5117287A (en) * 1990-03-02 1992-05-26 Kokusai Denshin Denwa Co., Ltd. Hybrid coding system for moving image
US5933535A (en) * 1995-10-05 1999-08-03 Microsoft Corporation Object-based video compression process employing arbitrarily-shaped features
CN1849828A (zh) * 2003-07-09 2006-10-18 日本电气株式会社 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置和计算机程序
US7352386B1 (en) * 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
WO2008091483A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data

Family Cites Families (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2606523B2 (ja) 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
JPH0738873B2 (ja) 1992-07-14 1995-05-01 株式会社日本水処理技研 タイル目地の抗菌処理方法及び抗菌処理具
US6018771A (en) 1992-11-25 2000-01-25 Digital Equipment Corporation Dynamic assignment of multicast network addresses
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
JPH0795587A (ja) * 1993-06-30 1995-04-07 Ricoh Co Ltd 動きベクトル検出方法
US5586200A (en) * 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
JPH07288789A (ja) 1994-04-15 1995-10-31 Hitachi Ltd 知的符号化装置及び画像通信装置
US5710590A (en) 1994-04-15 1998-01-20 Hitachi, Ltd. Image signal encoding and communicating apparatus using means for extracting particular portions of an object image
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JP2739444B2 (ja) 1995-03-01 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 ３次元モデルによる動き生成装置
JP2727066B2 (ja) 1995-03-20 1998-03-11 株式会社エイ・ティ・アール通信システム研究所 可塑性物体特徴検出装置
KR0171151B1 (ko) 1995-03-20 1999-03-20 배순훈 곡률 계산 기법을 이용한 이미지 윤곽 근사화 장치
JP3933691B2 (ja) * 1995-09-12 2007-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号のハイブリッド波形及びモデルベース符号化及び復号化
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6037988A (en) 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6614847B1 (en) * 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
US6088484A (en) 1996-11-08 2000-07-11 Hughes Electronics Corporation Downloading of personalization layers for symbolically compressed objects
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6047088A (en) 1996-12-16 2000-04-04 Sharp Laboratories Of America, Inc. 2D mesh geometry and motion vector compression
US5826165A (en) 1997-01-21 1998-10-20 Hughes Electronics Corporation Advertisement reconciliation system
EP2320664A1 (en) 1997-02-13 2011-05-11 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
IL122194A0 (en) 1997-11-13 1998-06-15 Scidel Technologies Ltd Method and apparatus for personalized images inserted into a video stream
US6061400A (en) * 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6625316B1 (en) 1998-06-01 2003-09-23 Canon Kabushiki Kaisha Image processing apparatus and method, and image processing system
JP3413720B2 (ja) 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6256423B1 (en) 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US7124065B2 (en) 1998-10-26 2006-10-17 Speech Technology And Applied Research Corporation Determining a tangent space and filtering data onto a manifold
US6546117B1 (en) 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
CN1229996C (zh) 1999-01-29 2005-11-30 三菱电机株式会社 图象特征编码方法
US6751354B2 (en) 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
US6774917B1 (en) 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
GB9909362D0 (en) 1999-04-23 1999-06-16 Pace Micro Tech Plc Memory database system for encrypted progarmme material
US6307964B1 (en) 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
US6870843B1 (en) 1999-06-22 2005-03-22 World Multicast.Com, Inc. Self implementing multicast level escalation
KR100611999B1 (ko) 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
JP2001100731A (ja) 1999-09-28 2001-04-13 Toshiba Corp オブジェクト映像表示装置
US6731813B1 (en) 1999-10-07 2004-05-04 World Multicast.Com, Inc. Self adapting frame intervals
US6792154B1 (en) 1999-10-07 2004-09-14 World Multicast.com, Inc Video compression system and method using time
KR100673282B1 (ko) 1999-11-29 2007-01-24 소니 가부시끼 가이샤 비디오/오디오 신호 처리 방법 및 비디오/오디오 신호처리 장치
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6738424B1 (en) 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6574353B1 (en) 2000-02-08 2003-06-03 University Of Washington Video object tracking using a hierarchy of deformable templates
EP2538667A3 (en) 2000-02-09 2014-09-03 Canon Kabushiki Kaisha Method and apparatus for image processing which inhibits reproduction of parts of a recording
US6661004B2 (en) 2000-02-24 2003-12-09 Massachusetts Institute Of Technology Image deconvolution techniques for probe scanning apparatus
JP4443722B2 (ja) 2000-04-25 2010-03-31 富士通株式会社 画像認識装置及び方法
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6795875B2 (en) * 2000-07-31 2004-09-21 Microsoft Corporation Arbitrating and servicing polychronous data requests in direct memory access
US8005145B2 (en) * 2000-08-11 2011-08-23 Nokia Corporation Method and apparatus for transferring video frame in telecommunication system
FR2814312B1 (fr) * 2000-09-07 2003-01-24 France Telecom Procede de segmentation d'une surface image video par objets elementaires
GB2367966B (en) 2000-10-09 2003-01-15 Motorola Inc Method and apparatus for determining regions of interest in images and for image transmission
JP4310916B2 (ja) 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
JP2002182961A (ja) 2000-12-13 2002-06-28 Nec Corp データベースの同期化システムとその同期化の方法
EP1518211A2 (en) 2000-12-22 2005-03-30 Anthropics Technology Limited Image processing system
US20020085633A1 (en) 2001-01-03 2002-07-04 Kim Hyun Mun Method of performing video encoding rate control
US7061483B2 (en) 2001-02-08 2006-06-13 California Institute Of Technology Methods for computing barycentric coordinates generalized to irregular n-gons and applications of the same
US6614466B2 (en) 2001-02-22 2003-09-02 Texas Instruments Incorporated Telescopic reconstruction of facial features from a speech pattern
US6625310B2 (en) 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7043058B2 (en) 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
US20020164068A1 (en) 2001-05-03 2002-11-07 Koninklijke Philips Electronics N.V. Model switching in a communication system
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US6496217B1 (en) 2001-06-12 2002-12-17 Koninklijke Philips Electronics N.V. Video communication system using model-based coding and prioritzation techniques
US7173925B1 (en) 2001-07-18 2007-02-06 Cisco Technology, Inc. Method and system of control signaling for a wireless access network
US7003039B2 (en) 2001-07-18 2006-02-21 Avideh Zakhor Dictionary generation method for video and image compression
US7457359B2 (en) 2001-09-26 2008-11-25 Mabey Danny L Systems, devices and methods for securely distributing highly-compressed multimedia content
GB2382289B (en) 2001-09-28 2005-07-06 Canon Kk Method and apparatus for generating models of individuals
EP1309181A1 (en) 2001-11-06 2003-05-07 Thomson Licensing S.A. Device, method and system for multimedia content adaption
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20030122966A1 (en) 2001-12-06 2003-07-03 Digeo, Inc. System and method for meta data distribution to customize media content playback
US6842177B2 (en) 2001-12-14 2005-01-11 University Of Washington Macroblock padding
US7673136B2 (en) 2002-02-26 2010-03-02 Stewart Ian A Method for secure multicast repeating on the public Internet
JP2003253190A (ja) 2002-03-06 2003-09-10 Kansai Paint Co Ltd 缶内面用水性塗料組成物
US6950123B2 (en) 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
US7136505B2 (en) 2002-04-10 2006-11-14 National Instruments Corporation Generating a curve matching mapping operator by analyzing objects of interest and background information
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7483487B2 (en) 2002-04-11 2009-01-27 Microsoft Corporation Streaming methods and systems
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
AU2003237279A1 (en) 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
US8752197B2 (en) 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
US7031499B2 (en) 2002-07-22 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Object recognition system
US6925122B2 (en) 2002-07-25 2005-08-02 National Research Council Method for video-based nose location tracking and hands-free computer input devices based thereon
EP1387588A2 (en) 2002-08-02 2004-02-04 KDDI Corporation Image matching device and method for motion estimation
JP2004356747A (ja) 2003-05-27 2004-12-16 Kddi Corp 画像のマッチング方法および装置
US20040028139A1 (en) 2002-08-06 2004-02-12 Andre Zaccarin Video encoding
US20040113933A1 (en) 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
TW200407799A (en) 2002-11-05 2004-05-16 Ind Tech Res Inst Texture partition and transmission method for network progressive transmission and real-time rendering by using the wavelet coding algorithm
KR100455294B1 (ko) 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
WO2004061702A1 (en) 2002-12-26 2004-07-22 The Trustees Of Columbia University In The City Of New York Ordered data compression system and methods
US7003117B2 (en) 2003-02-05 2006-02-21 Voltage Security, Inc. Identity-based encryption system for secure data distribution
US7606305B1 (en) 2003-02-24 2009-10-20 Vixs Systems, Inc. Method and system for transcoding video data
FR2852773A1 (fr) 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US7574406B2 (en) 2003-03-31 2009-08-11 Satyam Computer Services Limited Of Mayfair Centre System and method maximizing video license utilization using billboard services
US7184073B2 (en) 2003-04-11 2007-02-27 Satyam Computer Services Limited Of Mayfair Centre System and method for warning drivers based on road curvature
US7424164B2 (en) 2003-04-21 2008-09-09 Hewlett-Packard Development Company, L.P. Processing a detected eye of an image to provide visual enhancement
US7956889B2 (en) 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
US7415527B2 (en) 2003-06-13 2008-08-19 Satyam Computer Services Limited Of Mayfair Centre System and method for piecewise streaming of video using a dedicated overlay network
US7603022B2 (en) 2003-07-02 2009-10-13 Macrovision Corporation Networked personal video recording system
US7296030B2 (en) * 2003-07-17 2007-11-13 At&T Corp. Method and apparatus for windowing in entropy encoding
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
KR20050040712A (ko) 2003-10-28 2005-05-03 삼성전자주식회사 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치
WO2005055602A1 (en) 2003-12-04 2005-06-16 Telefonaktiebolaget Lm Ericsson (Publ) Video application node
GB2409029A (en) 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
US7535515B2 (en) 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
US8175412B2 (en) * 2004-02-17 2012-05-08 Yeda Research & Development Co. Ltd. Method and apparatus for matching portions of input images
US7447331B2 (en) 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
JP2005244585A (ja) 2004-02-26 2005-09-08 Alps Electric Co Ltd アイソレータ
WO2006002299A2 (en) * 2004-06-22 2006-01-05 Sarnoff Corporation Method and apparatus for recognizing 3-d objects
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US7426285B2 (en) 2004-09-21 2008-09-16 Euclid Discoveries, Llc Apparatus and method for processing video data
CN101036150B (zh) 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US7457472B2 (en) 2005-03-31 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US7508990B2 (en) 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
US7457435B2 (en) 2004-11-17 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US7436981B2 (en) 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
US8724891B2 (en) 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
AU2005306599C1 (en) 2004-11-17 2010-06-03 Euclid Discoveries, Llc Apparatus and method for processing video data
US20060120571A1 (en) 2004-12-03 2006-06-08 Tu Peter H System and method for passive face recognition
WO2007044044A2 (en) * 2004-12-21 2007-04-19 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
KR20070107722A (ko) 2005-01-28 2007-11-07 유클리드 디스커버리스, 엘엘씨 비디오 데이터를 프로세싱하는 장치 및 방법
KR101216161B1 (ko) * 2005-03-31 2012-12-27 유클리드 디스커버리스, 엘엘씨 비디오 데이터를 프로세싱하는 장치 및 방법
US20060274949A1 (en) 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
RU2008105303A (ru) 2005-07-13 2009-08-20 Конинклейке Филипс Электроникс Н.В. (Nl) Способ и устройство обработки с временным повышающим преобразованием видео
US7672306B2 (en) 2005-07-18 2010-03-02 Stewart Ian A Method for secure reliable point to multi-point bi-directional communications
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US7689021B2 (en) * 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
WO2007026302A2 (en) * 2005-09-01 2007-03-08 Koninklijke Philips Electronics N.V. Method and device for coding and decoding of video error resilience
JP2009515375A (ja) 2005-09-16 2009-04-09 フリクサー，インコーポレーテッド ビデオを個人化する操作
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
JP4654864B2 (ja) 2005-09-30 2011-03-23 パナソニック株式会社 プラズマディスプレイパネルの製造方法
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US20070153025A1 (en) * 2005-12-29 2007-07-05 Mitchell Owen R Method, apparatus, and system for encoding and decoding a signal on a viewable portion of a video
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7630522B2 (en) 2006-03-08 2009-12-08 Microsoft Corporation Biometric measurement using interactive display systems
US20070268964A1 (en) 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
CN101536525B (zh) * 2006-06-08 2012-10-31 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US20080027917A1 (en) * 2006-07-31 2008-01-31 Siemens Corporate Research, Inc. Scalable Semantic Image Search
CN101513069B (zh) * 2006-09-30 2011-04-13 汤姆逊许可公司 用于对视频色彩增强层编码和解码的方法和设备
CN102761744B (zh) * 2006-10-13 2015-10-28 汤姆逊许可公司 用于多视点视频编码的参考图像列表管理语法
CN101601303B (zh) 2006-12-11 2011-07-27 汤姆逊许可公司 对图像进行编码的方法及实现所述方法的装置
WO2008076148A2 (en) * 2006-12-15 2008-06-26 Thomson Licensing Distortion estimation
US8804829B2 (en) 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
CN102685441A (zh) 2007-01-23 2012-09-19 欧几里得发现有限责任公司 用于提供个人视频服务的系统和方法
CN101622874A (zh) 2007-01-23 2010-01-06 欧几里得发现有限责任公司 对象存档系统和方法
KR101366242B1 (ko) * 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
EP2191402A4 (en) 2007-08-20 2014-05-21 Nokia Corp SEGMENTED METADATA AND INDEXES FOR MULTIMEDIA FLOW DATA
US8036464B2 (en) 2007-09-07 2011-10-11 Satyam Computer Services Limited System and method for automatic segmentation of ASR transcripts
US8065293B2 (en) 2007-10-24 2011-11-22 Microsoft Corporation Self-compacting pattern indexer: storing, indexing and accessing information in a graph-like data structure
US8091109B2 (en) 2007-12-18 2012-01-03 At&T Intellectual Property I, Lp Set-top box-based TV streaming and redirecting
JP5555221B2 (ja) 2008-03-18 2014-07-23 トムソン ライセンシング 着目物の適応的な色モデル・パラメータ推定に係る方法および装置
JP5429445B2 (ja) 2008-04-08 2014-02-26 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP2009284298A (ja) * 2008-05-23 2009-12-03 Hitachi Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
US8140550B2 (en) 2008-08-20 2012-03-20 Satyam Computer Services Limited Of Mayfair Centre System and method for bounded analysis of multimedia using multiple correlations
US8086692B2 (en) 2008-08-27 2011-12-27 Satyam Computer Services Limited System and method for efficient delivery in a multi-source, multi destination network
US8259794B2 (en) * 2008-08-27 2012-09-04 Alexander Bronstein Method and system for encoding order and frame type selection optimization
US8065302B2 (en) 2008-08-27 2011-11-22 Satyam Computer Services Limited System and method for annotation aggregation
US8090670B2 (en) 2008-09-19 2012-01-03 Satyam Computer Services Limited System and method for remote usage modeling
US8392942B2 (en) 2008-10-02 2013-03-05 Sony Corporation Multi-coded content substitution
CN102172026B (zh) 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
CN102301397A (zh) 2008-12-01 2011-12-28 北方电讯网络有限公司 用于提供计算机生成的三维虚拟环境的视频表示的方法和设备
US8386318B2 (en) 2008-12-30 2013-02-26 Satyam Computer Services Ltd. System and method for supporting peer interactions
EP2216750A1 (en) 2009-02-06 2010-08-11 Thomson Licensing Method and apparatus for encoding 3D mesh models, and method and apparatus for decoding encoded 3D mesh models
KR101496422B1 (ko) 2009-04-08 2015-02-27 뉴로우, 인코포레이티드 이미지 압축을 위한 시스템 및 방법
US20100316131A1 (en) 2009-06-12 2010-12-16 Motorola, Inc. Macroblock level no-reference objective quality estimation of video
TWI442777B (zh) 2009-06-23 2014-06-21 Acer Inc 空間性錯誤隱藏方法
US8068677B2 (en) 2009-08-25 2011-11-29 Satyam Computer Services Limited System and method for hierarchical image processing
US8848802B2 (en) 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
US20110087703A1 (en) 2009-10-09 2011-04-14 Satyam Computer Services Limited Of Mayfair Center System and method for deep annotation and semantic indexing of videos
US8687891B2 (en) 2009-11-19 2014-04-01 Stanford University Method and apparatus for tracking and recognition with rotation invariant feature descriptors
US8290038B1 (en) 2009-11-30 2012-10-16 Google Inc. Video coding complexity estimation
WO2011156250A1 (en) 2010-06-07 2011-12-15 Thomson Licensing Learned transform and compressive sensing for video coding
US8577179B2 (en) 2010-08-19 2013-11-05 Stmicroelectronics International N.V. Image processing arrangement illuminating regions of an image based on motion
WO2012033971A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example - based data pruning using intra- frame patch similarity
US8661076B2 (en) 2010-09-23 2014-02-25 Salesforce.Com, Inc. Business networking information feed alerts
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US8804815B2 (en) 2011-07-29 2014-08-12 Dialogic (Us) Inc. Support vector regression based video quality prediction
US20130035979A1 (en) 2011-08-01 2013-02-07 Arbitron, Inc. Cross-platform audience measurement with privacy protection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5117287A (en) * 1990-03-02 1992-05-26 Kokusai Denshin Denwa Co., Ltd. Hybrid coding system for moving image
US5933535A (en) * 1995-10-05 1999-08-03 Microsoft Corporation Object-based video compression process employing arbitrarily-shaped features
US7352386B1 (en) * 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
CN1849828A (zh) * 2003-07-09 2006-10-18 日本电气株式会社 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置和计算机程序
WO2008091483A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data

Also Published As

Publication number Publication date
CA2739482A1 (en) 2010-04-15
US8942283B2 (en) 2015-01-27
US20150189318A1 (en) 2015-07-02
JP2012505600A (ja) 2012-03-01
US8964835B2 (en) 2015-02-24
US20120155536A1 (en) 2012-06-21
WO2010042486A1 (en) 2010-04-15
EP2345256B1 (en) 2018-03-14
EP2345256A1 (en) 2011-07-20
TW201016016A (en) 2010-04-16
CA2739482C (en) 2017-03-14
US20110182352A1 (en) 2011-07-28
CN102172026A (zh) 2011-08-31
JP5567021B2 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
CN102172026B (zh) 基于特征的视频压缩
US10499054B2 (en) System and method for inter-frame predictive compression for point clouds
CN101536525B (zh) 用来处理视频数据的装置和方法
CN101939991A (zh) 用于处理图像数据的计算机方法和装置
CN101167363B (zh) 处理视频数据的方法
Dubois et al. Estimation of 2-D motion fields from image sequences with application to motion-compensated processing
CN109166160B (zh) 一种采用图形预测的三维点云压缩方法
WO2006096162A2 (en) Method for content driven image compression
Song et al. Optimized rate control algorithm of high-efficiency video coding based on region of interest
Ma et al. Effective moving object detection in H. 264/AVC compressed domain for video surveillance
Benois-Pineau et al. Hierarchical segmentation of video sequences for content manipulation and adaptive coding
CN112488117B (zh) 一种基于方向诱导卷积的点云分析方法
CN114501022A (zh) 一种数据处理方法、装置、计算机设备及存储介质
AL-Khafaji et al. Quadtree partitioning scheme of color image based
Sun et al. Cluster-based two-branch framework for point cloud attribute compression
Sebai et al. End-to-End Variable-Rate Learning-Based Depth Compression Guided by Deep Correlation Features
CN113808224A (zh) 一种基于块划分和深度学习的点云几何压缩方法
Li et al. 3-D Point Cloud Attribute Compression With $ p $-Laplacian Embedding Graph Dictionary Learning
Huang Latent representations of galaxy images with autoencoders
WO2023069337A1 (en) Systems and methods for optimizing a loss function for video coding for machines
Hu Lossless Decoding Method of Compressed Coded Video Based on Inter-Frame Differential Background Model: Multi-Algorithm Joint Lossless Decoding
Kolesnikov Optimal algorithm for lossy vector data compression
Schmalz et al. Detection and characterization of motion in video compression
CN115065826A (zh) 一种基于位姿状态的激光雷达点云帧间编解码方法
Schertler Improving JPEG Compression with Regression Tree Fields

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150909

Termination date: 20201006

CF01 Termination of patent right due to non-payment of annual fee