CN1322442A - 用于压缩视频序列的编码方法 - Google Patents

Abstract

本发明涉及一个对图像序列的压缩编码方法,该图像序列被划分为利用三维(3D)小波变换而分解成的帧组。根据这个方法,基于分级子带编码方法SPIHT并被用于规定了所获得的变换系数的分级金字塔内的空－时关系的一个空－时方向树的带通子带,利用固定预测系数或考虑情况变化的自适应预测系数,一个向量DPCM被用于对最低频率空－时子带进行单独编码,且当为在上述子带的每个帧中具有分量的变换系数的每个向量建立一个空－时预测器时,所观察到的预测错误的量化依靠一个分级或向量量化来进行。由这些调制和量化步骤中产生的最终二进制流通过一个最小化整个消息的墒的无损技术来进行编码。

Description

用于压缩视频序列的编码方法

发明领域

本发明涉及一种用于压缩视频序列的编码方法，该视频序列被划分为多个帧组，这些帧组依靠导致可以产生指定数量的连续清晰度等级的三维(3D)小波变换来进行分解，该方法基于一个被称作“在分级树中设置分区”(SPIHT)的分级子带编码过程，且导致可以从每组帧的图像元素(像素)的原始集合来变换用二进制格式编码的系数并构成一个分级金字塔，这些系数借助于涉及由三个已排序的列表即非重要的集合列表(LIS)、非重要的像素(LIP)列表和重要的像素列表(LSP)所表示的像素的幅度测试来进行排序，这些测试被顺序执行，以便根据一个一直持续到每个重要系数都在上述二进制表示法内被编码的划分过程来将上述的图像元素的原始集合划分成分段子集，并且在一个空-时方向树中，根是由3D小波变换产生的近似子带的像素构成的，这些像素中的每一个的后代(offspring)是由对应于由这些根像素定义的图像量的较高的子带的像素构成的，所述空-时方向树定义了上述分级金字塔内部的空-时关系。

发明背景

在视频压缩方法中，时间冗余的减少主要是通过两种方法获得的。根据第一个方法，所谓的“混合“或预测方法，当前帧的预测被基于先前发送的帧而计算，且只有预测错误被帧内编码并发送。在第二个方法中，时间冗余依靠时间变换而被利用，该变换类似于用于去除冗余的空间技术。在后面的这个技术(所谓的3D或2D+t方法)中，帧序列被作为一个3D量处理，且用于图像编码的子带分解通过用可分变换(例如，依靠滤波器组来实现的小波或小波分组变换)扩展到3D空-时数据。通过在时间和空间方向使用不同的滤波器组，3D结构中的各向异性可以被考虑进来(哈尔滤波器通常被选择用于空间滤波，由于较长的滤波器的增加的延迟是不合需要的；而且，作为双抽头滤波器的哈尔滤波器是没有边界效应的唯一理想的重建正交滤波器)。

已知3D编码方法的编码效率可以通过在低时间子带中在时间分解的每个等级中执行运动估计/补偿来提高。因此，该方法包括子带内的运动估计/补偿且3D子带分解被应用于被补偿的帧组。图1中描述了一个完整的三级时间分解。在输入图像序列中的每个帧组必须含有等于2的幂的多个帧(通常是16，在本例中是8)。直线箭头指示低通(L)时间滤波(连续箭头)和高通(H)时间滤波(虚线箭头)，且曲线箭头标明两帧之间的运动补偿。在最后的时间分解等级中，有两帧处在最低的时间子带。在时间子带的每个帧中，执行空间分解。在这个结构中，数据的三维结构子带编码可以作为空间子带编码技术的扩展来被实现。

在视频技术电路及系统IEEE学报vol.6,N3,1996年6月第243-250页中，Said和W.A.Pearlman的题为“一个新的快速而有效的基于分级树中的设置分区的图像编解码器”的文章中，描述了图像压缩最有效的基于小波的方法之一，它最近被扩展到子带3D结构，该方法是分级树中的二维集合划分(即2D SPIHT)。用于这一3D编码技术中的基本概念如下：对应于相同位置的空-时树在小波域中被形成；然后，这些树中的小波变换系数被划分成由在这些系数值的比特平面表示中最高高有效比特级别定义的集合；最后，最高的剩余比特平面被编码且最后得到的比特被发送。

上面提出的SPIHT算法的2D和3D形式的一个共同特征是空间的、相应的空-时的方向树被规定从最低频率子带开始，并且代表涉及相同空间或空-时位置的系数。在这个方法中，除了最低频带外，所有的父代(parent)有四个(在2D时)或8个(在3D时)子代(children)。令(i,j,k)代表3D变换域中的一个图像元素(像素)的坐标：如果它不在最低空-时频率子带中且它不在最后的清晰度等级子带中的一个之中，则它的后代有坐标：O={(2i,2j,2k),(2i+1,2j,2k),(2i,2j+1,2k),(2i,2j,2k+1),(2i+1,2j+1,2k),(2i+1,2j,2k+1),(2i,2j+1,2k+1),(2i+1,2j+1,2k+1)}为简单起见，静止图像的情况在图2中示例出(子带s-LLLL,s-LLLH…等)。

在图像编码域中，在最近几年中零树压缩算法被广泛研究且提出了几个改进。例如，在MPEG-4标准中，这样一个算法的变化方案(见例如在有关信号处理的IEEE学报vok.41,N12,1993年12月，第3445-3462页中J.M.Shapiro的题为“利用小波系数的零树的嵌入式图像编码”的文章)被采纳用于静止图像编码模式，其中最低空间子带使用DPCM技术进行独立编码。然后，空间方向树的构成是以详细的子带(除第一个子带s-LLLL外的所有子带)的形式开始的。

发明概要

本发明的一个目的是提出一个3D情况中的新型视频编码方法。

为此，本发明涉及诸如在前言中说明定义的、并具有如下特征的编码方法：

(A)根据下面的条件，向量差分脉冲编码调制(DPCM)被用于对最低频率空-时子带或近似子带进行单独编码：

(a)为近似子带中的每个帧中具有分量的系数的每个向量构造一个空-时预测量，该预测量不仅使用视频序列中过去的帧中相同的位置的值，还使用当前帧中的相邻值，上述向量编码特性来源于这样的事实：最低频率子带含有来自至少两个帧的空间低频子带；

(b)上述DPCM使用常量预测系数；

(B)预测错误的量化依靠对两向量分量的分级量化而被执行，其后跟随着与针对每一对指定的被量化的值而计算出的概率相关的唯一的二进制码的分配；

(C)由步骤(A)和(B)产生的二进制流通过一个用于最小化整个消息的熵的无损过程来进行编码。

在另一个实施方案中，发明涉及一个类似的方法，但其特征为：

(A)根据下面的条件，向量差分脉冲编码调制(DPCM)被用于对最低频率空-时子带或近似子带进行单独编码：

(a)为近似子带中的每个帧中具有分量的系数的每个向量构造一个时空预测量，该预测量不仅使用图像序列中过去的帧中相同的位置的值，还使用当前帧中的相邻值，上述向量编码特征来源于这样的事实：最低频率子带含有来自至少两个帧的空间低频子带；

(b)上述DPCM使用常量预测系数；

(B)预测错误的量化依靠向量量化来实现，为此要使用一个最优量化器并且要基于广义Lloyd-Max算法，一个针对所述优化而考虑的被量化的预测错误向量的两个分量的联合Laplacian概率密度函数；

(C)由步骤(A)和(B)产生的二进制流通过一个用于最小化整个消息的熵的无损过程来进行编码。

无论是哪个实施方案，上述DPCM都可以是自适应的，空-时预测器的系数依靠每个帧组的这些系数的最小均方估值来考虑情况变化。

附图简述

现在连同附图参考下文描述的实施方案来解释和考虑发明的特性和优势，其中：

-图1示例了对一个以具有运动补偿的三维子带分解形式出现的输入图像序列中的一个8帧的组的时间子带分解；

-图2给出了在静止图像情况下，2D-SPIHT中的空间方向树；

-图3给出了对于二维零树编码(s-LLLL被独立编码)的MPEG-4类的空间方向树；

-图4示例了一个已知的SPIHT算法的方块图；

-图5和6分别给出了3D-SPIHT中的空-时方向树和修正的空-时方向树；

-图7给出了用于建立最低子带中的两个帧的向量DPCM编码中的空-时预测器的像素；

-图8示例了根据本发明的编码方法的方块图。

发明详述

利用这里提出的3D图像方案，3D空-时分解的最低频率子带被独立编码，其它子带被利用3D SPIHT算法来编码。然而，这意味着一些重要的修改。本发明的兴趣集中在3D结构。

在这种情况下，SPIHT算法的一个特殊的特征将被再调用，其方块图在图4中被示例。对于最低空-时子带，父-子关系被如下定义：形成8个相邻像素的多个块，每个方向上包括两个像素。它们的后代被定义成对应于在7个相邻细节子带中相同位置的8像素的组。8像素的组中的一个像素没有后代，其它的每个像素有作为后代的一个8像素块。如果用M,N,T代表初始帧组的维，并且考虑J个分解等级，则最低频率子带的维是M_J=M/2^J,N_J=N/2^J,T_J=T/2^J。位于最低频率子带中的(i,j,k)处的系数的后代为：，O={(i-1+M_J,j-1+N_J,k-1+T_J),(i+M_J,j-1+N_J,k-1+T_J),(i-1+M_J,j+N_J,k-1+T_J),(i+M_J,J+N_J,k-1+T_J),(i-1+M_J,j-1+N_J,k+T_J),(i+M_J,j-1+N_J,k+T_J),(i-1+M_J,j+N_J,k+T_J),(i+M_J,j+N_J,k+T_J)}。

这样，把最低频率子带中的像素作为根，则可形成树。用于3D图像编码中的这一技术也被用于实施3D医学图像压缩，但在这种情况下运动补偿和压缩阶段被跳过。

在这个体制中，这里提出的(图6)对于3D SPIHT算法(图5)的修改是对最低空-时子带t-LL-s-LLLL独立进行编码。由于该子带含有最低时间子带中的两个帧的最低空间频率子带，所以在该范围内的信息可以被看成是向量信息：在这两个空间子带中有相同索引的像素被分成继承了相同索引的向量组。这在图7中针对被包含在最低时间子带中的两个帧(特别是针对这些帧中的最低空间频率子带)而给出了示例。为了压缩这一信息，建议使用一种向量自适应DPCM(差分脉冲编码调制)技术(很清楚，对两个帧单独编码会导致较低的性能)。

利用在分级树中设置分区的零树编码只被用于细节子带的编码。利用这样的观点，即如果在金字塔中的高层的一个小波系数对于一个指定的阈值是无关紧要的，则对应于该金字塔的低一些层中相同的空-时位置的所有系数对于该阈值也是无关紧要的。因此，所有这些系数可以用一个称作零树根的单一符号被有效地编码。如果一个小波系数的绝对值大于该阈值，则该小波系数就被称作是重要的，否则就是无关紧要的。对于发送，小波系数被按照二进制表达法排列，且最高有效比特被首先发送。

现在来描述用于对最低空-时频率子带进行编码的向量自适应DPCM技术。为此，用(i,j)代表最低频率子带中的当前像素的坐标，用x_i,j,y_i,j代表最低时间子带的第一个和相应的第二个帧的这个索引处的系数值(见图7)。对于向量 $s_{i,j}=\left[\begin{array}{c}{x}_{i,j}\\ y_{i,j}\end{array}\right],$ 一个线性空-时预测器被基于下列等式，其中(n,m)∈Λ而建立： ${s_{i,j}}^P=\underset{n,m}{\mathrm{\Σ}}{P}_{n,m}\·s_{i-n,j-m}\left(1\right)$ 其中： $s_{i-n,j-m}=\left[\begin{array}{c}{x}_{i-n,j-m}\\ y_{i-m,j-m}\end{array}\right],$ 是 $s_{i,j}=\left[\begin{array}{c}{x}_{i,j}\\ y_{i,j}\end{array}\right]$ 最近的邻居， ${s_{i,j}}^P=\left[\begin{array}{c}{x_{i,j}}^P\\ {y_{i,j}}^P\end{array}\right]$ 代表 $s_{i,j}=\left[\begin{array}{c}{x}_{i,j}\\ y_{i,j}\end{array}\right]$ 的预测器，且 $P_{n,m}=\left[\begin{array}{cc}{a}_{n,m}& b_{n,m}\\ c_{n,m}& d_{n,m}\end{array}\right]$ 是预测系数的矩阵。例如，参考图7，它可以是：s_i,j ^P=P_1,1·s_i-1,j-1+P_i,0·s_i-1,j+P_0,1·s_i,j-1(2) ${s_{i,j}}^P=P_{\mathrm{1,1}}\·s_{i-1,j-1}+P_{\mathrm{1,0}}\·s_{i-1,j}+P_{\mathrm{0,1}}\·s_{i,j-1}\left(2\right)$ 其中 $P_{\mathrm{1,1}}=\left[\begin{array}{cc}{a}_{\mathrm{1,1}}& b_{\mathrm{1,1}}\\ c_{\mathrm{1,1}}& d_{\mathrm{1,1}}\end{array}\right],P_{\mathrm{1,0}}=\left[\begin{array}{cc}{a}_{\mathrm{1,0}}& b_{\mathrm{1,0}}\\ c_{\mathrm{1,0}}& d_{\mathrm{1,0}}\end{array}\right],P_{\mathrm{0,1}}=\left[\begin{array}{cc}{a}_{\mathrm{0,1}}& b_{\mathrm{0,1}}\\ c_{\mathrm{0,1}}& d_{\mathrm{0,1}}\end{array}\right]$

在等式(2)中，系数a_1,1’a_1,0’a_0,1实现帧1中的一个空间预测，d_1,1’d_1,0’d_1,0形成帧2中的一个空间预测，同时由b_1,1’b_1,0’b_0,1和c_1,1’c_1,0’c_0,1所代表的系数对应于空-时预测。在等式(1)中，可以使用固定预测系数。

另一个可能的实施方案是基于最小化预测错误的均方差来为每组帧找到最佳的预测系数。这是一个自适应策略，在付出了需要计算复杂度的代价下，它能获得比固定情况下好一些的结果。预测错误是向量s_i,j的实际值及其预测值s_i,j ^P之间的差。利用基于一个一般化的Lloyd-Max算法的优化量化器，预测错误可以被以向量方式量化。为了优化，一个简单的选择是考虑一个被量化的预测错误向量的两个分量的联合Laplacian概率密度函数。

这里选择的实施方案是基于两向量分量中的一个分级量化，其后跟随着对该对分量的唯一的二进制码的分配。如果对于每对被量化的值都计算这一事件的概率并将它与一个唯一的二进制码相关，从而最小化消息的墒，则这是可能的。用来选择这个码的技术是算术墒编码，它在例如I.H.Witten等的“用于数据压缩的算法编码”(ACM通信，1987年6月，vol.30,N.6，第520-540页)中被描述。被提议的视频编码系统的总体图在图8中给出，很清楚地看到，其中3D空-时分解的最低频率子带(通过检查“是否是细节？”而被检测到)在一个依靠向量墒编码的分级量化之后被独立编码。

其它子带依靠3D SPIHT算法被处理然后墒被编码。然后这些细节子带被利用零树原理来进行编码，该原理在上述的文献“嵌入式图像编码…“中已经描述，该实施方案的主要方法与SPIHT算法中规定的将系数集合与减少的阈值进行比较是相同。第一个阈值被选择为2的幂

这样所有小波系数的最大值(即M)为 $2^{n_{\max }}\≤M\≤2^{n_{\max +1}}.$ 小波系数按照编码器方和解码器方都已知的一个预定顺序来与这个阈值进行比较。这样就没必要在比特流中发送它。例如，利用图6中的表示法，空-时子带的扫描顺序可以是：t-LL-s-LLLH,t-LL-s-LLHL,t-LL-s-LLHH,t-LH-s-LLLL,t-LH-s-LLLH,t-LH-LLHL,t-LH-s-LLHH,t-LL-s-LLH,t-LL-s-LHL,t-LL-s-LHH,t-LH-s-LLH,t-LH-s-LHL,t-LH-s-LHH等。其它的子带扫描顺序也是可能的。在每个子带内部，一个简单的解决方案是使用扫描的一个光栅次序。实际上，其它扫描策略也可以被实施，它们对应于每个子带中细节的优先的方向：对于最后索引字母为LL和LH的子带的水平方向、对于最后索引字母为HL的垂直扫描方向和对于最后索引字母为HH的对角线扫描方向。

附图及其描述是为了说明而不是限制本发明，很清楚在本发明的范围之内可以提出大量可供选择的方案。还必须指出的是，本发明不局限于针对空-时预测器所考虑的相邻像素的数量和位置、用于运动估计和补偿的方法、用于三维分析及合成的线性小波变化的类型、或者允许计算预测器系数的自适应算法。

Claims (6)

1．一种用于压缩视频序列的编码方法，该视频序列被划分为多个帧组，这些帧组依靠导致可以产生指定数量的连续清晰度等级的三维(3D)小波变换来进行分解，该方法基于一个被称作“在分级树中设置分区”(SPIHT)的分级子带编码过程，且导致可以从每组帧的图像元素(像素)的原始集合来变换用二进制格式编码的系数并构成一个分级金字塔，这些系数借助于涉及由三个已排序的列表即非重要的集合列表(LIS)、非重要的像素(LIP)列表、和重要的像素列表(LSP)所表示的像素的幅度测试来进行排序，这些测试被顺序地执行，以便根据一个一直持续到每个重要系数都在上述二进制表示法内被编码的划分过程来将上述的图像元素的原始集合划分成分段子集，并且在一个空-时方向树中，根是由3D小波变换产生的近似子带的像素构成的，这些像素中的每一个的的后代是由对应于由这些根像素定义的图像量的较高的子带的像素构成的，所述空-时方向树定义了上述分级金字塔内部的空-时关系，应用于所述空-时树的带通子带的该方法的特征进一步为：

(A)根据下面的条件，向量差分脉冲编码调制(DPCM)被用于对最低频率空-时子带或近似子带进行单独编码：

(a)为近似子带中的每个帧中具有分量的系数的每个向量构造一个空-时预测量，该预测量不仅使用视频序列中过去的帧中相同的位置的值，还使用当前帧中的相邻值，上述向量编码特性来源于这样的事实：最低频率子带含有来自至少两个帧的空间低频子带；

(b)上述DPCM使用常量预测系数；

(B)预测错误的量化依靠对两向量分量的分级量化而被执行，其后跟随着与针对每一对指定的被量化的值而计算出的概率相关的唯一的二进制码的分配；

(C)由步骤(A)和(B)产生的二进制流通过一个用于最小化整个消息的熵的无损过程来进行编码。

2．一种用于压缩视频序列的编码方法，该视频序列被划分为多个帧组，这些帧组依靠导致可以产生指定数量的连续清晰度等级的三维(3D)小波变换来进行分解，该方法基于一个被称作“在分级树中设置分区”(SPIHT)的分级子带编码过程，且导致可以从每组帧的图像元素(像素)的原始集合来变换用二进制格式编码的系数并构成一个分级金字塔，这些系数借助于涉及由三个已排序的列表即非重要的集合列表(LIS)、非重要的像素(LIP)列表、和重要的像素列表(LSP)所表示的像素的幅度测试来进行排序，这些测试被顺序地执行，以便根据一个一直持续到每个重要系数都在上述二进制表示法内被编码的划分过程来将上述的图像元素的原始集合划分成分段子集，并且在一个空-时方向树中，根是由3D小波变换产生的近似子带的像素构成的，这些像素中的每一个的的后代是由对应于由这些根像素定义的图像量的较高的子带的像素构成的，所述空-时方向树定义了上述分级金字塔内部的空-时关系，应用于所述空-时树的带通子带的该方法的特征进一步为：

(A)根据下面的条件，向量差分脉冲编码调制(DPCM)被用于对最低频率空-时子带或近似子带进行单独编码：

(a)为近似子带中的每个帧中具有分量的系数的每个向量构造一个时空预测量，该预测量不仅使用图像序列中过去的帧中相同的位置的值，还使用当前帧中的相邻值，上述向量编码特征来源于这样的事实：最低频率子带含有来自至少两个帧的空间低频子带；

(b)上述DPCM使用常量预测系数；

(B)预测错误的量化依靠向量量化来实现，为此要使用一个最优量化器并且要基于广义Lloyd-Max算法，一个针对所述优化而考虑的被量化的预测错误向量的两个分量的联合Laplacian概率密度函数；

(C)由步骤(A)和(B)产生的二进制流通过一个用于最小化整个消息的熵的无损过程来进行编码。

3．根据权利要求1和2中的任何一项的编码方法，其中DPCM成为自适应的，空-时预测器的系数依靠每组帧的这些系数的最小均方估计来考虑情况变化。

4．根据权利要求3的编码方法，其中要确定预测器受空间预测或是时间预测的影响最大。

5．根据权利要求1到4中的任何一项的编码方法，其中上述无损方法基于算术编码。

6．根据权利要求1到4中的任何一项的编码方法，其中上述无损方法基于哈夫曼编码。

Images