CN1137724A - 在存在图象强度渐变情况下的视频信号编码系统 - Google Patents

Abstract

在包括运动补偿预测编码数据压缩系统的视频信号处理器中，分析三个相邻的象帧(1.2.3)以检测与画面渐隐(显)相联系的亮度渐变。各帧被相同地划分为若干段(A…L)。对两对相邻帧分段的每对求得相邻帧对应段间绝对象素值差值之和(DIFF_1-2；DIFF_2-3)。对每段求得二个帧差值之比(S)。若对于全部或预定数量的区域该比保持基本不变，表示存在画面渐隐(显)。若检测到画面渐隐(显)，由运动编码器产生的运动矢量被赋予零值，并不被编码。

Description

在存在图象强度渐变情况 下的视频信号编码系统

本发明涉及数字图象信号处理领域，更具体地说涉及在存在图象强度渐变情况下电视信号编码系统，图象强度渐变例如为与从正常图象到黑色画面渐隐(fading)或从黑色画面到正常图象的渐显相联系的亮度渐变。

由电视信号表示的一个视频序列例如是一连串快速连续出现的无活动的图象，从而给观众一个连续运动的印象，为了达到呈现运动的效果所需的高速帧率往往造成在相邻图象中大量的冗余的时间信息。运动补偿编码，一种数据编码形式，是一种在时间尺度上的预测编码的形式，它往往用于试图除去这种时间上的信息多余部分。

在从一帧到下一帧没有有画面变化时，从一帧到下一帧的图象运动主要在于从一帧到下一帧的强度变化。在这运动补偿预测图象编码中当前帧是通过估计当前帧与前一帧之间的运动并对该运动加以补偿从前一编码帧预侧的。当前帧和预测的当前帧之间的差通常称为已编码的(运动补偿)余象。由于已除去多余的时间信息，余象的能量一般远小于原始图象的能量。对余象信息编码，而不是对原始图象信息编码导致更有效地使用可供编码的数据位。

运动补偿预测编码可以设想许多形成。一种流行的处理方案是依据分块配对。在这方案中当前帧划分为预定数量的矩形区域即方块，并寻找在相邻帧中的位移，这产生在相邻帧的可能的方块中最好的配对。与X，Y坐标相联系的运动矢量建立当前帧中该方块与其在相邻帧中最好的配对之间的关系。运动补偿(余象)编码是帧间编码的一个例子。在运动补偿余象编码不产生满意效果(例如，当从一帧到下一帧画面变化时预测是不好的)的情况下，运用帧内编码可以获得更好的效果，此时该帧的视频信息本身被编码，而无需运动补偿。

各种类型的图象编码/压缩，包括如上所述的帧间预测运动补偿编码，例如由Ang等人在《视频压缩产生高增益》(IEEESpectrum1991年10月)一文中加以讨论。具体地说，此文描述CCITTH.261视频运动编码器，该编码器包括用于与提议的MPEG(活动图片专家组)图象编码标准(ISO/IEC 13818-2 1993年11月)兼容的帧内编码和帧间预测运动补偿余象编码的装置。所提议的MPEG标准对于帧间和帧内两种模式也使用运动压缩算法。

本发明人已认识到在一些条件下某些运动估计器不恰当的，足以产生图象“块状结构性”假象(artifact)(在构成图象的象素方块中细节上显著的差别)。由于不正确的配对，例如采用均方误差或平均的绝对误差处理的运动估计器可以产生这种假象。尤其是，已认识到在从正常图象到黑色的画面渐隐或相反的期间在图象结构(细节)中帧间的变化除了使用高复杂的运动估计器以外无法加以精确跟踪。这种对帧间图象细节跟踪的无能导致用亮度跟踪代之。因为假如图象是无运动的，随画面渐隐的亮度变化会错误地暗示运动，亮度跟踪会从运动估计器产生错误信息。换句话说，与画面渐隐联系的帧间亮度渐变可能使运动估计器在不能觉察该图象细节并没变化情况下误认为存在运动。这种亮度渐变的跟踪产生随机的不可预见的结果(例如“运动矢量”)，这对编码能力是根本无用的和有害的。

依据本发明的原理，已认识到在一些条件下在包括运动补偿的视频信号处理系统将运动矢量赋予零值是有益的。这些条件之一已如上所述例如通常与画面渐隐(显，以下略)相联系的图象强度渐变的情况，在此情况下已发现零运动矢量显著减小或消除上述的“块状结构性”假象。零运动矢量在运动估计器不适当检测运动的情况中也是有益的。当估计器对静止画面或一象帧中静止区域不能进行对(0，0)矢量的特定检查时这种情况可能发生。

当检测到画面强度变化时，例如从正常至黑色的画面渐隐或相反，和从一正常画面至另——画面的渐隐，所公开的系统将运动矢量置于零。为此目的讨论三个相邻的象帧的序列。每帧划分为分段的相同结构。对于二对相邻帧的各段中每对求得在相邻帧各段中相同位置的象素之间的差的绝对值之和。计算这两个绝对象素差值之和的比。假如该比对预定数量的分段保持基本不变，则表示画面渐隐。

附图中：

图1是一个象帧序列的图，说明用于表示存在画面渐隐的一种算法。

图2是包括运动处理的视频编码器和依照本发明的原理的一个系统的方块图。

图3是用于检测渐隐画面的一种算法的流程图。

图4表示隔行的帧的序列，每帧包括奇数和偶数场，它们可以由结合图1讨论的画面渐隐检测系统加以处理。

图1表示三个相邻的象帧的序列，在这例中这些帧包含非隔行的行，以下的讨论也适用于隔行的帧的序列，其每帧包含奇数场和偶数场，如以下即将讨论的。帧3是当前帧，正处于编码过程中，例如运用将讨论的图2的装置进行编码。帧2在时间上正好在帧1之前，而帧3在时间上正好在帧2之前。在这例中，每帧划分为标为“A”至“L”的12个水平段相同结构。也可以使用垂直段，方块和其他几何结构。如众所周知每帧包含大量图象象素P。分段数目不是关键的，只要按照给定系统的要求提供足够的图象分段或区域以可靠地指示画面渐隐的发生。在这图示例子中在三帧序列中帧3呈现最大渐隐(例如从正常图象至黑色)，而帧1呈现最小渐隐。

已经确定三个接连的帧的分析是从指示画面渐隐的存在。为这方面需要的三个帧存储装置可以与结合图2所讨论的类型的视频编码器相联系，或者帧存储装置可以独立地提供。在用于例如detelecine或预滤波操作的预处理操作的视频编码器常常包括多帧存储装置。对三个相邻帧的每帧中的对应段“A”的分析给出以下说明。从这分析获得的帧差信息用于产生比S_A。这比S_A的这值与对于所有其他的相同计算得到的比进行比较，将表示是否存在画面渐隐。以上描述的程序由图3的流程图说明。图3流程图如下讨论的包括隔行的帧的处理。作为第一例，考虑以下的渐隐至黑色的情况：

帧号           1       2       3

渐隐序列       1       a       a2渐隐因子“a”具有任意值，但它小于1，因为它表示当图象从正常渐隐至黑色时从一帧到下一帧的象素或分段幅度上的减小。实用上，亮度值的变化是在渐隐期间在象素强度上变化量的良好的指示。这渐隐序列(1…a…a²)不是预先决定的，而是作为从帧1(渐隐因子为1，无渐隐)经过帧2到帧3(最大渐隐)渐隐可能如何发生的一个例子。这样渐隐量从帧1经过帧2至(当前)帧3渐进地增加。

参阅图1，对于帧1和2中对应的段A，决定相邻值的对应段中相同位置的象素的强度值之间的差值。那未求得每个象素值绝对值，然后将这些绝对值求和，产生帧差值DIFF_1-2。对于帧2和3使用相同的运算以求得帧差值DIFF_2-3。最后，求得帧差值DIFF_2-3与帧差值DIFF_1-2之比。可以看到，这例中帧差值之比与以上所示的渐隐序列中“a”值正好相等。对于帧1，2，3中段“A”的差值比以S_A表求。对于其余段B-L使用相同运算，可获得差值比S_B-S_L。

假如在各图象段A-L中所计算的差值比值“a”基本上保持不变，指示有画面渐隐。然而，对于该比值并不必需对于所有段保持基本不变。按照给定系统的要求，对于预定数量的段例如80％-90％或大多数呈现相等的比值就可为足够。这数量可以是具有用于决定所计算的比是否等于“a”值的阈值的算法的一个参数。这预定数也可看为在渐隐序列中存在图象运动的可能性。

例如，当在画面渐隐期间有较多运动，和只有40％-50％的分段具有相同比值，画面渐隐检测系统将宣布没有发生画面渐隐。在这情况下即使发生画面渐隐，对于编码器将运动矢量置零是不希望的，因为编码方块中大部分百分比可能有运动。在这情况不使用置零的运动矢量，因为使用非零的运动矢量更为有益。例如，帧差比值为零或近似零是指示没有发生画面渐隐。尤其是，假如对于任何单一的段(或预定数量的段)帧差值DIFF是零或接近零，算法可以断定没有画面渐隐的情况。这一准则防止静止或接近静止的图象被误断为渐隐画面。

从黑色至正常画面的渐显正好与向黑包渐隐的过程相反，可以类似地处理。例如，考虑从黑色至正常画面的渐显情况，其中渐显因子在一帧序列过程中如下从“a”变化至“b”：

帧号           1       2       3       4

渐显序列       a       a²     a²b    a²b²在这例中因子“a”小于1，而因子“b”小于1但大于因子“a”。正如另一例中，这渐显序列不是预定的，而是说明从帧1(渐显开始)经过帧2和3到帧4(渐显至正常画面完成)渐显可能如何发生的另一个例子。对每一段求得差值DIFF_1-2和DIFF_2-3，和计算差差值S_A-S_L，如上所讨论的。可以看到对这例的差值比等于“a(1-b)/(1-a)”。假如这值对于图象分段A-L中全部或预定数量保持基本不变，如上所讨论的，这指示画面渐显。在渐隐因子变化下从正常至黑色的渐隐的情况可获得类似的结果。

为简化附图，图1表示使用三个象帧检测画面渐隐过程。然而，在隔行系统中每帧由奇数象场和偶数象场组成，如众所周知的。在这种情况下上述的差值比将分别对奇数场和偶数场序列进行计算。例如，奇数场差值比S_A(odd)计算为： $S_A\left(\mathrm{odd}\right)=\frac{{\mathrm{DIFF}}_{2-3}\left(\mathrm{odd}\right)}{{\mathrm{DIFF}}_{1-2}\left(\mathrm{odd}\right)}$ 式中DIFF_2-3(odd)是帧2奇数和帧3奇数场之间绝对象素差值之和，DIFF_1-2(odd)是帧1奇数和帧2奇数场之间绝对象素差值之和，将S_A(odd)与S_B(odd)…直至S_L(odd)比较，以决定该比是否对预定数量的分段保持基本不变。同样，计算偶数场差值比，将S_A(even)与S_B(even)…直至S_L(even)比较，这种分场比较使系统能检测在场范围中画面渐隐。

图4表示隔行的帧1，2和3的序列，每帧由奇数场和偶数场组成。在这例中奇数序列的渐隐因子以a₁变化至a₂等，而偶数场序列的渐隐因子按不同因子从b₁变化至b₂等。在这种类型的场渐隐中，计算奇数和偶数场差值比(S_A…)，并加以分别比较。

作为上述算法的结果，产生一控制信号以指示是否发生画面渐隐(也可为渐显)。优点在于视频信号编码器使用这一控制信号来改变信号处理，这将在图2所示的与MPEG兼容的视频(电视)信号处理和数据压缩系统中加以描述。

在图1的例子中对应的帧/场各段要受到处理，产生相邻场中相同位置的象素之间象素差绝对值之和。根据给定系统的要求可以使用其他类型的处理。例如对于相邻场中对应的各段，求得每段中象素的绝对值，然后对每段求和。此后可求得该和的场差值。在画面渐隐检测操作中也可以使用在相邻的相同奇偶性的奇数场或偶数场中对应的相同位置的象素之间的差值(与绝对差值相反的)。

在图2的系统中输入的MPEG兼容的数字数据流表示要经处理的当前象帧的象素数据。输入数据由输入帧缓冲器20存储。从缓冲器20读出的数据经过求差网络22和多路复用器24传送至离散余弦变换(DCT)单元26。单元22和24的操作在下面结合图2系统以运动处理方面再讨论。由单元26执行的离散余弦变换是众所周知的技术，它通过将输入的时域信号变换为表示离散的频谱的系数，从而有效地和高效率地减少视频信号的空间多余部分。每个变换系数表示例如8×8象素的一个方块。

从单元26出来的DCT变换系数经过单元28被量化，经过单元30被可变长度编码和在经过单元36被正向纠错(FEC)处理之前存储在输出速率缓冲器32。缓冲器32的内容(装满程度)由速率控制器34监视，速率控制器34提供输出控制信号，用于可适应地改变量化器28的量化参数(例如量化步进大小)。运用这一机构数据流的位速率被如此控制，使得至缓冲器32的平均输入速率基本不变。很大程度地防止缓冲器的下溢和溢出，和达到基本恒定的缓冲器输出位速率。从处理器36来的输出信号在被传送到输出通道之前被适当地处理，例如经过滤波和调制。

图2的方块40-54与方块22-28一起构成DPCM运动估计/补偿编码器的一种已知结构。这种类型的系统在上述的Ang等人的《视频压缩产生高增益》文中已有描述。依照本发明的原理，包括用以产生画面渐隐指示信号的画面渐隐检测器70。如结合图1讨论的，在分析相邻帧的序列以后产生这指示信号，这指示信号加在模式控制器54和运动估计器48的控制输入端。此外，由运动估计器48产生的运动矢量MV加在模式处理器54的控制输入端。

运动处理器或运行在帧内编码模式，或运行在帧间预测编码模式。在帧间编码中视频信号本身被编码。当帧间编码中被编码的是表示当前帧和当前帧的预测之间差的余象信号。当预测是好时，使用帧间编码，并通常优先择用，因为较少的帧信息需被编码。至于预测编码，象素的值是根据其历史预测的。预测值从象素的当前值中减去，产生误差即余值，余值被编码和传输。接收机将所接收的余值的加至它自已的预测值，从而获得正确的当前象素值。以下的讨论假定使用帧间预测编码。

在运动处理操作中，从单元28来的量化余象数据经过单元40被反量化，和经过单元42被反DCT变换，之后加在加法组合器44。组合器44的另一输入接收预测图象，预测图象的产生将在下面讨论。输入至组合器44的余象和预测图象经组合后形成重显图象。需要重显是因为帧间处理使用预测编码，这要求编码器要跟踪解码器的行为，以防止解码器的重显图象偏离原始输入图象。重显图象由帧存储器46存储。运动估计器48接收来自输入缓冲器20的输出的当前输入，和来自帧存储器46的重显帧输入。使用搜索窗口，运动估计器48将当前帧的每个(例如8×8)象素方块与来自存储器46的先前的重显图象的象素方块比较。对于每个象素方块产生一运动矢量(MV)，以指示在当前图象和重显图象中方块之问最好配对的相对位置(二者之间偏离)。运动矢量经过单元30被编码和发送至接收机。

单元48输出的运动矢量也供给运动补偿单元50，单元50产生随来自估计器48的各有关运动矢量而变化的来自存储器46的预测(位置经调整)方块。这一操作从重显帧产生包括(例如8×8)运动补偿方块的预测图象。由减法组合器22产生预测图象和当前输入方块之间差，即余象。余象经变换，量化，编码和传送至接收机/分码器。已如上所述。解码器执行编码器功能的相反功能。在帧间操作模式中，解码器使用从可变长度解码器取出的运动矢量，以提供预测象素方块的位置。

图2的编码器也包括一对多路复用器(MUX)24和52，和一相联结的帧间/帧内模式处理器54。每个MUX有一对输入端，用以接收被转换的输入信号，两个输入端标为“0”和“1”。MUX24的0输入端接收当前输入信号，和MUX52的0输入端接收例如“0”逻辑电平的固定偏压电平。MUX 24和52的“1”输入端分别接收余象信号和预测图象信号。模式处理器54响应运动矢量(MV)，决定应该使用帧间处理或帧内处理。假如运动补偿预测是好的，模式处理器54发出一信号至MUX243和52的控制输入端，使允许帧间处理。在这种情况MUX 52将来自单元50的预测图象信号传送至加法器44，和MUX 24被允许将余象信号传送至DCT单元26以后的单元。相反，假如预测是不好的，模式处理器54发生的信号允许帧间处理。在这情况当前帧信息本身而不是余象信号被传送至DCT单元24和此后的编码单元，和预测图象信号不再送至加法器44。预测是否是好的决定取决于各种因素，这些因素根据特定系统的要求，例如所要求的图象质量和位数而不同。

从模式处理器54发送至DCT单元26的信号指令单元26或者编码运动预测误差信号(帧间编码)，或者编码无需运动估计预测的原始图象的宏数据块(macroblock)(帧内编码)。模式处理器54实质上给予DCT单元26一程序块。帧间/帧内编码决定取决于编码效率，这可以许多方式决定的。基本上说，这决定是随为以给定质量水平编码一宏数据块所需的位数和在给定的编码位数下质量水平而定。运动矢量指示该差值信号源自于哪个图象区域。假如在帧间和帧间编码之间指示相等的编码效率，帧内编码可以用作为默契的编码决定。在默契决定为帧内编码中可以使用一预定阈值。

模式处理器54也从画面渐隐检测器70接收画面渐隐指示控制信号，画面渐隐检测器70的运行结合图1加以解释。画面渐隐检测器70可以包括用以存储上述的三帧序列的三帧存储装置，以及用于对相邻帧中相同位置段的象素求差的数字信号处理电路，用于求得象素差值绝对值的电路，用于将绝对值求和的电路和用于求得相邻帧的经求和的差值之比的除法电路。按实现这些功能所需可以提供适当的存储器容量。为简化附图没有画出这些部件。

简言之，单元70通过分析三个相邻象帧的序列，产生在三个帧的序列中绝对象素差值之和的比值，提供画面渐隐的指示信号。假如检测到与画面渐隐(显)相联系的亮度渐变，画面消隐指示信号指令运动估计器48对检测到画面渐隐的所有帧将输出运动矢量值置零(即坐标为0，0)。运动矢量置零可以运用已知技术实现，例如由运动估计器产生表示无空间位移的可变长度编码。在将运动矢量设置在例如粗，细或半个象素的特定值的分级运动估计器系统中可以使用这个结果的变型。运动估计器48的修改后的输出如已知的经过模式处理器54中宏数据块决定网络的处理和评价。这决定电路最好应该稍稍偏向帧内编码决定。虽然帧间编码与帧内编码相比使用相同的或稍少一些的编码位，但帧间编码会产生更多可看到的编码假象。

已确定在画面渐隐期间帧间的幅度(亮度)变化一般要比与运动有关的变化更为显著。已发现在画面渐隐存在时将运动矢量置于0值(0，0)，产生非常好的结果。在画面渐隐存在时将运动矢量置零也有利于减少为编码所需的位数，和可以用于改变给定系统的编码程序，例如在帧间和帧内编码之间。当检测到画面渐隐时，并确定该象只有很小百分比，例如10％或不到，包含运动，和帧间亮度变化并不引起运动矢量，一活动的画面的运动矢量不再被编码。

在用户产品中会遇到的运动处理系统可能并不复杂，从而是以区别真正运动和例如在几帧期间亮度渐变的图象强度渐变。这些系统可能误认这些渐变为“运动”，和产生错误的运动矢量。当本运动处理系统通知这种误认的“运动矢量”实际上为(0，0)值，如上所述，将可改善编码效率，因而不必为错误的运动矢量浪费编码位。

Claims (6)

1.用于处理图象表示信号的一种系统，包括如下：

图象运动处理网络，响应所述图象表示信号，用以产生运动矢量；其特征在于：

检测器响应所述图象表示信号，用以产生表示在一个以上的象场中图象强度渐变的指示信号；和

将所述指示信号加至所述运动处理网络的装置，用于将所述运动矢量置零。

2.依照权利要求1的该系统，其特征在还在于：

图象信号编码器响应所述输入图象表示信号和所述运动矢量。

3.依照权利要求1的该系统，其中所述图象表示信号是电视信号的一个分量；和其特征还在于：

所述指示信号表示与在若干象场中画面渐隐(显)相联系的亮度渐变。

4.依照权利要求1的该系统，其特征还在于：所述图象运动处理网络与一信号路径相连，该信号路径按序包括输入处理网络，求差网络，中间处理器和输出处理器，其中所述运动处理网络包括如下：

反(功能)中间处理器，具有与所述信号路径相连的一输入端和一输出端；

组合网络，具有与所述反中间处理器的所述输出端相连的一输入端和一输出端；

存储器，具有与所述组合网络的所述输出端相连的一输入端和一输出网络；

运动估计器，具有与所述信号路径相连的信号输入端，用以接收来自所述检测器的所述指示信号的控制输入端，与所述存储器的所述输出网络相连的一输入端和一运动矢量输出端；和

运动补偿网络，具有与所述存储器的所述输出网络相连的一输入端，与所述运动估计器的所述运动矢量输出端相连的一输入端，和与所述求差网络的一输入端和所述组合网络的一输入端相连的一输出端。

5.依照权利要求4的该系统，其特征在于：

帧间/帧内模式处理器具有与所述运动估计器的所述运动估计器输出端相连的一输入端，用于接收来自所述检测器的所述指示信号的一输入端，和与所述信号路径相连的一输出端。

6.用于处理图象表示信号的一种系统，包括如下：

图象运动处理器，具有用于接收所述图象表示信号的一输入端和一信号输出端，其特征在于：

在所述图象运动处理器中包括有运动矢量发生器，运动矢量发生器有一信号输入端，一信号输出端，和用于接收将运动矢量置零的信号的一控制输入端；和

图象强度渐变指示器具有用于接收所述图象表求信号的一输入端，和与所述运动矢量发生器的所述控制输入端相连的一输出端。

Images