CN1131882A - 利用图象变换技术编码具有静止目标的图象信号的装置 - Google Patents

Abstract

一种用于编码具有静止目标的图象信号的装置，通过编码在第一编码通道检测的轮廓信号生成一第一编码图象角信号，该轮廓信号提供用于表述一视频帧中的目标边界的边界信息。该视频帧被分为多个等大小的处理块。根据表示一处理块中是否存在目标边界的一部分的一个控制信号，各处理块被选择地送至一图象重建装置或一第二编码通道。该图象重建装置基于送给其的处理块生成重建的处理块。

Description

说明书 利用图象变换技术编码具有静止 目标的图象信号的装置

本发明涉及一种用于编码低比特率图象信号的装置，更具体地，涉及一种用于通过利用图象变换(Warping)技术编码具有静止目标的图象信号的装置。

在诸如可视电话、高清晰度电视或电视会议系统等数字化电视系统中，由于图象帧信号中的各行包含有一序列称为“象素”的数字数据，需要大量的数字数据来限定各图象帧信号。但是，由于在传统的传送信道中可利用的频带宽度是有限的，为了通过其传送大量的数字数据，不可避免地要利用各种数据压缩技术压缩或减少数据量，特别是在诸如可视电话或电视会议系统的低比特率图象信号编码系统中。

对于低比特率编码系统，用于编码图象信号的这种方法之一是所谓的面向目标的分解-合成编码技术(参看Michael Hotter的“基于运动二维目标的面向目标的分解-合成编码”，该文登载于signal Processing：I mage communication，2，409-428，1990年)。

根据该面向目标的分解-合成编码技术，一个具有运动目标的输入图象信号被划分为多个目标，用于限定各目标的运动、轮廓及象素数据的三组参数通过不同的编码通道被处理。

在该面向目标的分解-合成编码技术中，在处理位于一“静止目标”内的图象数据或象素时，主要采用一种仅用于减少包含在图象数据中的空间冗余的变换编码技术。用于图象数据压缩的最常用的变换编码技术之一是基于块变换编码的DCT(离散余弦变换)，其将数字图象数据的一个块，例如一个8×8象素的块，转换为一组变换系数数据。该方法在例如Chen和Pratt的“场景自适应编码器”(IEEE Transactios on Communications，COM-32，No.3，pp.225-232，1984年3月)中有所介绍。

在基于块变换编码的DCT中，在一块内的非目标区域被填以平均象素值或块中目标的镜象，然后变换被执行。

虽然这种方法具有可以利用用于传统方法(诸如联合照象专家组：JPEG，运动画面专家组：MPEG，H.261等)中的二维DCT块，但它在图象的非目标区域中仍包含有不必要或不希望的数据，因此，从数据压缩的观点看仍是低效的。

因此，本发明的主要目的即在于提供一种用于利用图象变换技术有效地编码具有静止目标的图象信号的装置，以提高数据压缩的效率。

根据本发明，提供了一种用于编码一具有静止目标的视频帧中的图象信号的装置，其中该图象信号包括分配给静止目标中的象素的非零值及分配给该静止目标之外的象素的零值，该装置包括：一轮廓检测器，用于检测包含在图象帧中的目标的边界以生成一个提供用于表述该目标边界的边界信息的轮廓信号；一轮廓编码器，用于编码该轮廓信号以生成一个第一编码图象信号；一块发生器，用于将该视频帧划分为多个具有预定相同大小的处理块；一控制器，用于生成一个表示是否该视频帧中的目标边界的一部分存在于各处理块中的控制信号；一开关电路，用于根据所述控制信号提供一第一和一第二组处理块；一图象重建装置，用于基于该第一组处理块生成一重建的处理块；一编码通道，用于编码该重建的处理块或第二组处理块，由此生成一第二编码图象信号；以及一个格式化电路，用于格式化该第一和第二编码图象信号。

本发明的上述及其它目的和特征将从以下结合附图对优选实施例的说明中变得明了，附图中：

图1是说明根据本发明的图象信号编码装置的方框图；

图2示出了一具有静止目标的示例性视频帧；

图3A示出了一包含目标边界的示例性处理块；

图3B示出了用于解释一边界映射(mapped)处理的一边界映射的处理块；

图4给出对应于在一块边界上的象素的第一组位移矢量；

图5表示由本发明的图象变换方案生成的重建的处理块。

参看图1，其示出了用于编码一视频帧中的数字图象信号的创造性装置的方框图。该编码装置10包括第一及第二编码通道100和500，以及用于生成重建的处理块以有效地编码视频帧中一目标的边界的一部分的图象重建装置400，其中，该第一编码通道100用于该目标的轮廓信号，而该第二编码通道500用于在逐块的基础上编码数字图象数据。

从已知的图象源(未示)，例如硬盘或光盘生成的数字图象信号被输入一帧存储器50以存储之。该数字图象信号具有一静止目标且包括分配给该目标内象素的非零值以及分配给该目标外象素的零值。来自帧存储器50的图象信号然后被取至在该第一编码通道100的轮廓检测器110和一块发生器200。

包括轮廓检测器110及轮廓编码器120的该第一编码通道100用于利用已知的轮廓检测及编码技术检测及编码来自帧存储器50的视频帧中该目标的轮廓信号以生成一编码的轮廓信号。更具体地，如图2所示，该轮廓检测则器110通过利用了已知的边缘检测算子(如Sobel算子)的已知边缘检测技术检测表示视频帧11中的目标12的轮廓16的轮廓信号。如本领域内公知的，该目标的轮廓信号可以从边缘点得出，边缘点定义为图象信号的发生显著物理变化的象素位置。这种变化可以通过将从具有一欲被检测的象素的M×M(例如3×3)象素的值或灰度得到的象素值与一预定阈值比较而检测到，其中该欲被检测的象素位于该M×M个象素的中心。在轮廓检测器110检测到的轮廓信号然后被送至轮廓编码器120以对其编码。

在轮廓编码器120，来自轮廓检测器110的轮廓信号通过利用例如一JPEG(联合照象专家组)的二进制算术码被编码且该编码的轮廓信号被送至一格式化电路600。

同时，块发生器200将来自帧存储器50的视频帧信号划分为多个具有N×N象素的等大小的处理块(N为一个大于3的整数)，并将这些处理块逐块地提供给一开关电路300。在开关电路300，根据来自一系统控制器(未示)的控制信号CS，来自块发生器200的各处理块被选择地送给图象重建装置400或第二编码通道500。该系统控制器根据该视频帧中的目标的轮廓信息生成控制信号CS，该控制信号CS表示是否有视频帧中的该目标边界的一部分存在于各处理块中。如果该目标边界的一部分存在于一处理块中，即该控制信号CS为逻辑高，则该处理块被送至图象重建装置400以生成一重建的处理块；否则，该块被送至第二编码通道500。

根据本发明，包括一边界映射部分410、一位移内插部分420及一图象变换部分430的该图象重建装置400将来自开关装置300的各处理块转换为重建的处理块以提高在第二编码通道500的数据压缩效率。

如图1所示，来自轮廓检测器110的包括轮廓信息的轮廓信号被送至边界映射部分410。该边界映射部分410将来自位于该目标边界上的一组目标边界象素的象素值分配给位于一个不构成该目标的一部分的块边界上的与该组目标边界象素最近的非目标区的块边界象素并计算这些非目标区块边界象素与对应于这些非目标区块边界象素的目标边界象素之间的位移，由此为各处理块的块边界象素提供一图象映射的处理块以及一第一组位移矢量。

参看图3A及3B，它们示出了一图2中的处理块18的放大的示意图和一个示例性的图象映射处理块。具有例如4×4个象素P1至P16的处理块18包括一个目标区R1和一个非目标区R2，其中，在各括号内的数字表示该处理块18中的各象素的象素值，该目标区具有目标边界象素P12、P13、P16及P7。为了确定该处理块的块边界象素P1至P12的第一组位移矢量，目标边界象素值A、B、E及I首先被分配给R2中的非目标区块边界象素P1至P6，如图3B所示。在将该目标边界象素值分配给R2中的非目标区块边界象素之后，确定各该非目标区块边界象素与其相应目标边界象素之间的位移。

在本发明的一优选实施例中，为各非目标区块边界象素P1至P6确定一个单一值是通过向其分配该各目标边界象素值中具有一较高优先权的一个而完成的。该优选权给予具有与R2中的一非目标区块边界象素最小距离的目标边界象素。如果一个以上的目标边界象素具有相同的最小距离，优先权将按它们之间位移的x分量递增的顺序给予一目标象素。例如，P6与两个目标边界象素P7和P16距离相同，从P7到P6和从P16到P6的位移分别为(0，1)和(1，0)，在这一情况下，即从两个目标边界象素P7和P16到一非目标区块边界象素P6的距离相同，但从该两个象素P7和P16到象素P6的位移不同时，具有x分量较小的位移的象素即P7具有较高的优先权。

具体地，对于图3A所示的一组非目标区块边界象素P1至P6，P12的象素值A被分配给P1，P13的象素值B被分配给P2，P3及P4，P16的象素值E给P5，P7的象素值I给P6，且示于图3B的该图象映射的处理块被生成。非目标区块边界象素P1至P6的位移矢量为(0，1)，(0，1)，(1，1)，(2，1)，(1，1)及(0，1)，而R1中的目标区块边界象素P7至P12的位移矢量都是(0，0)。在图4中，示出了第一组位移矢量M1至M12，其中各括号内的数字表示从它们相应的目标边界象素测算的x及y分量。

返回图1，从边界映射部分410生成的该第一组位移矢量M1至M12以及图象映射的处理块被分别提供给位移内插部分420及图象变换部分430。在位移内插部分420，通过例如线性地内插该第一组位移矢量，用于不形成该处理块的块边界一部分的非块边界象素的第二组位移矢量被生成。

在本发明的优选实施例中，用于非块边界象素的位移矢量由以下方法内插。首先，下面给出的公式Eq.1被用于计算用于非块边界象素的位移d(x，y)： $d(x,y)=\frac{\underset{i=1}{\overset{12}{\mathrm{\Σ}}}\frac{1}{D_i}{M}_i}{\underset{i=1}{\overset{12}{\mathrm{\Σ}}}\frac{1}{D_i}}$ 其中，x及y分别为一非块边界象素的水平及垂直分量，Di表示该非块边界象素与各块边界象素之间的距离，Mi用于表示各块边界象素的第一组位移矢量。其次，如果x或y不是整数，则所述非整数分量被四舍五入为最相近的整数。以此方式，示于图3A中的所有非边界象素P13至P16的位移被得到并作为第二组位移矢量送至图象变换部分430以生成重构的处理块。

该图象变换部分430基于来自位移内插部分420的该第二组位移矢量以及来自图象映射的处理块的象素值更新目标区R1中的P13、P15及P16的象素值并分配R1中的一个象素值给R2中的P14，并生成该重建的处理块送至第二编码通道500。如图5所示，如果用于非块边界象素P13至P16的第二组位移矢量为(0，0)，(0，1)，(1，1)及(1，0)，则非块边界象素P13至P16将分别被赋以B、E、F及D。

该第二编码通道500包括一变换编码器510、一量化器520及一熵编码器530，用于利用一传统的变换及统计编码技术编码包含于来自图象重建装置400的图象变换部分430的各重建的处理块或来自开关电路300的一个非重建的处理块的图象数据。亦即，变换编码器510利用例如离散余弦变换(DCT)将来自图象变换部分430或开关电路300的各空间域中的处理块的图象数据转换为频域中的一组变换系数并将该组变换系数提供给量化器520。在量化器520，利用已知的量化方法将该组变换系数量化；然后该组量化的变换系数被送至熵编码器530用于进一步处理。

该熵编码器530利用例如扫描宽度及可变长编码的组合，为各非重建的或重建的处理块编码来自量化器520的该组量化的变换系数，以生成一编码的图象信号。由熵编码器530编码的该图象信号然后被送至格式化电路600。

该格式化电路600格式化来自第一编码通道100中的轮廓编码器120的编码的轮廓信号以及来自第二编码通道500中的熵编码器530的编码的图象信号，由此提供一个格式化的数字图象信号给一发送机(未示)以发送该图象信号。

如上所述，本发明可以在利用创造性的图象变换技术的编码处理中显著地减少在一静止目标中的象素和该目标之外的象素之间出现的高频分量，由此提高整体编码效率。

虽然结合特定的实施例说明了本发明，但对于本领域的技术人员，显然可以不脱离由以下权利要求限定的本发明的精神和范围而做出各种变化及修正。

Claims (2)

1、一种用于编码一具有静止目标的视频帧中的图象信号的装置，其中该图象信号包括分配给静止目标中的象素的非零值及分配给该静止目标之外的象素的零值，该装置包括：

一用于检测包含在图象帧中的目标的边界以生成一个提供用于表述该目标边界的边界信息的轮廓信号的装置；

一用于编码该轮廓信号以生成一个第一编码图象信号的装置；

一用于将该视频帧划分为多个具有预定相同大小的处理块的装置；

一用于生成一个表示是否该视频帧中的目标边界的一部分存在于各处理块中的控制信号的装置；

一用于根据所述控制信号提供一第一和一第二组处理块的装置；

一用于基于该第一组处理块生成一重建的处理块的装置；

一用于编码该重建的处理块或第二组处理块，由此生成一第二编码图象信号的装置；以及

一个用于格式化该第一和第二编码图象信号的装置。

2、如权利要求1的装置，其中所述重建的处理块发生装置包括：

用于基于该视频帧中的轮廓信息将来自位于该目标边界上的一组目标边界象素的象素值分配给与它们最近的位于不构成该目标的一部分的一块边界上的非目标区块边界象素，及计算这些非目标区块边界象素和与它们相应的目标边界象素之间的位移，从而生成第一组位移矢量和一个图象映射的处理块的装置；

用于通过线性地内插该第一组位移矢量生成用于不构成该各第一组处理块的块边界的一部分的非块边界象素的第二组位移矢量的装置；以及

用于基于该第一组位移矢量及图象映射的处理块数据生成重建的处理块的装置。

Images