CN1125568C - 预测图像解码方法以及预测图像编码方法 - Google Patents

Abstract

本发明揭示一种数字图像编码解码方法及使用它的数字图像编码解码装置，包括：对输入图像进行编码并进行数据压缩的图像压缩手段对将该图像压缩手段压缩后的图像解码而得的图像进行坐标变换，并输出因进行该坐标变换而产生的坐标数据的坐标变换手段；从这种坐标变换手段的坐标数据生成变换参数的变换参数生成手段；用由这种变换参数生成手段生成的变换参数，从输入图像生成预测图像的预测图像生成手段；传送压缩图像和坐标数据的传送手段。本发明提供在仿射变换那样其参数具有不是整数的多位数的场合，能用较少的数据传送量实现正确变换的数字图像数据编码、解码装置。

Description

预测图像解码方法以及预测图像编码方法

技术领域

本发明涉及对图像预测的活动信息进行编码、解码，高精度地生成预测图像的方法。

背景技术

为了有效地存储或者传送数字图像数据，需要进行压缩编码。

作为用于压缩编码数字图像的方法，以往除以JPEG和MPEG为代表的离散余弦变换(DCT)外，还有Subband和Wearplate以及Flactale等的波形编码方法。此外，在去除图像间的冗余信号时，进行使用活动补偿的图像间预测，对差分信号进行波形编码。

这里，对以活动补偿为基础的MPEG方式进行说明。将输入图像分割成多个16×16的宏块进行处理。1个宏块进一步分割成8×8的块，在施行8×8的DCT后进行量化。这称为帧内编码。另一方面，以块匹配为首的活动检测方法中，从时间上相邻的其它帧内检测对象宏块中误差最小的预测宏块，并基于检测出的变化，从过去的图像进行活动补偿，取得最佳预测块。表示误差最小的预测宏块的信号是活动向量。接着，求出对应于对象块的预测块的差分，进行DCT，对变换系数进行量化，同时传送或者存储活动信息。这称为帧频间编码。

在接收侧，在将被量化的变换系数复原到原来的差分信号后，根据活动向量取得预测块，并与差分信号相加，进行图像的再现。

虽然预测图像的生成以块为单位进行，但也有取全景和变焦那样图像整体移动的场合，并对这种场合图像整体进行活动补偿。活动补偿或者预测图像的生成包括从单纯平行移动到带有放大、缩小、旋转等变形的各种情况。

式(1)到式(4)示出了表示移动和变形的公式。(x，y)是象素的坐标，(u，v)是变换后的坐标，是(x，y)的活动向量。其它的变量是表示移动和变形的变换参数。

            (u，v)＝(x+e，y+f)                  (1)

(u，v)＝(ax+e，dy+f)          (2)

(u，v)＝(ax+by+e，cx+dy+f)    (3)

(u，v)＝(gx2+pxy+ry2+ax+by+e，

hx2+qxy+sy2+cx+dy+f)          (4)

式(3)的变换称为仿射变换，下面，以其为例进行说明。仿射变换的参数(a，b，c，d，e，f)能象以下所述那样求得。

首先，将图像分割成多个块(2×2，4×4，8×8等)，用块匹配的方法求得各块的活动向量。从求得的活动向量中至少选择3个可靠性高的，利用对6个式(3)的联立方程式求解，得到仿射参数。为了减小误差，通常选择较多的点，用最小二乘法求得仿射参数。在预测图像生成中使用这样求得的仿射参数。为了在接收侧也能同样进行预测图像生成，需要传送仿射参数。

但是，以往的帧间编码以对象图像和参照图像有相同的大小为前提，对不同大小的图像不能充分适应。

邻接的2个图像的大小的变化多数起因于该图像中物体的活动。例如，由于放下两手站立的人物(图7A)举起两手，围住人物的长方形大小发生变化(图7B)。在考虑编码效率时，为了减少活动向量的编码量，需要在同一坐标空间变换对象图像和参照图像。此外，由于图像大小的变化，被分割的图像的宏块的配置变化。例如，从图7A变化到图7B时，因为将宏块701分成宏块703和宏块704两个并进行压缩编码，在图7B的再现图像中，人物的面孔上出现量化造成的垂直失真，使视觉上的图像质量降低。

为了高精度地进行仿射变换，因仿射参数(a，b，c，d，e，f等)一般是小数点以下的实数，所以如果希望传送精度高，则要用长的位数进行传送。过去，因用固定长度或者可变长度编码简单地量化并传送仿射参数，所以使仿射变换的精度降低，不能得到高精度的仿射变换，不能生成所要的预测图像。

由式(1)到(4)可知，变换参数的个数是2到10个或者更多。在传送变换参数时，如果按照其最多的个数进行编码，则有在传送参数少时传送冗余码的问题。

发明概述

本发明的第一个目的，是提供在仿射变换那样其参数具有不是整数的多位数的场合，能用较少的数据传送量实现正确变换的数字图像数据编码、解码方法。

本发明的本发明的第二个目的，是特别提供作为坐标数据，传送大小不同的图像进行预测编码时，将对象图像和参照图像变换成相同坐标空间的坐标数据，从而改善活动检测的精度，同时减少活动向量的编码量，谋得提高图像质量的数字图像编码、解码方法。

本发明的第三个目的，是提供作为坐标数据，高精度传送包含在传送数据中的进行仿射变换时的仿射变换参数，能生成高精度的预测图像的数字图像编码、解码方法。

为了实现上述目的，本发明的预测解码方法，它是对压缩图像数据进行解码的方法，所述压缩图像数据是通过参考参照图像并将作为编码对象的编码对象图像进行编码而获得，其特征在于，

所述编码对象图像的第1坐标系定义与共同空间坐标系的位置关系，上述参照图像的尺寸与上述编码对象图像的尺寸不同或者共同空间坐标系中的上述参照图像的位置与上述编码对象图像的位置不同，在上述共同空间坐标系上指定上述参照图像的位置，并且，包含下述步骤：

(a)从上述压缩图像数据中抽出偏移信号和与上述解码对象图像相关的压缩图像信号的步骤，其中，所述偏移信号表示上述共同空间坐标系的原点、与作为解码对象的解码对象图像的左上角的位置即上述第1坐标系的原点的位置关系；

(b)参照上述偏移信号从上述参照图像中取得预测图像的步骤；

(c)通过对上述压缩图像数据进行反量子化以及反正交变换的处理进行解码并且利用上述第1坐标系生成扩展差分图像的步骤；

(d)参照上述偏移信号，将上述第1坐标系上的上述扩展差分图像与上述预测图像进行相加，以复原上述共同空间坐标系的再现图像的步骤。

再者，上述方法中，还包括：从上述压缩图像数据中抽出活动向量数据的步骤；以及将所抽出的上述活动向量数据解码并且再现活动向量的步骤，并且根据上述活动向量从上述参照图像中得到上述预测图像。

再者，作为上述编码对象的编码对象图像在上述共同空间坐标系中的配置，对于每一帧都不同。

本发明的预测编码方法，它是参考参照图像将编码对象图像进行编码的方法，其特征在于，

上述编码对象图像的第1坐标系定义与共同空间坐标系的位置关系，上述参照图像的尺寸与上述编码对象图像的尺寸不同或者共同空间坐标系中的上述参照图像的位置与上述编码对象图像的位置不同，在上述共同空间坐标系中指定上述参照图像的位置，并且包含下述步骤：

(a)根据上述共同空间坐标系生成活动向量的步骤；

(b)从上述参照图像中取得上述活动向量所对应的预测图像的步骤；

(c)从上述编码对象图像与上述预测图像中生成差分图像的步骤；

(d)利用上述第1坐标系通过正交变换以及量子化将上述差分图像进行编码而获得压缩图像信号的步骤；

(e)利用上述第1坐标系通过反量子化以及反正交变化的处理将上述压缩图像信号解码而生成扩展差分图像的步骤；

(f)通过将上述扩展差分图像与上述预测图像相加而将再现图像复原并且将该再现图像作为参照图像进行保存的步骤；

(g)将偏差信号和上述生成的活动向量进行编码的步骤，其中所述偏差信号表示上述共同空间坐标系的原点与上述第1坐标系的原点的位置关系；

(h)将上述编码的偏差信号以及上述编码的活动向量与上述压缩图像信号一起传送的步骤。

附图简要说明

图1表示基于本发明实施例1的图像预测编码装置的方框图。

图2A表示本发明实施例1、2中图像坐标变换的第一模式图。

图2B表示本发明实施例1、2中图像坐标变换的第一模式图。

图2C表示本发明实施例1、2中图像坐标变换的第一模式图。

图3表示基于本发明实施例1的图像预测编码装置的编码图像数据序列的模式图。

图4A表示本发明实施例1、2中图像坐标变换的第二模式图。

图4B表示本发明实施例1、2中图像坐标变换的第二模式图。

图5表示基于本发明实施例2的图像预测解码装置的方框图。

图6A表示在本发明实施例1、2中被分割的图像的模式图。

图6B表示在本发明实施例1、2中被分割的图像的模式图。

图7A表示在以往的方法中被分割的图像的模式图。

图7B表示在以往的方法中被分割的图像的模式图。

图8表示本发明实施例3的数字图像解码装置的方框图。

图9表示本发明实施例3的数字图像编码装置的方框图。

图10表示本发明实施例4的数字图像解码装置的方框图。

图11表示本发明实施例5的数字图像解码装置的方框图。

图12表示本发明实施例5的数字图像编码装置的方框图。

实施发明的最佳方式

下面，参照附图1到附图12对本发明的实施例进行说明。

实施例1

图1表示基于本发明实施例1的图像预测编码装置的方框图，在图1中，101是输入端，102是第1加法运算器，103是编码器，106是输出端，107是解码器，110是第2加法运算器，111是第1坐标变换器，112是第2坐标变换器，113是活动检测器，114是活动补偿器，115是帧存储器。

下面，对前述结构的图像预测编码装置的动作进行说明。在输入端101上输入大小不同的从第1到第N的对象图像。根据图像的长度决定N。首先，在输入端101上输入第1对象图像，通过第1加法运算器102后，用编码器103进行压缩编码。这种场合，第一加法运算器102不作减法运算。在本实施例中，将对象图像分割成多个邻接的块(8×8象素)，用离散余弦变换器(DCT)104，将空间区域的信号变换成频率区域的信号，并生成变换块。量化器(Q)105对变换块进行量化，生成第1压缩图像，并输出到输出端106中，变换成固定长度或者可变长度的编码进行传送(未图示)。同时，用解码器107将第1压缩图像复原为扩展图像。在本实施例中，由反量化器IQ(108)进行反量化后，在反离散余弦变换器(IDCT)109变换成空间信号，用第1坐标变换器111对这样得到的再现图像进行坐标变换，形成第1再现图像并存储在帧存储器115中。

下面，对第1坐标变换器111的操作进行说明。以图2A为第1对象图像。图像201的象素a1在坐标系203中具有(0，0)的坐标。在图2C中设定新的坐标系205。这种坐标系也可以是显示画面的坐标系，或者也可以是以对象图像的中心点为原点的坐标系。对任何一种场合，坐标系205都在开始编码前被预先设定。图2C示出了将对象图像201映射到坐标系205。利用这种坐标变换，对象图像201的象素a1的坐标成为(x_a，y_a)。此外，有时也进行包含旋转的坐标变换。将x_a，y_a的值编码成8位固定长度，并与第1压缩图像一起传送。

接着，将第n(n＝2，3，......，N)个对象图像输入到输入端101中。通过导线126，将第n个对象图像输入到第2坐标变换器112，并变换到坐标系205中。以图2B的图像202作为第n个对象图像。将其映射到坐标系205，将象素b1的坐标变换成(x_b，y_b)(图2C)。被坐标变换后的对象图像202又输入到活动检测器113，分割成多个块，参照存储在帧存储器115中的第(n-1)个再现图像，用块匹配等方法进行活动检测，并生成活动向量。将生成的活动向量在导线128上输出，进行编码并传送(未图示)，同时传送到补偿器114中，对存储在帧存储器115中的第(n-1)个再现图像进行访问，生成预测块。例如，在USP5,193,004中公开了关于活动检测和活动补偿的实施例。

在第1加法运算器102上输入第n个对象图像的块及其预测块，生成差分块。用编码器103压缩差分块，生成第n个压缩图像，并输出到输出端106上，同时用解码器107复原成扩展差分块。在第2加法运算器110将通过导线125传送扩展预测块与扩展差分块相加，对图像进行再现。将这样再现的图像输入到第1坐标变换器111中，进行与图2C的图像202相同的坐标变换，并作为第n个再现图像存储在帧存储器115中，同时对象素b1的坐标(x_b，y_b)进行编码，并与第n个压缩图像一起传送。

图3表示基于本发明实施例的图像预测编码装置的编码图像数据序列的模式图。在编码图像数据的前头是图像同步信号303，接着是基于坐标变换的参数x_a(304)、y_a(305)，图像的尺寸306、307，量化中所用量化级的值308。然后接着活动向量和图像的压缩数据。也就是说，传送作为坐标数据传，传送x_a(304)、y_a(305)和图像的尺寸306、307。

图4表示本发明实施例的图像坐标变换的其它形态。这种场合，将对象图像分割成多个区域，并对各区域分别进行坐标变换。例如，将图像201分割成三个区域R1，R2，R3，在压缩、扩展各区域后，用第1坐标变换器111分别使被再现的R1，R2，R3的区域坐标变换，并存储在帧存储器115中。同时编码并传送在坐标变换中使用的参数(x_a1，y_a1)，(x_a2，y_a2)，(x_a3，y_a3)。

接着，输入图像202，分割成区域R4，R5，R6，用第2坐标变换器112对各自的区域进行坐标变换。对各坐标变换后的区域，参照存储在帧存储器115中的区域进行活动检测和活动补偿，生成预测信号，并在第1加法运算器102生成差分信号，进行压缩、扩展后，在第2加法运算器与预测信号相加。对这样再现的各区域分别进行坐标变换，并存储到帧存储器115中。同时编码并传送在坐标变换中使用的参数(x_b1，y_b1)，(x_b2，y_b2)，(x_b3，y_b3)。

借助于将大小不同的图像变换成共同的空间坐标，能提高活动检测的精度，同时能减少活动向量的编码量并改善图像质量。借助于让图6A和图6B的图像在点605上坐标一致，使块601和块603、块602和块604重合，所以能正确地确定活动检测。在本例中，因块603和块604的活动向量值接近于0，所以能减少活动向量的编码量。对于一般的图像，可以说相邻的两个图像也是这样。与图7B不同，图6B中脸部在一个块内，所以脸不会出现量化带来的垂直失真。

实施例2

图5表示基于本发明实施例2的图像预测解码装置的方框图。在图5中，501是输入端，502是数据分析器，503是解码器，506是加法运算器，507是输出端，508是坐标变换器，509是活动检测器，510是帧存储器。

下面，对前述结构的图像预测解码装置的动作进行说明。在输入端501上对大小不同的从第1到第N的对象图像进行编码，输入包含将第n(n＝1，2，3，......，N)个对象图像变换成共同空间坐标所生成的第n个变换参数的从第1到第N个压缩图像数据。图3的模式图示出了压缩图像数据的一例。用数据分析器502分析输入后的压缩图像数据。

首先，用数据分析器502分析第1个压缩图像数据，将第1压缩图像输出到解码器503中。通过导线520，将进行共同空间坐标变换所生成的第1个变换参数(图2C的x_a，y_a)送到坐标变换器508中。在解码器503，将第1个压缩图像复原成扩展图像，并输出到输出端508中。在本实施例中，进行反量化，施行IDCT，并复原成空间区域的信号。在坐标变换器508，以第1个变换参数为基础，将扩展图像映射到共同空间坐标系，作为第1个再现图像输出，并存储在帧存储器510中。关于坐标变换，与实施例1中的说明相同。

接着，用数据分析器502分析第n(n＝1，2，3，......，N)个压缩图像数据，将第n个压缩差分图像输出到解码器503中。通过导线521将生成的第n个活动数据送到活动补偿器509中，通过导线502将进行共同空间坐标变换所生成的第n个变换参数(相当于图2C的x_b，y_b)送到坐标变换器508和活动补偿器509。在解码器503中，将第n个压缩差分图像复原成第n个扩展差分图像，并输出到加法运算器506。在本实施例中，将对象块的差分信号进行反量化并进行IDCT后，作为扩展差分块输出。另一方面，在活动补偿器509中，用第n个变换参数和该块的活动向量，从帧存储器510取得预测块。在本实施例中，用变换参数变换对象块的坐标，即借助于在对象块的坐标上加上第n个变换参数(例如图2C的x_b，y_b)，并在其和上加上活动向量，决定帧存储器510的地址。将这样得到的预测块送到加法运算器506中，与扩展差分块相加，并对图像进行再现。将被再现的图像输出到输出端507，同时在坐标变换器508用第n个变换参数进行坐标变换，并存储到帧存储器510中。

此外，不用坐标变换器508，而在活动补偿器509或者其前后添加具有在对象块的坐标上加上第n个图像和第n-1个图像的变换参数的差分(x_b-x_a，y_b-y_a)，并在其上加上活动向量的功能的其它装置，决定帧存储器510地址，当然也有相同的效果。

下面，考虑在输入端501上输入其它的压缩图像数据的场合。也就是说，将大小不同的从第1到第N个对象图像分割成多个对象区域并进行编码，并输入包含将各对象区域变换成共同空间坐标所生成的变换参数的从第1到第N个压缩图像数据。

首先，用数据分析器502对第1压缩图像数据进行分析，并将第m(m＝1，2，3，......，M)个压缩区域输出到解码器503。在图4A中M＝3。通过导线520将进行共同空间坐标变换所生成的第m个变换参数(图4A的x_am，y_am，m＝1，2，3)送到坐标变换器508。在解码器503，将第m个压缩区域复原成第m个扩展区域，并输出到输出端507上。同时，将第m个扩展区域输入到坐标变换器508。这里，以第m个变换参数为基础，将第m个扩展区域映射到共同空间坐标系，作为第m个再现区域输出，并存储在帧存储器510中。方法与前文所述相同。

接着，用数据分析器502对第n(n＝2，3，.....，N)个压缩图像数据进行分析，并将其中的第k(k＝1，2，3，......，K)个压缩差分区域输出到解码器503中。在图4A中K＝3。通过导线521将对应的活动数据送到活动检测器509，并将进行共同空间坐标变换所生成的第k个变换参数(图4B的x_bk，y_bk，k＝1，2，3)送到坐标变换器508和活动补偿器509。在解码器503，将第k个压缩差分区域复原成第k个扩展差分区域，并输出到加法运算器506。在本实施例中，将对象块的差分信号进行反量化并进行IDCT后，作为扩展差分块输出。另一方面，在活动补偿器509中，用第k个变换参数和相当块的活动向量，从帧存储器510取得预测块。在本实施例中，用第k个变换参数变换对象块的坐标，即借助于在对象块的坐标上加上第k个变换参数(例如图4B的x_bk，y_bk，k＝1，2，3)，并在其和上加上活动向量，决定帧存储器510的地址。将这样得到的预测块送到加法运算器506，与扩展差分块相加，并对图像进行再现。在将被再现的图像输出到输出端507的同时，用坐标变换器508使该图像坐标变换，并存储在帧存储器510中。

实施例3

图8表示本发明实施例3的解码装置的方框图。包括输入端801、可变长度解码器802、差分图像扩展单元803、加法运算器804、输出端805、变换参数生成单元806、帧存储器807和预测图像生成单元808。

将被压缩编码的数据输入到输入端801上。在可变长度解码器802，分析输入数据，分离差分图像数据和坐标数据，并通过导线8002和8003分别送到差分图像扩展单元803和变换参数生成单元806中。在差分图像数据中包含进行过DCT且量化的变换系数和量化宽度。在差分图像扩展单元803，利用量化宽度，将变换系数反量化后进行逆DCT，并扩展成差分图像。

另一方面，在坐标数据中包含用于生成变换参数的数据，用变换参数生成单元806生成变换参数。例如，在式(3)所示的仿射变换的场合，生成(a，b，c，d，e，f)。下面，说明其详况。

将变换参数生成单元806生成的变换参数和存储在帧存储器中的图像输入到预测图像生成单元808。在式(3)所示的仿射变换的场合。按照式(3)，使用从变换参数生成单元806送来的(a，b，c，d，e，f)，在(x，y)处的象素的预测值变为存储在帧存储器中的图像(u，v)中的象素。对于式(1)、式(2)、式(4)的场合也相同。

将这样生成的预测图像送到加法运算单元804，与差分图像并对图像进行再现。被再现的图像输出到输出端805，同时存储在帧存储器807中。

前述的坐标数据能取多种形态，下面进行说明。

考虑坐标数据由N个象素的坐标点和规定的线性多项式变换该N个坐标点后的N个变换后坐标点组成的场合。这里，N是用于求得变换参数所需的点的个数。因在仿射参数的场合有6个参数，为了求得6个变量，需要6个式子。因在一个坐标点上有(x，y)的分量，所以如果N＝3，则能解6个仿射变换参数。在式(1)的场合，N＝1，式(2)的场合，N＝2，式(4)的场合，N＝5。N个变换后坐标点是活动向量，相当于从式(1)到式(4)的左边的(u，v)。

在仿射变换的场合，通过导线8003，3个坐标点(x0，y0)、(x1，y1)、(x2，y2)和变换后坐标点(u0，v0)、(u1，v1)、(u2，v2)输入到变换参数生成单元806中。在变换参数生成单元806，借助于求解式(5)的联立方程式，能得到仿射参数。

(u0，v0)＝(ax0+by0+e，cx0+dy0+f)

(u1，v1)＝(ax1+by1+e，cx1+dy1+f)    (5)

(u2，v2)＝(ax2+by2+e，cx2+dy2+f)

此外，能用更多的坐标数据求得变换参数。在其它的场合也能同样解变换参数。借助于很好地选择N个(x，y)能求得非常高精度的变换参数。正交配置的N个(x，y)是令人满意的。

此外，对变换后坐标点(u0，v0)、(u1，v1)、(u2，v2)求对应的坐标点(x0，y0)、(x1，y1)、(x2，y2)时，也可以用式(6)的联立方程式代替式(5)。

(x0，y0)＝(Au0+Bv0+E，Cu0+Dv0+F)

(x1，y1)＝(Au1+Bv1+E，Cu1+Dv1+F)    (6)

(x2，y2)＝(Au2+Bv2+E，Cu2+Dv2+F)

接着，考虑坐标数据由N个象素的坐标点和规定的线性多项式变换该N个坐标点后的N个变换后坐标点的差分值的场合。在用于取差分的预测值是N个象素的坐标点的场合，用变换参数生成单元806对N个象素的坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。此外，在用于取差分的预测值是前帧的N个象素的变换后坐标点的场合，用变换参数生成单元806对前帧的N个变换后坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。将加法运算后的N个变换后坐标点作为下一个帧的预测值预先进行存储。

接着，考虑坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点的场合。规定的N个坐标点是预先确定的坐标点，不必进行传送。用变换参数生成单元806，由规定的N个象素的坐标点和N个变换后坐标点生成变换参数。

接着，考虑坐标点是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点的差分值的场合。在用于取差分的预测值是N个象素的坐标点的场合，用变换参数生成单元806对N个象素的坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。此外，在用于取差分的预测值是前帧的N个象素的变换后坐标点的场合，用变换参数生成单元806对前帧的N个象素的变换后坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。将加法运算后的N个变换后坐标点作为下一个帧的预测值预先进行存储。

图9表示本发明实施例3的编码装置的方框图。包括输入端901、变换参数推定单元903、预测图像生成单元908、第1加法运算单元904、差分图像压缩单元905、差分图像扩展单元910、第2加法运算单元911、帧存储器909和传送单元906。将数字图像输入到输入端901上，用变换参数推定单元903，由存储在帧存储器中的图像和数字图像推定变换参数。关于仿射参数的推定方法与前文所述相同。

此外，也可以用其原图像代替存储在帧存储器中的图像。通过导线9002将用变换参数推定单元903推定的变换参数送到预测图像生成单元908中。通过导线9009将用变换参数变换的坐标数据送到传送单元906中。关于坐标数据，如前所述也可以具有多种形态。在预测图像生成单元908，输入被推定的变换参数和存储在帧存储器909中的图像，并根据被推定的变换参数，如前所述地生成预测图像。接着，用第1加法运算单元904，求得数字图像和预测图像的差分，用差分图像压缩单元905，对差分图像进行DCT后量化。同时，用差分图像扩展单元910，将压缩差分数据扩展成扩展差分数据。在差分图像扩展单元910施行反量化和反DCT。用第2加法运算单元，对扩展差分数据和预测图像进行加法运算，并存储在帧存储器中。在传送单元906，对压缩差分数据、量化宽度、坐标数据进行编码，并加以复接后进行传送和存储。

实施例4

图10表示本发明实施例4的数字图像解码装置。包括输入端1001、可变长度解码单元1002、差分图像扩展单元1003、加法运算单元1004、变换参数生成单元1006、预测图像生成单元1008和帧存储器1007。基本动作与图8相同。仅对不同的地方进行说明。变换参数生成单元1006形成能生成多种变换参数的结构。参数生成单元1006a包括式(2)所示的参数(a，e，d，f)，参数生成单元1006b包括式(3)所示的参数(a，b，c，d，e，f)，参数生成单元1006c包括式(4)所示的参数(g，p，r，a，b，e，h，q，s，c，d，f)。如果式(2)有2个坐标点，式(3)有6个坐标点，式(4)有12个坐标点，则能生成参数。这种坐标点的个数通过导线10010控制开关1009和1010。当坐标点的个数是2时，将开关1009和1010分别与端子1011a和1012a连接，通过导线10003将坐标数据送到参数生成单元1006a中，借助于求解联立方程式，生成式(2)的参数，并从端子1012a输出。当坐标点的个数是3、6时，分别与参数生成单元1006b和1006c连接。这样，根据坐标点的个数信息，知道传送的坐标数据的种类，能切换并生成变换参数。通过导线10003的坐标数据的形态如前所述。此外，在已知从式(2)到式(4)的右边的(x，y)的场合，因不必进行传送，所以通过导线10010的坐标点的个数对应于式(2)是1、对应于式(3)是3、对应于式(4)是6。此外，变换参数生成单元不限于3，也可以是大于3。

实施例5

图11和图12表示本发明实施例5的数字图像解码装置和编码装置的方框图。基本上与图8和图9相同。不同的地方是用变换参数扩展单元1106代替变换参数生成单元806，此外，变换参数推定单元903与1203的动作有些不同。下面，对此进行说明。在图12的变换参数推定单元1203推定变换参数，乘以图像尺寸进行倍增，并在量化后、通过导线12009传送到传送单元1206中。变换参数是实数值，倍增后需要进一步取整数。在仿射参数的场合，需要高精度地表现(a，b，c，d)。a和c是垂直坐标参数，乘以图像的垂直象素数V。b与d是水平坐标的参数，乘以图像的水平象素数H。如式(4)所示，在有二次项的场合，同样能使起倍增作用图像尺寸形成二次项(H2、V2、HV)。在图11的变换参数扩展单元1106，对倍增后的参数进行除法运算，并再现参数。

图12的变换参数推定单元1203在推定变换参数后，确定变换参数的最大值。最好是绝对值的最大值。用该最大值的指数部分(最好是2次幂的指数部分)，对变换参数进行归一化。也就是说，在各变换参数上乘以指数部分的值。这样，将被归一化的变换参数和指数部分送到传送单元1206中，变换成固定长度编码进行传送。在图11的变换参数扩展单元1106，将归一化后的变换参数除以指数部分，扩展成变换参数。在仿射参数(a，b，c，d)的场合，从(a，b，c，d)中求得最大值。虽然也可以包含平行移动的参数(e，f)，但因普通值的大小位数不同，所以没有包含。关于式(4)的参数也相同，虽然分开二次项与一次项的参数进行归一化是令人满意的，但是也不限于此。

如前所述，在实施例中，虽然对差分图像为非零的场合进行了说明，但差分图像为全零的场合也相同。这种场合，预测图像原样地输出。此外，虽然对图像整体的变换进行了说明，但将二维或者三维的图像分割成多个小区域，在各小区域施行以仿射变换为首的变换的场合，也同样能用。

工业上的实用性

如前所述，采用本发明，则借助于将大小不同的图像变换到同一坐标系中后，进行活动检测并生成预测图像，能得到在提高活动检测精度的同时，减少活动向量的编码量的效果。借助于在解码侧从坐标数据确定变换参数，能得到高精度的变换参数，并能生成高精度的预测图像。借助于变换参数一边归一化、一边用图像尺寸进行倍增，能用对应于图像的精度传送参数。此外，借助于根据坐标数据的个数，切换变换参数的生成，能对变换参数的生成进行最佳处理，同时能高效率传送坐标数据。

Claims (4)

1.一种预测解码方法，它是对压缩图像数据进行解码的方法，所述压缩图像数据是通过参考参照图像并将作为编码对象的编码对象图像进行编码而获得，其特征在于，

所述编码对象图像的第1坐标系定义与共同空间坐标系的位置关系，上述参照图像的尺寸与上述编码对象图像的尺寸不同或者共同空间坐标系中的上述参照图像的位置与上述编码对象图像的位置不同，在上述共同空间坐标系上指定上述参照图像的位置，并且，包含下述步骤：

(a)从上述压缩图像数据中抽出偏移信号和与上述解码对象图像相关的压缩图像信号的步骤，其中，所述偏移信号表示上述共同空间坐标系的原点、与作为解码对象的解码对象图像的左上角的位置即上述第1坐标系的原点的位置关系；

(b)参照上述偏移信号从上述参照图像中取得预测图像的步骤；

(c)通过对上述压缩图像数据进行反量子化以及反正交变换的处理进行解码并且利用上述第1坐标系生成扩展差分图像的步骤；

(d)参照上述偏移信号，将上述第1坐标系上的上述扩展差分图像与上述预测图像进行相加，以复原上述共同空间坐标系的再现图像的步骤。

2.如权利要求1所述的预测解码方法，其特征在于，

还包括：从上述压缩图像数据中抽出活动向量数据的步骤；以及将所抽出的上述活动向量数据解码并且再现活动向量的步骤，

根据上述活动向量从上述参照图像中得到上述预测图像。

3.如权利要求2所述的预测解码方法，其特征在于，

作为上述编码对象的编码对象图像在上述共同空间坐标系中的配置，对于每一帧都不同。

4.一种预测编码方法，它是参考参照图像将编码对象图像进行编码的方法，其特征在于，

上述编码对象图像的第1坐标系定义与共同空间坐标系的位置关系，上述参照图像的尺寸与上述编码对象图像的尺寸不同或者共同空间坐标系中的上述参照图像的位置与上述编码对象图像的位置不同，在上述共同空间坐标系中指定上述参照图像的位置，并且包含下述步骤：

(a)根据上述共同空间坐标系生成活动向量的步骤；

(b)从上述参照图像中取得上述活动向量所对应的预测图像的步骤；

(c)从上述编码对象图像与上述预测图像中生成差分图像的步骤；

(d)利用上述第1坐标系通过正交变换以及量子化将上述差分图像进行编码而获得压缩图像信号的步骤；

(e)利用上述第1坐标系通过反量子化以及反正交变化的处理将上述压缩图像信号解码而生成扩展差分图像的步骤；

(f)通过将上述扩展差分图像与上述预测图像相加而将再现图像复原并且将该再现图像作为参照图像进行保存的步骤；

(g)将偏差信号和上述生成的活动向量进行编码的步骤，其中所述偏差信号表示上述共同空间坐标系的原点与上述第1坐标系的原点的位置关系；

(h)将上述编码的偏差信号以及上述编码的活动向量与上述压缩图像信号一起传送的步骤。

Images