CN1209933A - 数字图像编码解码方法及使用它的数字图像编码解码装置 - Google Patents

数字图像编码解码方法及使用它的数字图像编码解码装置 Download PDF

Info

Publication number
CN1209933A
CN1209933A CN97191777A CN97191777A CN1209933A CN 1209933 A CN1209933 A CN 1209933A CN 97191777 A CN97191777 A CN 97191777A CN 97191777 A CN97191777 A CN 97191777A CN 1209933 A CN1209933 A CN 1209933A
Authority
CN
China
Prior art keywords
image
transformation parameter
coordinate
data
coordinate points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN97191777A
Other languages
English (en)
Other versions
CN1125568C (zh
Inventor
C·S·布恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1209933A publication Critical patent/CN1209933A/zh
Application granted granted Critical
Publication of CN1125568C publication Critical patent/CN1125568C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Abstract

本发明揭示一种数字图像编码解码方法及使用它的数字图像编码解码装置,包括:对输入图像进行编码并进行数据压缩的图像压缩手段对将该图像压缩手段压缩后的图像解码而得的图像进行坐标变换,并输出因进行该坐标变换而产生的坐标数据的坐标变换手段;从这种坐标变换手段的坐标数据生成变换参数的变换参数生成手段;用由这种变换参数生成手段生成的变换参数,从输入图像生成预测图像的预测图像生成手段;传送压缩图像和坐标数据的传送手段。本发明提供在仿射变换那样其参数具有不是整数的多位数的场合,能用较少的数据传送量实现正确变换的数字图像数据编码、解码装置。

Description

数字图像编码解码方法及使用它的数字图像编码解码装置
技术领域
本发明涉及用于存储或者传送数字图像数据的编码、解码方法和装置。特别涉及对图像预测的活动信息进行编码、解码，高精度地生成预测图像的方法和装置。
背景技术
为了有效地存储或者传送数字图像数据，需要进行压缩编码。
作为用于压缩编码数字图像的方法，以往除以JPEG和MPEG为代表的离散余弦变换(DCT)外，还有Subband和Wearplate以及Flactale等的波形编码方法。此外，在去除图像间的冗余信号时，进行使用活动补偿的图像间预测，对差分信号进行波形编码。
这里，对以活动补偿为基础的MPEG方式进行说明。将输入图像分割成多个16×16的宏块进行处理。1个宏块进一步分割成8×8的块，在施行8×8的DCT后进行量化。这称为帧内编码。另一方面，以块匹配为首的活动检测方法中，从时间上相邻的其它帧内检测对象宏块中误差最小的预测宏块，并基于检测出的变化，从过去的图像进行活动补偿，取得最佳预测块。表示误差最小的预测宏块的信号是活动向量。接着，求出对应于对象块的预测块的差分，进行DCT，对变换系数进行量化，同时传送或者存储活动信息。这称为帧频间编码。
在接收侧，在将被量化的变换系数复原到原来的差分信号后，根据活动向量取得预测块，并与差分信号相加，进行图像的再现。
虽然预测图像的生成以块为单位进行，但也有取全景和变焦那样图像整体移动的场合，并对这种场合图像整体进行活动补偿。活动补偿或者预测图像的生成包括从单纯平行移动到带有放大、缩小、旋转等变形的各种情况。
式(1)到式(4)示出了表示移动和变形的公式。(x,y)是象素的坐标，(u,v)是变换后的坐标，是(x,y)的活动向量。其它的变量是表示移动和变形的变换参数。
(u,v)=(x+e,y+f)           (1)
(u,v)=(ax+e,dy+f)         (2)
(u,v)=(ax+by+e,cx+dy+f)   (3)
(u,v)=(gx2+pxy+ry2+ax+by+e,
hx2+qxy+sy2+cx+dy+f)      (4)
式(3)的变换称为仿射变换，下面，以其为例进行说明。仿射变换的参数(a,b,c,d,e,f)能象以下所述那样求得。
首先，将图像分割成多个块(2×2,4×4,8×8等)，用块匹配的方法求得各块的活动向量。从求得的活动向量中至少选择3个可靠性高的，利用对6个式(3)的联立方程式求解，得到仿射参数。为了减小误差，通常选择较多的点，用最小二乘法求得仿射参数。在预测图像生成中使用这样求得的仿射参数。为了在接收侧也能同样进行预测图像生成，需要传送仿射参数。
但是，以往的帧间编码以对象图像和参照图像有相同的大小为前提，对不同大小的图像不能充分适应。
邻接的2个图像的大小的变化多数起因于该图像中物体的活动。例如，由于放下两手站立的人物(图7A)举起两手，围住人物的长方形大小发生变化(图7B)。在考虑编码效率时，为了减少活动向量的编码量，需要在同一坐标空间变换对象图像和参照图像。此外，由于图像大小的变化，被分割的图像的宏块的配置变化。例如，从图7A变化到图7B时，因为将宏块701分成宏块703和宏块704两个并进行压缩编码，在图7B的再现图像中，人物的面孔上出现量化造成的垂直失真，使视觉上的图像质量降低。
为了高精度地进行仿射变换，因仿射参数(a,b,c,d,e,f等)一般是小数点以下的实数，所以如果希望传送精度高，则要用长的位数进行传送。过去，因用固定长度或者可变长度编码简单地量化并传送仿射参数，所以使仿射变换的精度降低，不能得到高精度的仿射变换，不能生成所要的预测图像。
由式(1)到(4)可知，变换参数的个数是2到10个或者更多。在传送变换参数时，如果按照其最多的个数进行编码，则有在传送参数少时传送冗余码的问题。
发明概述
本发明的第一个目的，是提供在仿射变换那样其参数具有不是整数的多位数的场合，能用较少的数据传送量实现正确变换的数字图像数据编码、解码装置。
为达到这种目的，本发明的图像预测编码装置，包括：
对输入图像进行编码并进行数据压缩的图像压缩手段；
对将该图像压缩手段压缩后的图像解码而得到的图像进行坐标变换，输出因进行该坐标变换而产生的坐标数据的坐标变换手段；
从这种坐标变换手段的坐标数据生成变换参数的变换参数生成手段；
用由这种变换参数生成手段生成的变换参数，从输入图像生成预测图像的预测图像生成手段；
传送所述压缩图像和坐标数据的传送手段。
此外，数字图像解码装置，包括：
输入压缩图像数据和坐标数据，进行可变长度解码的可变长度解码手段；
从所述可变长度解码手段解码后的坐标数据生成变换参数的变换参数生成手段；
用由所述变换参数生成手段生成的变换参数，生成预测图像数据的预测图像生成手段；
对来自所述预测图像生成手段的预测图像和进行所述可变长度解码后的压缩图像数据进行加法运算，从而生成解码图像的加法运算手段。
具体地说，这是变换参数生成手段从N个(N是自然数)象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点，生成变换参数的数字图像编码、解码装置。此外，这是变换参数生成手段输入大小不同的第1到第N个对象图像，对所述第1到第N个对象图像设定共同空间坐标，并对所述第1到第N个对象图像，用规定的的方法进行压缩编码，生成第1到第N个压缩图像，而且对所述第1到第N个压缩图像进行解码，变换成所述共同空间坐标，在生成第1到第N个扩展图像加以存储，同时输出将所述第1到第N个扩展图像变换成所述共同空间坐标生成的变换参数的数字图像编码、解码装置。
本发明的第二个目的，是特别提供作为坐标数据，传送大小不同的图像进行预测编码时，将对象图像和参照图像变换成相同坐标空间的坐标数据，从而改善活动检测的精度，同时减少活动向量的编码量，谋得提高图像质量的数字图像编码、解码装置。
为达到这种目的，本发明的图像预测编码装置，
输入大小不同的第1到第N个对象图像，对第1到第N个对象图像设定共同空间坐标，并对第1对象图像，用规定的的方法进行压缩编码，生成第1压缩图像后，对第1压缩图像进行解码，变换成共同空间坐标，生成第1扩展图像加以存储，同时对将第1扩展图像变换成共同空间坐标而生成的第1偏移信号(座标数据)进行编码，并与第1压缩图像一起传送，对第n(n=2,3,……,N)对象图像，变换成共同空间坐标，参照第(n-1)的扩展图像生成预测图像，由第n对象图像和预测图像生成差分图像并进行压缩编码，生成第n压缩图像后，对第n压缩图像进行解码，变换成共同空间坐标，生成第n扩展图像加以存储同时对将第n扩展图像变换成共同空间坐标而生成的第n偏移信号(座标数据)进行编码后，与第n压缩图像一起传送。
本发明的图像预测解码装置，包括：
输入端、数据分析器、解码器、加法运算器、坐标变换器、活动补偿器和帧存储器，
在输入端上对大小不同的从第1到第N个对象图像进行编码，输入包含将第n(n=1,2,3,……,N)对象图像变换成共同空间坐标而生成的第n偏移信号的第1到第N个压缩图像数据，用数据分析器分析第1压缩图像数据，输出第1压缩图像信号和第1偏移信号，将第1压缩图像信号输入到解码器，复原为第1再现图像后，用坐标变换器以第1偏移信号为基础，使第1再现图像坐标变换后，存储在帧存储器中，又对第n(n=2,3,………,N)压缩图像数据，用数据分析器分析第n压缩图像数据。输出第n压缩图像信号和第n偏移信号以及第n活动信号，将第n压缩图像信号输入到解码器中，复原为第n扩展差分图像，将第n偏移信号和第n活动信号输入到活动补偿器中，以第n偏移信号和第n活动信号为基础，从存储在帧存储器中的第(n-1)再现图像取得第n预测图像，在用加法运算器对第n扩展差分图像和第n预测图像进行加法运算，复原为第n再现图像并输出，同时在坐标变换器以第n偏移信号为基础使第n再现图像坐标变换后，存储在帧存储器中。
本发明的第三个目的，是提供作为坐标数据，高精度传送包含在传送数据中的进行仿射变换时的仿射变换参数，能生成高精度的预测图像的数字图像编码、解码装置。
采用本发明，则在包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数生成单元、预测图像生成单元和帧存储器的数字图像解码装置中，
将数据输入到可变长度解码单元中，从数据分出差分图像数据并传送到差分图像扩展单元，同时分出坐标数据并输入到变换参数生成单元，在差分图像生成单元扩展差分图像数据，并传送到加法运算单元，在变换参数生成单元从坐标数据生成变换参数，并传送到预测图像生成单元，在预测图像生成单元从变换参数和帧存储器输入的图像生成预测图像，并传送到加法运算单元中，加法运算单元将预测图像与被扩展的差分图像相加，生成图像并输出，同时存储在帧存储器中。
前述的坐标数据，是N个象素的坐标点和由规定的线性多项式变换N个坐标点后的N个变换后坐标点，或者是N个象素的坐标点和由规定的线性多项式变换N个坐标点后的N个变换后坐标点的差分值，或者是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点，或者是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点和预测值的差分值，这种预测值是规定的N个坐标点，或者是前帧的N个变换后坐标点。
采用本发明，则数字图像编码装置，包括
变换参数推定单元、预测图像生成单元、第1加法运算单元、差分图像压缩单元、差分图像扩展单元、第2加法运算单元、帧存储器和传送单元，
输入数字图像，在变换参数推定单元从存储在帧存储器中的图像和数字图像推定变换参数，将所推定的变换参数和存储在帧存储器中的图像输入到预测图像生成单元中，根据所推定的变换参数生成预测图像，在第1加法运算单元求得数字图像和预测图像的差分，用差分图像压缩单元压缩成压缩差分数据，送到传送单元，同时差分图像扩展单元将压缩差分数据扩展成扩展差分数据，在第2加法运算单元与预测图像相加后，存储到帧存储器，在这种数字图像编码装置中，从变换参数推定单元将坐标数据送到传送单元，与压缩差分数据一起传送。
前述的坐标数据，是N个象素的坐标点和由变换参数变换N个坐标点后的N个变换后坐标点，或者是N个象素的坐标点和N个变换后坐标点与N个象素的坐标点的差分，或者是由变换参数变换规定的N个象素的坐标点后的N个变换后坐标点，并且是N个变换后坐标点与规定的N个象素的坐标点的差分，或者是由N个变换后坐标点与过去的帧的N个变换后坐标点的差分。
采用本发明，则数字图像解码装置，包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数生成单元、预测图像生成单元和帧存储器，
将数据输入到可变长度解码单元，从数据分出差分图像数据并传送到差分图像扩展单元，同时将坐标数据的个数和坐标数据输入到变换参数生成单元中，在差分图像扩展单元扩展差分图像，并传送到加法运算单元，在变换参数生成单元根据变换参数的个数切换变换参数生成方法，从坐标数据生成变换参数，并传送到预测图像生成单元，在预测图像生成单元从变换参数和帧存储器输入的图像、生成预测图像并传送到加法运算单元中，加法运算单元将预测图像与被扩展的差分图像相加，生成图像生成并输出，同时存储在帧存储器中。
前述的坐标数据是N个象素的坐标点和由规定的线性多项式变换N个坐标点后的N个变换后坐标点，或者坐标数据是N个象素的坐标点和由规定的线性多项式变换N个坐标点后的N个变换后坐标点与N个象素的坐标点差分，或者坐标数据是N个象素的坐标点与过去的帧的N个图像的坐标点的差分和由规定的线性多项式变换N个坐标点后的N个变换后坐标点与过去的帧的N个变换后坐标点差分，或者坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点，或者坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点与规定的N个坐标点的差分，或者坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点与过去的帧的N个变换后坐标点的差分。
原样地传送变换参数时，在用图像尺寸使变换参数倍增后，进行量化，加以编码，或者求得变换参数的最大值的指数部分，用指数部分将变换参数归一化，并传送指数部分和归一化后的变换参数。
附图简要说明
图1表示基于本发明实施例1的图像预测编码装置的方框图。
图2A表示本发明实施例1、2中图像坐标变换的第一模式图。
图2B表示本发明实施例1、2中图像坐标变换的第一模式图。
图2C表示本发明实施例1、2中图像坐标变换的第一模式图。
图3表示基于本发明实施例1的图像预测编码装置的编码图像数据序列的模式图。
图4A表示本发明实施例1、2中图像坐标变换的第二模式图。
图4B表示本发明实施例1、2中图像坐标变换的第二模式图。
图5表示基于本发明实施例2的图像预测解码装置的方框图。
图6A表示在本发明实施例1、2中被分割的图像的模式图。
图6B表示在本发明实施例1、2中被分割的图像的模式图。
图7A表示在以往的方法中被分割的图像的模式图。
图7B表示在以往的方法中被分割的图像的模式图。
图8表示本发明实施例3的数字图像解码装置的方框图。
图9表示本发明实施例3的数字图像编码装置的方框图。
图10表示本发明实施例4的数字图像解码装置的方框图。
图11表示本发明实施例5的数字图像解码装置的方框图。
图12表示本发明实施例5的数字图像编码装置的方框图。
实施发明的最佳方式
下面，参照附图1到附图12对本发明的实施例进行说明。
实施例1
图1表示基于本发明实施例1的图像预测编码装置的方框图，在图1中，101是输入端，102是第1加法运算器，103是编码器，106是输出端，107是解码器，110是第2加法运算器，111是第1坐标变换器，112是第2坐标变换器，113是活动检测器，114是活动补偿器，115是帧存储器。
下面，对前述结构的图像预测编码装置的动作进行说明。在输入端101上输入大小不同的从第1到第N的对象图像。根据图像的长度决定N。首先，在输入端101上输入第1对象图像，通过第1加法运算器102后，用编码器103进行压缩编码。这种场合，第一加法运算器102不作减法运算。在本实施例中，将对象图像分割成多个邻接的块(8×8象素)，用离散余弦变换器(DCT)104，将空间区域的信号变换成频率区域的信号，并生成变换块。量化器(Q)105对变换块进行量化，生成第1压缩图像，并输出到输出端106中，变换成固定长度或者可变长度的编码进行传送(未图示)。同时，用解码器107将第1压缩图像复原为扩展图像。在本实施例中，由反量化器IQ(108)进行反量化后，在反离散余弦变换器(IDCT)109变换成空间信号，用第1坐标变换器111对这样得到的再现图像进行坐标变换，形成第1再现图像并存储在帧存储器115中。
下面，对第1坐标变换器111的操作进行说明。以图2A为第1对象图像。图像201的象素a1在坐标系203中具有(0,0)的坐标。在图2C中设定新的坐标系205。这种坐标系也可以是显示画面的坐标系，或者也可以是以对象图像的中心点为原点的坐标系。对任何一种场合，坐标系205都在开始编码前被预先设定。图2C示出了将对象图像201映射到坐标系205。利用这种坐标变换，对象图像201的象素a1的坐标成为(x_a,y_a)。此外，有时也进行包含旋转的坐标变换。将x_a,y_a的值编码成8位固定长度，并与第1压缩图像一起传送。
接着，将第n(n=2,3,………,N)个对象图像输入到输入端101中。通过导线126，将第n个对象图像输入到第2坐标变换器112，并变换到坐标系205中。以图2B的图像202作为第n个对象图像。将其映射到坐标系205，将象素b1的坐标变换成(x_b,y_b)(图2C)。被坐标变换后的对象图像202又输入到活动检测器113，分割成多个块，参照存储在帧存储器115中的第(n-1)个再现图像，用块匹配等方法进行活动检测，并生成活动向量。将生成的活动向量在导线128上输出，进行编码并传送(未图示)，同时传送到补偿器114中，对存储在帧存储器115中的第(n-1)个再现图像进行访问，生成预测块。例如，在USP5,193,004中公开了关于活动检测和活动补偿的实施例。
在第1加法运算器102上输入第n个对象图像的块及其预测块，生成差分块。用编码器103压缩差分块，生成第n个压缩图像，并输出到输出端106上，同时用解码器107复原成扩展差分块。在第2加法运算器110将通过导线125传送扩展预测块与扩展差分块相加，对图像进行再现。将这样再现的图像输入到第1坐标变换器111中，进行与图2C的图像202相同的坐标变换，并作为第n个再现图像存储在帧存储器115中，同时对象素b1的坐标(x_b,y_b)进行编码，并与第n个压缩图像一起传送。
图3表示基于本发明实施例的图像预测编码装置的编码图像数据序列的模式图。在编码图像数据的前头是图像同步信号303，接着是基于坐标变换的参数x_a(304)、y_a(305)，图像的尺寸306、307，量化中所用量化级的值308。然后接着活动向量和图像的压缩数据。也就是说，传送作为坐标数据传，传送x_a(304)、y_a(305)和图像的尺寸306、307。
图4表示本发明实施例的图像坐标变换的其它形态。这种场合，将对象图像分割成多个区域，并对各区域分别进行坐标变换。例如，将图像201分割成三个区域R1,R2,R3，在压缩、扩展各区域后，用第1坐标变换器111分别使被再现的R1,R2,R3的区域坐标变换，并存储在帧存储器115中。同时编码并传送在坐标变换中使用的参数(x_a1,y_a1),(x_a2,y_a2),(x_a3,y_a3)。
接着，输入图像202，分割成区域R4,R5,R6，用第2坐标变换器112对各自的区域进行坐标变换。对各坐标变换后的区域，参照存储在帧存储器115中的区域进行活动检测和活动补偿，生成预测信号，并在第1加法运算器102生成差分信号，进行压缩、扩展后，在第2加法运算器与预测信号相加。对这样再现的各区域分别进行坐标变换，并存储到帧存储器115中。同时编码并传送在坐标变换中使用的参数(x_b1,y_b1),(x_b2,y_b2),(x_b3,y_b3)。
借助于将大小不同的图像变换成共同的空间坐标，能提高活动检测的精度，同时能减少活动向量的编码量并改善图像质量。借助于让图6A和图6B的图像在点605上坐标一致，使块601和块603、块602和块604重合，所以能正确地确定活动检测。在本例中，因块603和块604的活动向量值接近于0，所以能减少活动向量的编码量。对于一般的图像，可以说相邻的两个图像也是这样。与图7B不同，图6B中脸部在一个块内，所以脸不会出现量化带来的垂直失真。
实施例2
图5表示基于本发明实施例2的图像预测解码装置的方框图。在图5中，501是输入端，502是数据分析器，503是解码器，506是加法运算器，507是输出端，508是坐标变换器，509是活动检测器，510是帧存储器。
下面，对前述结构的图像预测解码装置的动作进行说明。在输入端501上对大小不同的从第1到第N的对象图像进行编码，输入包含将第n(n=1,2,3,……,N)个对象图像变换成共同空间坐标所生成的第n个变换参数的从第1到第N个压缩图像数据。图3的模式图示出了压缩图像数据的一例。用数据分析器502分析输入后的压缩图像数据。
首先，用数据分析器502分析第1个压缩图像数据，将第1压缩图像输出到解码器503中。通过导线520，将进行共同空间坐标变换所生成的第1个变换参数(图2C的x_a,y_a)送到坐标变换器508中。在解码器503，将第1个压缩图像复原成扩展图像，并输出到输出端508中。在本实施例中，进行反量化，施行IDCT，并复原成空间区域的信号。在坐标变换器508，以第1个变换参数为基础，将扩展图像映射到共同空间坐标系，作为第1个再现图像输出，并存储在帧存储器510中。关于坐标变换，与实施例1中的说明相同。
接着，用数据分析器502分析第n(n=1,2,3,……,N)个压缩图像数据，将第n个压缩差分图像输出到解码器503中。通过导线521将生成的第n个活动数据送到活动补偿器509中，通过导线502将进行共同空间坐标变换所生成的第n个变换参数(相当于图2C的x_b,y_b)送到坐标变换器508和活动补偿器509。在解码器503中，将第n个压缩差分图像复原成第n个扩展差分图像，并输出到加法运算器506。在本实施例中，将对象块的差分信号进行反量化并进行IDCT后，作为扩展差分块输出。另一方面，在活动补偿器509中，用第n个变换参数和该块的活动向量，从帧存储器510取得预测块。在本实施例中，用变换参数变换对象块的坐标，即借助于在对象块的坐标上加上第n个变换参数(例如图2C的x_b,y_b)，并在其和上加上活动向量，决定帧存储器510的地址。将这样得到的预测块送到加法运算器506中，与扩展差分块相加，并对图像进行再现。将被再现的图像输出到输出端507，同时在坐标变换器508用第n个变换参数进行坐标变换，并存储到帧存储器510中。
此外，不用坐标变换器508，而在活动补偿器509或者其前后添加具有在对象块的坐标上加上第n个图像和第n-1个图像的变换参数的差分(x_b-x_a,y_b-y_a)，并在其上加上活动向量的功能的其它装置，决定帧存储器510地址，当然也有相同的效果。
下面，考虑在输入端501上输入其它的压缩图像数据的场合。也就是说，将大小不同的从第1到第N个对象图像分割成多个对象区域并进行编码，并输入包含将各对象区域变换成共同空间坐标所生成的变换参数的从第1到第N个压缩图像数据。
首先，用数据分析器502对第1压缩图像数据进行分析，并将第m(m=1,2,3,……,M)个压缩区域输出到解码器503。在图4A中M=3。通过导线520将进行共同空间坐标变换所生成的第m个变换参数(图4A的x_am,y_am,m=1,2,3)送到坐标变换器508。在解码器503，将第m个压缩区域复原成第m个扩展区域，并输出到输出端507上。同时，将第m个扩展区域输入到坐标变换器508。这里，以第m个变换参数为基础，将第m个扩展区域映射到共同空间坐标系，作为第m个再现区域输出，并存储在帧存储器510中。方法与前文所述相同。
接着，用数据分析器502对第n(n=2,3,……,N)个压缩图像数据进行分析，并将其中的第k(k=1,2,3,………,K)个压缩差分区域输出到解码器503中。在图4A中K=3。通过导线521将对应的活动数据送到活动检测器509，并将进行共同空间坐标变换所生成的第k个变换参数(图4B的x_bk,y_bk,k=1,2,3)送到坐标变换器508和活动补偿器509。在解码器503，将第k个压缩差分区域复原成第k个扩展差分区域，并输出到加法运算器506。在本实施例中，将对象块的差分信号进行反量化并进行IDCT后，作为扩展差分块输出。另一方面，在活动补偿器509中，用第k个变换参数和相当块的活动向量，从帧存储器510取得预测块。在本实施例中，用第k个变换参数变换对象块的坐标，即借助于在对象块的坐标上加上第k个变换参数(例如图4B的x_bk,y_bk,k=1,2,3)，并在其和上加上活动向量，决定帧存储器510的地址。将这样得到的预测块送到加法运算器506，与扩展差分块相加，并对图像进行再现。在将被再现的图像输出到输出端507的同时，用坐标变换器508使该图像坐标变换，并存储在帧存储器510中。
实施例3
图8表示本发明实施例3的解码装置的方框图。包括输入端801、可变长度解码器802、差分图像扩展单元803、加法运算器804、输出端805、变换参数生成单元806、帧存储器807和预测图像生成单元808。
将被压缩编码的数据输入到输入端801上。在可变长度解码器802，分析输入数据，分离差分图像数据和坐标数据，并通过导线8002和8003分别送到差分图像扩展单元803和变换参数生成单元806中。在差分图像数据中包含进行过DCT且量化的变换系数和量化宽度。在差分图像扩展单元803，利用量化宽度，将变换系数反量化后进行逆DCT，并扩展成差分图像。
另一方面，在坐标数据中包含用于生成变换参数的数据，用变换参数生成单元806生成变换参数。例如，在式(3)所示的仿射变换的场合，生成(a,b,c,d,e,f)。下面，说明其详况。
将变换参数生成单元806生成的变换参数和存储在帧存储器中的图像输入到预测图像生成单元808。在式(3)所示的仿射变换的场合。按照式(3)，使用从变换参数生成单元806送来的(a,b,c,d,e,f)，在(x,y)处的象素的预测值变为存储在帧存储器中的图像(u,v)中的象素。对于式(1)、式(2)、式(4)的场合也相同。
将这样生成的预测图像送到加法运算单元804，与差分图像并对图像进行再现。被再现的图像输出到输出端805，同时存储在帧存储器807中。
前述的坐标数据能取多种形态，下面进行说明。
考虑坐标数据由N个象素的坐标点和规定的线性多项式变换该N个坐标点后的N个变换后坐标点组成的场合。这里，N是用于求得变换参数所需的点的个数。因在仿射参数的场合有6个参数，为了求得6个变量，需要6个式子。因在一个坐标点上有(x,y)的分量，所以如果N=3，则能解6个仿射变换参数。在式(1)的场合，N=1，式(2)的场合，N=2，式(4)的场合，N=5。N个变换后坐标点是活动向量，相当于从式(1)到式(4)的左边的(u,v)。
在仿射变换的场合，通过导线8003,3个坐标点(x0,y0)、(x1,y1)、(x2,y2)和变换后坐标点(u0,v0)、(u1,v1)、(u2,v2)输入到变换参数生成单元806中。在变换参数生成单元806，借助于求解式(5)的联立方程式，能得到仿射参数。
(u0,v0)=(ax0+by0+e,cx0+dy0+f)
(u1,v1)=(ax1+by1+e,cx1+dy1+f)    (5)
(u2,v2)=(ax2+by2+e,cx2+dy2+f)
此外，能用更多的坐标数据求得变换参数。在其它的场合也能同样解变换参数。借助于很好地选择N个(x,y)能求得非常高精度的变换参数。正交配置的N个(x,y)是令人满意的。
此外，对变换后坐标点(u0,v0)、(u1,v1)、(u2,v2)求对应的坐标点(x0,y0)、(x1,y1)、(x2,y2)时，也可以用式(6)的联立方程式代替式(5)。
(x0,y0)=(Au0+Bv0+E,Cu0+Dv0+F)
(x1,y1)=(Au1+Bv1+E,Cu1+Dv1+F)    (6)
(x2,y2)=(Au2+Bv2+E,Cu2+Dv2+F)
接着，考虑坐标数据由N个象素的坐标点和规定的线性多项式变换该N个坐标点后的N个变换后坐标点的差分值的场合。在用于取差分的预测值是N个象素的坐标点的场合，用变换参数生成单元806对N个象素的坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。此外，在用于取差分的预测值是前帧的N个象素的变换后坐标点的场合，用变换参数生成单元806对前帧的N个变换后坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。将加法运算后的N个变换后坐标点作为下一个帧的预测值预先进行存储。
接着，考虑坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点的场合。规定的N个坐标点是预先确定的坐标点，不必进行传送。用变换参数生成单元806，由规定的N个象素的坐标点和N个变换后坐标点生成变换参数。
接着，考虑坐标点是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点的差分值的场合。在用于取差分的预测值是N个象素的坐标点的场合，用变换参数生成单元806对N个象素的坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。此外，在用于取差分的预测值是前帧的N个象素的变换后坐标点的场合，用变换参数生成单元806对前帧的N个象素的变换后坐标点和N个变换后坐标点的差分值进行加法运算，由N个象素的坐标点和加法运算后的N个变换后坐标点生成变换参数。将加法运算后的N个变换后坐标点作为下一个帧的预测值预先进行存储。
图9表示本发明实施例3的编码装置的方框图。包括输入端901、变换参数推定单元903、预测图像生成单元908、第1加法运算单元904、差分图像压缩单元905、差分图像扩展单元910、第2加法运算单元911、帧存储器909和传送单元906。将数字图像输入到输入端901上，用变换参数推定单元903，由存储在帧存储器中的图像和数字图像推定变换参数。关于仿射参数的推定方法与前文所述相同。
此外，也可以用其原图像代替存储在帧存储器中的图像。通过导线9002将用变换参数推定单元903推定的变换参数送到预测图像生成单元908中。通过导线9009将用变换参数变换的坐标数据送到传送单元906中。关于坐标数据，如前所述也可以具有多种形态。在预测图像生成单元908，输入被推定的变换参数和存储在帧存储器909中的图像，并根据被推定的变换参数，如前所述地生成预测图像。接着，用第1加法运算单元904，求得数字图像和预测图像的差分，用差分图像压缩单元905，对差分图像进行DCT后量化。同时，用差分图像扩展单元910，将压缩差分数据扩展成扩展差分数据。在差分图像扩展单元910施行反量化和反DCT。用第2加法运算单元，对扩展差分数据和预测图像进行加法运算，并存储在帧存储器中。在传送单元906，对压缩差分数据、量化宽度、坐标数据进行编码，并加以复接后进行传送和存储。
实施例4
图10表示本发明实施例4的数字图像解码装置。包括输入端1001、可变长度解码单元1002、差分图像扩展单元1003、加法运算单元1004、变换参数生成单元1006、预测图像生成单元1008和帧存储器1007。基本动作与图8相同。仅对不同的地方进行说明。变换参数生成单元1006形成能生成多种变换参数的结构。参数生成单元1006a包括式(2)所示的参数(a,e,d,f)，参数生成单元1006b包括式(3)所示的参数(a,b,c,d,e,f)，参数生成单元1006c包括式(4)所示的参数(g,p,r,a,b,e,h,q,s,c,d,f)。如果式(2)有2个坐标点，式(3)有6个坐标点，式(4)有12个坐标点，则能生成参数。这种坐标点的个数通过导线10010控制开关1009和1010。当坐标点的个数是2时，将开关1009和1010分别与端子1011a和1012a连接，通过导线10003将坐标数据送到参数生成单元1006a中，借助于求解联立方程式，生成式(2)的参数，并从端子1012a输出。当坐标点的个数是3、6时，分别与参数生成单元1006b和1006c连接。这样，根据坐标点的个数信息，知道传送的坐标数据的种类，能切换并生成变换参数。通过导线10003的坐标数据的形态如前所述。此外，在已知从式(2)到式(4)的右边的(x,y)的场合，因不必进行传送，所以通过导线10010的坐标点的个数对应于式(2)是1、对应于式(3)是3、对应于式(4)是6。此外，变换参数生成单元不限于3，也可以是大于3。
实施例5
图11和图12表示本发明实施例5的数字图像解码装置和编码装置的方框图。基本上与图8和图9相同。不同的地方是用变换参数扩展单元1106代替变换参数生成单元806，此外，变换参数推定单元903与1203的动作有些不同。下面，对此进行说明。在图12的变换参数推定单元1203推定变换参数，乘以图像尺寸进行倍增，并在量化后、通过导线12009传送到传送单元1206中。变换参数是实数值，倍增后需要进一步取整数。在仿射参数的场合，需要高精度地表现(a,b,c,d)。a和c是垂直坐标参数，乘以图像的垂直象素数V。b与d是水平坐标的参数，乘以图像的水平象素数H。如式(4)所示，在有二次项的场合，同样能使起倍增作用图像尺寸形成二次项(H2、V2、HV)。在图11的变换参数扩展单元1106，对倍增后的参数进行除法运算，并再现参数。
图12的变换参数推定单元1203在推定变换参数后，确定变换参数的最大值。最好是绝对值的最大值。用该最大值的指数部分(最好是2次幂的指数部分)，对变换参数进行归一化。也就是说，在各变换参数上乘以指数部分的值。这样，将被归一化的变换参数和指数部分送到传送单元1206中，变换成固定长度编码进行传送。在图11的变换参数扩展单元1106，将归一化后的变换参数除以指数部分，扩展成变换参数。在仿射参数(a,b,c,d)的场合，从(a,b,c,d)中求得最大值。虽然也可以包含平行移动的参数(e,f)，但因普通值的大小位数不同，所以没有包含。关于式(4)的参数也相同，虽然分开二次项与一次项的参数进行归一化是令人满意的，但是也不限于此。
如前所述，在实施例中，虽然对差分图像为非零的场合进行了说明，但差分图像为全零的场合也相同。这种场合，预测图像原样地输出。此外，虽然对图像整体的变换进行了说明，但将二维或者三维的图像分割成多个小区域，在各小区域施行以仿射变换为首的变换的场合，也同样能用。
工业上的实用性
如前所述，采用本发明，则借助于将大小不同的图像变换到同一坐标系中后，进行活动检测并生成预测图像，能得到在提高活动检测精度的同时，减少活动向量的编码量的效果。借助于在解码侧从坐标数据确定变换参数，能得到高精度的变换参数，并能生成高精度的预测图像。借助于变换参数一边归一化、一边用图像尺寸进行倍增，能用对应于图像的精度传送参数。此外，借助于根据坐标数据的个数，切换变换参数的生成，能对变换参数的生成进行最佳处理，同时能高效率传送坐标数据。

Claims (32)

1．一种数字图像编码装置，其特征在于，包括：
对输入图像进行编码并进行数据压缩的图像压缩手段；
对将所述图像压缩手段压缩后的图像解码而得到的图像进行坐标变换，并输出因进行该坐标变换而产生的坐标数据的坐标变换手段；
从所述坐标变换手段的坐标数据生成变换参数的变换参数生成手段；
用由所述变换参数生成手段生成的变换参数，从所述输入图像生成预测图像的预测图像生成手段；
传送所述压缩图像和坐标数据的传送手段。
2．如权利要求1所述的数字图像编码装置，其特征在于，
变换参数生成手段从N个(N是自然数)象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点，生成变换参数。
3．如权利要求1所述的数字图像编码装置，其特征在于，
变换参数生成手段输入大小不同的第1到第N个对象图像，对所述第1到第N个对象图像，设定共同空间坐标，对所述第1到第N个对象图像，用规定的的方法进行压缩编码，生成第1到第N个压缩图像，而且对所述第1到第N个压缩图像进行解码，变换成所述共同空间坐标，生成第1到第N个扩展图像加以存储同时输出将所述第1到第N个扩展图像变换成所述共同空间坐标而生成的变换参数。
4．一种数字图像解码装置，其特征在于，包括：
输入压缩图像数据和坐标数据，进行可变长度解码的可变长度解码手段；
从所述可变长度解码手段解码后的坐标数据生成变换参数的变换参数生成手段；
用由所述变换参数生成手段生成的变换参数，生成预测图像数据的预测图像生成手段；
对来自所述预测图像生成手段的预测图像和进行所述可变长度解码后的压缩图像数据进行加法运算，从而生成解码图像的加法运算手段。
5．如权利要求4所述的数字图像解码装置，其特征在于，
变换参数生成手段从N个(N是自然数)象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点，生成变换参数。
6．如权利要求4所述的数字图像解码装置，其特征在于，
变换参数生成手段输入大小不同的第1到第N个对象图像，对所述第1到第N个对象图像，设定共同空间坐标，对所述第1到第N个对象图像，用规定的的方法进行压缩编码，生成第1到第N个压缩图像，对所述第1到第N个压缩图像进行解码，变换成所述共同空间坐标，生成从第1到第N个扩展图像加以存储。同时输出将所述第1到第N个扩展图像变换成所述共同空间坐标而生成的变换参数。
7．一种图像预测编码装置，其特征在于，
输入大小不同的第1到第N个对象图像，对所述第1到第N个对象图像，设定共同空间坐标，对所述第1对象图像，用规定的的方法进行压缩编码，生成第1压缩图像，对所述第1压缩图像进行解码，变换成所述共同空间坐标，生成第1扩展图像加以存储，同时对将所述第1扩展图像变换成所述共同空间坐标而生成的第1偏移信号进行编码，并与所述第1压缩图像一起传送，对所述第n(n=2,3,……,N)对象图像，变换成所述共同空间坐标，参照第(n-1)的扩展图像，生成预测图像，由生成所述第n对象图像和所述预测图像生成差分图像并进行压缩编码，生成第n压缩图像后，对所述第n压缩图像进行解码，变换成所述共同空间坐标，生成并存储第n扩展图像加以存储同时将把所述第n扩展图像变换成所述共同空间坐标而生成的第n偏移信号编码后，与所述第n压缩图像一起传送。
8．一种图像预测编码装置，其特征在于，
输入大小不同的第1到第N个对象图像，对所述第1到第N个对象图像，设定共同空间坐标，将所述第1对象图像分割成M个区域，用规定的方法对所述第m(m=1,2,……,M)区域进行压缩编码，生成第m压缩区域，对所述第m压缩区域进行解码，变换成所述共同空间坐标，在生成第m扩展区域加以存储，同时对将所述第m扩展区域变换成所述共同空间坐标而生成的第m偏移信号进行编码，并与所述第m压缩区域一起传送，将所述第n(n=2,3,……,N)对象图像分割成K个区域，将所述第k(k=1,2,3,……,K)区域变换成所述共同空间坐标，参照第m扩展区域，生成预测图像由所述第k区域和所述预测图像生成差分区域并进行压缩编码后，生成第k压缩区域，对所述第k压缩区域进行解码，变换成所述共同空间坐标，生成第k扩展区域加以存储，同时将把所述第k扩展区域变换成所述共同空间坐标而生成的第k偏移信号进行编码后，与所述第压缩区域一起传送。
9．一种图像预测解码装置，其特征在于，包括
输入端、数据分析器、解码器、加法运算器、坐标变换器、活动补偿器和帧存储器，
在所述输入端上对大小不同的第1到第N个对象图像进行编码，输入包含将第n(n=1,2,3,……,N)对象图像变换成共同空间坐标而生成的第n偏移信号的第1到第N个压缩图像数据，用所述数据分析器分析所述第1压缩图像数据，输出第1压缩图像信号和第1偏移信号，将所述第1压缩图像信号输入到所述解码器中，并复原为第1再现图像，用所述坐标变换器以所述第1偏移信号为基础，使第1再现图像坐标变换后，存储在所述帧存储器中，又对第n(n=2,3,……,N)压缩图像数据，用所述数据分析器分析所述第n压缩图像数据，输出第n压缩图像信号和第n偏移信号以及第n活动信号，将所述第n压缩图像信号输入到所述解码器中，并复原为第n扩展差分图像，将所述第n偏移信号和所述第n活动信号输入到所述活动补偿器中，以所述第n偏移信号和第n活动信号为基础，从存储在所述帧存储器中的第(n-1)的再现图像取得第n预测图像，在所述加法运算器对所述第n扩展差分图像和所述第n预测图像进行加法运算，复原为第n再现图像并输出，同时，在所述坐标变换器以所述第n偏移信号为基础使第n再现图像坐标变换后，存储在所述帧存储器中。
10．一种图像预测解码装置，其特征在于，包括
输入端、数据分析器、解码器、加法运算器、坐标变换器、活动补偿器和帧存储器，
在所述输入端上将大小不同的第1到第N个对象图像分割成多个对象区域并进行编码，输入包含将所述多个对象区域变换成共同空间坐标而生成的偏移信号的第1到第N个压缩图像数据，用所述数据分析器分析所述第1压缩图像数据，输出第m(m=2,3,……,M)压缩区域信号和第m偏移信号，将所述第m压缩区域信号输入到所述解码器中，并复原为第m再现区域，用所述坐标变换器以所述第m偏移信号为基础，使第m再现区域坐标变换后，存储在所述帧存储器中，对第n(n=2,3,……,N)压缩图像数据，用所述数据分析器分析所述第n压缩图像数据，输出第k(k=1,2,…,K)压缩区域信号、第k偏移信号以及第k活动信号，将所述第k压缩区域信号输入到所述解码器中，并复原为第k扩展差分区域，将所述第k偏移信号和所述第k活动信号输入到所述活动补偿器中，以所述第k偏移信号和第k活动信号为基础，从存储在所述帧存储器中的所述第m再现区域取得第k预测区域，在所述加法运算器对所述第k扩展差分区域和所述第k预测区域进行加法运算，复原第k再现区域并输出，同时在所述坐标变换器以所述第k偏移信号为基础使第k再现区域坐标变换后，存储在所述帧存储器中。
11．一种数字图像解码装置，其特征在于，包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数生成单元、预测图像生成单元和帧存储器，
将数据输入到所述可变长度解码单元中，从所述数据分出差分图像数据并传送到所述差分图像扩展单元，同时将N个象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点输入到所述变换参数生成单元，用所述差分图像生成单元将所述差分图像数据扩展后，传送到所述加法运算单元，用所述变换参数生成单元从所述N个象素的坐标点和N个变换后坐标点生成变换参数，并传送到所述预测图像生成单元，用所述预测图像生成单元从所述变换参数和由所述帧存储器输入的图像生成预测图像并传送到所述加法运算单元，所述加法运算单元将所述预测图像与进行所述扩展后的差分图像相加，生成图像并输出，同时存储在所述帧存储器中。
12．一种数字图像解码装置，其特征在于，包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数生成单元、预测图像生成单元和帧存储器，
将数据输入到所述可变长度解码单元中，从所述数据分出差分图像数据并传送到所述差分图像扩展单元，同时将N个象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点的差分值输入到所述变换参数生成单元，用所述差分图像生成单元将所述差分图像数据扩展后，传送到所述加法运算单元，用所述变换参数生成单元对所述N个象素的坐标点和N个变换后坐标点的差分值进行加法运算，从所述N个象素的坐标点和所述加法运算后的N个变换后坐标点生成变换参数，并传送到所述预测图像生成单元，所述预测图像生成单元从所述变换参数和由所述帧存储器输入的图像生成预测图像，并传送到所述加法运算单元，所述加法运算单元将所述预测图像与进行所述扩展后的差分图像相加，生成图像并输出，同时存储在所述帧存储器中。
13．一种数字图像解码装置，其特征在于，包括：
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数生成单元、预测图像生成单元和帧存储器，
将数据输入到所述可变长度解码单元中，从所述数据分出差分图像数据并传送到所述差分图像扩展单元，同时将N个象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点输入到所述变换参数生成单元，用所述差分图像生成单元将所述差分图像数据扩展后，传送到所述加法运算单元，用所述变换参数生成单元从所述规定的N个象素的坐标点和所述N个变换后坐标点生成变换参数，并传送到所述预测图像生成单元，用所述预测图像生成单元从所述变换参数和由所述帧存储器输入的图像生成预测图像，并传送到所述加法运算单元，所述加法运算单元将所述预测图像加与进行所述扩展后的差分图像相加，生成图像并输出，同时存储在所述帧存储器中。
14．一种数字图像解码装置，其特征在于，包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数生成单元、预测图像生成单元和帧存储器，
将数据输入到所述可变长度解码单元中，从所述数据分出差分图像数据并传送到所述差分图像扩展单元，同时将N个象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点的差分值输入到所述变换参数生成单元，用所述差分图像生成单元将所述差分图像数据扩展后，传送到所述加法运算单元，用所述变换参数生成单元对所述N个变换后的坐标点的预测值和所述N个变换后坐标点的差分值进行加法运算，从所述规定的N个象素的坐标点和所述加法运算后的N个变换后坐标点生成变换参数，并传送到所述预测图像生成单元，用所述预测图像生成单元由所述变换参数和从所述帧存储器输入的图像生成预测图像，并传送到所述加法运算单元，所述加法运算单元将所述预测图像与进行所述扩展后的差分图像相加，生成图像并输出，同时存储在所述帧存储器中。
15．如权利要求14所述的数字图像解码装置，其特征在于，
N个变换后坐标点的预测值是规定的N个坐标点。
16．如权利要求14所述的数字图像解码装置，其特征在于，
N个变换后坐标点的预测值是前帧的N个变换后坐标点。
17．一种数字图像编码装置，包括
变换参数推定单元、预测图像生成单元、第1加法运算单元、差分图像压缩单元、差分图像扩展单元、第2加法运算单元、帧存储器和传送单元，
输入数字图像，用所述变换参数推定单元从存储在所述帧存储器中的图像和所述数字图像推定变换参数，将所述推定得到的变换参数和存储在所述帧存储器中的图像输入到所述预测图像生成单元，根据所述推定得到的变换参数生成预测图像，在所述第1加法运算单元求得所述数字图像和所述预测图像的差分，用所述差分图像压缩单元压缩成压缩差分数据，送到所述传送单元，同时，所述差分图像扩展单元将所述压缩差分数据扩展成扩展差分数据，在所述第2加法运算单元与所述预测图像相加后，存储在所述帧存储器中，其特征在于，
将N个象素的坐标点和由所述变换参数变换所述N个坐标点后的N个变换后坐标点送到所述传送单元，与所述压缩差分数据一起传送。
18．如权利要求17所述的数字图像编码装置，其特征在于，
不是将所述N个变换后坐标点，而是将所述N个变换后坐标点与所述N个象素的坐标点之间的差分送到所述传送单元，与所述压缩差分数据一起传送。
19．一种数字图像编码装置，包括
变换参数推定单元、预测图像生成单元、第1加法运算单元、差分图像压缩单元、差分图像扩展单元、第2加法运算单元、帧存储器和传送单元，
输入数字图像，用所述变换参数推定单元从存储在所述帧存储器中的图像和所述数字图像推定变换参数，将所述推定得到的变换参数和存储在所述帧存储器中的图像输入到所述预测图像生成单元，根据所述推定得到的变换参数生成预测图像，在所述第1加法运算单元求得所述数字图像和所述预测图像的差分，用所述差分图像压缩单元压缩成压缩差分数据，送到所述传送单元，同时所述差分图像扩展单元将所述压缩差分数据扩展成扩展差分数据，在所述第2加法运算单元与所述预测图像相加后，存储在所述帧存储器中，其特征在于，
从所述变换参数推定单元将由所述变换参数变换规定的N个象素的坐标点后的N个变换后坐标点送到所述传送单元，与所述压缩差分数据一起传送。
20．如权利要求19所述的数字图像编码装置，其特征在于，
不是将所述N个变换后坐标点，而是将所述N个变换后坐标点与所述规定的N个象素的坐标点之间的差分送到所述传送单元，与所述压缩差分数据一起传送。
21．如权利要求19所述的数字图像编码装置，其特征在于，
不是将所述N个变换后坐标点，而是将所述N个变换后坐标点与过去的帧的N个变换后坐标点之间差分送到所述传送单元，与所述压缩差分数据一起传送。
22．一种数字图像解码装置，其特征在于，包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数生成单元、预测图像生成单元和帧存储器，
将数据输入到所述可变长度解码单元中，从所述数据分出差分图像数据并传送到所述差分图像扩展单元中的同时将坐标数据的个数和所述坐标数据输入到所述变换参数生成单元，用所述差分图像扩展单元将所述差分图像扩展后，传送到所述加法运算单元，在所述变换参数生成单元根据变换参数的个数切换变换参数生成方法，从所述坐标数据生成变换参数，并传送到所述预测图像生成单元，所述预测图像生成单元从所述变换参数和由所述帧存储器输入的图像生成预测图像，并传送到所述加法运算单元，所述加法运算单元将所述预测图像与进行所述扩展后的差分图像相加上，生成图像并在输出，同时存储在所述帧存储器中。
23．如权利要求22所述的数字图像解码装置，其特征在于，
所述坐标数据是N个象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点。
24．如权利要求22所述的数字图像解码装置，其特征在于，
所述坐标数据是N个象素的坐标点和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点与所述N个象素的坐标点之间的差分。
25．如权利要求22所述的数字图像解码装置，其特征在于，
所述坐标数据是N个象素的坐标点与过去的帧的N个图像的坐标点之间的差分和由规定的线性多项式变换所述N个坐标点后的N个变换后坐标点与过去的帧的N个变换后坐标点之间的差分。
26．如权利要求22所述的数字图像解码装置，其特征在于，
所述坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点。
27．如权利要求22所述的数字图像解码装置，其特征在于，
所述坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点与所述规定的N个坐标点之间的差分。
28．如权利要求22所述的数字图像解码装置，其特征在于，
所述坐标数据是由规定的线性多项式变换规定的N个坐标点后的N个变换后坐标点与过去的帧的N个变换后坐标点之间的差分。
29．一种数字图像编码装置，包括
变换参数推定单元、预测图像生成单元、第1加法运算单元、差分图像压缩单元、差分图像扩展单元、第2加法运算单元、帧存储器和传送单元，
输入数字图像，用所述变换参数推定单元从存储在所述帧存储器中的图像和所述数字图像推定变换参数，将所述推定得到的变换参数和存储在所述帧存储器中的图像输入到所述预测图像生成单元，根据所述推定得到的变换参数生成预测图像，在所述第1加法运算单元求得所述数字图像和所述预测图像的差分，用所述差分图像压缩单元压缩成压缩差分数据，送到所述传送单元，同时所述差分图像扩展单元将所述压缩差分数据扩展成扩展差分数据，在所述第2加法运算单元与所述预测图像相加后，存储在所述帧存储器中，其特征在于，
在所述变换参数推定单元以图像尺寸使所述变换参数倍增后，进行量化，加以编码并送到所述传送单元，与所述压缩差分数据一起传送。
30．一种数字图像编码装置，包括
变换参数推定单元、预测图像生成单元、第1加法运算单元、差分图像压缩单元、差分图像扩展单元、第2加法运算单元、帧存储器和传送单元，
输入数字图像，用所述变换参数推定单元从存储在所述帧存储器中的图像和所述数字图像推定变换参数，将所述推定得到的变换参数和存储在所述帧存储器中的图像输入到所述预测图像生成单元，根据所述推定得到的变换参数生成预测图像，在所述第1加法运算单元求得所述数字图像和所述预测图像的差分，用所述差分图像压缩单元压缩成压缩差分数据，送到所述传送单元，同时所述差分图像扩展单元将所述压缩差分数据扩展成扩展差分数据，在所述第2加法运算单元与所述预测图像相加后，存储在所述帧存储器中，其特征在于，
在所述变换参数推定单元求得所述变换参数的最大值的指数部分，用所述指数部分对所述变换参数进行归一化，将所述指数部分和所述归一化后的变换参数送到所述传送单元中，与所述压缩差分数据一起传送。
31．一种数字图像解码装置，其特征在于，包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数扩展单元、预测图像生成单元和帧存储器，
将数据输入到所述可变长度解码单元中，从所述数据分出差分图像数据并传送到所述差分图像扩展单元，同时，将压缩变换参数输入到所述变换参数扩展单元，用所述差分图像扩展单元将所述差分图像数据扩展后，传送到加法运算单元，在所述变换参数扩展单元除以图像尺寸倍增的所述压缩变换参数除以图尺寸，扩展为变换参数，并传送到所述预测图像生成单元，所述预测图像生成单元从所述变换参数和从所述帧存储器输入的图像生成预测图像，并传送到所述加法运算单元，所述加法运算单元将所述预测图像与进行所述扩展后的差分图像相加，生成图像并输出同时存储在所述帧存储器中。
32．一种数字图像解码装置，其特征在于，包括
可变长度解码单元、差分图像扩展单元、加法运算单元、变换参数扩展单元、预测图像生成单元和帧存储器，
将数据输入到所述可变长度解码单元中，从所述数据分出差分图像数据并传送到所述差分图像扩展单元，同时，将压缩变换参数输入到所述变换参数扩展单元，用所述差分图像扩展单元将所述差分图像数据扩展后，传送到加法运算单元，在所述变换参数扩展单元进行所述被归一化的变换参数除以所述指数部分，扩展为变换参数，并传送到所述预测图像生成单元，所述预测图像生成单元从所述变换参数和从所述帧存储器输入的图像生成预测图像，并传送到所述加法运算单元，所述加法运算单元将所述预测图像与进行所述扩展后的差分图像相加，生成图像并输出，同时存储在所述帧存储器中。
CN97191777A 1996-01-22 1997-01-21 预测图像解码方法以及预测图像编码方法 Expired - Lifetime CN1125568C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP8108/96 1996-01-22
JP810896 1996-01-22
JP8108/1996 1996-01-22
JP129516/1996 1996-05-24
JP129516/96 1996-05-24
JP12951696 1996-05-24

Publications (2)

Publication Number Publication Date
CN1209933A true CN1209933A (zh) 1999-03-03
CN1125568C CN1125568C (zh) 2003-10-22

Family

ID=26342553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97191777A Expired - Lifetime CN1125568C (zh) 1996-01-22 1997-01-21 预测图像解码方法以及预测图像编码方法

Country Status (9)

Country Link
US (3) US6415056B1 (zh)
EP (2) EP0877530B1 (zh)
JP (1) JP3573465B2 (zh)
KR (2) KR100328416B1 (zh)
CN (1) CN1125568C (zh)
AU (1) AU710565B2 (zh)
DE (1) DE69716037T2 (zh)
ES (1) ES2186863T3 (zh)
WO (1) WO1997027707A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100411443C (zh) * 2001-12-19 2008-08-13 汤姆森许可贸易公司 估计图像序列中的主要运动的方法
CN100466745C (zh) * 2005-10-11 2009-03-04 华为技术有限公司 帧内预测编解码方法及其系统
CN100571389C (zh) * 2004-06-29 2009-12-16 奥林巴斯株式会社 用于图像编码/解码和扩展图像压缩解压缩的方法和设备
CN104166714A (zh) * 2014-08-11 2014-11-26 广州市九重天信息科技有限公司 一种媒体数据处理方法及装置
CN109155056A (zh) * 2016-05-24 2019-01-04 高通股份有限公司 具有用于360度视频的透镜失真校正的鱼眼呈现
CN113873262A (zh) * 2016-10-04 2021-12-31 有限公司B1影像技术研究所 图像数据编码/解码方法和装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2173103A3 (en) * 1997-02-13 2010-09-08 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6766098B1 (en) * 1999-12-30 2004-07-20 Koninklijke Philip Electronics N.V. Method and apparatus for detecting fast motion scenes
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
US7050590B2 (en) * 2000-12-18 2006-05-23 Warner Music Group, Inc. Method and apparatus for checking audio signals
US7072908B2 (en) * 2001-03-26 2006-07-04 Microsoft Corporation Methods and systems for synchronizing visualizations with audio streams
US7218842B1 (en) 2001-07-25 2007-05-15 Cisco Technology, Inc. Efficient methods of performing motion compensation based decoding and recoding of compressed video bitstreams
US6996178B1 (en) * 2001-08-27 2006-02-07 Cisco Technology, Inc. Look ahead motion compensation
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7292867B2 (en) * 2003-01-16 2007-11-06 Bones In Motion, Inc. Location-aware fitness training device, methods, and program products that support real-time interactive communication and automated route generation
US20060047855A1 (en) * 2004-05-13 2006-03-02 Microsoft Corporation Efficient chunking algorithm
US7555531B2 (en) * 2004-04-15 2009-06-30 Microsoft Corporation Efficient algorithm and protocol for remote differential compression
US7483572B2 (en) * 2004-08-25 2009-01-27 Mitsubishi Electric Research Laboratories, Inc. Recovering a non-linear warping function from images
US7613787B2 (en) * 2004-09-24 2009-11-03 Microsoft Corporation Efficient algorithm for finding candidate objects for remote differential compression
US8073926B2 (en) * 2005-01-07 2011-12-06 Microsoft Corporation Virtual machine image server
US7849462B2 (en) * 2005-01-07 2010-12-07 Microsoft Corporation Image server
US20070094348A1 (en) * 2005-01-07 2007-04-26 Microsoft Corporation BITS/RDC integration and BITS enhancements
KR101086163B1 (ko) 2008-01-03 2011-11-25 광운대학교 산학협력단 차분 영상의 좌표 변환을 이용한 영상 부호화 장치 및 방법
US8665958B2 (en) 2008-01-29 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
KR101456491B1 (ko) 2008-05-08 2014-11-03 삼성전자주식회사 복수의 참조 픽처에 기초한 영상 부호화, 복호화 방법 및장치
CA2756419C (en) 2009-03-23 2016-05-17 Ntt Docomo, Inc. Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
WO2011053300A1 (en) * 2009-10-29 2011-05-05 Hewlett-Packard Development Company, L.P. Joint image compression method and apparatus
PT3661211T (pt) 2010-07-20 2021-09-24 Ntt Docomo Inc Método de descodificação de previsão de imagem
US20120207386A1 (en) * 2011-02-11 2012-08-16 Microsoft Corporation Updating A Low Frame Rate Image Using A High Frame Rate Image Stream
KR101939628B1 (ko) 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
US8924316B2 (en) 2012-07-31 2014-12-30 Hewlett-Packard Development Company, L.P. Multiclass classification of points
US8760327B2 (en) * 2012-10-25 2014-06-24 Hewlett-Packard Development Company, L.P. Coordinate compression using polynomials
KR102121558B1 (ko) 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
JP6614472B2 (ja) 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US10289875B2 (en) 2015-07-31 2019-05-14 Portland State University Embedding data on objects using surface modulation
CN114155139B (zh) * 2021-11-23 2022-07-22 山东省人工智能研究院 一种基于向量离散化表示的deepfake生成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1270953C (en) * 1986-05-23 1990-06-26 CURVE APPROXIMATION METHOD
US4951140A (en) * 1988-02-22 1990-08-21 Kabushiki Kaisha Toshiba Image encoding apparatus
US5065447A (en) 1989-07-05 1991-11-12 Iterated Systems, Inc. Method and apparatus for processing digital data
JPH0349373A (ja) 1989-07-17 1991-03-04 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方式
JPH04323776A (ja) 1991-04-24 1992-11-12 Nec Corp ３次元初期基本形状入力装置及び方式
CA2105125C (en) * 1992-09-01 2000-04-18 Kazuo Toraichi Apparatus and method for inputting, compressing and outputting characters, illustrations, drawings and logomarks
JPH06165165A (ja) 1992-11-25 1994-06-10 Sony Corp 動きベクトルの符号化方法およびその装置
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US6236682B1 (en) * 1993-03-08 2001-05-22 Sony Corporation Video motion vector detection including rotation and/or zoom vector generation
US5473379A (en) 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
JPH1040398A (ja) * 1996-07-25 1998-02-13 Matsushita Electric Ind Co Ltd 高品位グラフィック表示装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100411443C (zh) * 2001-12-19 2008-08-13 汤姆森许可贸易公司 估计图像序列中的主要运动的方法
CN100571389C (zh) * 2004-06-29 2009-12-16 奥林巴斯株式会社 用于图像编码/解码和扩展图像压缩解压缩的方法和设备
CN100466745C (zh) * 2005-10-11 2009-03-04 华为技术有限公司 帧内预测编解码方法及其系统
CN104166714A (zh) * 2014-08-11 2014-11-26 广州市九重天信息科技有限公司 一种媒体数据处理方法及装置
CN109155056A (zh) * 2016-05-24 2019-01-04 高通股份有限公司 具有用于360度视频的透镜失真校正的鱼眼呈现
CN109155056B (zh) * 2016-05-24 2023-07-21 高通股份有限公司 具有用于360度视频的透镜失真校正的鱼眼呈现
CN113873262A (zh) * 2016-10-04 2021-12-31 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
US11831818B2 (en) 2016-10-04 2023-11-28 B1 Institute Of Image Technology, Inc. Method and apparatus for reconstructing 360-degree image according to projection format

Also Published As

Publication number Publication date
EP1229740A2 (en) 2002-08-07
ES2186863T3 (es) 2003-05-16
JP3573465B2 (ja) 2004-10-06
EP0877530A4 (en) 2001-04-04
AU710565B2 (en) 1999-09-23
CN1125568C (zh) 2003-10-22
EP1229740A3 (en) 2005-02-09
KR100382440B1 (ko) 2003-05-09
US7016544B2 (en) 2006-03-21
EP0877530B1 (en) 2002-10-02
US6771826B2 (en) 2004-08-03
KR100328416B1 (ko) 2002-05-09
US6415056B1 (en) 2002-07-02
DE69716037D1 (de) 2002-11-07
US20020090030A1 (en) 2002-07-11
KR19990081875A (ko) 1999-11-15
WO1997027707A1 (en) 1997-07-31
DE69716037T2 (de) 2003-07-03
EP0877530A1 (en) 1998-11-11
US20040175050A1 (en) 2004-09-09
AU1400197A (en) 1997-08-20

Similar Documents

Publication Publication Date Title
CN1125568C (zh) 预测图像解码方法以及预测图像编码方法
CN1229999C (zh) 用于编码和解码运动矢量的方法和装置
CN1112045C (zh) 用反复误差数据编码方法进行视频压缩
CN100336401C (zh) 活动图像编码装置和方法以及活动图像解码装置和方法
CN107743239B (zh) 一种视频数据编码、解码的方法及装置
CN1933601A (zh) 用于无损视频编码和解码的方法及设备
CN1072051A (zh) 具有多分辨率特征的运动视频信号压缩系统
JP2015222973A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法及びビットストリーム
CN1126065C (zh) 压缩和解压缩图象
CN103024383A (zh) 一种基于hevc框架的帧内无损压缩编码方法
CN1144469C (zh) 编码和解码图像中的像素的运动向量的方法
JP2010171729A (ja) 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
CN1906624A (zh) 使用匹配追踪的数据压缩
RU2567988C2 (ru) Кодер, способ кодирования данных, декодер, способ декодирования данных, система передачи данных, способ передачи данных и программный продукт
CN103327325A (zh) 基于hevc标准的帧内预测模式快速自适应选择方法
JP2015136174A (ja) 映像復号化装置
JP2018529270A (ja) 動きベクトル場の符号化方法、復号方法、符号化装置、および復号装置
CN1149853C (zh) 带有运动补偿的编码和译码装置
CN1675933A (zh) 视频编码和解码技术
Zhou et al. Distributed video coding using interval overlapped arithmetic coding
CN108632630A (zh) 一种结合位运算和概率预测的二值图像编码方法
CN1615652A (zh) 用于估计当前运动矢量的单元和方法
CN108464005A (zh) 视频编码中的残差变换及逆向变换系统和方法
CN1224270C (zh) 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法
CN103747272A (zh) 用于hevc的残余四叉树编码的快速变换方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20031022

EXPY Termination of patent right or utility model