CN101690226B - 统计性图像改善方法、图像编码方法以及图像解码方法 - Google Patents

统计性图像改善方法、图像编码方法以及图像解码方法 Download PDF

Info

Publication number
CN101690226B
CN101690226B CN2008800196683A CN200880019668A CN101690226B CN 101690226 B CN101690226 B CN 101690226B CN 2008800196683 A CN2008800196683 A CN 2008800196683A CN 200880019668 A CN200880019668 A CN 200880019668A CN 101690226 B CN101690226 B CN 101690226B
Authority
CN
China
Prior art keywords
image
statistical property
filter
input picture
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800196683A
Other languages
English (en)
Other versions
CN101690226A (zh
Inventor
T·韦丁
F·尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101690226A publication Critical patent/CN101690226A/zh
Application granted granted Critical
Publication of CN101690226B publication Critical patent/CN101690226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

本发明涉及利用参考图像的统计特性的图像处理。本发明的图像改善装置具有：第一图像处理部(120)以及第二图像处理部(130)，接收输入图像，接收差分图像的统计特性，根据由所述特性接收单元所接收的所述差分图像的统计特性形成滤波器，将所述滤波器适用于所述输入图像，以生成滤波处理后的图像；以及加法器(140)，对所述滤波处理后的图像和所述输入图像进行加法运算，以生成输出图像。

Description

统计性图像改善方法、图像编码方法以及图像解码方法
技术领域
本发明涉及改进主观画质的方法，尤其涉及提供主观地改进后的画质的、对图像以及运动图像数据进行编码的方法。
背景技术
以往的信号表示方法的目的在于，以基于MSE(均方误差)的客观的画质量被最小化的方式来表示信号。例如，有基于PCM(脉冲编码调制)、DPCM(差分脉冲编码调制)或变换的方法。
这些画质量与在作为观察者的人主观地比较画质时的结果不太一致。周知的是，在比较画质时，人的视觉系统(以下，称为HVS(Human VisualSystem：人类视觉系统))针对几种图像的属性敏感度高。更具体而言，在只预先注意看时，HVS不能区别具有相同高阶统计量的纹理。因此，一些纹理合成方法，基于合成与被提供的其它的纹理的高阶统计量匹配的纹理(参见非专利文献1)。纹理合成方法，主要用于为了补充某场景的空白、或除去物体而修整的图像。然而，对于运动图像编码有，与其直接进行编码，不如合成多个纹理的方法(参见非专利文献2以及非专利文献3)。
并且，对于改进用于HVS的主观画质的其它的以往的方法，有图像的尖锐化。共同的技术是，为了使图像更尖锐化，而使用非锐度遮罩(unsharpmask)、或使用局部性的对比的改善。
如上所述，通过采用合成纹理或使图像尖锐化的技术，从而能够改进用于HVS的主观画质。
非特许文献1：J.Portilla and E.P.Simoncelli，A parametrictexture model based on joint statistics of complex waveletcoefficients，Iht.J.Comput.Vis.，vol.40，no.1，pp.49-71，2000
非特许文献2：A.Dumitras and B.G.Haskell，An encoder-decodertexture replacement method with application to content-based moviecoding，IEEE Trans.Circuits Syst.Video Technol.，14：825-840，2004
非特许文献3：P.Ndjiki-Nya，et al.，Improved H.264 coding usingtexture analysis and synthesis，Proc Icip 2003，3：849-852，2003
然而，所述以往的技术的问题是，虽然这些技术的结果为提供更强烈的印象，但也会导致图像的不自然的出现、或光晕效应(halo artifacts)(编码失真)。
发明内容
于是，本发明的目的在于提供改进主观画质的方法，尤其提供产生主观地改进后的画质的、对图像以及运动图像数据进行编码的方法、以及对应的编码装置、解码装置以及图像改善装置。
为了解决所述以往的问题，本发明特殊的方法是，通过根据统计特性重新构成欠缺的频率成分，从而改善主观画质。
本发明的图像编码方法，包括以下的步骤：对输入图像进行压缩；对压缩后的图像进行编码；算出输入图像与压缩后的图像之间的差分图像；提取算出的差分图像的统计特性；算出的差分图像的所提取的统计特性进行编码。
据此，能够提取与本来要丢失的成分相关的统计特性，并进行编码，因此，在解码器方，能够复原丢失了的成分。因此，与对编码图像单纯地进行解码的情况相比，更能够得到画质出色的图像。
并且，本发明的图像解码方法，包括以下的步骤：对压缩后的图像进行解码；对解码后的图像进行扩展；对差分图像的统计特性进行解码；根据差分图像的解码后的统计特性，形成第一滤波器；将第一滤波器适用于扩展后的图像，以生成滤波处理后的图像；对滤波处理后的图像和扩展后的图像进行加法运算，以生成输出图像。
据此，在解码时能够复原与编码时丢失了的成分相关的统计特性，因此，与对编码图像单纯地进行解码的情况相比，更能够得到画质出色的图像。
并且，本发明的图像改善方法，包括以下的步骤：接收输入图像；接收差分图像的统计特性；根据差分图像的接收后的统计特性，形成第一滤波器；将第一滤波器适用于输入图像，以生成滤波处理后的图像；对滤波处理后的图像和输入图像进行加法运算，以生成输出图像。
据此，能够复原与本来输入图像中要包含的成分相关的统计特性，因此，能够得到画质出色的图像。
并且，本发明的图像编码装置，包括：图像压缩器，对输入图像进行压缩；第一编码器，对压缩后的图像进行编码；减法器，算出输入图像与压缩图像之间的差分图像；第一统计分析部，用于提取算出的差分图像的统计特性；第二编码器，对算出的差分图像的所提取的统计特性进行编码。
并且，本发明的图像解码装置，包括：第一解码器，对压缩后的图像进行解码，并且对得到的解码图像进行扩展；图像扩展器，对解码后的图像进行扩展；第二解码器，对差分图像的统计特性进行解码；图像处理部，用于根据差分图像的解码后的统计特性，形成第一滤波器，并且，将第一滤波器适用于扩展后的图像，以生成滤波处理后的图像；加法器，对扩展后的图像和滤波处理后的图像进行加法运算，以生成输出图像。
并且，本发明的图像改善装置，包括：第一输入单元，接收输入图像；第二输入单元，接收差分图像的统计特性；第一图像处理部，根据差分图像的所接收的统计特性，形成第一滤波器，并且，将第一滤波器适用于输入图像，以生成滤波处理后的图像；加法器，对滤波处理后的图像和输入图像进行加法运算，以生成输出图像。
并且，优选的是，所使用的差分图像的统计特性包括差分图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和差分图像的自相关函数的值。
据此，由有效的算法决定所述的统计特性，能够改善后的图像的、显得自然的纹理。
并且，优选的是，第一滤波器自适应，使得将滤波处理后的图像的统计特性调整为差分图像的统计特性。优选的是，根据差分图像的统计特性、和从扩展后的(输入)图像本身提取的统计特性，生成第一滤波器，即，根据统计特性的目标值和现实的值，形成第一滤波器。
据此，只根据统计特性，能够重新构成欠缺的频率成分。
并且，优选的是，该方法，还使用输入图像(参考图像)的统计特性，根据这些统计特性形成第二滤波器，将第二滤波器适用于输出图像。优选的是，第二滤波器自适应，使得将输出图像的统计特性调整为参考图像的所解码(所接收)的统计特性。优选的是，这些特性包括各个像素的像素值的平均值、方差、偏度以及峰度之中的至少一个。
据此，能够进一步改进结果的画质。
并且，优选的是，该方法，还算出输出图像与解码(输入)图像之间的差分，对算出的差分反复适用滤波处理步骤和加法步骤。
据此，以更高的精度来能够使欠缺的频率成分的统计特性与参考图像的统计特性一致。
并且，优选的是，基于变换的编码的结构，用于压缩并扩展输入/解码图像。
据此，通过采用最先进的基于变换的编码的结构，从而能够由高效率的算法来实现较佳的编码效率。
并且，优选的是，在对输入图像进行编码时，在对输入图像进行压缩之前，对输入图像执行低通滤波处理。
据此，由于高频成分衰减了，因此能够对执行低通滤波处理后的图像更高效率地进行压缩。然而，根据解码器方的统计特性能够重新构成衰减了的成分。据此，通过高效率地进行编码，从而不使画质受影响，且能够改进画质。
根据本发明，不对图像带来过度的尖锐化以及光晕效应等的不自然的影响，而能够改善图像的画质。
附图说明
根据与附图一起提供的以下的说明以及实施例，就会更明确本发明的所述的目的以及特征、和其它的目的以及特征。
图1是实施例1的统计性图像改善装置的结构框图。
图2是实施例1的统计性图像改善装置的工作的流程图。
图3是实施例2的图像/运动图像编码装置的结构框图。
图4是实施例2的图像/运动图像编码装置的工作的流程图。
图5是实施例3的图像/运动图像解码装置的结构框图。
图6是实施例3的图像/运动图像解码装置的工作的流程图。
图7是实施例4的图像处理装置的结构框图。
图8是实施例2的图像/运动图像编码装置的变形例的结构框图。
符号说明
100统计性图像改善装置
110、230减法器
120第一图像处理部
130第二图像处理部
140加法器
150第三图像处理部
200、201编码装置
210图像/运动图像编码器
220图像/运动图像解码器
240第一统计分析部
250第二统计分析部
260统计特性编码器
270多路复用器
280滤波处理部
300解码装置
360统计特性解码器
370多路分用器
400图像处理装置
410总线
420存储器
430第一帧存储器
440第二帧存储器
具体实施方式
(实施例1)
实施例1的统计性图像改善装置以及方法，根据参考图像的统计数据对图像进行微调整。例如，在被提供原图像I和低通图像I1的情况下，本实施例的统计性图像改善装置以及方法，通过对一些图像统计量进行调整，从而重新构成欠缺的频率成分。据此，能够改善低通图像I1。
在本实施例的统计性图像改善方法中，在第一步骤，解析原图像I和差分图像Id(＝I-I1)的高阶统计量和自相关。在第二步骤，为了重新构成低通图像I1内欠缺的频率成分，而利用解析结果。
图1是实施例1的统计性图像改善装置100的结构框图。该图的统计性图像改善装置100具有减法器110、第一图像处理部120、第二图像处理部130、加法器140以及第三图像处理部150。
减法器110，算出输入图像与从第三图像处理部150输出的输出图像之间的差分。而且，在还未得到来自第三图像处理部150的输出图像的情况下，在减法器110中的处理被省略，而输入图像直接被输入到第一图像处理部120。
第一图像处理部120，接收来自减法器110的输出。并且，如上所述，在还未得到来自第三图像处理部150的输出图像的情况下，接收输入图像I1。而且，输入图像I1是与对原图像I执行低通滤波处理而得到的图像相对应的低通图像。例如，输入图像I1是由外部的图像/运动图像解码器所解码的图像。
进而，第一图像处理部120，接收第一参考图像Id的统计特性。而且，第一图像处理部120，适用用于核对输入图像的空间上的统计特性、和第一参考图像Id的空间上的统计特性的滤波器。例如，第一参考图像Id对应于原图像I与低通图像I1之间的差分，即第一参考图像Id对应于Id＝I-I1。在此情况下，滤波器基本上与精密设计的高通滤波器相对应。
更具体而言，第一图像处理部120，接收第一参考图像Id的自相关函数的值，以作为第一参考图像Id的统计特性。并且，第一图像处理部120，提取来自减法器110的输出图像或输入图像I1的自相关函数的值。第一图像处理部120，根据接收的自相关函数的值、以及提取的自相关函数的值形成滤波器，并且，对从减法器110输入的图像、或输入图像I1适用形成的滤波器。
第一图像处理部120，将如上执行滤波处理后的图像输出到第二图像处理部130。
优选的是，第一图像处理部120，为了将图像的自相关函数(的一部分)调整为为了第一参考图像而算出的自相关函数的值，而执行自相关滤波处理。为了实现所述目的，第一图像处理部120，根据输入图像的自相关函数的值、和形成空间上的统计特性的一部分的第一参考图像的自相关函数的值，决定滤波系数。对于这些用于决定滤波器的技术，可以采用任何方法。特别是，也可以采用非专利文献1所示的方法。
然而，在本实施例的统计性图像改善装置中，不仅限于自相关滤波处理，而可以将图像的其它的空间上的统计特性使用于输入图像和参考图像的核对。例如，也可以使用傅里叶变换系数或小波变换系数、不同图像的子带之间的相关等的统计特性。进而，也可以采用设计像维纳滤波器(Wiener Filter)那样的、最佳的滤波器的其它的方法。
而且，在使图像尖锐化的情况下，尤其与零值附近的自相关函数的值有关。因此，第一图像处理部120，基于输入图像和第一参考图像的自相关函数的N×N的零值附近的值，决定N×N抽头滤波器的滤波系数。此时，周知的是N＝7为最佳。但是，也可以同样使用其它的任何数量的抽头。为了发生第一图像处理部120的输出，而将具有如此决定的滤波系数的滤波器适用于输入图像。
第二图像处理部130，接收第一参考图像Id的统计特性。具体而言，接收第一参考图像Id的高阶统计特性。第二图像处理部130，核对从第一图像处理部120输入的图像的高阶统计特性和第一参考图像的高阶统计特性。第二图像处理部130自适应，使得调整各个输入信号的高阶统计特性。高阶统计特性包含像素值的平均值、方差、偏度(skewness)以及峰度(kurtosis)等的周围统计描述符。例如，也可以认为，平均值以及方差分别是用于图像的平均值的亮度和对比的标度。
通过到4阶矩为止调整周围分布，从而得到最佳的结果，即，通过调整平均值、方差、偏度以及峰度的全部，从而得到最佳的结果。但是，本实施例的统计性图像改善装置，不仅限于此。也可以同样使用其它的统计特性。例如，也可以只包含所述的特性的一部分，并且使用像周围分布的高阶矩、像素值的空间上的相关、图像的子带之间的相关那样的其它的统计特性等。
第二图像处理部130，决定将各个像素值映射到对象像素值的变换，以使所希望的周围统计限制一致。例如，从各个像素值中减去输入信号的平均，根据对象的标准偏差(例如，方差的平方根)和输入信号的标准偏差的比例，对结果进行缩放(scaling)，并加上对象的平均值，从而能够使平均值和方差一致。同样，通过对像素值适用6次多项式，从而能够调整偏度以及峰度。对于这些决定用于变换的系数的技术，可以采用周知的任何方法。例如，有梯度投影算法或非专利文献1所公开的方法。而且，偏度是示出分布的非对称性的值。峰度是示出在平均值附近稠密分布的程度的值。例如，在非专利文献1中详细示出平均值、方差、偏度以及峰度的算出方法。
第二图像处理部130，提取与接收的第一参考图像Id的高阶统计特性(像素值的平均值、方差、偏度以及峰度之中的至少一个)相对应的、从第一图像处理部120输入的图像的高阶统计特性的至少一个。而且，第二图像处理部130，调整提取的高阶统计特性，使得与第一参考图像Id的高阶统计特性一致。
第二图像处理部130，将如上调整了高阶统计特性的图像输出到加法器140。
加法器140，对来自第二图像处理部130的输出和输入图像进行加法运算，并输出到第三图像处理部150。
第三图像处理部150，接收第二参考图像I的统计特性。具体而言，接收第二参考图像I的高阶统计特性。而且，例如，第二参考图像I是原图像。第三图像处理部150自适应，使得调整各个输入信号的高阶统计特性。
第三图像处理部150执行与第二图像处理部130相同的处理。不同之处是，第三图像处理部150的输入是来自加法器140的输出和第二参考图像I。
由第一图像处理部120、第二图像处理部130以及第三图像处理部150的统计特性的调整是不能相互独立进行的。因此，为了进一步改进结果，而可以反复执行。为了实现其目的，第三图像处理部150的输出被提供到减法器110，使得减去输入图像、且对算出的差分图像适用所述的处理步骤。
而且，明确的是，大致反复七次为最佳。如上所述，在最初的(即，第0次的)反复中，还不能利用第三图像处理部150的输出，因此，例如，也可以省略减法器110而利用开关(图中没有示出)，来将输入图像提供给第一图像处理部120。而且，例如，也可以为根据以往的尖锐化算法提供任意的输入图像(图中没有示出)，而替代不能利用的第三图像处理部150的输出。
第一图像处理部120、第二图像处理部130以及第三图像处理部150的各自，由于复杂的系数取决于对象图像，因此执行非线性的图像变换。因此，在各个反复中更新由图像处理部适用的滤波器和变换。由于图像的统计特性集中于所希望的值，因此，为了减少滤波/变换处理的影响，而进行反复。
如上所述，在本实施例的统计性图像改善装置中，以二阶段来改善输入图像的画质。也就是说，由第一图像处理部120以及第二图像处理部130改善差分图像的画质，由第三图像处理部150使加上输入图像后的图像整体的画质改善。据此，能够得到具有非常出色的画质的图像。
接着，说明本实施例的统计性图像改善装置的工作。
图2是本实施例的统计性图像改善装置的工作的流程图。
统计性图像改善装置100，接收输入图像(S101)。被接收的输入图像被输入到第一图像处理部120。其次，统计性图像改善装置100，接收差分图像的统计特性(S102)。接收的差分图像的统计特性中的自相关函数的值，被输入到第一图像处理部120。接收的差分图像的统计特性中的高阶统计特性(平均值、方差、偏度以及峰度之中的至少一个)，被输入到第二图像处理部130。而且，差分图像是指，例如原图像与对原图像执行低通滤波处理而得到的低通图像之间的差分等。也可以是指，对原图像执行高通滤波处理而得到的图像。
第一图像处理部120，执行自相关滤波处理(S103)。具体而言，首先，第一图像处理部120，提取输入图像的自相关函数的值。而且，通过根据提取的输入图像的自相关函数的值、和被输入的差分图像的自相关函数的值决定滤波系数，从而形成滤波器。第一图像处理部120，将形成的滤波器适用于输入图像，使得将输入图像的自相关函数的值调整为差分图像的自相关函数的值。第一图像处理部120，将执行滤波处理后的图像输出到第二图像处理部130。
第二图像处理部130，对由第一图像处理部120执行滤波处理后的图像的高阶统计特性进行调整(S104)。具体而言，首先，第二图像处理部130，提取从第一图像处理部120输入的图像的高阶统计特性(平均值、方差、偏度以及峰度之中的至少一个)。而且，通过根据提取的高阶统计特性、和被输入的差分图像的高阶统计特性决定滤波系数，从而形成滤波器。第二图像处理部130，将形成的滤波器适用于执行滤波处理后的图像，使得将执行滤波处理后的图像的高阶统计特性调整为差分图像的高阶统计特性。第二图像处理部130，将执行滤波处理后的图像输出到加法器140。
加法器140，对从第二图像处理部130输入的图像、和输入图像进行加法运算(S105)。
其次，统计性图像改善装置100，接收参考图像的统计特性(平均值、方差、偏度以及峰度之中的至少一个)(S106)。接收的参考图像的统计特性，被输入到第三图像处理部150。而且，参考图像是包含输入图像的欠缺的高频成分的图像。
第三图像处理部150，对由加法器140进行加法运算后的图像的高阶统计特性进行调整(S107)。具体而言，首先，提取由加法器140进行加法运算后的图像的高阶统计特性(平均值、方差、偏度以及峰度之中的至少一个)。而且，通过根据提取的高阶统计特性、和参考图像的高阶统计特性决定滤波系数，从而形成滤波器。第三图像处理部150，将形成的滤波器适用于进行加法运算后的图像，使得由加法器140进行加法运算后的图像的高阶统计特性调整为参考图像的高阶统计特性。第三图像处理部150，将执行滤波处理后的图像作为输出图像来输出。
统计性图像改善装置100，判断从第三图像处理部150输出的输出图像是否为最佳(S108)。在本实施例中，由于反复进行七次所述的处理(S103～S107)来能够得到最佳的输出图像，因此，判定进行了处理的次数是否为七次。
在所述的处理(S103～S107)的次数为七次的情况下(S108的“是”)，统计性图像改善装置100将输出图像输出(S109)。
在所述的处理(S103～S107)的次数不是七次的情况下(S108的“否”)，输出图像被输入到减法器110。减法器110，从输出图像中减去输入图像(S110)。减去后的图像被输入到第一图像处理部120，统计性图像改善装置100反复进行所述的处理(S103～S107)。而且，例如，以宏块为单位执行以上的处理。
根据以上的处理，本实施例的统计性图像改善装置100能够改善输入图像的画质。
如上所述，根据本实施例的统计性图像改善装置以及方法，通过使用参考图像的统计特性，尤其使用包含输入图像中欠缺的频率成分的参考图像的统计特性，从而能够改善输入图像的主观画质。而且，即使直接使用参考图像也不能改善输入图像。倒是只考虑参考图像的被选择的统计特性。但是，根据其它的资源，也可以得到、推测或估计有关的统计特性。例如，在输入图像在一个图像方向包含更多的频率信息的情况下，该方向的统计被用于在其直交方向构成高频成分。
并且，根据本实施例的统计性图像改善装置以及方法，能够避免以往的尖锐化算法的问题。特别是，通过使用参考图像的统计特性，从而不产生过度的尖锐化以及光晕效应。进而，本实施例的统计性图像改善装置以及方法的目的，不仅限于尖锐度的改善。特别是，由于考虑到统计特性的选择，因此纹理出现地非常自然。
(实施例2)
图3是实施例2的图像/运动图像编码装置的结构框图。该图的编码装置200具有图像/运动图像编码器210、图像/运动图像解码器220、减法器230、第一统计分析部240、第二统计分析部250、统计特性编码器260以及多路复用器270。
图像/运动图像编码器210，压缩并编码从外部取得的输入图像。而且，本实施例的图像/运动图像编码器210，对输入图像执行低通滤波处理，并且，压缩并编码执行低通滤波处理后的图像。例如，图像/运动图像编码器210，根据包含JPEG(Joint Photographic Experts Group：联合图像专家组)、MPEG(Moving Picture Experts Group：运动图像专家组)-1、2、4以及H.264/AVC等的技术所示的(不可逆的)编码方式来编码输入图像。
图像/运动图像解码器220，对被编码的输入图像进行解码。进而，对得到的解码图像进行扩展。
减法器230，算出输入图像与压缩图像之间的差分图像。而且，在此，压缩图像是指，通过图像/运动图像解码器220进行解码并扩展，从而复原的图像。更具体而言，减法器230，从外部取得的输入图像中减去由图像/运动图像编码器210所压缩编码且由图像/运动图像解码器220所解码的压缩图像。也就是说，决定原图像信号与在内部被解码的信号之间的差分，即决定编码错误。该差分信号，为了决定编码错误的附加的统计特性，而被提供到第二统计分析部250。
第一统计分析部240，提取从外部取得的输入图像的统计特性。
第二统计分析部250，提取差分图像，即提取编码错误的统计特性。而且，统计特性编码器260编码统计特性，并且，多路复用器270，为了生成被编码的输出图像，而图像/运动图像编码器210的输出乘以统计特性。除了包含编码错误的统计特性来输出以外，还可以包含由第二统计分析部250所决定的原输入图像的被编码的统计特性来输出。
由第一统计分析部240以及第二统计分析部250所提取的统计特性，对应于与图1一起所述的统计特性，并且，可以包含图像的空间特性(相关)和强度直方图的特性(周围分布的统计量)。特别是，零值附近的自相关函数的值，可以包含强度分布的平均值、方差、偏度以及峰度，也可以与强度以及/或颜色分布的矩同样被决定。为了实现所述内容，而可以采用推测随机数的技术所示的方法。
统计特性编码器260，对由第一统计分析部240以及第二统计分析部250所提取的统计特性进行编码。对于编码，可以采用从单纯的二进制形式到高效率熵编码方式为止的、对数值数据进行编码的技术所示的方法。
多路复用器270，混合由图像/运动图像编码器210所压缩编码的编码图像、和由统计特性编码器260所编码的编码统计特性。
而且，可以将统计特性编码器260和多路复用器270设计为，尤其有效地利用JPEG以及MPEG等的、用于记忆编码图像以及编码运动图像数据的以往的容器形式(container format)，从而将统计特性作为以往的编码图像数据的元数据来记忆。据此，编码装置200的输出，与可以单纯地忽略附加的统计信息的、以往的编码装置之间具有互换性。另一方面，在实施例3详细说明的解码装置，为了提供改善后的输出图像，而可以利用附加的统计信息。
接着，说明本实施例的图像/运动图像编码装置的工作。
图4是本实施例的图像/运动图像编码装置的工作的流程图。
首先，输入图像被输入到图像/运动图像编码器210、减法器230以及第一统计分析部240。图像/运动图像编码器210，对输入图像执行低通滤波处理(S201)。而且，对执行低通滤波处理后的图像进行压缩，并对得到的压缩图像进行编码(S202)。
其次，减法器230，算出输入图像与压缩图像之间差分图像(S203)。具体而言，由图像/运动图像编码器210所编码的编码压缩图像，被输入到图像/运动图像解码器220。图像/运动图像解码器220，对被输入的编码压缩图像进行解码，并将得到的解码压缩图像输出到减法器230。而且，通过减法器230从输入图像中减去解码压缩图像，从而算出差分图像。算出的差分图像，被输入到第二统计分析部250。
接着，第一统计分析部240以及第二统计分析部250，分别提取输入图像的统计特性和差分图像的统计特性(S204)。提取的统计特性被输入到统计特性编码器260。
统计特性编码器260，对由第一统计分析部240以及第二统计分析部250所提取的输入图像的统计特性和差分图像的统计特性进行编码(S205)。而且，多路复用器270，混合并输出由图像/运动图像编码器210所编码的压缩图像、和由统计特性编码器260所编码的统计特性(S206)。
根据以上的处理，本执行的态的编码装置200，对示出压缩输入图像时欠缺的频率成分的统计特性进行编码，并将其与编码图像混合来输出。据此，由于能够对本来已欠缺的频率成分进行解码，因此能够改善画质。
(实施例3)
图5是实施例3的图像/运动图像解码装置的结构框图。该图的解码装置300具有多路分用器370、统计特性解码器360、图像/运动图像解码器220以及统计性图像改善装置100。而且，统计性图像改善装置100是实施例1中说明了的统计性图像改善装置100，图像/运动图像解码器220是实施例2中说明了的图像/运动图像解码器220，因此，以下省略说明。
多路分用器370将示出被编码的图像/运动图像的数据，分离为示出被编码的统计特性的数据、和示出编码图像本身的数据。而且，两者被输入到适当的解码器，即被输入到统计特性解码器360和所述的图像/运动图像解码器220。
统计特性解码器360，对由多路分用器370所分离的编码统计特性进行解码。统计特性解码器360，与图3示出的统计特性编码器260所使用的编码方式相对应，来解码统计数据。
图像/运动图像解码器220，只要与用于发生编码数据的方式一致，就可以使用任何编码方式。
如上所述，被解码的图像以及被解码的统计特性，被提供到统计性图像改善装置100。如图1说明，统计性图像改善装置100，为了重新构成图像成分，而使用统计数据，特别是，为了重新构成因不可逆的压缩而解码图像中丢失了的高频成分(编码错误)，而使用统计数据。
接着，说明本实施例的图像/运动图像解码装置的工作。
图6是本实施例的图像/运动图像解码装置的工作的流程图。
首先，编码图像数据被输入，由多路分用器370分离为编码图像本身、和编码统计特性(S301)。编码图像本身被输入到图像/运动图像解码器220，编码统计特性被输入到统计特性解码器360。
图像/运动图像解码器220，对被输入的编码图像进行解码(S302)。被解码的图像被输入到统计性图像改善装置100，以作为输入图像。
统计特性解码器360，对被输入的编码统计特性进行解码(S303)。被解码的统计特性被输入到统计性图像改善装置100。此时，对于差分图像的统计特性，被输入到图1的第一图像处理部120以及第二图像处理部130。对于参考图像的统计特性，被输入到图1的第三图像处理部150。
统计性图像改善装置100，执行图2的流程图示出的处理(S304)。
根据以上的处理，本实施例的解码装置300，能够分离编码图像和编码统计特性，来分别进行解码。据此，图1示出的统计性图像改善装置100，能够使用分别得到的输入图像和统计特性来容易改善图像的画质。
如此，实际上，不使被编码的数据量增加，而能够改进解码图像的主观画质。特别是，关于运动图像编码，可以得到针对编码效率重要的增益。这是因为，至少针对运动图像序列整体，编码错误的统计特性相同的缘故。因此，为了多个运动图像，而需要至少一次决定、编码并发送统计特性。进而，编码错误的统计特性，有可能受到摄像机的光学以及电气特性的影响，因此，整体而言，编码错误的统计特性独立于对象图像的内容。进而，为了减少信号的开销(overhead)，而可以使用此事宜。
(实施例4)
本实施例的图像处理装置具有实施例1的统计性图像改善装置、以及至少两个帧存储器。
图7是本实施例的图像处理装置的结构框图。该图示出的图像处理装置400具有统计性图像改善装置100、总线410以及存储器420。
统计性图像改善装置100的结构与图1示出的统计性图像改善装置100的结构相同，因此，在此省略说明。而且，实施例4的统计性图像改善装置100，能够经由总线410与存储器420交换数据。
存储器420，至少具有第一帧存储器430和第二帧存储器440这两个存储器。
第一帧存储器430，保存统计性图像改善装置100接收的输入图像。
第二帧存储器440，保存由统计性图像改善装置100正在处理的图像。
统计性图像改善装置100，若结束图像的改善处理，则读出由第二帧存储器440保存的图像，并输出到外部。
如上所述，本实施例的图像处理装置，在不同帧存储器存储输入图像和正在处理的图像。据此，在进行统计性图像改善装置100中的反复处理时，由于能够从一方的帧存储器中读出输入图像，从另一方的帧存储器中读出正在处理的图像，因此能够以简单的结构来执行各个处理。
以上，根据实施例说明了本发明的统计性图像改善装置、图像编码装置以及图像解码装置，但是，本发明不仅限于这些实施例。只要不脱离本发明的宗旨，对各个实施例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例中的构成要素而构成的形态，也包含在本发明的范围内。
例如，也可以将本发明用于使画质保持恒定来改进压缩增益，而替代用于改进主观画质来使要发送或记忆的数据量保持恒定。例如，也可以通过采用本发明的统计性图像改善方法，从而补偿更正确的量化。
而且，在本发明中，在输入图像被提供到图3的图像/运动图像编码装置210之前，对输入图像执行低通滤波处理。图8是实施例2的图像/运动图像编码装置的变形例的结构框图。该图的编码装置201，与图3的编码装置200不同，还增加了滤波处理部280。以下，以不同之处为中心进行说明，而省略相同之处的说明。
滤波处理部280，对输入图像执行低通滤波处理。而且，将执行低通滤波处理后的输入图像，提供给图像/运动图像编码装置210。图像/运动图像编码装置210，对执行低通滤波处理后的输入图像进行压缩，并对得到的压缩图像进行编码。
据此，由于高频成分衰减了，因此能够对执行低通滤波处理后的图像更高效率地进行编码。而且，也可以在解码器方，将统计特性用于重新构成欠缺的频率成分。但是，并不一定需要对输入图像的该低通滤波处理。
而且，除了以统计性图像改善装置、图像编码装置以及图像解码装置来实现本发明以外，还可以以将构成所述的装置的处理单元作为步骤的方法来实现本发明。并且，也可以以使计算机执行这些步骤的程序来实现本发明。进而，也可以以记录有该程序的计算机可读的CD-ROM(Compact Disc-Read Only Memory：只读光盘存储器)等的记录介质来实现本发明，并且，也可以以示出该程序的信息、数据或信号来实现本发明。而且，也可以将这些程序、信息、数据以及信号，经由互联网等通信网络分发。
并且，也可以构成所述的各个装置的构成要素的一部分或全部，由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，由微处理器、ROM以及RAM(Random Access Memory：随机存取存储器)等构成的计算机系统。
概括所述内容，本发明与利用参考图像的统计特性的、图像的改善有关。特别是，也可以通过重新构成欠缺的频率成分，从而使图像尖锐化，所述欠缺的频率成分对应于根据参考图像的统计特性决定的统计限制，所述参考图像的统计特性对应于原图像与执行低通滤波处理后的图像之间的差分。也可以将所述形式的统计图像改善适用于图像以及运动图像编码，使得通过将编码图像和编码错误的统计特性一起发送，并使用高压缩增益，从而得到出色的画质。
本发明，可以适用于改善图像的画质的装置，例如，可以适用于图像/运动图像编码装置以及图像/运动图像解码装置等。

Claims (24)

1.一种图像编码方法，包括：
压缩步骤，对输入图像进行压缩；
图像编码步骤，通过对在所述压缩步骤得到的压缩图像进行编码，生成编码图像；
差分图像算出步骤，算出作为所述输入图像与对编码图像进行解码扩展而得到的复原图像之间的差分的差分图像；
第一特性提取步骤，提取在所述差分图像算出步骤算出的所述差分图像的统计特性，该统计特性用于在解码端生成适用于通过对所述编码图像进行解码扩展而生成的扩展图像的第一滤波器；以及
第一特性编码步骤，对在所述第一特性提取步骤所提取的所述差分图像的统计特性进行编码；
在所述第一特性提取步骤所提取的所述差分图像的统计特性包括所述差分图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述差分图像的自相关函数的值，
所述第一滤波器是适用于使得将滤波处理后的图像的统计特性调整为所述差分图像的统计特性的滤波器。
2.如权利要求1所述的图像编码方法，
所述图像编码方法，还包括：
第二特性提取步骤，提取所述输入图像的统计特性；以及
第二特性编码步骤，对在所述第二特性提取步骤所提取的所述输入图像的统计特性进行编码。
3.如权利要求2所述的图像编码方法，
在所述第二特性提取步骤所提取的所述输入图像的统计特性包括所述输入图像的像素值的平均值、方差、偏度以及峰度之中的至少一个。
4.如权利要求1所述的图像编码方法，
在所述压缩步骤中，以基于变换的压缩方式来对所述输入图像进行压缩。
5.如权利要求1所述的图像编码方法，
所述图像编码方法，还包括：
低通滤波处理步骤，对所述输入图像执行低通滤波处理；
在所述压缩步骤中，不对所述输入图像进行压缩，而对所述低通滤波处理后的图像进行压缩。
6.一种图像解码方法，包括：
图像解码步骤，对通过对输入图像进行压缩编码而生成的编码图像进行解码；
扩展步骤，对在所述图像解码步骤得到的解码图像进行扩展；
第一特性解码步骤，对作为所述输入图像与对将输入图像进行压缩编码得到的编码图像进行解码扩展而得到的复原图像之间的差分的差分图像的统计特性进行解码；
第一滤波器形成步骤，根据在所述第一特性解码步骤所解码的所述差分图像的统计特性，形成第一滤波器；
第一滤波处理步骤，将所述第一滤波器适用于在所述扩展步骤得到的扩展图像，以生成滤波处理后的图像；以及
加法步骤，对所述滤波处理后的图像和所述扩展图像进行加法运算，以生成输出图像；
在所述第一特性解码步骤所解码的所述差分图像的统计特性包括所述差分图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述差分图像的自相关特性的值，
所述第一滤波器是适用于使得将所述滤波处理后的图像的统计特性调整为所述差分图像的统计特性的滤波器。
7.如权利要求6所述的图像解码方法，
所述图像解码方法，还包括：
第一特性提取步骤，提取所述扩展图像的统计特性，所述扩展图像的统计特性包括所述扩展图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述扩展图像的自相关特性的值；
根据在所述第一特性解码步骤所解码的所述差分图像的统计特性、和在所述第一特性提取步骤所提取的所述扩展图像的统计特性，形成所述第一滤波器。
8.如权利要求6所述的图像解码方法，
所述图像解码方法，还包括：
第二特性解码步骤，对所述输入图像的统计特性进行解码；
第二滤波器形成步骤，根据在所述第二特性解码步骤所解码的所述输入图像的统计特性，形成第二滤波器；以及
第二滤波处理步骤，将所述第二滤波器适用于所述输出图像；
所述第二滤波器是适用于使得将所述输出图像的统计特性调整为在所述第二特性解码步骤中解码了的所述输入图像的统计特性的滤波器。
9.如权利要求8所述的图像解码方法，
在所述第二特性解码步骤所解码的所述输入图像的所述统计特性包括所述输入图像的像素值的平均值、方差、偏度以及峰度之中的至少一个。
10.如权利要求9所述的图像解码方法，
所述图像解码方法，还包括：
第二特性提取步骤，提取所述输出图像的统计特性，所述输出图像的统计特性包括所述输出图像的像素值的平均值、方差、偏度以及峰度之中的至少一个；
根据在所述第二特性解码步骤所解码的所述输入图像的统计特性、和在所述第二特性提取步骤所提取的所述输出图像的统计特性，形成所述第二滤波器。
11.如权利要求6所述的图像解码方法，
所述图像解码方法，还包括：
差分算出步骤，算出所述输出图像与所述扩展图像之间的差分；
在所述第一滤波处理步骤中，针对在所述差分算出步骤算出的差分，适用所述第一滤波器；
反复进行所述第一滤波处理步骤和所述加法步骤。
12.如权利要求6所述的图像解码方法，
在所述扩展步骤中，以基于变换的解压缩方式来对所述解码图像进行扩展。
13.一种图像改善方法，包括：
图像接收步骤，接收输入图像；
第一特性接收步骤，接收作为原始输入图像与对将所述原始输入图像进行压缩编码得到的编码图像进行解码扩展而得到的复原图像之间的差分的差分图像的统计特性；
第一滤波器形成步骤，根据在所述第一特性接收步骤所接收的所述差分图像的统计特性，形成第一滤波器；
第一滤波处理步骤，将所述第一滤波器适用于所述输入图像，以生成滤波处理后的图像；以及
加法步骤，对所述滤波处理后的图像和所述输入图像进行加法运算，以生成输出图像；
在所述第一特性接收步骤所接收的所述差分图像的统计特性包括所述差分图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述差分图像的自相关特性的值，
所述第一滤波器是适用于使得将所述滤波处理后的图像的统计特性调整为所述差分图像的统计特性的滤波器。
14.如权利要求13所述的图像改善方法，
所述图像改善方法，还包括：
第一特性提取步骤，提取所述输入图像的统计特性，所述输入图像的统计特性包括所述输入图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述输入图像的自相关函数的值；
根据在所述第一特性接收步骤所接收的所述差分图像的统计特性、和在所述第一特性提取步骤所提取的所述输入图像的统计特性，形成所述第一滤波器。
15.如权利要求13所述的图像改善方法，
所述图像改善方法，还包括：
第二特性接收步骤，接收所述原始输入图像的统计特性；
第二滤波器形成步骤，根据在所述第二特性接收步骤所接收的所述原始输入图像的统计特性，形成第二滤波器；以及
第二滤波处理步骤，将所述第二滤波器适用于所述输出图像；
所述第二滤波器是适用于使得将所述输出图像的统计特性调整为在所述第二特性接收步骤接收了的所述原始输入图像的统计特性的滤波器。
16.如权利要求15所述的图像改善方法，
在所述第二特性接收步骤所接收的所述原始输入图像的统计特性包括所述原始输入图像的像素值的平均值、方差、偏度以及峰度之中的至少一个。
17.如权利要求16所述的图像改善方法，
所述图像改善方法，还包括：
第二特性提取步骤，提取所述输出图像的统计特性，所述输出图像的统计特性包括所述输出图像的像素值的平均值、方差、偏度以及峰度之中的至少一个；
根据在所述第二特性接收步骤所接收的所述原始输入图像的统计特性、和在所述第二特性提取步骤所提取的所述输出图像的统计特性，形成所述第二滤波器。
18.如权利要求13所述的图像改善方法，
所述图像改善方法，还包括：
差分算出步骤，算出所述输出图像与所述输入图像之间的差分；
在所述第一滤波处理步骤中，针对在所述差分算出步骤算出的差分，适用所述第一滤波器；
反复进行所述第一滤波处理步骤和所述加法步骤。
19.一种图像编码装置，具有：
图像编码单元，对输入图像进行压缩，并且通过对得到的压缩图像进行编码，生成编码图像；
差分图像算出单元，算出作为所述输入图像与对编码图像进行解码扩展而得到的复原图像之间的差分的差分图像；
特性提取单元，提取由所述差分图像算出单元算出的所述差分图像的统计特性，该统计特性用于在解码端生成适用于通过对所述编码图像进行解码扩展而生成的扩展图像的第一滤波器；以及
特性编码单元，对由所述特性提取单元所提取的所述差分图像的统计特性进行编码；
在所述特性提取单元所提取的所述差分图像的统计特性包括所述差分图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述差分图像的自相关函数的值，
所述第一滤波器是适用于使得将滤波处理后的图像的统计特性调整为所述差分图像的统计特性的滤波器。
20.一种图像解码装置，具有：
图像解码单元，对通过对输入图像进行压缩编码而生成的编码图像进行解码，并且对得到的解码图像进行扩展；
特性解码单元，对作为所述输入图像与对将输入图像进行压缩编码得到的编码图像进行解码扩展而得到的复原图像之间的差分的差分图像的统计特性进行解码；
滤波器形成单元，根据由所述特性解码单元所解码的所述差分图像的统计特性，形成滤波器；
滤波处理单元，将所述滤波器适用于由所述图像解码单元得到的扩展图像，以生成滤波处理后的图像；以及
加法单元，对所述滤波处理后的图像和所述扩展图像进行加法运算，以生成输出图像；
在所述特性解码单元所解码的所述差分图像的统计特性包括所述差分图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述差分图像的自相关函数的值，
所述滤波器是适用于使得将所述滤波处理后的图像的统计特性调整为所述差分图像的统计特性的滤波器。
21.一种图像改善装置，具有：
图像接收单元，接收输入图像；
特性接收单元，接收作为原始输入图像与通过对所述原始输入图像进行压缩编码得到的编码图像进行解码扩展而得到的复原图像之间的差分的差分图像的统计特性；
滤波器形成单元，根据由所述特性接收单元所接收的所述差分图像的统计特性，形成滤波器；
滤波处理单元，将所述滤波器适用于所述输入图像，以生成滤波处理后的图像；以及
加法单元，对所述滤波处理后的图像和所述输入图像进行加法运算，以生成输出图像；
在所述特性接收单元所接收的所述差分图像的统计特性包括所述差分图像的像素值的平均值、方差、偏度以及峰度之中的至少一个、和所述差分图像的自相关特性的值，
所述滤波器是适用于使得将所述滤波处理后的图像的统计特性调整为所述差分图像的统计特性的滤波器。
22.一种图像处理装置，具有：
权利要求21所述的图像改善装置；
第一帧存储器，具备在所述图像改善装置中，保存由所述图像接收单元所接收的所述输入图像；
第二帧存储器，具备在所述图像改善装置中，保存由所述滤波处理单元以及所述加法单元正在执行处理的图像；
所述滤波处理单元将所述滤波器适用于从所述第一帧存储器读出的所述输入图像。
23.一种图像处理系统，具有：
权利要求19所述的图像编码装置；以及
权利要求20所述的图像解码装置。
24.如权利要求21所述的图像改善装置，
所述图像改善装置作为集成电路而构成。
CN2008800196683A 2007-06-12 2008-06-10 统计性图像改善方法、图像编码方法以及图像解码方法 Active CN101690226B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07011510.0 2007-06-12
EP07011510A EP2003896A1 (en) 2007-06-12 2007-06-12 Statistical image enhancement
PCT/JP2008/001472 WO2008152797A1 (ja) 2007-06-12 2008-06-10 統計的画像向上方法、画像符号化方法及び画像復号化方法

Publications (2)

Publication Number Publication Date
CN101690226A CN101690226A (zh) 2010-03-31
CN101690226B true CN101690226B (zh) 2012-05-30

Family

ID=39149124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800196683A Active CN101690226B (zh) 2007-06-12 2008-06-10 统计性图像改善方法、图像编码方法以及图像解码方法

Country Status (6)

Country Link
US (1) US8588545B2 (zh)
EP (2) EP2003896A1 (zh)
JP (1) JP5271900B2 (zh)
KR (1) KR20100017686A (zh)
CN (1) CN101690226B (zh)
WO (1) WO2008152797A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4752719B2 (ja) * 2006-10-19 2011-08-17 ソニー株式会社 画像処理装置、画像取得方法及びプログラム
EP2003896A1 (en) * 2007-06-12 2008-12-17 Panasonic Corporation Statistical image enhancement
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US9197893B2 (en) 2010-04-26 2015-11-24 Panasonic Intellectual Property Corporation Of America Filtering mode for intra prediction inferred from statistics of surrounding blocks
US9064190B2 (en) * 2010-08-09 2015-06-23 Board Of Regents Of The University Of Texas System Estimating pixel values in digital image processing
WO2013078404A1 (en) * 2011-11-22 2013-05-30 The Trustees Of Dartmouth College Perceptual rating of digital image retouching
US9510018B2 (en) * 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
DE102012204977B4 (de) * 2012-03-28 2017-05-18 Siemens Healthcare Gmbh Verfahren zur iterativen Bildrekonstruktion für Bi-Modale CT-Daten sowie entsprechende Recheneinheit, Computertomographiesystem, Computerprogramm und Datenträger
US8977347B2 (en) * 2012-06-25 2015-03-10 Xerox Corporation Video-based estimation of heart rate variability
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
KR102083926B1 (ko) * 2013-08-26 2020-03-03 한화테크윈 주식회사 영상 융합 시스템 및 그 방법
KR101599646B1 (ko) * 2014-12-29 2016-03-14 이화여자대학교 산학협력단 Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법
US9842410B2 (en) 2015-06-18 2017-12-12 Samsung Electronics Co., Ltd. Image compression and decompression with noise separation
US10621718B2 (en) * 2018-03-23 2020-04-14 Kla-Tencor Corp. Aided image reconstruction
KR102128336B1 (ko) * 2018-04-26 2020-06-30 한국전자통신연구원 3차원 영상 왜곡 보정 장치 및 방법
CN110046673B (zh) * 2019-04-25 2021-05-07 上海大学 基于多特征融合的无参考色调映射图像质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0786904A2 (en) * 1996-01-24 1997-07-30 Lucent Technologies Inc. Adaptive postfilter for low bitrate video telephony
US6249610B1 (en) * 1996-06-19 2001-06-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for coding a picture and apparatus and method for decoding a picture
CN1401106A (zh) * 2000-12-14 2003-03-05 松下电工株式会社 图像处理器和使用这种图像处理器的图案识别装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
JPH08181984A (ja) * 1994-12-26 1996-07-12 Sharp Corp 画像圧縮装置および画像圧縮方法
JP3307185B2 (ja) 1995-09-08 2002-07-24 松下電器産業株式会社 画像信号処理装置
US5757974A (en) * 1996-04-15 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy System and method for data compression
JPH1066078A (ja) * 1996-08-20 1998-03-06 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像復号化装置
US6847738B1 (en) * 1999-01-15 2005-01-25 Koninklijke Philips Electronics N.V. Sharpness enhancement
US6804408B1 (en) * 1999-12-22 2004-10-12 Eastman Kodak Company Method for enhancing a digital image with noise-dependent control of texture
US6788824B1 (en) * 2000-09-29 2004-09-07 Adobe Systems Incorporated Creating image-sharpening profiles
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US7031393B2 (en) * 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
US7903892B2 (en) * 2002-10-29 2011-03-08 Ati Technologies Ulc Image analysis for image compression suitability and real-time selection
JP2004260415A (ja) * 2003-02-25 2004-09-16 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
US8189934B2 (en) * 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
EP2003896A1 (en) * 2007-06-12 2008-12-17 Panasonic Corporation Statistical image enhancement
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8090212B1 (en) * 2007-12-21 2012-01-03 Zoran Corporation Method, apparatus, and system for reducing blurring of an image using multiple filtered images
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0786904A2 (en) * 1996-01-24 1997-07-30 Lucent Technologies Inc. Adaptive postfilter for low bitrate video telephony
US6249610B1 (en) * 1996-06-19 2001-06-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for coding a picture and apparatus and method for decoding a picture
CN1401106A (zh) * 2000-12-14 2003-03-05 松下电工株式会社 图像处理器和使用这种图像处理器的图案识别装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2004-260415A 2004.09.16
JP特开2006-211152A 2006.08.10

Also Published As

Publication number Publication date
WO2008152797A1 (ja) 2008-12-18
JP5271900B2 (ja) 2013-08-21
EP2157796A1 (en) 2010-02-24
EP2003896A1 (en) 2008-12-17
JPWO2008152797A1 (ja) 2010-08-26
CN101690226A (zh) 2010-03-31
US8588545B2 (en) 2013-11-19
KR20100017686A (ko) 2010-02-16
EP2157796A4 (en) 2010-06-02
EP2157796B1 (en) 2018-05-30
US20100177973A1 (en) 2010-07-15

Similar Documents

Publication Publication Date Title
CN101690226B (zh) 统计性图像改善方法、图像编码方法以及图像解码方法
US8811736B2 (en) Efficient content compression and decompression system and method
JP5399416B2 (ja) 参照フレームの圧縮を伴うビデオ符号化システム
CN101578880A (zh) 视频解码方法以及视频编码方法
US7676097B2 (en) Bit shift processing in wavelet-based image codecs
KR100809409B1 (ko) 복호화 장치, 역양자화 방법 및 이들의 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
JP2006262278A (ja) 復号化装置、復号化方法及びこれらのプログラム
Qi et al. Generic reversible visible watermarking via regularized graph fourier transform coding
Rajakumar et al. Implementation of Multiwavelet Transform coding for lossless image compression
Patil et al. Adaptive texture and color feature based color image compression
US7613319B2 (en) Electronic watermark generating apparatus, method, and program for generating electronic watermark
Sahooinst et al. Haar wavelet transform image compression using various run length encoding schemes
WO2008067074A2 (en) System and method for representing motion imagery data
US20040136600A1 (en) Visually lossless still image compression for RGB, YUV, YIQ, YCrCb, K1K2K3 formats
Singh et al. JPEG image compression and decompression by Huffman coding
JPH04369191A (ja) 画像圧縮復元装置
Abd-Elhafiez et al. New efficient method for coding color images
Siddique et al. Exhaustive crisp parameter modification in quantization table for effective image compression
Silverstein et al. Restoration of compressed images
Basak et al. Segmentation-based image compression
Sundaresan et al. Lossy and Lossless Compression using various Algorithms
El–said Efficient DCT–based image compression technique
Sonka et al. Image data compression
PL240833B1 (pl) System i sposób przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140930

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140930

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170111

Address after: The United States of New York No. 450 Lexington Avenue 38 floor 10017

Patentee after: Sun patent hosting Co.

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA