CN1795665B - 图像处理装置与图像处理程序 - Google Patents

Abstract

一种图像处理装置，当以逐个瓦片为基础压缩或解压缩图像时，其降低在瓦片边界出现的失真(此后，称为瓦片失真)。它具有色调跳变检测部分，斜坡计算部分，以及斜坡校正部分。该色调跳变检测部分计算瓦片边界两侧上像素值的差别，并根据这些差别检测瓦片失真中的色调跳变。该斜坡计算部分计算类斜坡校正值，用于使色调跳变在规定长度内接近零((规定长度)＜(瓦片长度))，并向瓦片边界附近的像素值增加类斜坡校正值。作为结果，由于瓦片失真造成的急剧的色调跳变被校正为渐变的类斜坡变化。通过这样的处理，适当降低了这些失真。

Description

图像处理装置与图像处理程序

技术领域

当以逐个瓦片为基础压缩或解压缩图像时，在图像的瓦片边界处会出现不连续的瓦片失真。本发明涉及一种图像处理技术，其用于降低这种瓦片失真，使它们变得不明显。

背景技术

在诸如JPEG2000的图像压缩技术中，为了降低处理缓冲的容量，图像以小部分(瓦片)为单位进行压缩。在这种逐个瓦片的图像压缩技术中，当压缩效率过度增大时，在解压缩图像的瓦片边界处会出现失真。

另一方面，在诸如JPEG的图像压缩技术中，利用非常小的约8×8像素块作为正交变换的单位进行图像压缩。已经知道，即使以非常小的块为单位执行这种处理，也会出现块噪声。

在下面的专利文献1至3中公开的各项技术是用于降低上述类型的块噪声的公知技术。

即，专利文献1公开了一种技术，其中，主块像素的平均像素值通过插值相邻块的像素差别进行预测，并且根据该预测值统一电平移动该主块的像素值。

专利文献2与3公开了通过滤波块边界部分降低块噪声的技术。

[专利文献1]美国专利No.5,757,969说明书

[专利文献2]美国专利No.6,115,503说明书

[专利文献3]美国专利No.5,555,029说明书

上述专利文献1采用非常小的约8像素×8像素块。基于周围非常小的块，比较易于预测这种非常小的块的像素平均值。即使此预测证明是错误的，该错误预测的影也限制于该非常小的块中，并因此整个图像没有明显的破坏。

另一方面，本发明使用多个瓦片，每个瓦片具有数百或更多像素的大面积。因此，在瓦片的情况下，不同因素，例如每个瓦片的图案，具有很大的影响，并且因此，例如专利文献1的预测操作以高概率失效。

另外，大面积的瓦片具有长的边界线。因此，通过统一电平移动整个瓦片的像素值，即使在一个位置消除了瓦片失真，在边界线上的其它位置也会产生新的瓦片失真。

另一方面，当将专利文献2的滤波应用到瓦片失真降低时，会出现问题，即可能失去瓦片边界处原始图案的高频分量。

发明内容

因此，本发明的目的是提供一种降低瓦片失真的新颖方法。

本发明总结如下。

当以逐个瓦片为基础压缩或解压缩图像时，根据本发明的一种图像处理装置降低在瓦片边界出现的失真(此后称为瓦片失真)。该图像处理装置包括色调跳变检测部分，斜坡计算部分与斜坡校正部分。

色调跳变检测部分计算位于瓦片边界两侧的像素值之差，并根据此差别检测瓦片失真中的色调跳变。

斜坡计算部分计算斜坡，色调跳变根据斜坡在规定的长度上接近零((规定长度)＜(瓦片长度))，并且计算用于引起这种类斜坡值变化的校正值。

斜坡校正通过使用类斜坡校正值校正靠近瓦片边界的像素值，将瓦片失真中的色调跳变校正为渐变的类斜坡变化。

甚至优选地，色调跳变检测部分在边界线方向上局部平滑瓦片的差别，并根据局部平滑的差别计算瓦片失真中的色调跳变。

优选地，色调跳变检测装置通过这样一种方式在瓦片边界方向上执行差别的加权加法来计算色调跳变，即，对于非常不同于其相邻差别的差别赋予小权值，并且这种不同越大，权值就越小。

甚至优选地，色调跳变检测装置通过这样一种方式在瓦片边界方向上执行差别的加权加法来计算色调跳变，即，差别的绝对值越大，赋予差别的权值就越小。

优选地，色调跳变检测装置通过这样一种方式在瓦片边界方向上执行差别的加权加法来计算色调跳变，即，对于在边界线方向上非常不同于其相邻像素值的像素值赋予小权值，并且这种不同越大，权值就越小。

甚至更优选地，色调跳变检测部分通过在边界线方向上平滑瓦片边界附近的像素值计算平滑的像素值，计算位于瓦片边界两侧像素的平滑值的差别，并且根据这些差别计算瓦片失真中的色调跳变。

优选地，斜坡校正部分计算瓦片边界处像素值的梯度，并且在与该梯度方向接近垂直的方向上向该变化率增加类斜坡变化。

甚至更优选地，斜坡校正部分向瓦片边界两侧的像素值增加类斜坡变化。

优选地，斜坡校正部分向瓦片边界一侧的像素值增加类斜坡变化。

甚至更优选地，当一幅W水平像素×H垂直像素的图像被分为w水平像素×h垂直像素的多个瓦片时，各个瓦片以扫描顺序处理，色调跳变检测部分具有至少(W+h-1)个像素的缓冲，并且将一组遭受瓦片失真降低处理的瓦片中位于与一组未处理的瓦片相邻的边界线上的像素值存储在缓冲中，同时顺序更新像素值。

根据本发明的图像处理程序使计算机作为上述任一项的图像处理装置工作。

如上所述，根据本发明，瓦片失真中的音频跳变根据位于瓦片边界两侧的像素值的差别检测，并且将音频跳变校正为渐变的类斜坡变化。作为结果，可获得优质图像，具有不明显的瓦片失真。

附图说明

通过下述说明，并结合附图将容易地理解本发明的上述与其它目的，其中：

图1表示根据实施例的一种图像处理装置11的配置；

图2为表示图像处理装置11的操作的流程图；

图3表示瓦片边界；

图4表示如何计算色调跳变；

图5表示色调变化如何校正为斜坡形式；

图6表示斜坡增加方向；

图7表示更新缓冲15中的数据的操作；以及

图8为表示图像处理装置11的另一操作的流程图。

具体实施方式

下面将参考附图说明本发明的实施例。

实施例配置

图1表示根据本实施例的图像处理装置11的配置。

图像处理装置11具有下列部件：

(1)图像解压缩部分12：图像解压缩以逐个瓦片为基础的JPEG2000压缩图像文件。

(2)瓦片图像存储器13：临时存储解压缩的图像瓦片。

(3)色调跳变检测部分14：根据位于瓦片边界两侧上的像素值的差别检测瓦片失真中的色调跳变。

(4)缓冲15：具有至少为(W+h-1)像素的存储容量，其中，W为图像水平排列的像素数，且h为瓦片垂直排列的象素数。

(5)斜坡计算部分16：根据色调跳变计算类斜坡校正值。

(6)斜坡校正部分17：向位于瓦片边界附近的像素增加类斜坡变化。

[实施例操作]

图2为表示图像处理装置11的操作的流程图。将以图2中示出的步骤号为顺序说明该操作。

步骤S1：

图像解压缩部分12接收JPEG2000的压缩图像文件，并以逐个瓦片为基础执行图像解压缩(算术解码，熵解码，反量化，以及逆小波变换)。以逐个瓦片为基础的图像解压缩以图7中示出的扫描顺序执行(从左边的瓦片至右边的瓦片，在紧接着的下一行上从右端的瓦片至左端的瓦片)。

解压缩的未处理瓦片(即经历瓦片失真降低处理前的瓦片)的亮度部分临时存储在瓦片图像存储器13中。

步骤S2：

色调跳变检测部分14判断在未处理的瓦片的上方或左边是否存在已处理的瓦片(即已经历瓦片失真降低处理的瓦片)。

如果存在相邻的已处理瓦片，则色调跳变检测部分14进行至步骤S4。

如果不存在相邻的已处理瓦片(即未处理的瓦片位于图像的左上角)，则色调跳变检测部分14进行至步骤S3。

步骤S3：

色调跳变检测部分14将未处理的瓦片的低边线(图3中示出的Ah1至Ahw)与右边线(图3中示出的Alw至A(h-1))上的像素阵列临时存储在缓冲15中。该操作之后，色调跳变检测部分14进行至步骤S10。

步骤S4：

色调跳变检测部分14从缓冲15中读取已处理的瓦片的相邻边线的像素值。

例如，在图3的示例中，音频跳变检测部分14从缓冲15中读取已处理的瓦片U的低边线像素值Uh1至Uhw和已处理的瓦片L的右边线像素值L1w至Lhw。

步骤S5：

色调检测部分14计算位于每个瓦片边界两侧上的像素的像素值之差。

例如，在图3的示例中，色调检测部分14分别从已处理的瓦片U的低边线像素值Uh1至Uhw中减去未处理的瓦片A的顶边线像素值A11至Alw。并且色调检测部分14分别从已处理的瓦片L的右边线像素值L1w至Lhw中减去未处理的瓦片A的左边线像素值A11至Ah1。

步骤S6：

如图4中所示，色调跳变检测部分14通过在边界线方向局部平滑计算得到的差别，计算色调跳变△A1w至△Ah1。

在每一瓦片边界线的端点部分，用于局部平滑的采样数量不够。因此，优选地，利用对称位置的差别或差别的插值补足不够的采样数量。

如图4中所示，还优选地，作为连续的瓦片边界线处理未处理的瓦片顶边线与左边线。通过这样的方法，在未处理的瓦片的左上角，瓦片边线并不中断，并因此可保证在左上角有必要的采样数量用于平滑。作为结果，可更准确地计算出左上角的及其附近的色调跳变(例如△A11)。

下面将分别说明局部平滑的各个具体示例。

通过平均的局部平滑

通常，差别包括在边界线方向渐变的瓦片失真中的色调跳变△和由图案与图像噪声导致的高频分量。因此，可通过在边界线方向进行平均，抑制高频分量，来检测瓦片失真中的色调跳变△。

通过加权加法的局部平滑

例如，当局部差别采样为(a_-2，a_-1，a₀，a₁，a₂)时，色调跳变可根据下式，通过加权加法计算：

$\mathrm{\Δ}=\frac{{\mathrm{\Σ}}_{k=-2}^2{a}_k\mathrm{\ω}\left(k\right)}{{\mathrm{\Σ}}_{k=-2}^2\mathrm{\ω}\left(k\right)}---\left(1\right)$

其中，w(k)为权值分配。

优选地，权值分配ω(k)可设置为随像素间距离(即K的绝对值)增加而降低。

例如，可如下设置权值分配ω(k)：

ω(-2)＜ω(-1)＜ω(0)＞ω(1)＞ω(2)

这种权值分配使正确检测出现在瓦片边界的色调跳变△成为可能，以具有相对小的长度。

根据差别变化调整加权加法的权值分配

根据式(1)，通过加权加法计算色调跳变△。

在这样做的时候，根据下式，依据差别变化调整权值分配ω(k)：

ω(k)＝exp[-(α_k-a_o)²/σ²]................(2)

在此式中，σ²为用于调整权值分配的变化长度的系数，并设置例如约为10(这也适用于下面的说明)。

在这种情况下，随着边界线方向上的差别变化增加，更大地抑制了权值分配。作为结果，在色调跳变△中并未反映出在差别变化很大的位置由于图案造成的差别，这使正确检测出在边界线方向具有小变化的色调跳变△成为可能。

根据差别调整加权加法的权值分配

根据式(1)，通过加权加法计算色调跳变△。

在这样做的时候，根据下面的等式，依据差别的绝对值调整权值分配ω(k)：

ω(k)＝exp[-a_k ²/σ²]...........................(3)

在这种情况下，随着差别绝对值的增加，更大地抑制了权值分配。结果，在色调跳变△中并未反映出在差别很大的位置由于图案造成的差别，这使正确检测出非常小的色调跳变△成为可能。

根据像素值变化调整加权加法的权值分配

根据式(1)，通过加权加法计算色调跳变△

在这样做的时候，根据下式，依据像素值变化调整权值分配ω(k)：

ω(k)＝exp[-(A_k-A_o)²/σ²].......................(4)

在这种情况下，随着在边界线方向上像素值变化的增大，更大地抑制了权值分配。作为结果，可正确检测色调跳变△和图像平坦区域中与差别关联的重要程度。

通过中值计算或模式计算的局部平滑

通过局部差别采样确定中值或模式，并将其用作色调跳变△。

在这种情况下，通过消除由于图案或模式造成的突变分量，可正确检测在边界线方向上渐变的色调跳变△。

步骤S7：

斜坡计算部分16设置斜坡，其从瓦片失真中每个色调跳变△开始，在规定长度((规定长度)＜(瓦片长度))内接近0。优选地，将规定长度设置为这样的长度，其将急剧的音频跳变渲染为不明显。例如，规定长度可设置为约4个像素的长度。

确定校正值(例如，△，△，△/2，△/3)，其类似斜坡变化。

步骤S8：

斜坡校正部分17在边界附近向未处理的瓦片的各部分增加类斜坡校正值。作为结果，如图5[A]与5[B]所示，瓦片边界处的急剧的色调跳变△被校正为渐变的类斜坡变化，并因此而变得不明显。(在图5中，为了帮助理解该概念，忽略图案本身的信号变化。实际上，连接瓦片边界两侧的图案变化叠加在类斜坡变化上，并且该类斜坡变化变得更加不明显。)

通过在设置斜坡增加方向的改进，可进一步抑制对于图案的不良影响。

下面参考图6说明斜坡增加方向。

在图6[A]中，在与每个瓦片边界垂直的方向上增加类斜坡变化。在这种情况下，优选地，通过两个步骤增加类斜坡变化，也就是，通过左边界线侧处理(左边界线侧色调跳变的检测与左边界线侧斜坡的增加)与顶边界线侧处理(顶边界线侧色调跳变的检测与顶边界线侧斜坡的增加)。这种分步处理使得在未处理的瓦片左上角附近在两个方向上增加类斜坡变化，而不导致任何破坏成为可能。

另一方面，在图6[B]中，在未处理的瓦片左上角附近，在朝向右下角的方向上增加类斜坡变化。这可在左上角附近最小化类斜坡变化彼此间的叠加。

在图6[C]中，在每个瓦片边界计算像素值的梯度，并且在与梯度方向近似垂直的方向上增加类斜坡变化。在这种情况下，由于在像素值变化缓慢的方向上增加类斜坡变化，可进一步抑制对图案的不良影响。

步骤S9：

色调跳变检测部分14用未处理瓦片A的低边线(图3中的Ah1至Ahw)像素值代替在缓冲15中存储的已处理瓦片U的低边线(图3中的Uh1至Uhw)像素值。

另外，色调跳变检测部分14用未处理瓦片A的右边线(图3中的A1w至A(h-1)w)像素值代替在缓冲15中存储的已处理瓦片L的右边线(图3中的L1w至L(h-1)w)像素值。

如图7中所示，这种数据更新允许已处理的瓦片组边线的像素值，其与未处理瓦片组相邻，总是存储在缓冲15中。

由于缓冲所需的最大存储容量是对应于(W+h-1)个像素的值，因此可相应地简化图像处理装置11的配置。

步骤S10：

图像处理装置11判断是否已处理所有瓦片。

如果还没有处理所有的瓦片，图像处理装置11返回步骤S1再次重复该操作。

另一方面，如果已处理所有瓦片，则该图像处理装置11结束该失真降低处理。从而，由图像处理装置11处理的亮度分量与色差分量结合成为分量信号，其作为彩色图像输出至外侧。

[实施例的优越性等]

如上所述，根据本实施例，由于瓦片失真造成的急剧色调跳变被校正为类斜坡变化，该瓦片失真被渲染至不明显。

上述处理使得从高度压缩的压缩图像文件中得到高质量的解压缩图像成为可能。相反地，也使执行高度的图像压缩而无需考虑瓦片失真成为可能。

在将色调校正为斜坡形式中，类斜坡变化与图案本身逐渐彼此混合，并因此在图像中不易出现假边缘。另外，在将色调校正为斜坡形式中，不像空间频率滤波，不易失去原始图案的高频分量。由于这些原因，根据该实施例的图像处理仅对图案有非常小的不良影响。

在该实施例中，通过在瓦片边界线方向上局部平滑差别计算色调跳变。这种局部平滑使得通过消除图案与来自差别的噪声变化，计算瓦片失真中的色调跳变成为可能。

在该实施例中，由于对于每组局部差别采样执行平滑，所以可保留色调跳变的局部变化。这不仅使得增加固定的类斜坡变化，还使得以可变方式向长瓦片边界线附近的各个局部部位增加合适的类斜坡变化量成为可能。作为结果，与常规技术形成鲜明对比，该实施例没有这样的问题，即在长边界线上的一个位置消除了色调跳变，在另一位置出现新的色调跳变。

在该实施例中，局部平滑可为随着差别变化增加，权值分配降低。通常，在差别变化大的位置，图像图案本身的变化分量的影响大。因此，可通过在差别变化大的位置抑制权值分配，更加正确地检测瓦片失真中的色调跳变。

在该实施例中，局部平滑可为随着差别增加，权值分配降低。通常，在差别大的位置，图像图案本身变化分量的影响大。因此，可通过在差别大的位置抑制权值分配，更加正确地检测瓦片失真中的色调跳变。

在该实施例中，局部平滑可为随着边界线方向上像素值变化增加，权值分配降低。通常，在像素值变化大的位置，图像图案本身变化分量的影响大。因此，可通过在像素值变化大的位置抑制权值分配，更加正确地检测瓦片失真中的色调跳变。

在该实施例中，仅在瓦片边界的一侧(即在未处理的瓦片侧)上增加类斜坡变化。由于没有必要在位于另一侧的已处理的瓦片上增加类斜坡变化，所以可相应地增加处理速度。

另外，在该实施例中，通过覆盖旧像素值，将已处理的瓦片的边界线的新像素值存储在具有(W+h-1)个像素的存储容量的缓冲中。因此，在处理期间没有必要保持已处理的瓦片的大量图像数据，作为结果，可极大地降低图像处理装置11所需的存储器容量。

[实施例补充]

在上述实施例中，处理已经历过逆小波变换的像素值。然而，本发明并不限制于这样的情况。例如，可对于小波变换系数执行上述处理。在这种情况下，通过计算低频子带中的差别，可忽略上述局部平滑。

尽管上述实施例侧重于使用JPEG2000的情况，但本发明并不限制于这种情况，本发明可广泛地应用于包括瓦片失真的一般图像中。

在上述实施例中，对于亮度分量执行该瓦片失真降低处理。然而，本发明并不限制于这种情况。例如，可对于每个彩色分量执行该瓦片失真降低处理。或者仅对包括亮度分量最大部分的彩色分量执行该瓦片失真降低处理。

在上述实施例中，优选地，随着色调跳变值△的增加，增加斜坡变化长度。在这种情况下，总可以保持小的斜坡变化梯度，并且因此瓦片失真渲染为不明显。

在上述实施例中，仅在瓦片边界的一侧上增加类斜坡变化。然而，本发明并不限制于这种情况。例如，如图5[C]中所示，可在瓦片边界的两侧上增加类斜坡变化。在这种情况下，对于每个瓦片，增加高度约为每个色调跳变△一半的斜坡是满意的。因此，可进一步降低对于图案的不良影响。在这种情况下，规定长度可设置为小于(瓦片长度)/2，以防止从彼此重叠的相对瓦片边界升起斜坡的现象。

在上述实施例中，斜坡可为任何形状，只有其使色调变化不明显。该斜坡可为直线形或曲线形。

尽管在上述实施例中，设置了单调下降或上升的斜坡，但本发明的斜坡并不限制于这种斜坡。例如，可设置这样的斜坡，其在与相邻瓦片的边界附近随像素值变化(具体地，是低频变化)平滑连续，并在另一侧接近0。如果在与相邻瓦片边界附近，像素值变化的梯度例如将增加色调跳变，那么可增加具有顶点的斜坡，如图5[D]所示。例如，优选地增加一点规定值，使这种顶点渐变，以致基本防止ringing。

可通过硬件或在计算机上通过软件实现根据该实施例的图像处理装置11。并可借助诸如因特网的通信线路提供根据本发明的图像处理业务。

在上述实施例中，通过平滑位于瓦片边界两侧上的像素值差别，计算每个色调跳变△。然而，本发明并不限制于这种情况。例如，可通过图8中示出的处理计算每个色调跳变△。

也就是说，首先，色调跳变检测部分14通过在边界线方向上局部平滑每个瓦片边界附近的像素值，来计算平滑的像素值(图8中的步骤S30)。接下来，色调跳变检测部分14计算位于每个瓦片边界两侧上像素的平滑值的差别。色调跳变检测部分14根据平滑值间的差别，以逐个像素或逐个边线为基础，估计瓦片失真中的色调跳变△(图8中的步骤S31)。此处理也可通过消除图像结构的影响，高精度地计算瓦片失真中的色调跳变△。

本发明可以各种形式应用，而不脱离其精神与基本特征。因此，上述实施例仅为示例，不能以严格的方式进行解释。本发明的范围由权利要求限定，完全不受说明书本身限制，并且包括作为权利要求等效物的所有变化与修改。

工业应用

如上所述，本发明的技术可用于图像处理装置与图像处理程序。

Claims (4)

1.一种图像处理装置，用于以逐个瓦片为基础来进行瓦片失真降低处理，该装置包括：

色调跳变检测部分，其分别从已处理的瓦片的低边线像素值中减去未处理的瓦片的顶边线像素值，并且分别从已处理的瓦片的右边线像素值中减去未处理的瓦片的左边线像素值，并且该色调跳变检测部分通过根据下式对边界线方向上的所计算的差别进行局部地平滑来计算色调跳变，

$\mathrm{\Δ}=\frac{{\mathrm{\Σ}}_{k=-2}^2{a}_k\mathrm{\ω}\left(k\right)}{{\mathrm{\Σ}}_{k=-2}^2\mathrm{\ω}\left(k\right)},$

其中，w(k)为权值分配且a_k为局部差别；

斜坡计算部分，其设置斜坡，该斜坡从瓦片失真中每个色调跳变开始并且在规定长度内接近0，该规定长度＜瓦片长度；以及

斜坡校正部分，其对于在边界附近的未处理的瓦片的各部分增加类斜坡校正值。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述色调跳变检测部分利用根据a₀和a_k之间的差别所调整的权值分配来计算色调跳变。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述斜坡校正部分在与每个瓦片边界垂直的方向上增加所述类斜坡校正值。

4.根据前述权利要求之一所述的图像处理装置，其特征在于，

所述斜坡校正部分计算每个瓦片边界处的像素值的梯度，其中，在与梯度方向近似垂直的方向上所述斜坡校正部分增加所述类斜坡校正值。

Images