CN102194216A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

提供了一种包括超分辨处理器的图像处理设备、图像处理方法和程序。所述图像处理设备中的超分辨处理器包括：高频估计器，该高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及计算器，该计算器通过从所述高频估计器输出的所述差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，所述高频估计器在差分图像信息生成处理中使用习得数据来执行学习型数据处理。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理方法和程序，并且尤其涉及执行用于增大图像的分辨率的超分辨处理(super resolving process)的图像处理设备、图像处理方法和程序。

背景技术

作为从低分辨率图像生成高分辨率图像的方法，已知超分辨处理。超分辨处理是从低分辨率图像生成高分辨率图像的处理。

例如，作为超分辨处理方法，有如下的方法：

(a)重构型超分辨方法

(b)学习型超分辨方法

重构型超分辨方法(a)是基于作为所拍摄的图像的低分辨率图像得出表示拍摄条件的参数并且使用这些参数来估计理想的高分辨率图像的方法，所述拍摄条件比如是“因镜头和空气散射而引起的模糊”、“对象和整个相机的运动”、“成像装置进行的采样”。

另外，在现有技术中，例如在日本未审查专利申请公报No.2008-140012中公开了重构型超分辨方法。

重构型超分辨方法的处理的概要如下：

(1)通过考虑模糊、运动、采样等的公式来表达图像拍摄模型。

(2)从由所述公式模型表达的图像拍摄模型获得成本计算公式。此时，在一些情况中，使用贝叶斯(Bayes)理论添加预先建立的正规化项。

(3)获得用于最小化成本的图像

重构型超分辨方法是通过使用上述处理获得高分辨率图像的方法。另外，在本发明的说明书的前面的部分中详细描述了具体处理。

虽然根据重构型超分辨方法获得的高分辨率图像依赖于输入图像，但是超分辨效果(分辨率恢复效果)较高。

另一方面，学习型超分辨方法(b)是使用习得数据执行超分辨处理的方法，习得数据是预先生成的。习得数据例如由从低分辨率图像到高分辨率图像的转换信息等构成。习得数据的生成处理是按照将例如通过模拟等生成的假定输入图像(低分辨率图像)和理想图像(高分辨率图像)进行比较并且生成用于从低分辨率图像生成高分辨率图像的转换信息的处理而执行的。

习得数据被生成，并且作为新输入图像的低分辨率图像使用习得数据被变换成高分辨率图像。

另外，在现有技术中，例如在日本专利No.3321915公开了学习型超分辨方法。

根据学习型超分辨方法，如果生成了习得数据，可以针对各种输入图像获得高分辨率图像作为稳定的输出结果。

然而，对于重构型超分辨方法(a)，虽然一般而言可以预期到较高性能，但是也存在制约，比如，“必需要输入多个低分辨率图像”、“在输入图像的频带等方面存在限制”。在可能获得了没有满足这些制约条件的输入图像(低分辨率图像)的情况中，存在不能充分发挥重构性能从而可能不能生成足够高分辨率图像的问题。

另一方面，对于学习型超分辨方法(b)，虽然因输入图像数目和这些输入图像的性质引起的制约被减少并被稳定化，但是存在最后获得的高分辨率图像的峰性能不及重构型超分辨的问题。

发明内容

希望提供能够使用重构型超分辨方法和学习型超分辨方法的优点来执行超分辨方法的图像处理设备、图像处理方法和程序。

根据本发明的实施例，提供一种包括超分辨处理器的图像处理设备，包括：高频估计器，所述高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及计算器，所述计算器通过从所述高频估计器生成的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，所述高频估计器在差分图像信息生成处理中使用习得数据来执行学习型数据处理。

另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器在对向下采样处理后的图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。

另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以在对作为所述超分辨处理的处理对象图像输入的所述低分辨率图像的向上采样处理中执行学习型超分辨处理。

另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以使用习得数据按照学习型超分辨处理来执行所述向上采样处理，所述习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述低分辨率图像变换成所述高分辨率图像的图像转换信息。

另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以在对向下采样处理后的图像和作为所述超分辨处理的处理对象图像输入的所述低分辨率图像之间的差分图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。

另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以使用习得数据按照学习型超分辨处理来执行所述向上采样处理，所述习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像之间的差分图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述差分图像变换成高分辨率差分图像的图像转换信息。

另外，在根据本发明的上述实施例的图像处理设备中，所述超分辨处理器可以具有通过使用重构型超分辨方法执行分辨率变换处理并且在所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。

另外，在根据本发明的上述实施例的图像处理设备中，所述超分辨处理器可以具有根据重构型超分辨方法通过考虑图像的模糊和运动以及图像装置的分辨率来执行分辨率变换处理并且在对所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。

另外，在根据本发明的上述实施例的图像处理设备中，所述图像处理设备还包括收敛判断部件，所述收敛判断部件执行对所述计算器的计算结果的收敛判断，其中，所述收敛判断部件根据预先定义的收敛判断算法来执行收敛判断处理并且输出与所述收敛判断相应的结果。

另外，根据本发明的另一实施例，提供一种在图像处理设备中执行的图像处理方法，包括如下步骤：使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及使得计算器通过从使得高频估计器生成差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，在使得高频估计器生成差分图像信息的步骤中，在差分图像信息生成处理中执行使用习得数据的学习型数据处理。

另外，根据本发明的又一实施例，提供一种程序，该程序使得图像处理设备执行图像处理，包括如下步骤：使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及使得计算器通过从使得高频估计器生成差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，在使得高频估计器生成差分图像信息的步骤中，在差分图像信息生成处理中执行使用习得数据的学习型数据处理。

另外，根据本发明的程序是可以提供用于例如信息处理设备或计算机系统的程序，这些信息处理设备或计算机系统可以通过以计算机可读格式提供的存储介质或通信介质执行各种类型的程序。此程序以计算机可读格式来提供，从而根据此程序的处理可以在这样的信息处理设备或计算机系统中被执行。

通过稍后描述的本发明的实施例和附图来以更详细的描述阐述本发明的其他目的、特征以及优点。另外，在本说明书中，系统表示多个设备的逻辑集合配置，但是每个配置的设备不局限于处于相同的机壳中。

根据本发明的实施例的配置，提供了一种通过执行重构型超分辨处理和学习型超分辨处理的组合处理来生成高分辨率图像的设备和方法。根据本发明的实施例，生成了成为超分辨处理的处理对象的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，其中所述处理后的图像即初始图像，并且通过所述差分图像信息和所述处理后的图像之间的计算处理执行所述处理后的图像的更新处理，来生成高分辨率图像。在生成所述差分图像的高频估计器中，执行使用习得数据的学习型超分辨处理。更具体地，例如，按照学习型超分辨处理来执行向上采样处理。根据此配置，解决了重构型超分辨处理的缺陷，从而能够生成高质量的高分辨率图像。

附图说明

图1是示出在相机的拍摄处理中获得的低分辨率图像和作为理想的高分辨率图像的理想图像之间的关系的示图。

图2是示出应用到图像处理的参数的设置的示图。

图3是示出执行超分辨处理的图像处理设备的配置示例的示图。

图4是示出超分辨处理器的配置和处理的细节的示图。

图5是示出在图4中所图示的超分辨处理器中设置的多个高频估计器的每个的详细配置和处理的示图。

图6是示出示出在图4中所图示的超分辨处理器中设置的图像质量控制器的详细配置和处理的示图。

图7是示出示出在图4中所图示的超分辨处理器中设置的比例计算器的处理的示图。

图8是示出对作为处理对象的运动画面执行重构型超分辨处理的图像处理设备的配置示例的示图。

图9是示出在图8中所示的运动画面初始图像生成单元的详细配置和处理的示图。

图10是示出在图8所示的执行重构型超分辨处理的图像处理设备的运动画面超分辨处理器的配置和处理的示图。

图11是示出在运动画面超分辨处理器中的运动画面高频估计器的详细配置和处理的示图。

图12是示出执行学习型超分辨方法的图像处理设备的配置和处理的概要的示图。

图13是示出执行学习处理以生成习得数据的学习处理执行单元的示图。

图14是示出由图13中所示的图像特征量提取器执行的图像特征量提取处理的细节的示图。

图15是示出使用习得数据执行学习型超分辨处理的学习型超分辨处理执行单元的配置和处理的示例的示图。以及

图16是示出根据本发明的第一实施例的图像处理设备的配置示例的示图。

图17是示出在图16中所示的图像处理设备中的超分辨处理器503的详细配置的示图。

图18是示出在图17中所示的超分辨处理器中的高频估计器的详细配置的示图。

图19是示出在图17中所示的超分辨处理器中的比例计算器和周边计算器的输入/输出数据的细节的示图。

图20是示出根据本发明第二实施例的图像处理设备中的高频估计器的详细配置的示图。

图21是示出根据本发明的第三实施例的图像处理设备的配置示例的示图。

图22是示出在图21中所示的运动画面初始图像生成单元的详细配置和处理的示图。

图23是示出在图21中所示的图像处理设备中的运动画面超分辨处理器的配置和处理的示图。

图24是示出在图21中所示的运动画面超分辨处理器中的运动画面高频估计器的详细配置和处理的示图。

图25是示出根据本发明的第四实施例的图像处理设备的运动画面高频估计器详细配置和处理的示图。

图26是示出根据本发明的图像处理设备的硬件配置示例的示图。

具体实施方式

下面将参考附图来详细描述根据本发明的图像处理设备、图像处理方法和程序。另外，将以如下顺序给出描述。

1.对在本说明中所使用的术语的定义的描述

2.超分辨方法的概要

(2a)重构型超分辨方法的概要

(2b)学习型超分辨方法的概要

(2c)超分辨法的问题

3.根据本发明的超分辨法的实施例

(3a)第一实施例

(3b)第二实施例

(3c)第三实施例

4.图像处理设备的硬件配置的示例

[1.对在本说明中所使用的术语的定义的描述]

首先，在对本发明描述之前先描述在下面的描述中所使用的术语的定义。

(输入图像)

输入图像是成像装置等实际拍摄的图像以及输入到执行超分辨处理的图像处理设备中的图像。

输入图像是很可能有劣化的图像，例如，根据拍摄条件等，在发送和记录等时的劣化。一般而言，输入图像是低分辨率图像。

(输出图像)

输出图像是作为在图像处理设备中对输入图像执行超分辨处理的结果而得到的图像。另外，输出图像可被输出为通过以任意放大比率放大或缩小输入图像而得到的高分辨图像。

(理想图像)

理想图像是在当在前述输入图像中不存在根据拍摄的局限性和质量劣化的情况中所获得的理想图像。理想图像是目标高分辨率图像，其是作为超分辨处理的处理结果所要获取的目标。

(重构型超分辨方法)

重构型超分辨方法是现有技术中超分辨处理的方法的一个示例。重构型超分辨方法是从拍摄条件估计作为理想图像的高分辨率图像的方法，所述拍摄条件比如是“因镜头和空气散射而引起的模糊”、“对象和整个相机的运动”、“成像装置进行的采样”。

重构型超分辨处理包括如下处理：

(a)通过考虑模糊、运动、采样等的公式来表达图像拍摄模型。

(b)从图像拍摄模型获得成本公式。此时，在一些情况中，可以使用贝叶斯理论添加如此预先建立的正规化项。

(c)获得用于最小化成本的图像

虽然此结果依赖于输入图像，但是超分辨效果(分辨率恢复效果)较高。

(学习型超分辨方法)

学习型超分辨方法是这样一种方法，其对在模拟等中生成的假定输入图像(低分辨率图像)和理想图像(高分辨率图像)进行比较，生成用于从低分辨率图像生成高分辨率图像的习得数据，并且通过使用习得数据将作为新输入图像的低分辨率图像变换成高分辨率图像的方法。

[2.超分辨方法的概要]

接着，在将低分辨率图像变换成高分辨率图像的超分辨方法的概要中，顺次描述下面两种方法。

(2a)重构型超分辨方法的概要

(2b)学习型超分辨方法的概要

(2a)重构型超分辨方法的概要

首先描述重构型超分辨方法的概要。

重构型超分辨方法是通过使用例如在位置上有差别的多个低分辨率图像来生成高分辨率图像的方法。ML(最大似然性)方法或MAP(最大后验概率)方法被已知作为重构型超分辨方法。

下面，描述一般MAP方法的概要。

在此，讨论n个低分辨率图像被输入并且高分辨率图像被生成的情况。

首先，参考图1描述在相机的拍摄处理中获得的低分辨率图像(g_k)和作为理想的高分辨率图像的理想图像(f)之间的关系。

理想图像(f)10可以是指具有与对象被拍摄的真实环境相应的像素值的图像，如在图1中所示。

通过相机的拍摄获得的图像被设定为作为拍摄图像的低分辨率图像(g_k)20。另外，低分辨率图像(g_k)20成为对于执行超分辨处理的图像处理设备的输入图像。

作为超分辨处理的执行对象并且作为拍摄图像的低分辨率图像(g_k)20可以是指在理想图像(f)10的图像信息的某些部分由于各种因素而丢失时形成的图像。

作为图像信息丢失的主要因素，有图1中所示的如下因素。

运动(图像扭曲)11(＝W_k)，

模糊12(＝H)，

相机分辨率(相机分辨率抽取(decimation))13(＝D)，

噪声14(＝n_k)

运动(W_k)11是对象的运动或相机的运动。

模糊(H)12是因空气散射、相机的光学系统的频率劣化等而引起的模糊。

相机分辨率(D)13是对由相机的成像装置的分辨率(像素数)定义的采样数据方面的限制。

噪声(n_k)14是其他噪声，例如，在信号处理等中发生的图像质量劣化等。

由于此各种因素，通过相机拍摄的图像成为低分辨率图像(g_k)20。

另外，k表示相机连续拍摄的图像中的第k个图像。

模糊(H)12和相机分辨率(D)13不是根据第k个图像的拍摄定时的而改变的参数，但是运动(W_k)11和噪声(n_k)14是根据拍摄定时而改变的参数。

按照这样的方式，作为拍摄图像的低分辨率图像(g_k)20是当理想图像(f)10的图像信息的某些部分由于各种因素而丢失时形成的图像数据。低分辨率图像(g_k)20和理想图像(f)10之间的对应关系由如下公式表达。

g_k＝DHW_kf+n_k……(公式1)

上述公式表达了：相比于理想图像(f)10，作为超分辨处理的执行对象的低分辨率图像(g_k)20是由于采样中运动(W_k)、模糊(H)和相机分辨率(D)的劣化以及噪声(n_k)的增加而生成的。

另外，作为表示输入图像(g_k)和理想图像(f)的数据，可以使用表达构成每个图像的像素值的数据，也可以设置各种表达。

例如，如图2中所示，表示输入图像(g_k)和理想图像(f)的数据可以通过像素值的一个竖直列的矢量来表达。

输入图像(g_k)是具有L个元素数的竖直矢量。

理想图像(f)是具有J个元素数的竖直矢量。

元素数对应于一个竖直列中的像素数。

其他参数具有如下配置。

n：作为输入图像(低分辨率图像)的图像数

f：理想图像，竖直矢量(元素数为J)

g_k：第k个低分辨率图像，竖直矢量(元素数为L)

n_k：叠加在第n个图像上的噪声(元素数为L)

w_k：执行第k个运动(扭曲)的矩阵(J×J)

H：表达透镜的高频成分劣化或光学散射的模糊滤波器矩阵(J×J)

D：表达成像装置进行采样的矩阵(J×L)

在上述公式(公式1)中，运动(w_k)、模糊(H)、和相机分辨率(D)是可获取到的参数，即已知参数。

在此情况中，作为高分辨率图像的理想图像(f)的计算处理可以认为是根据如下公式通过使用多个(n个)低分辨率图像(g₁)到(g_n)来计算具有最高概率的图像(f)的处理。

$\arg \underset{f}{\max }\mathrm{Pr}\left(f\right|g_{1,}{g}_{2,}\·\·\·,g_n)$

(公式2)

上述公式可以使用贝叶斯理论被修改为如下。

$\mathrm{Pr}\left(f\right|g_{1,}{g}_{2,}\·\·\·,g_n)=\frac{\mathrm{Pr}(g_{1,}{g}_{2,}\·\·\·,g_n|f)\·\mathrm{Pr}\left(f\right)}{\mathrm{Pr}(g_{1,}{g}_{2,}\·\·\·,g_n)}$

(公式3)

这里，多个(n个)低分辨率图像(g₁)到(g_n)是拍摄图像并且是已知图像。因此，上述公式(公式3)的分母Pr(g₁，g₂，…g_n)成为恒定数。因此，上述公式可以仅使用分子被表达如下。

Pr(f|g₁，g₂，…g_n)＝Pr(g₁，g₂，…g_n|f)·Pr(f)…(公式4)

此外，通过对其两侧取对数，上述公式(公式4)可以被修改为如下公式(公式5)。

log(Pr(f|g₁，g₂，…g_n))＝log(Pr(g₁，g₂，…g_n|f))+log(Pr(f))…(公式5)

通过一系列的修改，原来公式(公式2)中的问题可以被表达为如下。

$\arg \underset{f}{\max }\mathrm{Pr}\left(f\right|g_{1,}{g}_{2,}\·\·\·,g_n)$

$=\arg \underset{f}{\max }(\log \left(\mathrm{Pr}(g_{1,}{g}_{2,}\·\·\·,g_n|f)\right)+\log \left(\mathrm{Pr}\left(f\right)\right))$

$=\arg \underset{f}{\min }(-(\log \left[\mathrm{Pr}(g_{1,}{g}_{2,}\·\·\·,g_n|f)\right]+\log \left[\mathrm{Pr}\left(f\right)\left]\right)\right)$

(公式6)

另一方面，第k个拍摄图像g_k的噪声n_k可以根据前述公式(公式1)被表达为如下。

n_k＝g_k-DHW_kf…(公式7)

这里，如果假定噪声具有方差为σ²的高斯分布，则前述公式(公式6)中的Pr(g₁，g₂，…g_n|f)可以通过如下公式(公式8)来表达。

$\mathrm{Pr}(g_{1,}{g}_{2,}\·\·\·,g_n|f)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\mathrm{DHW}}_{k}f-g_k\left|\right|}^2/2{\mathrm{\σ}}^2)$

(公式8)

另外，在被输入作为拍摄图像的低分辨率图像(g₁)到(g_n)是平面图像的假定下，图像预备概率按照如下公式被定义(公式9)。其中，L是拉普拉斯算子。

Pr(f)＝exp(-α·‖Lf‖²)

(公式9)

通过插入这些，原来的问题(即，计算理想图像(f)的问题)可以被定义为获得(f)从而使得成本(即E(f))在如下公式中被最小化(公式10)的处理。

$E\left(f\right)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\mathrm{DHW}}_{k}f-g_k\left|\right|}^2+\mathrm{\αLf}$

(公式10)

在成本计算公式(公式10)中，用于最小化成本E(f)的(f)可以通过使用梯度方法(gradient method)获得。

如果f₀是任意初始值并且f_m是在m个图像处理(超分辨处理)的迭代之后的图像，则可以定义如下的超分辨率收敛公式(公式11)。

$f_{m+1}=f_m-\mathrm{\β}\frac{\∂E\left(f_m\right)}{\∂f}$

$=f_m-\mathrm{\β}(\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{W_k}^T{H}^T{D}^T({\mathrm{DHW}}_k{f}_m-g_k)+\mathrm{\α}{L}^{T}L{f}_m)$

(公式11)

在此超分辨率收敛公式(公式11)中，α是图像处理(超分辨处理)中的任意用户设置参数。T表示转置矩阵。

根据上述公式(公式11)，可以通过梯度方法获得用于最小化成本E(f)的理想图像(f)，即，高分辨率图像。

图3示出根据超分辨率收敛公式(公式11)通过梯度法执行用于最小化成本E(f)而获得理想图像(f)(＝高分辨率图像)的图像处理(即，超分辨处理)的图像处理设备110的配置示例。

在图3中所示的图像处理设备110包括初始图像生成单元111、开关112、超分辨处理器113和收敛判断部件114。

图像处理设备110被输入多个(n个)低分辨率图像g₁到g_n，并且输出一个高分辨率图像f_m。

在图3中所示的g₁，g₂，…，g_n表示n个低分辨率输入图像。

初始图像生成单元111设置超分辨处理结果的初始值。此初始值可以是任意值。在本实施例中，作为示例，低分辨率图像g₁被输入，并且g₁被扩大了的图像被输出。

开关112仅在第一次执行时被转到超分辨处理器113的输出侧，并且在其他情况中，开关112被操纵以使得收敛判断部件114的前一时间的输出被输入到超分辨处理器113。

超分辨处理器113被输入n个低分辨率图像g₁，g₂，g₃…g_n以及来自开关112的图像，并且将结果输出到收敛判断部件114。稍后描述超分辨处理器113的细节。

收敛判断部件114被输入超分辨处理器113的输出并且判断是否执行了充分收敛。在判定从超分辨处理器113的结果执行了充分收敛的情况中，收敛判断部件114将处理的结果输出到外部部件并停止处理。在判定处理不充分的情况中，上述数据通过开关112被输入到超分辨处理器113，并且再次执行计算。例如，收敛判断部件114提取最新的处理结果与前一时间的处理结果之间的差，并且在此差等于或小于预定值的情况下，判定收敛被执行了。替代地，在处理的数目达到预定的处理数目的情况中，判定收敛被执行了并且处理结果被输出。

参考图4来描述超分辨处理器113的配置和处理的细节。如在图4中所示，超分辨处理器113包括多个高频估计器121、图像质量控制器123、比例计算器126和诸如加法器122、125、128以及乘法器124、127的计算器。

超分辨处理器113被输入来自在图3中所示的开关112的输入，即，多个(n个)低分辨率图像g₁，g₂，…g_n并且将处理结果输出到收敛判断部件114。另外，超分辨处理器113被输入用户设置值α作为图像调整参数。

每个高频估计器121被输入作为来自开关112的输入的作为中间重构结果的图像和低分辨率图像g₁，g₂，…g_n之一，并且将处理结果输出到加法器122。每个高频估计器121计算用于恢复图像的高频的校正值。稍后描述高频估计器121的处理的细节。

加法器122将高频估计器121的结果相加并且将处理结果输出到加法器125。

图像质量控制器123计算要被用于基于预先建立的图像模型的理想图像的像素值的控制值。图像质量控制器123的输出被输入到乘法器124。

乘法器124将图像质量控制器123的输出与用户设置值α相乘。最后图像的图像质量根据用户设置值α的值来被控制。另外，在该图中所示的配置中，引入用户设置值以执行对图像质量的控制。然而，在没有问题发生的情况中可以使用固定值。

加法器125将加法器122的输出和乘法器124的输出相加并且将计算结果输出到比例计算器126和乘法器127。比例计算器126被输入来自开关112的中间计算结果和来自加法器125的像素值控制信号，以确定用于最后控制值的比例值。比例计算器126的结果被输出到乘法器127。乘法器127将加法器125的控制值与比例计算器126的输出值相乘，并且将计算结果输出到加法器128。加法器128从来自开关112的中间处理结果中减去乘法器127的结果，并且将此结果输出到收敛判断部件114。

参考图5来描述在图4中所示的超分辨处理器113中设置的多个高频估计器121中的每个的详细配置和处理。

高频估计器121执行前述超分辨率收敛公式(公式11)中与图5的(1)中所示的下划线部分相应的处理。

运动检测器130被输入低分辨率图像g_k和来自开关112的高分辨率图像，以检测这两个图像之间的运动大小。更具体地，运动检测器130计算运动矢量。

另外，作为预备，因为这两个图像之间的运动是不同的，所以分辨率变换器138(例如，由向上采样滤波器构建)对低分辨率图像g_k执行向上采样处理，并且执行合成对于要生成的高分辨率图像的分辨率的处理。

运动校正器(MC)131被输入来自开关112的高分辨率图像和来自运动检测器130的运动矢量，并且执行对输入的高分辨率图像的转换。该处理对应于在图5的(1)中所示的前述超分辨率收敛公式(公式11)中的计算运动(W_k)的处理。

空间滤波器132执行对空间分辨率的劣化的模拟处理。这里，通过使用预先测定的点扩展函数作为滤波器来对此图像执行卷积。此处理对应于在图5的(1)中所示的前述超分辨率收敛公式(公式11)中的计算模糊(H)的处理。

向下采样处理器133对此高分辨率图像执行向下采样处理，以减小到与输入图像相等的分辨率。此处理对应于在图5的(1)中所示的前述超分辨率收敛公式(公式11)中的计算相机分辨率(D)的处理。

之后，减法器134计算向下采样处理器133的输出和低分辨率图像g_k之间的每个像素的差值。

向上采样处理器135对此差值执行向上采样处理。此处理对应于在图5的(1)中所示的前述超分辨率收敛公式(公式11)中的计算相机分辨率(D)的转置矩阵(D^T)的处理，并且此向上采样处理是在零阶保持器(zero-order hold)中被执行的。

逆空间滤波器136执行与在图5的(1)中所示的前述超分辨率收敛公式(公式11)中的计算模糊(H)的转置矩阵(H^T)的处理相对应的处理。根据此操作，此处理对应于对于被用作空间滤波器132的点扩展函数(PSF)的校正的计算。

逆运动校正器137执行对运动的逆校正。被运动校正器131偏移了的运动被应用到所述差值。

接着，参考图6描述在图4中所示的超分辨处理器113中设置的图像质量控制器123的详细配置和处理。

如图6中所示，图像质量控制器123被配置有拉普拉斯(Laplacian)变换部件141。

图像质量控制器123执行与计算处L^TLf_m相应的处理，即，在图6的(1)中所示的前述超分辨率收敛公式(公式11)中的下划线部分中的计算。

拉普拉斯变换部件141对从在图3中所示的开关112的输入的高分辨率图像(f_m)应用拉普拉斯算子(L)两次，并且将处理结果输出到在图4中所示的乘法器124。另外，因为L＝L^T，所以通过应用拉普拉斯算子(L)两次来执行计算处L^TLf_m。

接着，参考图7来描述在图4中所示的超分辨处理器113中设置的比例计算器126的处理。

比例计算器126使用最陡下降法来确定用于图像收敛计算中的梯度矢量的比例(系数β)。换句话说，比例计算器126确定在图7的(1)中所示的前述超分辨率收敛公式(公式11)中的系数β。此系数β是用于在图7的(1)中所示的前述超分辨率收敛公式(公式11)中的梯度矢量(Va)的乘法系数。

比例计算器126被输入来自在图4中所示的加法器125的梯度矢量((a)在图7的(1)中所示的前述超分辨率收敛公式(公式11)中的梯度矢量(Va))并且通过开关112接收中间收敛图像((b)在图7的(1)中所示的前述超分辨率收敛公式(公式11)中的中间收敛图像(f_m))。

比例计算器126基于这些输入获得系数β，以使得如在图7的(2)中所示的前述公式(公式10)所描述的成本计算公式中表达的成本E(f_m+1)最小化。

作为计算系数β的处理，一般通过使用诸如二分法搜索的方法来计算用于最小化的系数β。另外，在希望计算成本减少的情况中，可以使用无论输入如何都输出恒定数的配置。

比例计算器126的结果(β)被输出到乘法器127。乘法器127将所获得的作为加法器125的输出的梯度矢量(Va)与比例计算器126的输出值(β)相乘，并且将β(Va)输出到加法器128。加法器128执行从自开关112输入作为超分辨处理的中间处理结果的、作为第m个超分辨处理结果的超分辨处理图像f_m减去作为来自乘法器127的输入的β(Va)的处理，并且计算第(m+1)个超分辨处理结果f_m+1。

换句话说，f_m+1＝f_m-β(Va)。

第m+1个超分辨处理结果f_m+1基于上述公式被计算出。此公式对应于在图7的(1)中所示的前述超分辨率收敛公式(公式11)。

超分辨处理器113将第m+1个超分辨处理结果，即f_m+1＝f_m-β(Va)，输出到收敛判断部件114。

收敛判断部件114被输入来自超分辨处理器113的第m+1个超分辨处理结果，即f_m+1＝f_m-β(Va)，并且基于此输入判断是否执行了充分收敛。在从超分辨处理器113的结果判定执行了充分收敛的情况中，收敛判断部件114将此处理的结果输出到外部部件并停止此处理。在判定处理不充分的情况中，上述数据通过开关112被输入到超分辨处理器113，并且再次执行计算。例如，收敛判断部件114提取最新的处理结果与前一时间的处理结果之间的差，并且在此差等于或小于预定值的情况下，判定收敛被执行了。替代地，在处理的数目达到预定的处理数目的情况中，判定收敛被执行了并且处理结果被输出。

接着，参考图8和之后的示图来描述在处理对象被指定为运动画面的情况中执行重构型超分辨处理的图像处理设备的配置和处理。另外，在处理对象被指定为运动画面的情况中执行重构型超分辨处理的图像处理设备在日本未审查专利申请公报No.2008-140012被公开，该申请作为由与本发明的申请人相同的申请人提交的在先专利申请。

图8是示出对作为处理对象的运动画面执行重构型超分辨处理的图像处理设备200的配置示例。

如图8中所示，图像处理设备200包括运动画面初始图像生成单元201、运动画面超分辨处理器202和图像缓存器203。

在对运动画面的处理中，使用如下定义。

g_t：在时间点t时的低分辨率运动画面的一个帧

f_t：在时间点t时的高分辨率运动画面的一个帧

按照这样的方式，低分辨率图像g_t被设定为在时间点t时的低分辨率运动画面的一个帧，并且高分辨率图像f_t是作为对此低分辨率图像g_t应用超分辨处理的结果而获得的高分辨率图像。

在图8中所示的执行重构型超分辨处理的图像处理设备200中，低分辨率图像g_t被输入到运动画面初始图像生成单元201和运动画面超分辨处理器202。

运动画面初始图像生成单元201被输入在前帧运动画面超分辨处理结果(f_t-1)和(g_t)，并且将所生成的初始图像输出到运动画面超分辨处理器202。稍后描述运动画面初始图像生成单元201的细节。

运动画面超分辨处理器202通过将低分辨率图像(g_t)应用到输入的初始图像来生成高分辨率图像(f_t)并且输出此高分辨率图像(f_t)。稍后描述运动画面超分辨处理器202的细节。

从运动画面超分辨处理器202输出的高分辨率图像被输出到图像缓存器203，同时被输出到外部部件，从而使得此高分辨率图像用于对下一帧的超分辨处理。

接着，参考图9描述运动画面初始图像生成单元201的详细配置和处理。运动画面初始图像生成单元201被输入在前帧运动画面超分辨处理结果(f_t-1)和(g_t)，并且将所生成的初始图像输出到运动画面超分辨处理器202。

首先，通过以例如向上采样滤波器构造的分辨率变换器206执行向上采样处理来执行对低分辨率图像g_t的分辨率进行组合并生成要生成的高分辨率图像的处理。

运动检测器205检测在前帧高分辨率图像f_t-1和经过向上采样的低分辨率图像g_t之间的运动大小。更具体地，运动检测器205计算运动矢量。

在运动校正器(MC)207中，运动校正器(MC)207通过使用由运动检测器205检测出的运动矢量来对高分辨率图像f_t-1执行运动校正处理。因此，对高分辨率图像f_t-1执行了运动校正处理，从而生成其中对象的位置被设置为与经过向上采样的低分辨率图像g_t中一样的运动校正图像。

MC未应用区域检测器208通过将由运动校正(MC)处理所生成的高分辨率图像与经过向上采样的低分辨率图像进行比较来检测没有很好地应用运动校正(MC)的区域。MC未应用区域检测器208以像素为单位设定MC应用的适当性信息α[0:1]，并且输出此适当性信息。

混合处理器209被输入由运动校正器(MC)207生成的对于高分辨率图像f_t-1的运动校正结果图像、在分辨率变换器206中通过对低分辨率图像g_t进行向上采样而得到的经过向上采样的图像以及由MC未应用区域检测器208检测到的MC未应用区域检测信息。

混合处理器209通过使用上述输入信息基于如下公式输出作为混合结果的运动画面超分辨初始图像。

运动画面超分辨初始图像(混合结果)＝(1-α)(经过向上采样的图像)+α(运动校正结果图像)

接着，参考图10描述在图8中所示的执行重构型超分辨处理的图像处理设备200中的运动画面超分辨处理器202的配置和处理。

图10示出运动画面超分辨处理器202的框图。除了高频估计器是以一个运动画面高频估计器211来配置以外，运动画面超分辨处理器202具有与上面参考图4描述的对静止图像执行超分辨处理的超分辨处理器113相同的配置。

如图10中所示，运动画面超分辨处理器202包括运动画面高频估计器211、图像质量控制器212、比例计算器215和诸如加法器214、217以及乘法器213、216之类的计算器。

运动画面超分辨处理器202被输入作为来自图8中所示的运动画面初始图像生成单元201的前述混合结果的运动画面超分辨率初始图像。换句话说，运动画面超分辨处理器202被输入混合的结果，即“运动画面超分辨初始图像(混合结果)＝(1-α)(经过向上采样的图像)+α(运动校正结果图像)”。

此外，运动画面超分辨处理器202被输入低分辨率图像g_t和作为图像调整参数的用户设置值α，以生成作为处理结果的高分辨率图像(f_t)并且输出此高分辨率图像(f_t)。

参考图11来说明运动画面超分辨处理器202中的运动画面高频估计器211的详细配置和处理。类似于上面参考图5描述的与静止图像对应的高频估计器121，运动画面高频估计器211计算用于恢复图像的高频的校正值。

与上面参考图5描述的与静止图像对应的高频估计器121不同，运动画面高频估计器211不包括运动检测器、运动校正器和逆运动检测器。然而，类似于和静止图像相对应的高频估计器121，运动画面高频估计器211计算用于恢复图像的高频的校正值。

运动画面高频估计器211被输入由运动画面初始图像生成单元201生成的作为前述混合结果的运动画面超分辨率初始图像和低分辨率图像(g_t)，并且将处理结果输出到加法器214。

在图11中所示的空间滤波器221被输入由运动画面初始图像生成单元201生成的作为前述混合结果的运动画面超分辨率初始图像，并执行对空间分辨率的劣化的模拟处理。这里，通过使用预先测定的点扩展函数作为滤波器来对图像执行卷积。此处理对应于前述超分辨率收敛公式(公式11)中的计算模糊(H)的处理(参考图5的(1))。

向下采样处理器222对此高分辨率图像执行向下采样处理，以减小到与输入图像相等的分辨率。此处理对应于在前述超分辨率收敛公式(公式11)中的计算相机分辨率(D)的处理(参考图5的(1))。

之后，减法器223计算向下采样处理器222的输出和低分辨率图像g_t之间的每个像素的差值。

向上采样处理器224对此差值执行向上采样处理。此处理对应于在前述超分辨率收敛公式(公式11)中的计算相机分辨率(D)的转置矩阵(D^T)的处理(参考图5的(1))，并且此向上采样处理是在零阶保持器中被执行的。

逆空间滤波器225执行与在前述超分辨率收敛公式(公式11)中的计算模糊(H)的转置矩阵(H^T)的处理相对应的处理(参考图5的(1))。根据此操作，此处理对应于对于被用作空间滤波器221的点扩展函数(PSF)的校正的计算。逆空间滤波器225的输出被输入到加法器214。

在图10所示的运动画面超分辨处理器202中，其他配置，即图像质量控制器212和比例计算器215执行与对应于静止图像的超分辨处理器113的图像质量控制器123(参考图6)和比例计算器126(参考图7)的处理相同的处理。

换句话说，如上述在图6中所示出的，图像质量控制器212被配置有拉普拉斯变换部件141，并且执行在图6的(1)中所示的前述超分辨率收敛公式(公式11)中的下划线部分中的计算，即与计算处理L^TLf_m相应的处理。

此拉普拉斯变换部件被输入由运动画面初始图像生成单元201生成的作为前述混合结果的运动画面超分辨率初始图像，并且对此运动画面超分辨率初始图像应用拉普拉斯算子(L)两次，以将处理结果输出到在图10中所示的乘法器213。

比例计算器215使用最陡下降法来确定用于图像收敛计算中的梯度矢量的比例。换句话说，比例计算器215确定在图7的(1)中所示的前述超分辨率收敛公式(公式11)中的系数β。

比例计算器215被输入来自在图10中所示的加法器214的梯度矢量((a)在图7的(1)中所示的前述超分辨率收敛公式(公式11)中的梯度矢量(Va))并且还被输入由运动画面初始图像生成单元201生成的作为前述混合结果的运动画面超分辨率初始图像。

比例计算器215基于这些输入获得系数β，以使得如在图7的(2)中所示的前述公式(公式10)所描述的成本计算公式中表达的成本E(f_m+1)最小化。

作为计算系数β的处理，一般通过使用诸如二分法搜索的方法来计算用于最小化的系数β。另外，在希望计算成本减少的情况中，可以使用无论输入如何都输出恒定数的配置。

结果，可以设置最小成本的系数β被确定。随后的处理与作为对应于静止图像的处理示例的上面参考图7所描述的处理相同。

换句话说，在图10中所示的比例计算器215的结果(β)被输出到乘法器216。乘法器216将所获得的作为加法器214的输出的梯度矢量(Va)(参考图7的(1))与比例计算器215的输出值(β)相乘，并且将β(Va)输出到加法器217。加法器217执行从由运动画面初始图像生成单元201生成的作为前述混合结果的运动画面超分辨率初始图像f₀减去作为来自乘法器216的输入的β(Va)的处理，并且输出此超分辨处理结果f_t。

换句话说，f_t＝f₀-β(Va)。

超分辨处理结果f_t基于上述公式被计算出。此公式对应于在图7的(1)中所示的前述超分辨率收敛公式(公式11)。

运动画面超分辨处理器202输出此超分辨处理结果并将此超分辨处理结果存储到图像缓存器203。

(2b)学习型超分辨方法的概要

接着，描述学习型超分辨方法的概要。

学习型超分辨方法是这样一种方法，其对在模拟等中生成的假定输入图像(低分辨率图像)和理想图像(高分辨率图像)进行比较，生成用于从低分辨率图像生成高分辨率图像的习得数据，并且通过使用习得数据将作为新输入图像的低分辨率图像变换成高分辨率图像的方法。

参考图12和之后的图来描述执行学习型超分辨方法的图像处理设备的配置和处理的概要。

在执行学习型超分辨处理的情况中，作为预备，习得数据被必要地生成。首先，参考图12描述学习数据生成处理。

图12示出学习数据生成单元300的配置示例。

学习数据生成单元300被输入作为高分辨率图像的理想图像351，并且生成作为虚拟劣化图像的低分辨率图像352。理想图像351和低分辨率图像352被作为用于学习的数据。例如，在图13中所示的学习处理执行单元320通过使用上述数据执行学习处理来生成习得数据。

如在图12中所示，学习数据生成单元300包括模糊处理器(模糊)301和低分辨处理器(low resolving processor)(抽取)302。模糊处理器(模糊)301被输入作为高分辨率图像的理想图像351来执行模糊处理，并且低分辨处理器(抽取)302执行低分辨处理以生成作为虚拟劣化图像的低分辨率图像352。

作为高分辨率图像的理想图像351和作为虚拟劣化图像的低分辨率图像352的许多组合被生成，并且在图13中所示的学习处理执行单元320中使用这些组合来执行学习处理，从而生成习得数据。

参考图13来描述学习处理执行单元320的学习处理。

学习处理执行单元320被顺次输入由学习数据生成单元300生成的低分辨率图像352和理想图像351的图像对，生成习得数据，并且将习得数据存储在数据库(DB)325中。

块分割器321和322执行与理想图像351和低分辨率图像352相对应的块(局部区域)分割。

图像特征量提取器323提取从低分辨率图像352选择的块(局部区域)的图像特征。稍后描述提取处理的细节。

转换滤波器系数导出部件324被输入从理想图像351和低分辨率图像352提取的相应块，并且计算用于执行用于从低分辨率图像352生成理想图像351的扩展处理的最优转换滤波器系数(滤波器抽头(tap)等)。

数据库(DB)325存储由图像特征量提取器323生成的以块为单位的图像特征量以及由转换滤波器系数导出部件324生成的转换滤波器系数。

参考图14来描述由图像特征量提取器323执行的图像特征量提取处理的细节。如在图14中所示，图像特征量提取器323包括矢量转换部件331和量化处理器332。

矢量转换部件331将由块分割器321选择的作为低分辨率图像352的局部区域图像数据的块图像337变换成一维矢量338。

此外，量化处理器332对此一维矢量338的每个矢量元素执行诸如量化的变换，以生成量化矢量339。通过此计算获得值被设定为此局部图像(块)的特征量。特征量数据被作为习得数据存储在数据库325中。

作为以块为单位的特征量数据的量化矢量和与对应于块的转换滤波器系数相对应的数据被存储在数据库(DB)325中。

接着，参考图15描述使用习得数据执行学习型超分辨处理的学习型超分辨处理执行单元的配置和处理。

在图15中所示的学习型超分辨处理执行单元340被输入作为超分辨处理的执行对象的低分辨率图像371，使用存储在数据库343中的习得数据来执行超分辨处理，以生成高分辨率图像372，并且输出此高分辨率图像372。

首先，块分割器341被输入作为超分辨处理的执行对象的低分辨率图像371，并且分割成块(小区域)。

图像特征量提取器342以块为单位提取图像特征量。此特征量与参考图14描述的那些量化矢量数据相同。

转换滤波器系数选择器344从数据库(DB)343的输入数据搜索和对应于由图像特征量提取器342提取的块的特征量(量化矢量数据)最相似的数据。

数据库(DB)343对应于参考图13描述的数据库(DB)325。数据库(DB)343是存储作为以块为单位的特征量数据的量化矢量以及与对应于块的转换滤波器系数相对应的数据的数据库。

转换滤波器系数选择器344从数据库343选择性地提取和与由图像特征量提取器342所提取的对应于块的特征量(量化矢量数据)具有最大似然性的转换滤波器系数，并且将此转换滤波器系数输出到滤波器应用部件345。

滤波器应用部件345通过使用以从转换滤波器系数选择器344提供来的转换滤波器系数设定的滤波器处理来执行数据转换处理，并且生成成为高分辨率图像372的构成块的局部图像。

块组合器346将从滤波器应用部件345顺次输出的块相组合以生成高分辨率图像372。

按照这样的方式，在使用学习型超分辨处理的高分辨率图像生成处理中，在模拟等中生成的假定输入图像(低分辨率图像)被与理想图像(高分辨率图像)比较，用于从低分辨率图像生成高分辨率图像的习得数据被生成，并且作为新的输入图像的低分辨率图像通过使用此习得数据被变换成高分辨率图像。

(2c)超分辨方法的问题

如上所述，作为从低分辨图像生成高分辨率图像的方法，有如下的方法。

(a)重构型超分辨方法

(b)学习型超分辨方法

然而，对于重构型超分辨方法(a)，虽然一般而言可以预期到较高性能，但是也存在如下制约

“必需要输入多个低分辨率图像”

“在输入图像的频带等方面存在限制”

在可能获得了没有满足这些制约条件的输入图像(低分辨率图像)的情况中，存在不能充分发挥重构性能从而可能不能生成足够高分辨率图像的问题。

按照这种方式，由于重构型超分辨方法基于多个图像的使用，所以在存在单个输入图像或少量输入图像的情况中，其效果有限。

另外，在重构型超分辨方法中，根据实际效果执行如下处理。

(a)基于输入画面中的混淆(aliasing)成分(混淆)对高频成分(等于或大于奈奎斯特(Nyquist)频率)的成分估计

(b)减少低频成分(等于或小于奈奎斯特频率)中的混淆成分(混淆)并且恢复高频成分(等于或大于奈奎斯特频率)

然而，在存在少量输入图像的情况中，存在不能适当地执行对混淆成分(混淆)的估计的问题。另外，类似地，即使在因输入图像中的极端劣化而导致不可能检测出输入图像中的混淆成分的情况中，也存在高频性能不足够的情况。

因此，在重构型超分辨方法中，在多个输入图像被使用并且因采样而导致发生混淆失真的情况中，可以预期到大效果。然而，在有少量输入图像的情况中或者在输入图像中没有混淆失真的情况中，具有分辨率提高效果低的缺点。

另一方面，对于学习型超分辨方法(b)，虽然因输入图像数目和这些输入图像的性质引起的制约被减少并被稳定化，但是存在最后获得的高分辨率图像的峰性能不及重构型超分辨的问题。

在学习型超分辨方法(b)中，在习得数据足够并且在选择习得数据时的参考信息足够的情况中，可以获得大效果。

然而，实践中，存在如下局限性。

习得数据的数据量具有上限

在选择习得数据时的参考信息方面存在限制

由于这些局限性，在学习型超分辨方法中，作为以块为单位的处理的组合的结果生成最后的高分辨率图像，因而整体平衡可能被劣化。因此，存在可能不能获得充分的分辨率提高效果的情况。

[3.根据本发明的超分辨方法的实施例]

下面，描述根据本发明的超分辨方法的实施例。根据本发明的图像处理设备执行利用了重构型超分辨方法和学习型超分辨方法的优点的超分辨方法。首先，描述根据本发明的超分辨处理的概要。

根据本发明的实施例的图像处理设备执行以下超分辨率收敛公式(公式12)中的处理，超分辨收敛公式(公式12)是通过修改如前述公式(公式11)描述的超分辨率收敛公式而得到的。

$f_{m+1}=f_m-\mathrm{\β}(\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{W_k}^T{H}^T{D}^T({\mathrm{DHW}}_k{f}_m-g_k)+\mathrm{\α}{L}^{T}L{f}_m)$

$=f_m-\mathrm{\β}(\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{(W_k}^T{H}^T{D}^T{\mathrm{DHW}}_k{f}_m-{W_k}^T{H}^T{D}^T{g}_k)+\mathrm{\α}{L}^{T}L{f}_m)$

$=f_m-\mathrm{\β}(\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left({W_k}^T{H}^T{D}^T{\mathrm{DHW}}_k{f}_m\right)-\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left({W_k}^T{H}^T{D}^T{g}_k\right)+\mathrm{\α}{L}^{T}L{f}_m)$

(公式12)

在该超分辨率收敛公式(公式12)中，α是图像处理(超分辨处理)中的任意用户设置参数。T表示转置矩阵。

根据上述关系式(公式12)，可以通过梯度方法获得用于最小化成本E(f)的理想图像(f)。

在此超分辨率收敛公式(公式12)中，(H^TD^T)和(DH)具有与作为该图像处理设备的处理的如下处理的执行相对应的意义。

DH：应用向下采样滤波器的处理

H^TD^T：应用向上采样滤波器的处理

在前述超分辨率收敛公式(公式12)中表达的模型公式计算出的简单向下采样和向上采样处理得出了数学上正确的结果。然而，存在这些结果不一定与主观估计相一致的情况。

在本发明中，从此模型公式计算出的简单向下采样处理被使用习得数据的缩小处理替代，并且向上采样处理被使用同样的习得数据的扩大处理或学习型超分辨处理替代，从而超分辨结果的主观结果被改善。通过使用此方法，在输入图像的数目较小或者即使在输入图像被极端劣化的情况中，也能够预期到图像质量改善的效果。

下面，顺次描述根据本发明的多个实施例(第一到第三实施例)的超分辨处理。

((3a)第一实施例)

首先，参考图16到19描述根据本发明的第一实施例的图像处理设备。

图16是示出图像处理设备500的整体配置的示图。

图17是示出在图16中所示的图像处理设备500中的超分辨处理器503的详细配置的示图。

图18是示出在图17中所示的超分辨处理器503中的高频估计器521的详细配置的示图。

图19是示出在图17中所示的超分辨处理器503中的比例计算器526和周边计算器的输入/输出数据的细节的示图。

在图16中所示的图像处理设备500具有与参考图3描述的执行重构型超分辨处理的图像处理设备110的配置相同的配置。图像处理设备500包括初始图像生成单元501、开关502、超分辨处理器503和收敛判断部件504。

在根据本发明的图像处理设备500中，在超分辨处理器503中构造的高频估计器521的配置与前述现有技术中的配置不同，因此不同的处理被执行。

在图16中所示的图像处理设备500被输入多个(n个)低分辨率图像g₁到g_n，并且输出一个高分辨率图像f_m。在图16中所示的g₁，g₂，…，g_n表示n个低分辨率图像。

初始图像生成单元501设置超分辨处理结果的初始值。此初始值可以是任意值。例如，低分辨率图像g₁被输入，并且g₁被扩大了的图像被输出。

开关502仅在第一次执行时被转到初始图像生成单元501的输出侧，并且在其他情况中，开关502被操纵以使得收敛判断部件504的前一时间的输出被输入到超分辨处理器503。

超分辨处理器503被输入n个低分辨率图像g₁，g₂，g₃…g_n以及来自开关502的图像，并且将结果输出到收敛判断部件504。稍后描述超分辨处理器503的细节。

收敛判断部件504被输入超分辨处理器503的输出并且判断是否执行了充分收敛。在从超分辨处理器503的结果判定执行了充分收敛的情况中，收敛判断部件504将处理的结果输出到外部部件并停止处理。在判定处理不充分的情况中，上述数据通过开关502被输入到超分辨处理器503，并且再次执行计算。例如，收敛判断部件504提取最新的处理结果与前一时间的处理结果之间的差，并且在此差等于或小于预定值的情况下，判定收敛被执行了。替代地，在处理的数目达到预定的处理数目的情况中，判定收敛被执行了，并且处理结果被输出。

参考图17来描述超分辨处理器503的配置和处理的细节。另外，在图17中所示的超分辨处理器503的配置基本与上面参考图4描述的超分辨处理器113的配置相同。然而，高频估计器521的配置与前述现有技术中的配置不同，因而执行不同的处理。

如图17中所示，超分辨处理器503包括多个高频估计器521、图像质量控制器523、比例计算器526和诸如加法器522、525、528以及乘法器524、527的计算器。

超分辨处理器503被输入来自在图16中所示的开关502的输入，即，多个(n个)低分辨率图像g₁，g₂，…g_n并且将处理结果输出到收敛判断部件504。另外，超分辨处理器503被输入用户设置值α作为图像调整参数。

每个高频估计器521被输入低分辨率图像g₁，g₂，…g_n之一和作为来自开关502的输入的作为中间重构结果的图像，并且将处理结果输出到加法器522。每个高频估计器521计算用于恢复图像的高频的校正值。稍后描述高频估计器521的处理的细节。

加法器522将高频估计器521的结果相加并且将处理结果输出到加法器525。

图像质量控制器523计算要被用于基于预先建立的图像模型的理想图像的像素值的控制值。图像质量控制器523的输出被输入到乘法器524。

乘法器524将图像质量控制器523的输出与用户设置值α相乘。最后图像的图像质量根据用户设置值α的值来被控制。另外，在该图中所示的配置中，引入用户设置值以执行对图像质量的控制。然而，在没有问题发生的情况中可以使用固定值。

加法器525将加法器522的输出和乘法器524的输出相加并且将计算结果输出到比例计算器526和乘法器527。比例计算器526被输入来自开关512的中间计算结果和来自加法器525的像素值控制信号，以确定用于最后控制值的比例值。比例计算器526的结果被输出到乘法器527。乘法器527将加法器525的控制值与比例计算器526的输出值相乘，并且将计算结果输出到加法器528。加法器528从来自开关502的中间处理结果中减去乘法器527的结果，并且将此结果输出到收敛判断部件504。

参考图18来描述在图17中所示的超分辨处理器503中设置的多个高频估计器521中的每个的详细配置和处理。

高频估计器521执行前述超分辨率收敛公式(公式12)中与图18的(1)中所示的下划线部分的计算处理相应的处理。

运动检测器601被输入来自开关502的高分辨率图像和低分辨率图像g_k，以检测这两个图像之间的运动大小。更具体地，运动检测器601计算运动矢量。

另外，作为预备，因为这两个图像之间的运动是不同的，所以分辨率变换器602(例如，由向上采样滤波器构成)对低分辨率图像g_k执行向上采样处理，并且执行合成对于要生成的高分辨率图像的分辨率的处理。

运动校正器(MC)603被输入来自开关502的高分辨率图像和来自运动检测器601的运动矢量，并且对输入的高分辨率图像执行转换。该处理对应于在图18的(1)中所示的前述超分辨率收敛公式(公式12)中的计算运动(W_k)的处理。

空间滤波器604执行对空间分辨率的劣化的模拟处理。这里，通过使用预先测定的点扩展函数作为滤波器来对此图像执行卷积。此处理对应于在图18的(1)中所示的前述超分辨率收敛公式(公式12)中的计算模糊(H)的处理。

向下采样处理器605对此高分辨率图像执行向下采样处理，以减小到与输入图像相等的分辨率。此处理对应于在图18的(1)中所示的前述超分辨率收敛公式(公式12)中的计算相机分辨率(D)的处理。

在向下采样处理器605中通过对高分辨率图像进行向下采样而生成的低分辨率图像被输入到学习型超分辨处理器606。

学习型超分辨处理器606具有与上面参考图15描述的学习型超分辨处理执行单元340的配置相同的配置，因此相同的处理被执行。

通过对从向下采样处理器605提供的向下采样而生成的低分辨率图像对应于在图15中所示的低分辨率图像371。学习型超分辨处理器606使用预先存储在数据库中的习得数据执行学习型超分辨处理来生成高分辨率图像。换句话说，学习型超分辨处理器606生成此高分辨率图像作为与在图15中所示的高分辨率图像372相对应的数据。

同时，学习型超分辨处理器608被输入作为对高频估计器521的输入的低分辨率图像(g_k)。学习型超分辨处理器608具有上面参考图15所描述的学习型超分辨处理执行单元340的配置相同的配置，因此相同的处理被执行以生成高分辨率图像。

另外，学习型超分辨处理器606和学习型超分辨处理器608按照使用习得数据的学习型超分辨处理来执行向上采样处理，习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是低分辨率图像和基于低分辨率图像生成的高分辨率图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述低分辨率图像变换成所述高分辨率图像的图像转换信息。

另外，学习型超分辨处理器606和学习型超分辨处理器608可以具有其中只是输入数据不同但是相同处理被同时执行的配置，或者其中使用习得数据的单独的处理被执行或对于每个处理优化的算法被执行的配置。

通过这些处理，学习型超分辨处理器606生成了第一高分辨率图像，并且学习型超分辨处理器608生成了第二高分辨率图像。

由学习型超分辨处理器606生成的第一高分辨率图像是通过输入通过对从开关502输入的高分辨率图像进行向下采样处理所生成的低分辨率图像并且执行学习型超分辨处理而生成的高分辨率图像。

由学习型超分辨处理器608生成的第二高分辨率图像是通过输入被输入到高频估计器521的低分辨率图像(g_k)并且执行学习型超分辨处理而生成的高分辨率图像。

由学习型超分辨处理器606生成的第一高分辨率图像和由学习型超分辨处理器608生成的第二高分辨率图像被输入到逆运动校正器607和609。

逆运动校正器607和609中的每个对此高分辨率图像中的每个上的运动执行逆校正。作为针对运动校正器603的运动校正处理的偏移的逆运动校正被执行。

加法器610从逆运动校正器607的输出减去逆运动校正器609的输出。换句话说，通过输入通过对从开关502输入的高分辨率图像进行向下采样处理所生成的低分辨率图像并且执行学习型超分辨处理而生成的第一高分辨率图像和通过输入被输入到高频估计器521的低分辨率图像(g_k)并且执行学习型超分辨处理而生成的第二高分辨率图像之间的逆运动校正图像的差分数据被生成。此差分数据被输出到加法器522。

另外，如在图18中所示，逆运动校正器607的输出和逆运动校正器609的输出对应于在图18的(1)中所示的前述超分辨率收敛公式(公式12)中的如下数据。

逆运动校正器607的输出对应于超分辨率收敛公式(公式12)的W_k ^TH^TD^TDHW_kf_m，并且逆运动校正器609的输出对应于超分辨率收敛公式(公式12)的W_k ^TH^TD^Tg_k。

如在图17中所示的，加法器522被输入高频估计器521的输入了不同的低分辨率图像g₁到g_n的输出，并且将高频估计器521的这些输出相加。加法器522的输出为(∑(W_k ^TH^TD^TDHW_kf_m)-∑(W_k ^TH^TD^Tg_k))，其是超分辨率收敛公式(公式12)中的前述部分的数据，即与在图19的(1)中所示的梯度矢量(Va)的部分相对应的数据。

按照这样的方式，加法器522将高频估计器521的结果相加并且将处理结果输出到加法器525。

图像质量控制器523计算要被用于基于预先建立的图像模型的理想图像的像素值的控制值。图像质量控制器523的输出被输入到乘法器524。

乘法器524将图像质量控制器523的输出与用户设置值α相乘。最后图像的图像质量根据用户设置值α的值来被控制。

乘法器524的输出对应于超分辨率收敛公式(公式12)中的αL^TLf_m。

另外，在该图中所示的配置中，引入用户设置值以执行对图像质量的控制。然而，在没有问题发生的情况中可以使用固定值。

参考图19来描述加法器525、比例计算器526等的处理。加法器525将加法器522的输出和乘法器524的输出相加并且将计算结果输出到比例计算器526和乘法器527。比例计算器526被输入来自开关512的中间计算结果和来自加法器525的像素值控制信号，并且确定用于最后控制值的比例值。

比例计算器526使用最陡下降法来确定用于图像收敛计算中的梯度矢量的比例(系数β)。换句话说，比例计算器526确定在图19的(1)中所示的前述超分辨率收敛公式(公式12)中的系数β。此系数β是用于在图19的(1)中所示的前述超分辨率收敛公式(公式12)中的梯度矢量(Va)的乘法系数。

比例计算器526被输入来自加法器525的梯度矢量((a)在图19的(1)中所示的前述超分辨率收敛公式(公式12)中的梯度矢量(Va))并且通过开关502接收中间收敛图像((b)在图19的(1)中所示的前述超分辨率收敛公式(公式12)中的中间收敛图像(f_m))。

比例计算器526基于这些输入获得系数β，以使得如在图19的(2)中所示的前述公式(公式10)所描述的成本计算公式中表达的成本E(f_m+1)最小化。

作为计算系数β的处理，一般通过使用诸如二分法搜索的方法来计算用于最小化的系数β。另外，在希望计算成本减少的情况中，可以使用无论输入如何都输出恒定数的配置。

比例计算器526的结果(β)被输出到乘法器527。乘法器527将所获得的作为加法器525的输出的梯度矢量(Va)与比例计算器526的输出值(β)相乘，并且将β(Va)输出到加法器528。加法器528执行从自开关502输入作为超分辨处理的中间处理结果的、作为第m个超分辨处理结果的超分辨处理图像f_m减去作为来自乘法器527的输入的β(Va)的处理，并输出第(m+1)个超分辨处理结果f_m+1。

换句话说，f_m+1＝f_m-β(Va)。

第m+1个超分辨处理结果f_m+1基于上述公式被计算出。此公式对应于在图19的(1)中所示的前述超分辨率收敛公式(公式12)。

超分辨处理器503将第m+1个超分辨处理结果，即f_m+1＝f_m-β(Va)，输出到收敛判断部件504。

收敛判断部件504被输入来自超分辨处理器503的第m+1个超分辨处理结果，即f_m+1＝f_m-β(Va)，并且基于此输入判断是否执行了充分收敛。

在从超分辨处理器503的结果判定执行了充分收敛的情况中，收敛判断部件504将此处理的结果输出到外部部件并停止此处理。在判定处理不充分的情况中，上述数据通过开关502被输入到超分辨处理器503，并且再次执行计算。例如，收敛判断部件504提取最新的处理结果与前一时间的处理结果之间的差，并且在此差等于或小于预定值的情况下，判定收敛被执行了。替代地，在处理的数目达到预定的处理数目的情况中，判定收敛被执行了并且处理结果被输出。

((3b)第二实施例)

接着，参考图20来描述根据本发明的第二实施例的图像处理设备。

在第二实施例中，除了第一实施例中的高频估计器521的配置被修改了以外，基本配置与第一实施例的那些相同。

根据第二实施例的图像处理设备的基本配置与在图16中所示的第一实施例的那些相同。

超分辨处理器503的配置也与在图17中所示的第一实施例的那些相同。

超分辨处理器503中的高频估计器521的配置与第一实施例(图18)的高频估计器521的配置不同。第二实施例中的配置在图20中被示出。

参考图20来描述根据第二实施例的高频估计器521的配置和处理。

此高频估计器521执行前述超分辨率收敛公式(公式12)中与在图18(1)中所示的下划线部分的计算处理相对应的处理。

运动检测器651被输入在图16中所示的图像处理设备500中来自开关502的高分辨率图像和低分辨率图像g_k，以检测这两个图像之间的运动大小。更具体地，运动检测器651计算运动矢量。

另外，作为预备，因为这两个图像之间的运动是不同的，所以分辨率变换器652(例如，向上采样滤波器)对低分辨率图像g_k执行向上采样处理，并且执行合成对于要生成的高分辨率图像的分辨率的处理。

运动校正器(MC)653被输入来自开关502的高分辨率图像和来自运动检测器601的运动矢量，并且对输入的高分辨率图像执行转换。该处理对应于在图18(1)中所示的前述超分辨率收敛公式(公式12)中的计算运动(W_k)的处理。

空间滤波器654执行对空间分辨率的劣化的模拟处理。这里，通过使用预先测定的点扩展函数作为滤波器来对此图像执行卷积。此处理对应于在图18(1)中所示的前述超分辨率收敛公式(公式12)中的计算模糊(H)的处理。

向下采样处理器655对此高分辨率图像执行向下采样处理，以减小到与输入图像相等的分辨率。此处理对应于在图18(1)中所示的前述超分辨率收敛公式(公式12)中的计算相机分辨率(D)的处理。

在向下采样处理器655中通过对高分辨率图像进行向下采样而生成的低分辨率图像被输入到减法器656。

减法器656计算由向下采样处理器655生成的低分辨率图像和输入到高频估计器521的低分辨率图像之间每个像素的差值。

作为减法器656计算出的差值的差分图像被输入到学习型超分辨处理器657。

学习型超分辨处理器657具有与上面参考图15所描述的学习型超分辨处理执行单元340的配置相同的配置，因此相同的处理被执行。然而，在本情况中，执行对不同的图像的处理。

由减法器656生成的差分图像数据，即，以通过对高分辨率图像进行向下采样而生成的低分辨率图像和输入的低分辨率图像g_k之间的像素差值构建的差分图像数据，对应于在图15中所示的低分辨率图像371。

学习型超分辨处理器657使用预先存储在数据库中的习得数据执行学习型超分辨处理来生成以此差分数据构建的高分辨率图像。换句话说，学习型超分辨处理器657生成以此差分数据构建的高分辨率差分图像作为与在图15中所示的高分辨率图像372相对应的数据。

另外，存储在数据库中的、用于学习型超分辨处理的习得数据是用于从以低分辨率图像中的像素差值构建的差分图像数据生成对应于高分辨率差分图像的差分数据的习得数据。

按照这样的方式，学习型超分辨处理器657在对经过向下采样处理的图像和作为超分辨处理的处理对象图像输入的低分辨率图像之间的差分图像的向下采样处理中执行学习型超分辨处理，所述经过向下采样处理的图像通过对以高分辨率图像构建的经过处理的图像的向下采样处理而被变换为具有与低分辨率图像相同的分辨率。

另外，学习型超分辨处理器657使用习得数据按照学习型超分辨处理来执行向上采样处理，所述习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是低分辨率图像和基于低分辨率图像生成的高分辨率图像之间的差分图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述差分图像变换成高分辨率差分图像的图像转换信息。

由学习型超分辨处理器657生成的高分辨率差分图像数据被输入到逆运动校正器658。

逆运动校正器658对作为此差分图像的高分辨率图像执行逆校正。作为相对运动校正器603的运动校正处理的偏移的逆运动校正被执行。此差分数据被输出到加法器522。

逆运动校正器658的输出是与在上述第一实施例中的图18中所示的高频估计器521的加法器610的输出相对应的数据。

换句话说，第二实施例与第一实施例的不同在于：在第一实施例中，不是对图像差分数据而是对单独的图像执行学习型超分辨处理，并且执行计算所产生的差的处理，而在第二实施例中，差分数据被预先生成，并且对此差分数据执行学习型超分辨处理。

对于在将差分数据输入到加法器522之后的处理，第二实施例的处理与第一实施例的那些处理相同，因此省略对它们的描述。

如上所述，在第一和第二实施例中，向上采样处理被配置为按照使用习得数据的学习型超分辨处理。

在第一实施例中，作为从低分辨率图像生成高分辨率图像的处理而执行的向上采样处理被配置为按照使用习得数据的学习型超分辨处理而被执行。

另外，在第二实施例中，用于低分辨率图像之间的差分图像的向上采样处理被配置为按照使用习得数据的学习型超分辨处理而被执行。

换句话说，如图18或图20所示，在图16中所示的根据第一和第二实施例的图像处理设备500的超分辨处理器503包括高频估计器，高频估计器生成被输入作为超分辨处理的处理对象图像的低分辨率图像与超分辨处理的中间处理图像或经过处理的图像(即，初始图像)之间的差分图像信息。另外，如图19中所示，超分辨处理器503包括比例计算器526、以加法器、乘法器等构建的计算器，比例计算器526通过对从高频估计器输出的差分图像信息和经过处理的图像的计算处理来执行对经过处理的图像的更新处理。

如上参考图18或图20所述，高频估计器在差分图像信息生成处理中执行使用习得数据的学习型数据处理。

例如，向上采样处理按照使用习得数据的学习型超分辨处理被执行，从而改善超分辨处理的主观结果。另外，在输入的低分辨率图像较少或者即使在输入图像被极端劣化的情况中，也可以生成图像质量具有较少劣化的高分辨率图像。

如上所述，在只使用重构型超分辨方法的情况中，如下处理被执行作为向上采样处理。

(a)基于输入画面中的混淆成分(混淆)对高频成分(等于或大于奈奎斯特频率)的成分估计

(b)减少低频成分(等于或小于奈奎斯特频率)中的混淆成分(混淆)并且恢复高频成分(等于或大于奈奎斯特频率)

然而，在存在少量输入图像的情况中，存在不能适当地执行对混淆成分(混淆)的估计的问题。另外，类似地，即使在因输入图像中的极端劣化而导致不可能检测出输入图像中的混淆成分的情况中，也存在高频性能不足够的情况。

在本发明的配置中，在向上采样处理时，使用习得数据的学习型超分辨处理被配置以执行，并且可以在不发生如上所述重够型超分辨处理中的缺陷的情况下执行向上采样处理。

((3c)第三实施例)

接着，参考图21和之后的示图来描述根据本发明的第三实施例的图像处理设备。在第三实施例中，图像处理设备执行处理对象被指定为运动画面的情况的超分辨处理。

根据第三实施例的图像处理设备的基本配置与在参考图8所描述的执行重构型超分辨处理的图像处理设备200的那些相同。

然而，在根据第三实施例的图像处理设备中的高频估计器的配置和处理与图像处理设备200的高频估计器的配置和处理不同。

参考图21来描述根据第三实施例的图像处理设备的基本配置。

如在图21中所示，图像处理设备700包括运动画面初始图像生成单元701、运动画面超分辨处理器702和图像缓存器703。

在对运动画面的处理中，使用如下定义。

g_t：在时间点t时的低分辨率运动画面的一个帧

f_t：在时间点t时的高分辨率运动画面的一个帧

按照这样的方式，低分辨率图像g_t被设定为在时间点t时的低分辨率运动画面的一个帧，并且高分辨率图像f_t是作为对此低分辨率图像g_t应用超分辨处理的结果而获得的高分辨率图像。

在图21中所示的图像处理设备700中，低分辨率图像g_t被输入到运动画面初始图像生成单元701和运动画面超分辨处理器702。

运动画面初始图像生成单元701被输入在前帧运动画面超分辨处理结果(f_t-1)和(g_t)，并且将所生成的初始图像输出到运动画面超分辨处理器702。稍后描述运动画面初始图像生成单元701的细节。

运动画面超分辨处理器702通过将低分辨率图像(g_t)应用到输入的初始图像来生成高分辨率图像(f_t)并且输出此高分辨率图像(f_t)。稍后描述运动画面超分辨处理器702的细节。

从运动画面超分辨处理器702输出的高分辨率图像被输出到图像缓存器703，同时被输出到外部部件，从而使得此高分辨率图像用于对下一帧的超分辨处理。

接着，参考图22描述运动画面初始图像生成单元701的详细配置和处理。运动画面初始图像生成单元701被输入在前帧运动画面超分辨处理结果(f_t-1)和(g_t)，并且将所生成的初始图像输出到运动画面超分辨处理器702。

首先，通过以例如向上采样滤波器构造的分辨率变换器706执行向上采样处理来执行对低分辨率图像g_t的分辨率进行组合并生成要生成的高分辨率图像的处理。

运动检测器705检测在前帧高分辨率图像f_t-1和经过向上采样的低分辨率图像g_t之间的运动大小。更具体地，运动检测器705计算运动矢量。

在运动校正器(MC)707中，运动校正器(MC)707通过使用由运动检测器705检测出的运动矢量来对高分辨率图像f_t-1执行运动校正处理。因此，对高分辨率图像f_t-1执行了运动校正处理，从而生成其中对象的位置被设置为与经过向上采样的低分辨率图像g_t中一样的运动校正图像。

MC未应用区域检测器708通过将由运动校正(MC)处理所生成的高分辨率图像与经过向上采样的低分辨率图像进行比较来检测没有很好地应用运动校正(MC)的区域。MC未应用区域检测器708以像素为单位设定MC应用的适当性信息α[0:1]，并且输出此适当性信息。

混合处理器709被输入由运动校正器(MC)707生成的对于高分辨率图像f_t-1的运动校正结果图像、在分辨率变换器706中通过对低分辨率图像g_t进行向上采样而得到的经过向上采样的图像以及由MC未应用区域检测器708检测到的MC未应用区域检测信息。

混合处理器709通过使用上述输入信息基于如下公式输出作为混合结果的运动画面超分辨初始图像。

运动画面超分辨初始图像(混合结果)＝(1-α)(经过向上采样的图像)+α(运动校正结果图像)

接着，参考图23描述在图21中所示的执行重构型超分辨处理的图像处理设备700中的运动画面超分辨处理器702的配置和处理。如图23中所示，运动画面超分辨处理器702包括运动画面高频估计器711、图像质量控制器712、比例计算器715和诸如加法器714、717以及乘法器713、716之类的计算器。

运动画面超分辨处理器702被输入作为来自图21中所示的运动画面初始图像生成单元701的前述混合结果的运动画面超分辨率初始图像。换句话说，运动画面超分辨处理器702被输入混合的结果，即“运动画面超分辨初始图像(混合结果)＝(1-α)(经过向上采样的图像)+α(运动校正结果图像)”。

此外，运动画面超分辨处理器702被输入低分辨率图像g_t和作为图像调整参数的用户设置值α，以生成作为处理结果的高分辨率图像(f_t)并且输出此高分辨率图像(f_t)。

参考图24来说明运动画面超分辨处理器702中的运动画面高频估计器711的详细配置和处理。运动画面高频估计器711计算用于恢复图像的高频的校正值。运动画面高频估计器711被输入由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像和低分辨率图像(g_t)，并且将处理结果输出到加法器714。

在图24中所示的空间滤波器801被输入由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像，并执行对空间分辨率的劣化的模拟处理。这里，通过使用预先测定的点扩展函数作为滤波器来对图像执行卷积。此处理对应于前述超分辨率收敛公式(公式12)中的计算模糊(H)的处理(参考图18(1))。

向下采样处理器802对此高分辨率图像执行向下采样处理，以减小到与输入图像相等的分辨率。此处理对应于在前述超分辨率收敛公式(公式12)中的计算相机分辨率(D)的处理(参考图18(1))。

之后，通过在向下采样处理器802中对高分辨率图像的向下采样而生成的低分辨率图像被输入到学习型超分辨处理器803。

学习型超分辨处理器803具有与上面参考图15所示的学习型超分辨处理执行单元340的配置相同的配置，因此相同的处理被执行。

从向下采样处理器802提供的向下采样而生成的低分辨率图像对应于在图15中所示的低分辨率图像371。学习型超分辨处理器803使用预先存储在数据库中的习得数据来执行学习型超分辨处理来生成高分辨率图像。换句话说，学习型超分辨处理器803生成诸如与在图15中所示的高分辨率图像372相对应的数据的高分辨率图像。

同时，学习型超分辨处理器804被输入作为对运动画面高频估计器711的输入的低分辨率图像(g_t)。学习型超分辨处理器804具有上面参考图15所描述的学习型超分辨处理执行单元340的配置相同的配置，因此相同的处理被执行以生成高分辨率图像。

另外，学习型超分辨处理器803和学习型超分辨处理器804按照使用习得数据的学习型超分辨处理来执行向上采样处理，习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是低分辨率图像和基于低分辨率图像生成的高分辨率图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述低分辨率图像变换成所述高分辨率图像的图像转换信息。

另外，学习型超分辨处理器803和学习型超分辨处理器804可以具有其中只是输入数据不同但是相同处理被同时执行的配置，或者其中使用习得数据的单独的处理被执行或对于每个处理优化的算法被执行的配置。

通过这些处理，学习型超分辨处理器803生成了第一高分辨率图像，并且学习型超分辨处理器804生成了第二高分辨率图像。

由学习型超分辨处理器803生成的第一高分辨率图像是通过输入通过对从运动画面初始图像生成单元701输入的初始超分辨图像进行向下采样处理所生成的低分辨率图像并且执行学习型超分辨处理而生成的高分辨率图像。

由学习型超分辨处理器804生成的第二高分辨率图像是通过输入被输入到运动画面高频估计器711的低分辨率图像(g_k)并且执行学习型超分辨处理而生成的高分辨率图像。

加法器805通过从由学习型超分辨处理器803生成的第一高分辨率图像减去由学习型超分辨处理器804生成的第二高分辨率图像的相对应的像素来生成差分图像数据。此差分数据被输出到加法器714。

在图23中所示的运动画面超分辨处理器702的图像质量控制器712被以在图6中所示的前述拉普拉斯变换部件141构建，以执行与作为前述超分辨收敛公式(公式12)中的部分计算(即L^TLf_m)相对应的处理。

拉普拉斯变换部件被输入由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像，并且对此运动画面超分辨率初始图像应用拉普拉斯算子(L)两次，以将处理结果输出到在图23中所示的乘法器713。

在图23中所示的比例计算器715使用最陡下降法来确定用于图像收敛计算中的梯度矢量的比例。换句话说，比例计算器715确定前述超分辨率收敛公式(公式12)中的系数β。

比例计算器715被输入来自在图23中所示的加法器714的梯度矢量((a)在图19(1)中所示的前述超分辨率收敛公式(公式12)中的梯度矢量)并且还被输入由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像。

比例计算器715基于这些输入获得系数β，以使得如在图19(2)中所示的前述公式(公式10)所描述的成本计算公式中表达的成本E(f_m+1)最小化。

作为计算系数β的处理，一般通过使用诸如二分法搜索的方法来计算用于最小化的系数β。另外，在希望计算成本减少的情况中，可以使用无论输入如何都输出恒定数的配置。

结果，可以设定最小化成本的系数β被确定。系数(β)被输出到乘法器716。乘法器716将所获得的作为加法器714的输出的梯度矢量(Va)(参考图19(1))与比例计算器715的输出值(β)相乘，并且将β(Va)输出到加法器717。加法器717执行从由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像f₀减去作为来自乘法器716的输入的β(Va)的处理，并且输出超分辨处理结果f_t。

换句话说，f_t＝f₀-β(Va)。

超分辨处理结果f_t基于上述公式被计算出。此公式对应于在图19(1)中所示的前述超分辨率收敛公式(公式12)。

运动画面超分辨处理器702输出超分辨处理结果并且将此超分辨处理结果存储到图像缓存器703。

((3d)第四实施例)

接着，参考图25以及之后的示图来描述根据本发明的第四实施例的图像处理设备。类似于第三实施例，在第四实施例中，图像处理设备执行处理对象被指定为运动画面的情况的超分辨处理。

根据第四实施例的图像处理设备的基本配置与在图21中所示的第三实施例的前述配置相同。换句话说，在图21中所示的图像处理设备700中，低分辨率图像g_t被输入到运动画面初始图像生成单元701和运动画面超分辨处理器702。运动画面初始图像生成单元701被输入在前帧运动画面超分辨处理结果(f_t-1)和(g_t)，并且将所生成的初始图像输出到运动画面超分辨处理器702。

类似于第三实施例，运动画面初始图像生成单元701具有在图22中所示的配置，以执行与第三实施例相同的处理。运动画面超分辨处理器702通过将低分辨率图像(g_t)应用到输入的初始图像来生成高分辨率图像(f_t)并且输出此高分辨率图像(f_t)。类似于第三实施例，运动画面超分辨处理器702也具有在图23中所示配置。然而，在图23中所示的配置中，运动画面高频估计器711的配置与第三实施例的配置不同。从运动画面超分辨处理器702输出的高分辨率图像被输出到703，同时被输出到外部部件，从而此高分辨率图像用于对下一帧的超分辨处理。

第四实施例和第三实施例的差别在于在图23中所示的运动画面超分辨处理器702中的运动画面高频估计器711的配置。

在第三实施例中，运动画面高频估计器711被描述为具有在图24中所示的配置。然而，在第四实施例中，运动画面高频估计器711被描述为具有在图25中所示的配置。

参考图25来描述根据第四实施例的图像处理设备的运动画面超分辨处理器702(参考图23)中包括的运动画面高频估计器711的配置和处理。

运动画面高频估计器711计算用于恢复图像的高频的校正值。运动画面高频估计器711被输入由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像和低分辨率图像(g_t)，并且将处理结果输出到加法器714。

在图25中所示的空间滤波器851被输入由图21中所示的运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像，并执行对空间分辨率的劣化的模拟处理。这里，通过使用预先测定的点扩展函数作为滤波器来对图像执行卷积。此处理对应于前述超分辨率收敛公式(公式12)中的计算模糊(H)的处理(参考图18(1))。

向下采样处理器852对此高分辨率图像执行向下采样处理，以减小到与输入图像相等的分辨率。此处理对应于在前述超分辨率收敛公式(公式12)中的计算相机分辨率(D)的处理(参考图18(1))。

之后，通过在向下采样处理器852中对高分辨率图像的向下采样而生成的低分辨率图像被输入减法器853。

减法器853计算由向下采样处理器852生成的低分辨率图像和被输入到运动画面高频估计器711的低分辨率图像g_k之间的每个像素的差值。

作为由减法器853计算出的差值的差分图像被输入到学习型超分辨处理器854。

学习型超分辨处理器854具有与上面参考图15所描述的学习型超分辨处理执行单元340的配置相同的配置，因此相同的处理被执行。然而，在此情况中，执行对差分图像的处理。

由减法器853生成的差分图像数据，即以通过对高分辨率图像进行向下采样所生成的低分辨率图像和输入的低分辨率图像之间的像素差值构建的差分图像数据，对应于在图15中所示的低分辨率图像371。

学习型超分辨处理器854使用预先存储在数据库中的习得数据执行学习型超分辨处理来生成与此差分图像相对应的高分辨率差分图像。换句话说，学习型超分辨处理器854生成以此差分数据构建的高分辨率差分图像作为与在图15中所示的高分辨率图像372相对应的数据。

另外，存储在数据库中的、用于学习型超分辨处理的习得数据是用于从以低分辨率图像中的像素差值构建的差分图像数据生成对应于高分辨率差分图像的差分数据的习得数据。

按照这样的方式，学习型超分辨处理器854在对经过向下采样处理的图像和作为超分辨处理的处理对象图像输入的低分辨率图像之间的差分图像的向下采样处理中执行学习型超分辨处理，所述经过向下采样处理的图像通过对以高分辨率图像构建的经过处理的图像的向下采样处理而被变换为具有与低分辨率图像相同的分辨率。

另外，学习型超分辨处理器854使用习得数据按照学习型超分辨处理来执行向上采样处理，所述习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像之间的差分图像的局部图像区域的特征量信息并且所述图像转换信息是用于将此差分图像变换成高分辨率差分图像的图像转换信息。

由学习型超分辨处理器854生成的高分辨率差分图像数据被输出到加法器714。随后的处理与第三实施例的那些处理相同。

换句话说，在图23中所示的运动画面超分辨处理器702的图像质量控制器712被以在图6中所示的前述拉普拉斯变换部件141来构建，以执行与作为前述超分辨收敛公式(公式12)中的部分计算(即L^TLf_m)相对应的处理。

拉普拉斯变换部件被输入由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像，并且对此运动画面超分辨率初始图像应用拉普拉斯算子(L)两次，以将处理结果输出到在图23中所示的乘法器713。

在图23中所示的比例计算器715使用最陡下降法来确定用于图像收敛计算中的梯度矢量的比例。换句话说，比例计算器715确定前述超分辨率收敛公式(公式12)中的系数β。

比例计算器715被输入来自在图23中所示的加法器714的梯度矢量((a)在图19(1)中所示的前述超分辨率收敛公式(公式12)中的梯度矢量)并且还被输入由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像。

比例计算器715基于这些输入获得系数β，以使得如在图19(2)中所示的前述公式(公式10)所描述的成本计算公式中表达的成本E(f_m+1)最小化。

作为计算系数β的处理，一般通过使用诸如二分法搜索的方法来计算用于最小化的系数β。另外，在希望计算成本减少的情况中，可以使用无论输入如何都输出恒定数的配置。

结果，可以设定最小化成本的系数β被确定。系数(β)被输出到乘法器716。乘法器716将所获得的作为加法器714的输出的梯度矢量(Va)(参考图19(1))与比例计算器715的输出值(β)相乘，并且将β(Va)输出到加法器717。加法器717执行从由运动画面初始图像生成单元701生成的作为前述混合结果的运动画面超分辨率初始图像f₀减去作为来自乘法器716的输入的β(Va)的处理，并且输出超分辨处理结果f_t。

换句话说，f_t＝f₀-β(Va)。

超分辨处理结果f_t基于上述公式被计算出。此公式对应于在图19(1)中所示的前述超分辨率收敛公式(公式12)。

运动画面超分辨处理器702输出超分辨处理结果并且将此超分辨处理结果存储到图像缓存器703。

第四实施例与第三实施例的不同在于：在第三实施例中，不是对图像差分数据而是对单独的图像执行学习型超分辨处理，并且执行计算所产生的差的处理，而在第四实施例中，差分数据被预先生成，并且对此差分数据执行学习型超分辨处理。

如上所述，在第三和第四实施例中，执行在超分辨处理对象是运动画面的的情况中的处理的图像处理设备中，向上采样处理被配置为按照使用习得数据的学习型超分辨处理来执行。

在第三实施例中，作为从低分辨率图像生成高分辨率图像的处理而执行的向上采样处理被配置为按照使用习得数据的学习型超分辨处理而被执行。

另外，在第四实施例中，用于低分辨率图像之间的差分图像的向上采样处理被配置为按照使用习得数据的学习型超分辨处理而被执行。

换句话说，如图24或图25所示，在图21中所示的根据第三和第四实施例的图像处理设备700的运动画面超分辨处理器702包括运动画面高频估计器，运动画面高频估计器生成被输入作为超分辨处理的处理对象图像的低分辨率图像与超分辨处理的中间处理图像或经过处理的图像(即，初始图像)之间的差分图像信息。另外，如图23中所示，超分辨处理器702包括比例计算器715、以加法器、乘法器等构建的计算器，比例计算器715对通过对从高频估计器输出的差分图像信息和经过处理的图像的计算处理来执行对经过处理的图像的更新处理。

如上参考图24或图25所述，运动画面高频估计器在差分图像信息生成处理中执行使用习得数据的学习型数据处理。

例如，向上采样处理按照使用习得数据的学习型超分辨处理被执行，从而改善超分辨处理的主观结果。另外，在输入的低分辨率图像较少或者即使在输入图像被极端劣化的情况中，也可以生成图像质量具有较少劣化的高分辨率图像。

如上所述，在只使用重构型超分辨方法的情况中，如下处理被执行作为向上采样处理。

(a)基于输入画面中的混淆成分(混淆)对高频成分(等于或大于奈奎斯特频率)的成分估计

(b)减少低频成分(等于或小于奈奎斯特频率)中的混淆成分(混淆)并且恢复高频成分(等于或大于奈奎斯特频率)

然而，在存在少量输入图像的情况中，存在不能适当地执行对混淆成分(混淆)的估计的问题。另外，类似地，即使在因输入图像中的极端劣化而导致不可能检测出输入图像中的混淆成分的情况中，也存在高频性能不足够的情况。

在本发明的配置中，在向上采样处理时，使用习得数据的学习型超分辨处理被配置以执行，并且可以在不发生如上所述重够型超分辨处理中的缺陷的情况下执行向上采样处理。

另外，在前述第一到第四实施例中，虽然描述了向上采样处理按照使用习得数据的处理来执行，但是对于在图像处理设备中的向下采样处理，也可以预先准备习得数据，并且可以配置使用习得数据执行向下采样处理。

[4.图像处理设备的硬件配置的示例]

最后，参考图26来描述执行前述处理的图像处理设备的硬件配置的示例。CPU(中央处理单元)901根据存储在ROM(只读存储器)902或存储单元908中的程序来执行各种处理。例如，在前述实施例中描述的超分辨处理之类的图像处理被执行。由CPU 901执行的程序、数据等适当地被存储在RAM(随机存取存储器)903中。CPU 901、ROM 902和RAM903经由总线904被彼此连接。

CPU 901经由总线904被连接到输入/输出接口905。以键盘、鼠标、麦克风构建的输入单元906以及以显示器、扬声器等构建的输出单元907被连接到输入/输出接口905。CPU 901根据从输入单元906输入的命令来执行各种处理，并且将处理结果输出到例如输出单元907。

连接到输入/输出接口905的存储单元908例如以用于存储由CPU 901执行的程序或各种数据的硬盘来构建。通信单元909通过诸如因特网或局域网之类网络与外部设备通信。

连接到输入/输出接口905的驱动器910驱动磁盘、光盘、磁光盘、诸如半导体存储器的可移除介质911等来获取所记录的程序、数据等。所获取的程序或数据被发送，如果必要的话还被存储在存储单元908中。

上文中，参考具体实施例详细地描述了本发明。然而，很明显，本领域技术人员在不脱离本发明的精神的前提下对这些实施例做出修改和变更。换句话说，本发明是通过示例性实施例公开的，因此，这些实施例不应当被分析具有限制意义。在本发明的精神的确定中，应当考虑权利要求。

另外，在本说明书中描述的一系列处理可以以硬件配置、软件配置或它们的组合的形式来实施。在以软件配置的形式执行处理的情况中，记录处理序列的程序可以安装到组装有专用硬件的计算机中的存储器中以被执行，或者程序可以被安装到可以执行各种类型的程序的通用计算机中。例如，程序可以被预先记录到记录介质中。除了将程序从记录介质安装到计算机以外，可以经由诸如LAN(局域网)或因特网之类的网络接收程序并将其安装在诸如嵌入式硬盘的记录介质中。

另外，在本说明书中描述的各种类型的处理可以按照根据说明的时间顺序执行，可以同时执行，或者如果必要的话可以根据执行处理的设备的处理能力而单独地执行。另外，在本说明书中的“系统”表示多个设备的逻辑集合配置，但是不限于在相同的机壳中包含每个配置的装置的系统。

本申请包含与2010年3月1日向日本专利局提交的日本优先专利申请JP 2010-043699中所公开的主题有关的主题，该申请的全部内容通过引用被结合于此。

本领域技术人员应当理解，根据设计要求和其他因素可以出现各种各样的修改、组合、子组合或变更，只要它们落在所附权利要求或其等同物的范围内即可。

Claims (11)

1.一种包括超分辨处理器的图像处理设备，该超分辨处理器包括：

高频估计器，所述高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及

计算器，所述计算器通过从所述高频估计器输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，

其中，所述高频估计器在差分图像信息生成处理中使用习得数据来执行学习型数据处理。

2.根据权利要求1所述的图像处理设备，其中，所述高频估计器在对向下采样处理后的图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。

3.根据权利要求1或2所述的图像处理设备，其中，所述高频估计器在对作为所述超分辨处理的处理对象图像输入的所述低分辨率图像的向上采样处理中执行学习型超分辨处理。

4.根据权利要求2或3所述的图像处理设备，其中，所述高频估计器使用习得数据按照学习型超分辨处理来执行所述向上采样处理，该习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述低分辨率图像变换成所述高分辨率图像的图像转换信息。

5.根据权利要求1所述的图像处理设备，其中，所述高频估计器在对向下采样处理后的图像和作为所述超分辨处理的处理对象图像输入的所述低分辨率图像之间的差分图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。

6.根据权利要求5所述的图像处理设备，其中，所述高频估计器使用习得数据按照学习型超分辨处理来执行所述向上采样处理，该习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像之间的差分图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述差分图像变换成高分辨率差分图像的图像转换信息。

7.根据权利要求1到6中任一项所述的图像处理设备，其中，所述超分辨处理器具有通过使用重构型超分辨方法执行分辨率变换处理并且在所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。

8.根据权利要求7所述的图像处理设备，其中，所述超分辨处理器具有根据所述重构型超分辨方法通过考虑图像的模糊和运动以及图像装置的分辨率来执行分辨率变换处理并且在所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。

9.根据权利要求1到8中任一项所述的图像处理设备，还包括收敛判断部件，所述收敛判断部件执行对所述计算器的计算结果的收敛判断，

其中，所述收敛判断部件根据预先定义的收敛判断算法来执行所述收敛判断处理并且输出与所述收敛判断相应的结果。

10.一种在图像处理设备中执行的图像处理方法，包括如下步骤：

使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及

使得计算器通过从使得高频估计器生成所述差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，

其中，在使得高频估计器生成所述差分图像信息的步骤中，在差分图像信息生成处理中使用习得数据来执行学习型数据处理。

11.一种程序，该程序使得图像处理设备执行图像处理，所述图像处理包括如下步骤：

使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及

使得计算器通过从使得高频估计器生成所述差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，

其中，在使得高频估计器生成所述差分图像信息的步骤中，在差分图像信息生成处理中使用习得数据来执行学习型数据处理。

Images