CN103098089A - 用于产生超分辨率图像和用于实施该方法的非线性数字过滤器的方法 - Google Patents

Abstract

本发明涉及照相和视频图像的领域，并且能用于通过配备具有电子快门的传感器的照片和视频照相机来产生视觉放大物体的高质量图像。技术结果在于当用多个低分辨率的帧产生一个高分辨率（即，超分辨率）的帧时，增加图像的分辨率，以及当只扫描传感器的一部分时，多个图像帧的高速捕获的可能性。实现该结果是由于曝光多个帧，借助于以高速捕获连续帧序列的形式从传感器读出来产生初始图像，在此期间帧的帧速率与扫描的传感器的光敏区域的面积成反比，排列所述初始图像，产生增强的图像，并且使用非线性过滤器来过滤此图像，该过滤器包括使用包括放射状和正弦测试图表以及参考点的测试图像来预训练的神经网络。此外，过滤包括向神经网络供应预修改的数字化数据，其中所述数据的修改包括：隔离低频成分、排布像素、从排布的像素读取低频成分和随后将所述像素标准化。然后，使在神经网络输出处的数据经历反向标准化，并且将低频成分添加到神经网络的输出处的值。

Description

用于产生超分辨率图像和用于实施该方法的非线性数字过滤器的方法

技术领域

本发明涉及照相和视频图像的领域，并且能用于通过配备具有电子快门的传感器的照片和视频照相机来产生视觉放大物体的高质量图像。

发明背景

现代移动设备经常配备有照片和视频照相机，能够捕获非常高质量的图像。然而，为捕获视觉放大图像，此类设备的移动性要求不允许具有可变焦距（可变放大变焦透镜）的光学系统（透镜）的使用，因为它们尺寸较大。因此，此类移动设备依靠使用数字变焦。

以下解决方案在本领域已知：

使用数字变焦方法来取得具有低分辨率的放大后的图像。当使用此视觉放大的方法时，只有传感器的中央部分是活跃的。那么，为获得具有与传感器的像素的总量相等数量的像素的图像，通过二维插值（双线性或双三次）的已知方法中的一个方法将来自传感器中央部分的减小的图像插值。

数字变焦局限：

在曝光期间由运动引起的线性图像模糊放大发生在插值期间。由于移动性要求，传统稳定系统[David Sachs,Steven Nasiri,Daniel Goehl“图像稳定技术综述”（David Sachs,Steven Nasiri,Daniel Goehl“ImageStabilization Technology Overview”)

http://invensense.com/mems/gyro/documents/whitepapers/ImageStabilizat ionWhitepaper051606.pdf]的使用是困难的；

插值信号不包含高频成分，这导致难以辨别的边缘和细节的缺失。

一种图像增强的方法[Michal Irani,Shmuel Peleg“来自图像序列的超分辨率”，ICPR,2:115—120,1990年6月（Michal Irani,Shmuel Peleg“SuperResolution From Image Sequences”,ICPR,2:115—120,June1990）]使用其间具有小空间偏移的若干帧来放大分辨率或取得超分辨率。在此方法中，迭代地进行向高分辨率的最佳图像的收敛。迭代开始于创建高分辨率图像的初始（粗糙）版本。作为规则，由低分辨率的插值图像的简单求和来创建此类初始版本。迭代的第二步包括重建来自此高分辨率图像的版本的低分辨率图像，用低分辨率的初始图像来匹配它们，以及评估修正因子。进一步的迭代评估高分辨率图像的新版本，将先前迭代的修正考虑在内。

此方法的局限是由于大量的迭代造成的极低的速度。另一局限是迭代的必要数量的不可预知性。

通过增加分辨率的图像增强的另一方法[A.V.Nasonov和A.S.Krylov，使用加权中值过滤的快速超分辨率//关于图案识别的国际会议的会议记录。（A.V.Nasonov and A.S.Krylov,Fast super-resolution using weightedmedian filtering//Proc.Intern.Conf.on Pattern Recognition.）土耳其，伊斯坦布尔（Istanbul,Turkey）:IEEE计算机社会出版社，页号：（IEEE ComputerSociety Press,pp.）2230-2233,2010]，其间使用Tikhonov的调整方法来确保具有高分辨率的结果的迭代路径的收敛，是已知的。此方法在拍摄若干图像帧来取得增强分辨率的视觉放大图像时是有效的。

局限在于，由于在使用传统方法拍摄时照片之间出现的不可避免的停顿，将模糊捕获帧中的运动（不稳定）物体或有重影。此方法不提供修正照相机光学系统的失真（模糊/难以辨别）的机会。而且，虽然用于此方法中的中值过滤保护边缘的锐度，但是它破坏较小的图像细节，这些细节的增强正是超分辨率的目的之一。

在[Jung-Hyun Hwang,Hweihn Chung,Sung-Ii Su,Yong-Chul Park,Chul-Ho Lee“使用暂时IIR过滤器的高分辨率数字变焦”，关于消费电子的IEEE学报，1996年八月，43卷，3号（Jung-Hyun Hwang,Hweihn Chung,Sung-Ii Su,Yong-Chul Park,Chul-Ho Lee"High-resolution digital-zoomingusing temporal IIR filter",IEEE Transactions on Consumer Electronics,Vol.42,No.3,August1996）]中描述了包含高于单独2D图像的信息量的图像序列的分辨率增强的一个其他已知方法。引入了用于实现高分辨率的视觉图像放大以及用于数字图像稳定性的在子像素级别的运动检测和沿时间刻度的IIR过滤。展示了基于图像的真实序列的实验结果。

此方法的处理步骤是：从传感器获取数据、排列、放大、借助于线性过滤器进行图像复用/过滤；同时，使用不同的权重将每个到来的帧添加到先前的结果中。在图像放大之后，但在以能将经过子像素距离偏移的图像直接加总到（由IIR过滤器而过滤的）先前结果的像素中的方式复用之前，执行具有矩形窗口的额外卷积（即后过滤）。

此方法的第一个局限是以下事实：输出过滤器的简化不允许最锐利的最终图像。此外，过滤器不使用毗连、相邻的图像像素，因此阻止在照相机光学系统中的失真（模糊/难以辨别）的修正。通过标准低速方法从传感器获取数据，导致模糊的图像，以及双重不稳定物体（重影）。

已知一种增强图像锐度的方法[Masaaki Hayashi，“操作图像数据以便区别由图像数据表达的图像的文本和图像区域的神经过滤器和训练方法”美国专利6,301,381（Masaaki Hayashi,“Neuro filter,and method of trainingto operate on image data so as to discriminate between text and image regionsof an image which is expressed by image data”United States Patent6,301,381）]，其中，将在神经网络的帮助下实现的一个非线性过滤器用于将图像分成包含文本的区，以及包含图的区，以及将也在神经网络的帮助在实现的其他非线性过滤器用于增强图像锐度。两个过滤器设计如下：

-从包括为之执行过滤的像素的数据的图像区，读取此像素值和相邻的像素值；

-将选择的像素的值传输到先前训练的神经网络的输入；

-在锐度增强过滤器的情况中，神经网络为形成锐利的图像而给出像素的值；

-在用于从图形中区分文本的过滤器的情况中，神经网络给出具有与在此图像区中的文本存在的可能性成正比的级别的信号。

此方法的局限如下：

-只有一个帧用作输入，这不允许在最终图像中相比于输入而降低噪声级别；

-像素值的高动态范围阻止神经网络的有效操作；

-作为处理的结果，图像锐度增强，但没有图像分辨率的增强。

已知图像分辨率增强的又一方法[Lin等人“用于图像分辨率增强的方法”美国专利7,187,811（"Method for image resolution enhancement"UnitedStates Patent7,187,811）]，其中用一个图像帧作输入。当使用此方法时，输入图像的区被划分成两组：拥有边缘的图像区，以及没有的那些。不具有边缘的图像区借助于简单双线性插值来插值。具有边缘的区通过神经网络插值。这种划分为两个种类的划分以及它们分离的插值有助于避免如图像的倾斜的边缘的“阶梯”效应的传统插值方法（双线性和双三次）所共有的此类局限。

在此类方法内，将通过神经网络设计的非线性数字过滤器（插值器）用于那些具有边缘的图像。在“场”（field）神经图像的帮助下预训练神经网络。用于插值器的输入数据包括区坐标、边缘的“质量”、边缘的偏差、处理中的像素和相邻的像素的像素值。在包括在区中的像素的数据的基础上计算边缘的“质量”和偏差。将这些数据传输到神经网络的输入层。神经网络将输入数据乘以在神经网络的预训练期间确定的权重，并且应用预确定的非线性传输函数。插值像素的值组成神经网络的输出结果。在此方法内，神经网络执行非线性过滤器的功能，区坐标、边缘的“质量”、边缘的偏差、处理中的像素和相邻的像素的值被直接传输到其输入层。神经网络立即给出插值像素的值。

此方法的局限如下：

-只有一个帧用于输入，这不允许降低最终图像中的噪声的级别，如果相比于输入；

-将神经网络训练成辨别图案（边缘方向的变体）的预定的、有限集，这导致图像的不正确插值，使图像不像训练集的那些；

-像素值的高动态范围阻止神经网络的有效操作；

-有必要在处理期间将图像分成两组；这需要额外的计算资源。

在可用于获取本发明的作者的信息的总量的分析期间，未发现任何以在本发明中描述的方式进行的可解决在视觉上将其放大的同时取得高分辨率图像的任务的技术解决方案。

发明概述

本发明的目的是创建一种在静止和运动物体二者的照片和视频拍摄期间能够捕获高质量和高分辨率的视觉放大的图像的方法。

引入的解决方案是基于图像分辨率增强的实施，当只扫描传感器的一部分时，使用低分辨率的若干帧来取得高分辨率（即，超分辨率）的一个帧，并且还提供若干图像帧的高速拍摄。任务解决方案（即必要技术效果成就）是使用为该目的而特别设计的非线性过滤器来实现的。

本发明的本质在于以下事实：在图像增强的已知方法内，包括：

曝光若干帧；

从传感器读取输入图像；

排列；

形成放大后的图像；

对其进行过滤，

从数字传感器以高速拍摄帧的连续序列的形式读取输入图像，在此期间帧速率与被扫描的传感器的面积成反比。同时，通过融合低分辨率的输入帧并且识别最清楚（或最锐利）的帧来形成放大后的图像；通过非线性过滤器来进行图像增强，将它应用到输入帧融合的放大结果。其输入数据是处理中的图像的像素的非线性数字过滤器包括在参考图像的帮助下预训练的神经网络，用该过滤器进行过滤来取得超分辨率。将修改的数字化数据传输到神经网络；此修改包括：选择低频成分、按元素进行像素分组、从分组像素中扣除低频成分和它们进一步的标准化。然后，通过反向标准化来处理输出神经网络数据，并且将低频成分添加到输出神经网络的值中。只使用必须被过滤的像素以及位于不多于水平和垂直地来自于放大后的图像的少数点的像素的数据来取得过滤器的值。

附图简述

图1展示了使用具有电子快门的传感器以视频模式拍摄帧的标准方法。在帧曝光之间存在停顿。在时间刻度上的垂直线1；2；3记录帧曝光开始的时间，同时，它们之间的距离等于帧速率。阴影区域图示了传感器扫描线曝光（由于传感器是伴随着电子快门使用的，每一扫描线开始和完成的真实曝光时间有一点偏离）的真实时间。

图2—使用具有电子快门的传感器来拍摄不具有停顿的帧。时间刻度上的垂直线1；2；3；4记录帧曝光开始的时间。下一帧的曝光在读取当前帧的线的数据之后就开始：没有停顿。

图3—传感器图，其中301—传感器的光敏区；302—它的中央部分，用于取得视觉放大图像。

图4展示了若干帧的排列以及它们在放大尺寸的一个图像中的融合，及进一步的分辨率增强（框图），其中：

401（上方的行）—初始帧；

402（第二行）—排列的帧；

403—帧融合框，取得输入的排列帧并给出放大尺寸的融合帧；

404-初始的‘模糊’图像；

405-非线性过滤器；

406-具有超分辨率的放大后的图像。

图5展示了用于分辨率增强的非线性过滤器的应用，其中：

501-初始放大拍摄，

502—过滤器图，包括数据预训练（503）；神经网络（504）和求和（505）；

506—具有超分辨率的放大的最终图像。

图6—参考图像，用在神经网络预训练期间。

发明详述

借助于引入的方法的帧捕获执行如下：由于在现代移动设备中从传感器获取数据读出的最大速度受限于数据传输接口的最大可能速度，并且在视觉放大图像的拍摄期间无须扫描传感器的整个区，这样就可能成比例地增加帧捕获的帧速率。用固定的帧速率来曝光若干帧并且选择曝光和帧速率以便允许排除曝光之间的停顿。在物体的较差闪光的情况中，可以增加每个帧的曝光，或者（更优选的是）增加曝光帧的数量。

因此，在拍摄物体的三重视觉放大期间，只扫描了传感器表面的1/9，最大帧速率可分别增强9倍。这意味着，例如，当使用标准方法时，9个帧的拍摄耗费与一个帧的拍摄相同的时间。在此类拍摄期间，稳定和运动的物体在每个帧中都将是锐利的，并且噪声级别将比在通过其他类似方法拍摄期间更低，这是由于不同帧的噪声成分振幅与帧的总数的平方根成正比地增长；并且有价值成分（图像本身）的振幅—直接正比于帧的数量。

在通过此方法获得的帧序列中，其中的一些相对于彼此有点偏移，这是因为在手持拍摄期间照相机的不可避免的抖动。此外，在一些帧中的图像可能不如在另一些中的锐利。这就是为什么下一步骤的处理是最锐利帧的检测，以及它们相对于彼此的排列。存在多种方式来评估帧清晰度，例如，在[Xin Wang,Baofeng Tian,Chao Liang,Dongcheng Shi“用于测量图像模糊的掩饰图像质量评定”，图像和信号处理会议，2008年（Xin Wang,Baofeng Tian,Chao Liang,Dongcheng Shi"Blind Image Quality Assessmentfor Measuring Image Blur",Congress on Image and Signal Processing,2008.）]CISP’08卷号：1，ISBN987-0-7695-3119-9（CISP’08Volume:1,ISBN978-0-7695-3119-9）]中描述的方法，其中为了定义帧清晰度，选择最好边缘的子集、定义选择的边缘的平均清晰并且将平均值用作整个帧清晰度的度量标准。

在引入的用于视觉放大的图像的超分辨率的方法内，使用借助于先前步骤中的帧的融合和排列来获得一个放大尺寸的帧（404）（图4）。借助于插值（例如，通过双三次插值）来进行帧放大。通过放大的帧的匹配像素的简单的平均或者通过使用权重系数的更复杂的求和来进行帧融合。例如，在运动物体的情况中，进行包含数据的帧的选择性平均，这些帧选自运动物体的方位（排布）相一致的帧。在单独帧的噪声级别的差别的情况中，通过给噪声级别更低的帧更大的权重来进行融合，以便减小融合的帧中总体噪声级别。

通过对放大的帧的每个像素按次序地应用非线性过滤器来获得具有超分辨率的图像。同时，此过滤器使用位于与为之增强分辨率的像素相近的像素的区（图5）。

为包括透镜和传感器的特定光学系统而预设计具有固定参数的非线性过滤器。这确保了用于此特定系统的最大分辨率增强，以及最佳的噪声空白。使用人式神经网络设计过滤器。可以为超分辨率的目的而使用不同类型的神经网络。已经将非线性多层感知器使用在引入的解决方案中。已经据经验确定，用于指派的任务的神经网络的最佳架构是具有一个隐藏层的感知器、在所有层中的激活的西格玛（sigma）或正切函数和在隐藏层中的四个神经元。在向单色图像或仅向图像的发光成分的过滤器应用的情况中，使用输出层中的一个神经元。在向具有多重颜色通道的图像的过滤器应用的情况中，输出层可包含与图像的颜色通道的数量相等数量的神经元；或独立地向每个颜色层应用单独的过滤器。

非线性过滤器包括：

修改数字化图像数据，

它们的向先前训练的神经网络的输入传输；

反向标准化；

在数字化的数据预修改的步骤期间接收的具有低频数据神经网络的输出的进一步求和。

数字化的数据预修改包括以下步骤：

1.过滤成分隔离。在使用用于图像或单独的颜色通道的只最亮成分的过滤的过滤器的情况中，从图像隔离此成分。

2.低频分离。通过公共线性过滤器（例如，为相对于给定像素半径为8像素范围内的所有像素计算平均值）的使用来执行它。低频分离允许输入减小数据的动态范围。

3.按元素将环绕着为之执行非线性过滤器的像素的多个像素分组成数组。因此，如果使用在从给定像素横/竖不多于三个像素一段距离的所有像素，数组将包括7×7=49个元素。

4.从数组的所有元素扣除低频成分的值。为此，从在第二步期间已经分离的成分中选择匹配为之执行过滤的像素的值及坐标。

5.标准化。如果输入值的动态范围不宽，则神经网络工作在最有利模式，并且标准化允许额外减小动态范围。以像素值将处于特定范围（例如，[0..1]）的方式来标准化所有像素数组。

将此修改的数据传输到神经网络的输入。在神经网络的预训练期间，以及，当使用神经网络作为非线性过滤器的一部分时，都使用数据修改。

将参考图像用于神经网络的预训练（图6）。通过将为之使用过滤器的透镜-传感器光学系统拍摄图像。

参考图像要求：

由于神经网络拥有“概括”（即，基于有限量的数据来推导公共规则和依赖性结论）的能力，故在神经网络预训练期间无须使用图像的所有可能变体。然而，在预训练期间使用的图像应满足用于神经网络的最小要求，结果使其对所有图像足够好地工作。图像必须包含：

不同方向的亮度的平滑改变，以及亮度梯度值，

不同方向的亮度（边缘）中的突然改变，

当预训练处理颜色成分的网时—具有不同方向和梯度值的颜色成分的平滑的和突然的改变，

不同厚度和方向的暗和亮的笔划，

线和正弦目标（图表），

控制点，以便缓解拍摄图像的进一步排列。

通过使用控制点（交叉）的引入的方法来执行参考图像的帧拍摄以及它们的排列与融合，以便缓解拍摄图像的帧的排列。例如，在图6中的参考图像上展示的5×5个控制点的图案。从中预过滤高频和低频的参考图像的标准化像素，在网络预训练期间充当目标数据。基于对最终图像清晰度的要求，以及其中容许的噪声/失真级别，根据经验来选择高频截止频率。基于低频过滤器的频率为低频选择截止频率，并用于输入数字化数据的修改。将为中等和小尺寸的神经网络给出最好结果的著名的Levenberg-Markqardt算法用于神经网络预训练。

在接收输出神经网络数据之后，对其进行反向标准化。例如，如果在预修改的步骤5期间，通过简单乘以常数进行标准化，则反向标准化通过将从神经网络的输出接收的数据除以相同的常数来进行。

因此，借助于非线性过滤器的数据处理包括：

1.数字化的图像数据的预修改，

2.通过预训练的神经网络进行数据处理。

3.在步骤5反向数字化的图像数据的预修改。

4.根据结果，借助于神经网络计算的在数字化的图像数据的预修改的第2阶段过滤的低频数据。

工业实用性

引入的通过具有电子快门的传感器进行的视觉放大图像的超分辨率的方法给出取得高分辨率的质量图像的机会，并且适用于如今生产的不同移动设备。对于取得高分辨率必要的通过传感器接收的数据的后处理并不在设备计算资源上强加高要求并且可直接安装在设备上。它拥有以下优点（与已知方法相比）：

可以曝光许多帧；然而每个帧的曝光实质上低于用于数字变焦的那个。结果，减小图像模糊度；

存在图示相同的情景的大量帧；有效地允许不同噪声的过滤器；

超分辨率的方法有助于重现图像中的锐利边缘、小细节；

此超分辨率的方法的高速处理能够用在移动设备中，其主要的要求之一是当拍摄时取得即时的结果；

相对于组合若干帧来取得一个质量图像的其他方法，不存在与运动物体成像相关联的问题。

参考文献

1.Michal Irani、Shmuel Peleg“来自图像序列的超分辨率”，ICPR，2：115-120，1990年六月。

2.A.V.Nasonov、A.S.Krylov“使用混合中值过滤的快速图像超分辨率”，труды12届国际会议和“数字信号处理及其应用”展览（DSPA'2010），2卷，101-104页。

3.A.V.Nasonov、A.S.Krylov、A.Lukin“使用Tikhonov调整的图像分辨率增加”//“Tikhonov和现代数学”国际会议的议程，莫斯科，2006年。

4.Reza Safaee-Rad、Milivoje Aleksic“用于蜂窝电话照相机的手抖表征及图像稳定”，SPIE光工程的国际社会议程（2009），卷：7241，期号：14，出版商：Spie，页：72410V-72410V-15，DOI：10.1117/12.806118

5.David Sachs、Steven Nasiri、Daniel Goehl“图像稳定技术综述”http://invensense.com/mems/gyro/documents/whitepapers/ImageStabilizationWhitepaper_051606.pdf

6.Mohammad S.Alam、John G.Bognar、Russell C.Hardie和Brian J.Yasuda“使用多个翻译转移别名视频帧的红外图像配准和高分辨率重建”，关于仪器和测量的IEEE学报，卷：49，期号：5，2000年十月

7.Medvedev V.S.、Potemkin V.G.，"神经网络MATLAB6"，莫斯科，MIFI对话，2002

8.Xin Wang、Baofeng Tian、Chao Liang、Dongcheng Shi“用于测量图像模糊的掩饰图像质量评定”，图像和信号处理会议，2008年。CISP’08卷：1，ISBN：978-0-7695-3119-9

9.A.Schaum和M.McHugh，“图像配准的分析方法：位移估计和重新采样，”海军研究报告9298，1992年2月28。

10.E.A.Kaltenbacher和R.C.Hardie，“使用多个低分辨率别名帧的高分辨率红外图像重建，”1996，国家航空电子会议（NEACON），代顿，俄亥俄州，1996年5月，页码：702–709.

11.en.wikipedia.org/wiki/Digital_zoom

12.Jung-Hyun Hwang、Hweihn Chung、Sung-Ii Su、Yong-Chul Park、Chul-Ho Lee“使用暂时IIR过滤器的高分辨率数字变焦”，消费电子的IEEE学报，42卷，3号，1996年八月（标准1）。

13.Masaaki Hayashi，“操作图像数据以便区别由图像数据表达的图像的文本和图像区域的神经过滤器及其训练方法”美国专利6,301,381

14.Lin等人“用于图像分辨率增强的方法”美国专利7,187,811

（标准2）

Claims (5)

1.一种图像超分辨率的方法，包括：

曝光多个帧、从一个传感器读出所述多个帧、排列所述多个帧、形成放大后的图像、过滤放大后的图像，

其中所述多个帧是从数字传感器中以高帧速率帧的连续序列的形式读取的，所述帧速率与扫描的所述传感器的光敏部分的值成反比，所述放大后的图像是通过将多个低分辨率的输入帧组合而形成的，并且通过向所述放大后的图像应用非线性过滤器来实现分辨率增强。

2.根据权利要求1所述的方法，其中所述放大后的图像是借助于所述多个帧中的只有最锐利的帧的组合而形成的。

3.一种用于图像超分辨率的非线性数字过滤器，其输入数据是所述超分辨率处理被应用到其上的所述图像的像素，所述过滤器进一步包括在参考图像的帮助下预训练的神经网络，其中将修改的数字化像素数据传输到所述神经网络，所述修改包括：选择低频成分、按元素进行像素分组、从分组的像素中扣除低频成分、跟着数据标准化、将所述神经网络输出数据反向标准化、以及将所述低频成分添加到所述神经网络输出的值中以产一个过滤器的最终输出。

4.根据权利要求3所述的方法，其中只将必须过滤的所述像素以及在水平和垂直都不多于3个像素的距离的那些像素的数据用于取得所述过滤器的所述输出值。

5.根据权利要求3的所述方法，其中所述参考图像包含多个线和正弦目标，以及多个控制点。

Images