CN102415088B - 用以选择性地组合视频帧图像数据的系统和方法 - Google Patents

用以选择性地组合视频帧图像数据的系统和方法 Download PDF

Info

Publication number
CN102415088B
CN102415088B CN201080017979.3A CN201080017979A CN102415088B CN 102415088 B CN102415088 B CN 102415088B CN 201080017979 A CN201080017979 A CN 201080017979A CN 102415088 B CN102415088 B CN 102415088B
Authority
CN
China
Prior art keywords
image
data
image data
view data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080017979.3A
Other languages
English (en)
Other versions
CN102415088A (zh
Inventor
黄豪
李向川
卡林·M·阿塔纳索夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102415088A publication Critical patent/CN102415088A/zh
Application granted granted Critical
Publication of CN102415088B publication Critical patent/CN102415088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明揭示用以选择性地组合视频帧图像数据的系统和方法。从图像传感器接收对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据。通过至少部分补偿所述第一图像数据的部分相对于所述第二图像数据的对应部分之间的偏移来调整所述第二图像数据，以产生经调整的第二图像数据。通过对所述第一图像数据和所述经调整的第二图像数据执行分层组合操作来产生对应于组合视频帧的组合图像数据。

Description

用以选择性地组合视频帧图像数据的系统和方法
技术领域
本发明大体上涉及用以选择性地组合视频帧图像数据的系统和方法。
背景技术
技术上的进步已产生较小且较强大的计算装置。举例来说，当前存在各种便携式个人计算装置，包括无线计算装置，例如，便携式无线电话、个人数字助理(PDA)和寻呼装置，其体积小、重量轻且易于由用户携带。更具体来说，便携式无线电话(例如，蜂窝式电话和因特网协议(IP)电话)可经由无线网络传送话音和数据包。此外，许多这些无线电话包括并入于其中的其它类型的装置。举例来说，无线电话还可包括静态数码相机、数字视频相机、数字记录器和音频文件播放器。此些无线电话可处理可执行指令，包括可用以接入因特网的软件应用程序，例如web浏览器应用程序。同样，这些无线电话可包括显著的计算能力。
数字信号处理器(DSP)、图像处理器和其它处理装置常用于便携式个人计算装置中，所述便携式个人计算装置包括数码相机或显示由数码相机俘获的图像或视频数据。此些处理装置可用以提供视频和音频功能，处理接收到的数据(例如，所俘获的图像数据)或执行其它功能。
所俘获的图像数据可遭受一个或一个以上问题，例如归因于手抖动而引起的移位误差、图像的对象的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差和几何失真。
发明内容
可使用可配置的图像处理架构来组合对应于视频帧的多个图像，所述可配置的图像处理架构执行图像的对齐和组合以克服个别图像中可能出现的问题。控制单元可调整分层图像对齐和分层图像组合的操作以实现组合输入图像数据的各种效应。举例来说，可组合对应于连续视频帧的图像数据以减少手抖动和减少重像、产生深度增强的视野图像、改进分辨率、增加动态范围，或其任何组合。
在一特定实施例中，揭示一种方法，其包括接收对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据。所述方法还包括通过至少部分补偿所述第一图像数据的部分相对于所述第二图像数据的对应部分之间的偏移来调整所述第二图像数据，以产生经调整的第二图像数据。所述方法还包括通过对所述第一图像数据和所述经调整的第二图像数据执行分层组合操作来产生对应于组合视频帧的组合图像数据。
在另一特定实施例中，揭示一种设备，其包括对齐电路，其经配置以基于对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据来产生运动向量数据集合。所述第一视频帧和所述第二视频帧是从图像传感器接收到的。所述设备还包括组合电路，其可经配置以根据所述运动向量数据来调整所述第二图像数据。所述组合电路经耦合以执行分层组合操作，从而选择性地组合所述第一图像数据与所述经调整的第二图像数据。所述设备进一步包括控制电路，其用以控制所述组合电路以产生对应于组合视频帧的组合图像数据。
在另一特定实施例中，所述设备包括对齐装置，其用于基于对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据来产生运动向量数据集合。所述设备还可包括用于根据所述运动向量数据调整所述第二图像数据的装置。所述设备还包括组合装置，其用于执行分层组合操作以选择性地组合所述第一图像数据与所述经调整的第二图像数据。所述设备进一步包括控制装置，其用于控制所述组合电路以产生对应于组合视频帧的组合图像数据。
在一特定实施例中，所述设备包括专用电路的一个或一个以上硬件块，所述一个或一个以上硬件块用以接收所述第一和第二图像数据、确定偏移以调整所述图像数据、选择性地组合所述经调整的图像数据，或进行其任何组合。替代地或另外，未通过专用电路的硬件块实施的一个或一个以上功能可由执行计算机可执行代码的处理器来实施。在一特定实施例中，揭示一种存储计算机可执行代码的计算机可读媒体。所述计算机可执行代码包括用于接收对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据的代码。所述计算机可读代码还包括用于通过至少部分补偿所述第一图像数据的部分相对于所述第二图像数据的对应部分之间的偏移来调整所述第二图像数据以产生经调整的第二图像数据的代码。所述计算机代码进一步包括用于通过对所述第一图像数据和所述经调整的第二图像数据执行分层组合操作来产生对应于组合视频帧的组合图像的代码。
通过所揭示方法和设备的实施例所提供的一个特定优点是校正或改进与图像相关联的问题，例如归因于手抖动而引起的移位、图像中的对象的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差和几何失真。
本发明的其它方面、优点和特征将在检视包括以下章节的完整申请案后变得显而易见：“附图说明”、“具体实施方式”和“权利要求书”。
附图说明
图1为一系统的特定说明性实施例的方框图，所述系统包括具有图像组合模块的图像处理系统；
图2为说明包括图像组合引擎的系统的第一实施例的方框图；
图3为说明包括图像组合引擎的系统的第二实施例的方框图；
图4为说明包括图像组合电路的系统的一实施例的方框图；
图5为逻辑上说明图像组合引擎的一实施例的操作的图，所述操作提供实现对手抖动的校正和减少归因于移动对象而引起的对象模糊；
图6为在逻辑上说明图像组合引擎的一实施例的用以产生高动态范围图像的操作的图；
图7为在逻辑上说明图像组合引擎的一实施例的实现景深增强的操作的图；
图8说明横向色差；
图9说明图像的几何失真的第一实施例；
图10说明图像的几何失真的第二实施例；
图11为在逻辑上说明图像组合引擎的一实施例的实现对图像的几何失真的校正的操作的图；
图12为选择性地组合图像的方法的流程图；
图13为执行分层组合过程的方法的流程图；
图14为执行图像改进过程的方法的流程图；
图15为包括图像组合模块的便携式电子装置的方框图；
图16为说明用以组合视频帧的系统的一实施例的方框图；以及
图17为组合视频帧的方法的流程图。
具体实施方式
图1为一系统的特定说明性实施例的方框图，所述系统包括具有图像组合模块的图像处理系统。系统100包括耦合到图像处理系统130的图像俘获装置101。图像处理系统130耦合到图像存储装置140。图像处理系统130经配置以接收来自图像俘获装置101的图像数据109且组合多个图像，从而提供对与所述多个图像相关联的问题的校正或改进，这些问题例如为归因于手抖动的移位、图像中对象的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差和几何失真。通常，系统100可实施于电子装置中，所述电子装置经配置以使用相对有限的处理资源来执行实时图像处理。
在一特定实施例中，图像俘获装置101为相机，例如视频相机或静态相机。在其它实施例中，图像俘获装置101可为嵌入于蜂窝式电话、个人数字助理(PDA)等中的相机。图像俘获装置101包括透镜102，其响应于聚焦模块104和曝光模块106。传感器108经耦合以经由透镜102接收光，且响应于经由透镜102接收到的图像而产生图像数据109。聚焦模块104可响应于传感器108，且可适于自动地控制透镜102的聚焦。曝光模块106还可响应于传感器108，且可适于控制所述图像的曝光。在一特定实施例中，传感器108包括多个检测器或像素井，其经布置以使得相邻检测器检测不同色彩的光。举例来说，所接收到的光可经过滤以使得每一检测器接收红色、绿色或蓝色传入光。
图像俘获装置101经耦合以将图像数据109提供到图像处理系统130。图像处理系统130包括去马赛克模块110，其用以对从图像俘获装置101接收到的图像数据109执行去马赛克运算。色彩校正模块112经配置以对经去马赛克的图像数据执行色彩校正。伽玛模块114经配置以由从色彩校正模块112接收的数据产生经伽玛校正的图像数据。色彩转换模块116经耦合以对所述经伽玛校正的图像数据执行色彩空间转换。图像处理系统130还包括图像组合模块118，图像组合模块118经配置以组合多个图像，如参看图2到图14所论述。压缩和存储模块120经耦合以接收图像组合模块118的输出，且将经压缩的输出数据存储于图像存储装置140处。图像存储装置140可包括任何类型的存储媒体，例如一个或一个以上显示缓冲器、寄存器、高速缓冲存储器、快闪存储器元件、硬盘、任何其它存储装置，或其任何组合。
如所论述，在一特定实施例中，传感器108包括检测不同色彩的光(例如，红色、绿色和蓝色(RGB))的多个检测器。因此，可在RGB色彩空间中接收图像。在一特定实施例中，所述图像可通过色彩转换模块116转换到其它色彩空间，例如“YCbCr”色彩空间。所述YCbCr色彩空间为色彩空间的一实例，其中图像由明度(或亮度)分量(YCbCr色彩空间中的Y分量)和色度分量(YCbCr色彩空间中的Cb和Cr分量)来表示。在所述YCbCr色彩空间中，Cb为缺蓝明度(B-Y)且Cr为缺红明度(R-Y)。
在操作期间，图像组合模块118可校正或改进对应于输入图像数据109的图像。举例来说，可对图像作出校正或改进以补偿与所俘获的图像相关联的问题，例如归因于手抖动的移位、图像中对象的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差和几何失真。
尽管在图1中所说明的特定实施例中，在图像处理管线中图像组合模块118在色彩转换模块116的后面，但在其它实施例中，图像组合模块118可实施于所述图像处理管线内的其它位置处。另外，尽管将图像俘获装置102说明为具有单一传感器108，但在其它实施例中，图像俘获装置102可具有多个传感器。举例来说，图像俘获装置102可具有两个或两个以上传感器，所述两个或两个以上传感器经配置以(例如)使用不同曝光设定或不同聚焦设定在同一条件或各种条件下对特定场景执行多次并发图像俘获。
图2说明具有图像组合引擎205的系统200，图像组合引擎205具有第一图像输入201以接收对应于第一图像的第一图像数据。在一特定实施例中，系统200可包括于图1的图像组合模块118中。举例来说，第一图像可由相机透镜102俘获且经由传感器108、去马赛克模块110、色彩校正模块112、伽玛模块114和色彩转换模块116而在第一图像输入201处提供到图像组合引擎205。
图像组合引擎205进一步包括第二图像输入202以接收对应于第二图像的第二图像数据。在一特定实施例中，所述第二图像可由相机透镜102俘获且经由传感器108、去马赛克模块110、色彩校正模块112、伽玛模块114和色彩转换模块116而在第二图像输入202处提供到图像组合引擎205。
所述第一和第二图像被图像组合引擎205组合。举例来说，图像组合引擎205可根据关于图3到图14描述的实施例来操作。
图像组合引擎205经配置以产生组合图像输出206。在一特定实施例中，图像组合引擎205通过至少部分基于比较第一图像的第一特性与第二图像的第二特性而选择性地组合来自第一图像输入201的第一值与来自所述第二图像输入202的经调整的第二值来产生组合图像输出206。举例来说，当所述第一图像的一区失焦但所述第二图像的对应区聚焦时，图像组合引擎205可为组合图像输出206选择对应于来自所述第二图像的区的像素值。可进行比较的其它特性实例包括图像的对比度、图像的明度分量之间的偏差，和图像的经过滤特性(例如，经低通过滤的数据、经高通过滤的数据)。在一特定实施例中，组合图像输出206可耦合到图像存储装置(例如，图像存储装置140)。
在其它实施例中，图像组合引擎205可包括额外图像输入。另外或替代地，组合图像输出206可耦合到第一图像输入201，从而提供组合图像组合引擎205的输出与在第二图像输入202上接收到的额外图像输入以反复地组合输出图像与额外输入图像的能力。举例来说，可组合三个图像数据集合以通过以下操作来形成单一图像：将第一图像数据集合应用于第一图像输入201且将第二图像数据集合应用于第二图像输入202；以及将所得组合图像应用于第一图像输入201且将所述第三图像数据集合应用于第三图像输入202，从而产生所有三个图像数据集合的组合图像。
图3说明具有图像组合引擎305的系统300。在系统300中，图像组合引擎305包括：对齐电路321，其对齐单独图像输入；组合电路323，其组合单独图像输入；以及控制电路325，其控制对齐电路321和组合电路323。在一说明性实施例中，系统300可包括于图1的图像组合模块118或图2的图像组合引擎205中。
在一特定实施例中，对齐电路321包括第一明度输入311、第二明度输入313，和耦合到组合电路323的输出322。对齐电路321经配置以确定来自第一明度输入311的数据与来自第二明度输入313的数据之间的差异，且在输出322处将偏移数据提供到组合电路323。在一特定实施例中，第一明度输入311为在YCbCr色彩空间中编码的第一图像的Y分量数据，且第二明度输入313为在YCbCr色彩空间中编码的第二图像的Y分量数据。如图3中所说明，对齐电路321仅使用来自待对齐的图像的明度分量来执行图像对齐。在其它实施例中，除了明度分量外或作为明度分量的取代，对齐电路321还可使用图像数据的其它分量来执行对齐。
组合电路323包括第一图像输入315、第二图像输入317、用以接受来自对齐电路321的对齐数据的输入，和组合图像输出306。在一特定实施例中，第一图像输入315接收在YCbCr色彩空间中编码的第一图像的数据，且第二图像输入317接收在YCbCr色彩空间中编码的第二图像的数据。组合电路323经配置以选择性地组合第一图像与第二图像，所述第二图像已基于由对齐电路321检测到的差异而被调整(即，调整成与所述第一图像数据对准)。对齐电路321经配置以响应于输入326而在控制电路325的控制下操作，且组合电路323经配置以响应于输入324而在控制电路325的控制下操作。
在一特定实施例中，图像组合电路323通过至少部分基于比较第一图像的第一特性与第二图像的第二特性而选择性地组合来自所述第一图像输入315的第一值与来自所述第二图像输入317的第二值来产生组合图像输出306。作为说明性实例，所述特性可包括焦点、对比度、变化或频谱。举例来说，图像组合电路323可基于以下各者来组合第一图像输入315的区与第二图像输入317的区以改进组合图像输出306的质量：哪个图像输入在所述区中具有较佳聚焦、哪个图像输入在所述区中具有较佳对比度、在对齐之后在所述区中在所述两个图像输入之间检测到多少变化，或其它特性。图像组合电路323可接收来自所述控制电路325的指示选定特性的输入324，逐区或甚至逐像素地评估相应图像，且基于基于所述所评估的特性的输入图像的区或像素的选择性组合来产生所述组合图像。
参看图4，描绘一种用以选择性地组合多个图像的系统且大体上将其标示为400。在一特定实施例中，系统400可包括于图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305或其任何组合中。系统400包括耦合到分层组合电路460的分层对齐电路420。分层对齐电路420和分层组合电路460耦合到专用控制电路432。专用控制电路432和分层组合电路460还耦合到加权表434。
分层对齐电路420经配置以接收对应于第一图像的第一图像明度数据402和对应于第二图像的第二图像明度数据404，且使用粗略对齐电路422和精细对齐电路424来对第一图像明度数据402和第二图像明度数据404执行对齐过程。分层对齐电路420经配置以产生精细运动向量集合429，其指示第一图像明度数据402与第二图像明度数据404的对应部分之间的所检测到的偏移。在一特定实施例中，精细运动向量集合429包括垂直和水平移位数据以对准可能归因于相机移动、图像移动或其两者而未对准的图像。如所说明，分层对齐电路420对图像明度数据进行操作以实现计算效率。然而，在其它实施例中，除了明度数据外或作为明度数据的取代，分层对齐电路420还可使用其它类型的图像数据来操作，例如色度分量数据、红色数据、蓝色数据或绿色数据，或其任何组合。
在一特定实施例中，粗略对齐电路422包括运动向量产生电路426。运动向量产生电路426可经配置以将第一图像明度数据402和第二图像明度数据404中的每一者划分成若干块，以在所述块之间执行粗略对齐过程。举例来说，运动向量产生电路426可在逻辑上将第一图像明度数据402和第二图像明度数据404中的每一者分割成重叠块的3×3集合，且可使用所述重叠块的投影来产生粗略运动向量集合427，可应用粗略运动向量集合427以将第二图像明度数据404的块中的每一者与第一图像明度数据402的对应块对准。在其它实施例中，可使用任何数目个块，且所述块中的一些或全部可为非重叠块。
精细对齐电路424经配置以接收粗略运动向量集合427，且产生精细运动向量集合429。在一特定实施例中，精细对齐电路424包括耦合到宏块精细化电路430的运动向量上取样电路428。运动向量上取样电路428可接收粗略运动向量集合427，且对其进行上取样以产生粒度比粗略运动向量集合427精细的运动向量。为说明，图像明度数据402和404可配置为宏块的M×N阵列，其中每一宏块对应于一图像的十六个像素乘十六个像素的区。运动向量上取样电路428可产生运动向量的M×N集合，其将粗略运动向量集合427的对应运动向量应用于每一宏块。
在一特定实施例中，宏块运动向量精细化电路430经耦合以接收经上取样的运动向量集合427以及图像明度数据402和404，且产生经精细化运动向量集合429。举例来说，宏块运动向量精细化电路430可经配置以将经上取样的运动向量集合427中的每一运动向量应用于第二图像数据的对应宏块，以将第二图像数据的宏块与第一图像数据的对应宏块粗略对准。宏块运动向量精细化电路430可搜索第一图像数据402的在经粗略对准的宏块周围的区，以确定经粗略对准的宏块与第一图像数据402的更准确对准。所述搜索区可基于从专用控制电路432接收到的搜索范围控制信号435来选择。经精细化运动向量集合429可指示对应于每一宏块的更准确对准的向量数据，以实现第一图像明度数据402与第二图像明度数据404的逐宏块对齐。
宏块运动向量精细化电路430可通过执行算法来确定经精细化运动向量集合429，所述算法针对每一运动向量选择多个可能均方误差(MSE)中的计算出的最低MSE或其它范数。举例来说，对于第二图像明度数据404的一特定宏块来说，可考虑所述宏块与第一图像明度数据402的多种可能对准，且为经精细化运动向量集合429选择导致计算出的最低MSE的对准。针对每一宏块所确定的均方误差可作为运动向量(MV)均方差数据431而提供到分层组合电路460。
在一特定实施例中，分层组合电路460经配置以使用粗略组合电路462和精细组合电路464来组合第一图像数据406与第二图像数据408。第一图像数据406可包括第一图像的第一明度数据402且还包括第一图像的色度数据作为YCbCr图像数据。第二图像数据408可包括第二图像的第二明度数据404和第二图像的色度数据作为YCbCr数据。
在一特定实施例中，粗略组合电路462包括宏块图像对准电路466和块MSE差鉴别器电路468。宏块图像对准电路466可经配置以将经精细化运动向量集合429应用于第二图像数据408，以产生第二图像的与第一图像数据对准的图像数据。举例来说，宏块图像对准电路466可经配置以在宏块被确定为重叠时组合第二图像中的像素值，或在对宏块重新对准的情况下内插像素值以产生第二图像数据的不在任何宏块内的区。宏块图像对准电路466可将第一图像数据406和第二图像的经对准图像数据提供到块MSE差鉴别器电路468。
在一特定实施例中，块MSE差鉴别器电路468经配置以对从宏块图像对准电路466接收到的数据执行粗略组合过程。具体来说，块MSE差鉴别器电路468可消除第二图像的经对准图像数据的未充分匹配第一图像数据406的宏块。举例来说，可对照一阈值来比较每一宏块的MV MS差数据431。在所述MS差超过特定宏块的阈值时，所述特定宏块被确定为在第一图像数据406与所述第二图像的经对准图像数据之间差异过大，且因此不应组合所述特定宏块的图像数据。
举例来说，在一移动对象出现在第一图像数据406中的第一宏块中(但不出现在所述第二图像的经对准图像数据中的所述第一宏块中)且所述移动对象出现在所述第二图像的经对准图像数据中的第二宏块中(但不出现在第一图像数据406的第二宏块中)时，所述第一宏块可被确定为在所述第一图像与所述第二图像之间不可组合，且所述第二宏块可被确定为在所述第一图像与所述第二图像之间不可组合，这归因于对应的均方误差差。块MSE差鉴别器电路468可经配置以从所述经对准的第二图像数据移除每一不可组合的宏块，使得仅使用来自第一图像数据406的宏块的像素值。举例来说，可从第一图像数据406复制宏块的像素值，以替换第二图像的经对准的图像数据的对应宏块中的像素值。
如所说明，所述块MSE差鉴别器电路468响应于专用控制电路432。举例来说，专用控制电路432可提供指示阈值差的阈值控制信号437，所述阈值差将用以比较第一图像数据与第二图像的经对准图像数据的宏块之间的MSE差。块MSE差鉴别器电路468可将两个图像数据集合输出到所述精细组合电路464，所述两个图像数据集合包括在粗略组合过程之后对应于第一图像的图像数据和对应于第二图像的图像数据。
所述精细组合电路464经配置以接收已经对齐并粗略对准的第一和第二图像数据，且执行精细组合过程以产生输出图像数据480。在一特定实施例中，精细组合电路464包括第一过滤器470和第二过滤器472，所述两个过滤器耦合到平均像素MS差电路474。精细组合电路464还包括图像组合电路476，其耦合到平均像素MS差电路474且耦合到加权表434。
所述第一图像的所接收到的数据可由第一过滤器470处理，且将所述第一图像的经过滤数据提供到平均像素MS差电路474。所述第二图像的所接收到的数据可由第二过滤器472处理，且将所述第二图像的经过滤数据提供到平均像素MS差电路474。过滤器470和472可响应于专用控制电路432。举例来说，过滤器470和472可接收来自专用控制电路432的响应控制信号439，其指示过滤器响应特性，例如低通响应、高通响应、带通响应、任何其它过滤器响应，或其任何组合。过滤器470和472可包括3×3核，或任何其它大小的核。在一特定实施例中，过滤器470和472具有响应于专用控制电路432的核大小。
平均像素MS差电路474可经配置以接收对应于每一图像的经过滤数据，且执行逐像素的有正负号的均方差运算。所述差运算可使用每一特定像素的明度值和色度值中的每一者针对所述特定像素产生有正负号的值，所述值指示所述第一图像的经过滤数据与所述第二图像的经过滤数据之间的差。平均像素MS差电路474可经配置以将所述差数据作为平均像素差结果而提供到图像组合电路476。
图像组合电路476可经配置以针对每一像素接收来自平均像素MS差电路474的差值，且确定输出图像数据480中的每一像素的像素值。举例来说，特定像素的所接收到的差值可提供作为加权表434处的查找操作。所述查找操作的结果可确定输出图像数据480中的像素值是具有从粗略组合电路462接收到的所述第一图像数据的值、从粗略组合电路462接收到的所述第二图像数据的值，还是其组合。
加权表434可包括指示以下两者的数据：第一权重，其将应用于所述第一图像数据的像素值；以及第二权重，其将应用于所述第二图像数据的像素值。加权表434可提供：具有约0到1的范围的输出值“W”，其对应于将应用于第一图像数据的权重；以及值1-W，其对应于将应用于第二图像数据的权重。加权表可响应于来自专用控制电路432的表控制信号433。
在操作期间，专用控制电路432可确定一个或一个以上控制参数以控制系统400处的图像对齐和组合过程。举例来说，专用控制电路432可选择搜索范围控制信号435的值以指示所述宏块对齐的侵犯性(aggressiveness)，选择所述阈值控制信号433以指示宏块组合可接受的差的量，选择响应控制信号439以指示将要执行的过滤的类型，以及选择表控制信号433以指示所述图像如何基于所述图像之间的经过滤像素差来组合的加权。
尽管系统400说明为包括经配置以执行特定过程的硬件电路，但在其它实施例中，系统400的一个或一个以上组件可由执行处理器指令的处理器来执行。举例来说，由电路420、422、424、426、428、430、432、434、460、462、464、466、468、470、474或476执行的功能中的一者或一者以上可由图像处理器、数字信号处理器(DSP)或已经编程以执行上文所描述的功能或通用算法中的一者或一者以上的通用处理器来执行。在其它实施例中，所述电路420、422、424、426、428、430、432、434、460、462、464、466、468、470、474或476中的一者或一者以上可由包括于硬件、固件、执行计算机可读指令的处理器或其任何组合中的组件来替换。
结合图5到图11来论述说明图像组合的特定实施例，且所述特定实施例对于将图4的图像组合电路400的操作理解为可实施于这些特定实施例中是有用的。
参看图5，提供在逻辑上说明图像组合引擎的一实施例的操作的图，所述操作实现对手抖动的校正且用于减少归因于移动对象的对象模糊。出于说明的目的，在图5中，通过圆圈表示移动对象502，且通过三角形说明归因于抖动而移位的图像部分504。第一列521大体上表示第一图像的处理路径，且第二列523大体上表示第二图像的处理路径。
在一说明性实施例中，所述第一图像和所述第二图像的用以移除手抖动的数据流501可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的图像组合电路400或其任何组合中执行。在一第二说明性实施例中，所述第一图像和所述第二图像的用以移除手抖动的数据流501可根据图12的图像选择性组合方法1200、图13的分层对齐过程1300、图14的图像改进过程1400或其任何组合来执行。
最初，将第一图像和第二图像作为输入提供到导致粗略对齐512的粗略对齐过程和导致精细对齐514的精细对齐过程。所述粗略对齐过程和所述精细对齐过程经配置以确定第一图像与第二图像之间的差。如所说明，粗略对齐512可将每一图像数据集合细分成若干部分(例如，第一部分530)，且可确定第一图像的第一部分与第二图像的第一部分之间的偏移。精细对齐514可将每一部分进一步细分(例如)成若干宏块，其对应于图像的十六个像素乘十六个像素的区域(说明为在第一部分530内的第二部分532)。精细对齐514可确定第一图像的第二部分与第二图像的第二部分之间的偏移，且可经由运动向量(例如，图4的精细运动向量集合429中的一运动向量)来表示所述偏移。
第二图像的块与第一图像的块基于图像的对齐而对准，以产生粗略组合块对准516。
粗略组合块差过程基于移动对象502(由圆圈表示)在第一图像与第二图像之间移位的像素的数目来检测对象502，以产生粗略组合块差518。对象在其被视为移动对象之前必须移位的像素的数目可随应用而变，且在某些实施例中，由专用对齐控制模块(例如，图4的专用对齐控制模块431或图3的控制电路325)来控制。在检测到所述移动对象后，通过用第一图像的对应块替换第二图像中具有所述移动对象的块来从第二图像移除移动对象，此可实质上减少在组合图像时归因于移动对象而引起的“重像”。通过粗略对齐过程和精细对齐过程来调整归因于手抖动的移位504(说明为三角形)，使得所述图像可逐像素地组合。举例来说，所述精细组合过程可对第一和第二经对齐图像的值求平均以减少图像误差且减少噪声。所得组合图像在噪声少于第一图像数据或第二图像数据中的任一者的情况下提供对与所述图像相关联的问题(例如，归因于手抖动的移位和归因于图像中对象的移动的重像)的校正或改进。
作为一说明性、非限制性实例，可在图4的系统400处在由专用控制电路(ASCC)432控制的手抖动减少和对象模糊减少模式下执行数据流501。ASCC 432可经由搜索范围控制信号435指令分层对齐电路420使用大搜索范围来检测对象移动。ASCC 432可经由阈值信号437来指令粗略组合电路462不组合彼此远离的块，例如通过根据最大所预期噪声或所测量噪声值加上预定裕度来设定阈值。ASCC 432可经由响应信号439来配置精细组合电路464的过滤器470和472，以针对每一平面(例如，Y、Cb和Cr)在全通模式下操作以使得能基于经过滤的图像特性进行比较。ASCC 432可经由表信号433来配置加权表434以提供加权功能，所述加权功能使精细组合电路464在所述经过滤图像数据的平均像素MS差的量值小于选定量时使用从粗略组合电路462接收到的第一图像数据和第二图像数据的像素值的平均值来产生输出图像数据480的像素值，且在所述经过滤图像数据的平均像素MS差的量值不小于选定量时仅使用所述第一图像数据中的像素值。
参看图6，展示在逻辑上说明图像组合的一实施例的用以产生高动态范围的图像的操作的图。第一列621表示在相对短的曝光时间下取得的图像的处理路径，所述相对短的曝光时间导致所述图像的一部分适当曝光且表示为适当曝光部分602，且所述图像的一部分曝光不足且表示为曝光不足部分604。第二列623表示在相对长的曝光时间下取得的图像的处理路径，所述相对长的曝光时间导致所述图像的一部分过度曝光且表示为过度曝光部分606，且所述图像的一部分适当曝光且表示为适当曝光部分608。
在一说明性实施例中，所述第一和第二图像的用以提供高动态范围(HDR)图像的数据流601可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的图像组合电路400或其任何组合中执行。在一第二说明性实施例中，所述第一和第二图像的用以提供HDR图像的数据流601可根据图12的图像选择性组合方法1200、图13的分层对齐过程1300、图14的图像改进过程1400或其任何组合来执行。
最初，将第一处理路径621中的第一图像和第二处理路径623中的第二图像作为输入提供到提供粗略对齐612的粗略对齐过程和提供精细对齐614的精细对齐过程。所述粗略对齐过程和所述精细对齐过程确定所述第一图像与所述第二图像之间的差。
所述第二图像的块与所述第一图像的块基于所述图像的对齐而对准，以产生粗略组合616。粗略组合616进一步移除经对齐图像的(例如)归因于图像中的对象移动而未足够匹配的块，如图5中所描述。
精细组合过程逐像素地组合所述第一图像的适当曝光部分602与第二图像的适当曝光部分608，从而产生具有适当曝光的HDR图像的精细组合。在某些实施例中，可使用所述精细组合过程来执行其它图像增强功能。
作为一说明性、非限制性实例，可在图4的系统400处在由专用控制电路(ASCC)432控制的高动态范围模式下执行数据流601。ASCC 432可经由搜索范围控制信号435指令分层对齐电路420不依赖于精细运动向量估计，以便使用极小或为零的搜索范围。ASCC 432可经由阈值信号437指令粗略组合电路462使用极高的阈值或停用丢弃的块。ASCC 432可经由响应信号439来配置精细组合电路464的过滤器470和472，以将参考图像的明度过滤器设定为平均值且将其它的设定为零，以使得能基于经过滤的图像特性进行比较。ASCC 432可经由表信号433来配置加权表434以提供加权功能，所述加权功能致使精细组合电路464在所述经过滤图像数据的平均像素MS差小于第一量时使用第一图像数据中的像素值来产生输出图像数据480的像素值，在所述经过滤图像数据的平均像素MS差大于一第二量时使用第二图像数据中的像素值来产生输出图像数据480的像素值，且在所述经过滤图像数据的平均像素MS差的量值介于所述第一量与所述第二量之间时，提供到从粗略组合电路462接收到的所述第一图像数据和所述第二图像数据中的像素值的平均值的平滑转变。
图7为在逻辑上说明图像组合引擎的一实施例的实现景深增强的操作的图。如图7所说明，第一处理路径721中的第一图像包括经聚焦的近场部分702和模糊的远场部分704。第二处理路径723中的第二图像包括模糊的近场部分706和经聚焦的远场部分708。
在一说明性实施例中，所述第一和第二图像的用以提供景深增强的数据流701可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的图像组合电路400或其任何组合中执行。在第二说明性实施例中，所述第一和第二图像的用以提供景深增强的数据流701可根据图12的图像选择性组合方法1200、图13的分层对齐过程1300、图14的图像改进过程1400或其任何组合来执行。
最初，将第一图像和第二图像作为输入提供到产生粗略对齐图像712的粗略对齐过程和产生精细对齐图像714的精细对齐过程。粗略对齐图像712和精细对齐图像714经配置以确定第一图像与第二图像之间的差。在对齐后，通过粗略组合过程基于图像的对齐来使第二图像的块与第一图像的块对准，以产生粗略组合图像716。粗略组合过程进一步移除所述经对齐图像中的一者中的归因于移动对象而不匹配的块。
精细组合过程逐像素地组合第一图像的聚焦近场部分702与第二图像的聚焦远场部分708，从而产生经聚焦的组合图像以产生精细组合图像718。在某些实施例中，可使用所述精细组合过程来实行其它图像增强功能。提供具有增强景深的图像。
作为一说明性、非限制性实例，可在图4的系统400处在由专用控制电路(ASCC)432控制的增强景深模式下执行数据流701。ASCC 432可经由搜索范围控制信号435指令分层对齐电路420使用大搜索范围来实现对象移动检测。ASCC 432可经由阈值信号437指令粗略组合电路462不组合彼此远离的块，例如通过根据最大所预期噪声或所测量噪声值加上预定裕度来设定阈值。ASCC 432可经由响应信号439来配置精细组合电路464的过滤器470和472，以针对明度数据具有高通过滤器响应且针对色度数据具有零响应，以使得能基于经过滤的图像特性进行比较。ASCC 432可经由表信号433来配置加权表434以提供加权功能，所述加权功能致使精细组合电路464在所述经过滤图像数据的平均像素MS差小于零时使用第一图像数据中的像素值来产生输出图像数据480的像素值，且在所述经过滤图像数据的平均像素MS差大于零时转变到使用第二图像数据中的像素值。
转到图8，说明横向色差。如图8所说明，将传入光描绘为入射于透镜上的平面803、805和807。归因于透镜的折射性质，如在传感器阵列处所接收到，入射光的所检测到的每一色彩可具有略微不同的视野，分别说明为视野813、815和817。在一特定实施例中，使用传感器输出产生的三个色彩平面(例如，红色、绿色和蓝色色彩平面)的对齐可补偿不同视野。
图9和图10说明分别具有几何失真的图像902和1002。几何失真可由多种因素造成，包括透镜失真和成像系统的机械、光学和电组件中的其它失真。在一特定实施例中，对几何失真的图像重取样可校正几何失真。
图11为在逻辑上说明图像组合引擎的一实施例的实现对图像的几何失真的校正的操作的方框图。在图11中，将具有几何失真的单一图像1104作为输入提供到粗略对齐过程，以产生粗略对齐图像1112。所述粗略对齐过程可使用可经预先界定且基于由所述成像系统的机械、光学和电组件造成的已知几何失真的粗略对齐向量集合来对所述图像1104进行粗略的重取样。
精细对齐过程可接着使用可经预先界定且基于已知几何失真的精细对齐向量集合来对所述图像1104进行精细的重取样，以产生精细对齐图像1114。接着将所述经重取样的图像1115提供到产生粗略组合图像1116的粗略组合过程和产生精细组合图像1118的精细组合模块。在一特定实施例中，图像1104还可与其它图像组合以进行提供经校正的图像1120的其它校正。
在一说明性实施例中，图像的用以提供对所述图像的几何失真的校正的数据流1101可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合中执行。在第二说明性实施例中，图像的用以提供对所述图像的几何失真的校正的数据流1101可根据图12的图像选择性组合方法1200、图13的分层对齐过程1300、图14的图像改进过程1400或其任何组合来执行。
转到图12，一种图像选择性组合方法大体上展示于1200处。在一说明性实施例中，方法1200可通过图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合来执行。在1202处，接收对应于第一图像的第一图像数据和对应于第二图像的第二图像数据。在一特定实施例中，可在具有明度分量和色度分量的色彩空间中接收所述第一图像数据和所述第二图像数据。在另一特定实施例中，所述第一图像数据和所述第二图像数据可在YCbCr色彩空间中接收到。在1204处，可计算对应于所述第二图像数据的部分相对于所述第一图像数据的对应部分之间的偏移的运动向量数据集合。举例来说，所述运动向量数据集合可使用粗略对齐电路来计算，以产生用以大致地对准所述图像数据的第一运动向量集合，且使用精细对齐电路来计算，以基于所述第一运动向量集合产生较精细运动向量集合。
在1206处，通过应用所述运动向量数据集合来调整第二图像数据，如所描述，所述运动向量数据集合对应于第二图像数据的部分相对于第一图像数据的对应部分之间的偏移。结果，第二图像数据经调整以与第一图像数据更紧密对准，以补偿在俘获所述第一图像数据与俘获所述第二图像数据之间的相机的移动或图像中对象的移动。在1208处，通过至少部分基于比较第一图像数据的第一特性与第二图像数据的第二特性而选择性地组合来自所述第一图像数据的第一值与来自所述经调整的第二图像数据的第二值来产生第三图像数据。可进行比较的特性实例包括图像的聚焦、图像的对比度、图像的明度分量之间的偏差，和图像的经过滤特性(例如，经低通过滤的数据、经高通过滤的数据)。
在一特定实施例中，所述选择性组合包括粗略组合操作和精细组合操作。所述粗略组合操作可对所述经调整的第二图像数据的宏块执行，且所述精细组合操作可对所述第一图像数据和所述第二经调整的图像数据的像素执行。所述粗略组合操作可包括：在所述经调整的第二图像数据的一个或一个以上宏块与所述第一图像数据的对应宏块之间的差超过可选阈值时，选择性地丢弃所述经调整的第二图像数据的一个或一个以上宏块。举例来说，所述可选阈值可由图4的专用控制电路432所提供的阈值控制信号437来指示。在另一特定实施例中，所述精细组合操作包括对所述第一图像数据和所述经调整的第二图像数据进行过滤以比较经过滤的图像特性，且基于所述经过滤的图像特性来选择性地组合所述第一值与所述第二值。可在图4的平均像素差电路474处比较所述经过滤的图像特性，且使用所述经过滤的图像特性来查询加权表434，以产生用于所述第一图像数据与所述经调整的第二图像数据的加权组合的权重。
在一特定实施例中，所述第一图像数据的第一特性和所述第二图像数据的第二特性指示所述图像的聚焦条件(例如，聚焦或失焦)、所述第一图像和所述第二图像内对象的移动，或图像的曝光。另外，在一特定实施例中，可基于比较所述第一图像数据的经过滤部分与所述第二图像数据的经过滤部分来组合第一图像数据的值与第二图像数据的值。举例来说，可在图4的平均像素差电路474处比较所述第一图像数据的经过滤部分与所述第二图像数据的经过滤部分，且可使用所述比较的结果来确定相对权重，所述相对权重将应用于所述第一图像数据的值和所述第二图像数据的值。第一图像数据和第二图像数据可为(例如)在相机的图像传感器处俘获的连续帧。
在某些实施例中，在满足某些条件时，第一图像数据或第二图像数据的像素或块可被丢弃，且用来自第一图像数据或第二图像数据中的另一者的像素或块来替换。举例来说，在针对手抖动或运动检测来调整图像时，可丢弃经调整的第二图像的宏块内的像素。可丢弃第一图像中或经调整的第二图像中的像素以增强景深。所得的第三图像数据可在以下方面强于所述第一图像或所述第二图像：手抖动、移动、景深增强、横向色差和几何失真。
在一特定实施例中，如图13所说明，基于分层对齐过程1300来确定所述运动向量数据集合。所述分层对齐过程1300可由图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合来执行。分层结构过程提供相对于稳健操作点调整分辨率且减少计算需求的能力。分层对齐过程1300包括：在1302处，确定所述第一图像的第一部分与所述第二图像的第一部分之间的第一对准偏移；以及在1304处，基于所述第一对准偏移来确定所述第一图像的第二部分与所述第二图像的第二部分之间的第二对准偏移，其中所述第一图像的第二部分位于所述第一图像的第一部分内。在一个特定实施例中，所述第一图像的第一部分为所述第一图像的3×3矩阵中的九个分区中的一者，且所述第一图像的第二部分对应于所述第一图像的十六个像素乘十六个像素的区域。
图14描绘说明图像改进方法1400的实施例的流程图。在一说明性实施例中，图像改进方法1400可由图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合来执行。在1402处，确定第一运动向量集合，其对应于第一图像数据的第一块集合中的每一块与第二图像数据的第一块集合中的对应块之间的偏移。举例来说，所述第一运动向量集合可为图4的粗略运动向量集合427。
在1404处，对所述第一运动向量集合中的对应于所述第二图像数据的第一块集合中的特定块的运动向量进行上取样，以将所述运动向量应用于所述第二图像数据的第二块集合，所述第二图像数据的第二块集合包括于所述特定块内。举例来说，图4的运动向量上取样电路428可对重叠块的3×3集合中的特定块的运动向量进行上取样，以将所述运动向量应用于所述特定块内的宏块集合。
在1406处，确定第二运动向量集合，所述第二运动向量集合对应于在应用所述第一运动向量集合的所述运动向量之后所述第一图像数据的第二块集合中的每一者与所述第二图像数据的第二块集合中的对应块之间的偏移。举例来说，所述第二运动向量集合可为由图4的宏块精细化电路430产生的精细运动向量集合429。在1408处，将所述第二运动向量集合应用于所述第二图像数据以产生经调整的第二图像数据。
在一特定实施例中，所述第二运动向量集合是基于经由控制输入指示的可选搜索范围来确定，所述控制输入例如为图3的输入326或在图4的宏块精细化电路430处接收到的搜索范围控制信号435。所述可选搜索范围可限制在应用所述第一运动向量集合的所述运动向量后所述第一图像数据的第二块集合中的每一者与所述第二图像数据的第二块集合中的对应块之间的偏移。
在1410处，选择性地组合所述第一图像数据与所述经调整的第二图像数据的若干部分。举例来说，可在逐区或逐像素基础上或以所述两种方式组合第一图像数据与第二图像数据。为说明，可通过图4的分层组合电路460组合第一图像数据与经调整的第二图像数据。
在一特定实施例中，第一图像数据与经调整的第二图像数据的选择性组合产生第三图像数据。所述第三图像数据可具有比第一图像数据大的景深、比第一图像数据少的噪声，或比第一图像数据大的动态分辨率。
图15为包括图像组合模块的系统的特定实施例的方框图。系统1500可实施于便携式电子装置中且包括耦合到存储器1532的信号处理器1510，例如数字信号处理器(DSP)。系统1500包括图像组合模块1564。在一说明性实例中，所述图像组合模块1564包括图1到图5的系统中的任一者，根据图12到图14的方法中的任一者而操作，或其任何组合。图像组合模块1564可并入到所述信号处理器1510中，或可为单独装置。
相机接口1568耦合到信号处理器1510且还耦合到相机，例如相机1570。相机1570可为视频相机或静态图像相机，或可实施所述两种功能性。显示控制器1526耦合到信号处理器1510且耦合到显示装置1528。编码器/解码器(CODEC)1534还可耦合到信号处理器1510。扬声器1536和麦克风1538可耦合到CODEC 1534。无线接口1540可耦合到信号处理器1510且耦合到无线天线1542。
在一特定实施例中，信号处理器1510包括图像组合模块1564，图像组合模块1564适于确定第一运动向量集合，所述第一运动向量集合对应于第一图像数据的第一块集合中的每一块与第二图像数据的第一块集合中的对应块之间的偏移。图像组合模块1564可适于对所述第一运动向量集合中的对应于第二图像数据的第一块集合中的特定块的运动向量进行上取样，以将所述运动向量应用于第二图像数据的第二块集合。第二图像数据的所述第二块集合包括于所述特定块内。图像组合模块1564可适于确定第二运动向量集合，所述第二运动向量集合对应于在应用所述第一运动向量集合的所述运动向量之后第一图像数据的第二块集合的每一者与第二图像数据的第二块集合中的对应块之间的偏移。图像组合模块1564可适于将所述第二运动向量集合应用于所述第二图像数据以产生经调整的第二图像数据。图像组合模块1564可适于选择性地组合第一图像数据与经调整的第二图像数据的若干部分，以产生第三图像数据。
举例来说，图像组合模块1564可包括图4的分层对齐电路420，分层对齐电路420包括运动向量上取样电路428以对粗略运动向量集合427中的运动向量进行上取样。所述经上取样的运动向量可对应于块的3×3栅格中的特定块，且可经上取样以应用于所述特定块内的每一宏块。图像组合模块1564还可包括图4的分层组合电路460，以(例如)在粗略组合电路462处和在精细组合电路464处选择性地组合图像数据。
信号处理器1510还可适于产生已由图像组合模块1564处理的图像数据。作为说明性、非限制性实例，所述经处理的图像数据可包括来自视频相机1570的视频数据、经由无线接口1540来自无线发射的图像数据，或来自其它来源(例如，经由通用串行总线(USB)接口(未图示)耦合的外部装置)的数据。
显示控制器1526经配置以接收经处理的图像数据，且将所述经处理的图像数据提供到显示装置1528。另外，所述存储器1532可经配置以接收并存储所述经处理的图像数据，且无线接口1540可经配置以接收所述经处理的图像数据以用于经由天线1542进行发射。
在一特定实施例中，信号处理器1510、显示控制器1526、存储器1532、CODEC 1534、无线接口1540和相机接口1568包括于系统级封装或芯片上系统装置1522中。在一特定实施例中，输入装置1530和电力供应器1544耦合到所述芯片上系统装置1522。此外，在一特定实施例中，如图15中所说明，显示装置1528、输入装置1530、扬声器1536、麦克风1538、无线天线1542、视频相机1570和电力供应器1544在芯片上系统装置1522外部。然而，显示装置1528、输入装置1530、扬声器1536、麦克风15315、无线天线1542、视频相机1570和电力供应器1544中的每一者可耦合到芯片上系统装置1522的组件，例如接口或控制器。
在一特定实施例中，系统1500可充当个人数字助理(“PDA”)、蜂窝式电话或类似装置。系统1500可适于实现用户可控输入(例如，经由输入装置1530)，且可包括控制电路以控制图像组合模块1564且接收所述用户可控输入。
参看图16，描绘用以组合视频帧的系统的特定实施例且大体上将其标示为1600。系统1600包括耦合到图像组合引擎1614的视频相机1602。图像组合引擎1614耦合到压缩和存储模块，例如视频编码器/解码器(codec)1622。视频编解码器1622经耦合以在存储器装置1624处存储经编码的视频数据作为视频文件1626。
在一特定实施例中，视频相机1602包括相机透镜1604和视频俘获电路1606。视频俘获电路1606可耦合到相机透镜1604，以产生对应于第一视频帧的第一图像数据1608且产生对应于第二视频帧的第二图像数据1610。举例来说，图像俘获电路1606可包括图像传感器1630，例如图1的传感器108。在一说明性实施例中，视频相机1602为图1的图像俘获装置101。在另一说明性实施例中，视频相机1602为图15的视频相机1570。
在一特定实施例中，图像组合引擎1614为图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400，或图15的图像组合模块1564。在一说明性实施例中，图像组合引擎1614根据图7到图9、图11到图14中的任一者或其任何组合来操作。
图像组合引擎1614包括对齐电路1616、组合电路1618和控制电路1632。控制电路1632经配置以控制组合电路1618以产生对应于组合视频帧1620的组合图像数据。在一说明性实施例中，控制电路1632包括图3的控制电路325或图4的专用控制电路432。
对齐电路1616经配置以基于所述第一视频帧的第一图像数据1608和第二视频帧的第二图像数据1610来产生运动向量数据集合，其中所述图像数据是从视频俘获电路1606的图像传感器1630接收到的。为说明，对齐电路1616可包括图3的对齐电路321或图4的分层对齐电路420。
组合电路1618经耦合以执行分层组合操作，以选择性地组合第一图像数据(例如，第一视频帧的第一图像数据1608)与经调整的第二图像数据。所述经调整的第二图像数据对应于在根据所述运动向量数据而被调整后的所述第二视频帧的第二图像数据1610。组合电路1618可包括粗略组合电路和精细组合电路。举例来说，组合电路1618可包括图4的分层组合电路460，分层组合电路460包括粗略组合电路462和精细组合电路464，且所述运动向量数据可包括在粗略组合电路462处接收到的经精细化运动向量集合429。
所述组合图像数据可具有以下各者中的至少一者：比第一图像数据大的分辨率、比第一图像数据高的动态范围、比第一图像数据大的景深、比第一图像数据少的噪声，或比第一图像数据少的归因于运动的模糊。举例来说，对应于所述组合视频帧的组合图像数据1620可组合多个帧以改进所述组合帧的特性。作为另一实例，可使用两个或两个以上图像串行或并行地执行多个操作。举例来说，视频相机1602可以比视频呈现速率高的速率来俘获视频帧，例如每秒120个帧的视频俘获和每秒30个帧的视频呈现。因此，图像组合引擎1614可针对提供到视频编解码器1622的每一组合输出帧而对四个输入视频帧求平均。
在一特定实施例中，视频编解码器1622经配置以压缩所述组合图像数据，且将所述经压缩的组合图像数据存储于存储器装置处。举例来说，视频编解码器1622可为H.264编解码器或运动图片专家组(MPEG)编解码器，其压缩组合图像数据且将包括对应于所述组合视频帧的组合图像数据1620的经压缩的组合图像数据存储到视频文件1626。举例来说，所述视频文件可具有MPEG文件格式。
尽管描述为实施为个别电路，但在另一实施例中，对齐电路1616、组合电路1618和视频编解码器1622中的任何一者或一者以上可实施为硬件处理器1612，其经编程以执行所述一个或一个以上个别电路的操作。为说明，处理器1612可经配置以加载可执行代码1628(例如，来自存储器1624的代码)，且执行可执行代码1628以实施对齐电路1616、组合电路1618和视频编解码器1622中的一者或一者以上的至少一部分的功能。在一特定实施例中，处理器1612可(例如)经由图15的无线接口1540耦合到无线收发器，以经由天线(例如，图15的天线1542)发送和接收数据。
参看图17，描绘组合视频帧的方法的一特定实施例且大体上将其标示为1700。在一特定实施例中，方法1700由图16的执行可执行代码1628的处理器1612来执行。在另一实施例中，在所揭示的仅硬件实施例中，方法1700由图1的图像处理系统102、由图4的系统400，或由图16的系统1600来执行。
方法1700包括：在1702处，接收对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据，从图像传感器接收所述第一视频帧和所述第二视频帧。举例来说，可从图像俘获装置(例如，图1的图像俘获装置101、图15的视频相机1570或图16的视频相机1602)接收所述第一图像数据和所述第二图像数据。例如关于图12所描述，所述第一视频帧和所述第二视频帧可为连续帧。对应于所述第一视频帧的第一图像数据可为图16的第一视频帧的第一图像数据1608，且对应于所述第二视频帧的第二图像数据可为图16的第二视频帧的第二图像数据1610。
在1704处，通过至少部分补偿所述第一图像数据的部分相对于所述第二图像数据的对应部分之间的偏移来调整所述第二图像数据，以产生经调整的第二图像数据。调整所述第二图像数据可包括应用运动向量数据集合，所述运动向量数据集合对应于所述第一图像数据的部分相对于所述第二图像的对应部分之间的偏移。所述运动向量数据集合可经由分层对齐过程来确定。举例来说，所述分层对齐过程可包括确定所述第一图像的第一部分与所述第二图像的第一部分之间的第一对准偏移，且基于所述第一对准偏移确定所述第一图像的第二部分与所述第二图像的第二部分之间的第二对准偏移。所述第一图像的第二部分可位于所述第一图像的第一部分内。举例来说，所述第二图像数据可由图3的对齐电路321、图4的分层对齐电路420、图16的对齐电路1616、根据图5到图7或图11到图14中的任一者或其任何组合来调整。
在1706处，通过对所述第一图像数据和所述经调整的第二图像数据执行分层组合操作来产生对应于组合视频帧的组合图像数据。举例来说，所述组合图像数据可具有以下各者中的至少一者：比第一图像数据大的分辨率、比第一图像数据高的动态范围、比第一图像数据大的景深、比第一图像数据少的噪声，或比第一图像数据少的归因于运动的模糊。在一说明性实施例中，所述分层组合操作由图4的分层组合电路460或图16的组合电路1618来执行。
所述分层组合操作可包括粗略组合操作和精细组合操作。所述粗略组合操作可包括：在所述经调整的第二图像数据的一个或一个以上宏块与所述第一图像数据的对应宏块之间的差超过可选阈值时，选择性地丢弃所述经调整的第二图像数据的一个或一个以上宏块。举例来说，所述粗略组合操作可由图4的粗略组合电路462、根据图5到图7或图11到图14中的任一者或其任何组合来执行。
所述精细组合操作可包括对所述第一图像数据和所述经调整的第二图像数据进行过滤，以比较经过滤的图像特性。可基于所述经过滤的图像特性来选择性地组合所述第一图像数据的第一值与所述第二图像数据的对应第二值。举例来说，所述精细组合操作可由图4的精细组合电路464、根据图5到图7或图11到图14中的任一者或其任何组合来执行。
在1708处，可压缩组合图像，且可将所述经压缩的组合图像数据存储于存储器装置处。举例来说，可在图1的压缩和存储模块120处压缩所述组合图像数据，且将其存储于图1的图像存储器140处。在一说明性实施例中，所述组合图像数据可经由视频编码器压缩并作为视频文件来存储。举例来说，所述组合图像数据可经由视频编解码器1622来编码且作为图16的视频文件1626存储于存储器1624中。
在一特定实施例中，所述视频相机以高于呈现帧速率的帧速率来俘获视频数据。举例来说，所述视频相机可以每秒120个帧的速率来俘获视频数据，而所得视频可以每秒30个帧的速率来呈现。因此，可在不影响呈现帧速率的情况下将多达四个帧组合成单一组合帧以供呈现。
所属领域的技术人员将进一步了解，结合本文所揭示的实施例而描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、存储于计算机可用的有形媒体中且由计算机处理器执行的计算机软件，或所述两者的组合。上文已大体上在其功能性方面描述了各种说明性组件、块、配置、模块、电路和步骤。此功能性是实施为硬件还是软件视特定应用和强加于整个系统的设计约束而定。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此些实施决策不应解释为会导致脱离本发明的范围。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接以硬件、以由处理器执行的软件模块，或以所述两者的组合来体现。软件模块可驻留于计算机可读有形媒体中，例如随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸磁盘、压缩光盘只读存储器(CD-ROM)，或此项技术中已知的任何其它形式的有形存储媒体。如本文中所使用，“有形媒体”指代一制品，例如上文所列出的计算机可读有形媒体的实例。示范性存储媒体耦合到处理器，以使得所述处理器可从所述存储媒体读取信息，且可将信息写入到所述存储媒体。在替代方案中，存储媒体可与处理器成一体式。所述处理器和所述存储媒体可驻留于专用集成电路(ASIC)中。所述ASIC可驻留于计算装置或用户终端中。在替代方案中，所述处理器和所述存储媒体可作为离散组件驻留于计算装置或用户终端中。
提供对所揭示的实施例的先前描述以使得所属领域的技术人员能够制作或使用所揭示的实施例。所属领域的技术人员将容易明白对这些实施例的各种修改，且可在不偏离本发明的范围的情况下将本文中所界定的原理应用于其它实施例。因此，本发明无意限于本文中所展示的实施例，而是将赋予本发明与如由所附权利要求书界定的原理和新颖特征一致的可能的最广范围。

Claims (17)

1.一种用于选择性地组合视频帧图像数据的方法，其包含：
接收对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据，所述第一视频帧和所述第二视频帧是从图像传感器接收到的；
通过至少部分补偿所述第一图像数据的部分相对于所述第二图像数据的对应部分之间的偏移来调整所述第二图像数据，以产生调整后的第二图像数据，其中，调整所述第二图像数据包括应用运动向量数据集合，所述运动向量数据集合对应于所述第一图像数据的部分相对于所述第二图像的对应部分之间的运动偏移；
通过对所述第一图像数据和调整后的第二图像数据执行分层组合操作来产生对应于组合视频帧的组合图像数据，其中，所述分层组合操作包括粗略组合操作和精细组合操作，其中，所述粗略组合操作用于将所述第一图像数据的块与所述调整后的第二图像数据的块对准并移除归因于对齐的所述第一图像数据和所述第二图像数据的至少之一中的对象移动而不匹配的块，且其中，所述精细组合操作包括：
过滤所述第一图像数据和调整后的第二图像数据，
确定经过滤的第一图像数据和经过滤的调整后的第二图像数据之间的平均像素差结果，
在所述平均像素差结果的量值小于选定量时，使用所述第一图像数据和调整后的第二图像数据的像素值的平均值来产生输出图像数据的像素值，而在所述平均像素差结果的量值不小于选定量时，仅使用所述第一图像数据的像素值来产生输出图像数据的像素值；
将所述组合图像数据存储到存储装置。
2.根据权利要求1所述的方法，其中所述组合图像数据具有以下各者中的至少一者：比所述第一图像数据大的分辨率、比所述第一图像数据高的动态范围、比所述第一图像数据大的景深、比所述第一图像数据少的噪声，或比所述第一图像数据少的归因于运动的模糊。
3.根据权利要求1所述的方法，其进一步包含：
在将所述组合图像数据存储到所述存储装置之前压缩所述组合图像数据。
4.根据权利要求1所述的方法，其中所述粗略组合操作包括：在所述调整后的第二图像数据的一个或一个以上宏块与所述第一图像数据的对应宏块之间的差超过可选阈值时，选择性地丢弃所述调整后的第二图像数据的所述一个或一个以上宏块，且其中，所述可选阈值是基于所测量噪声值加上预定裕度的。
5.根据权利要求1所述的方法，其中调整所述第二图像数据包括应用运动向量数据集合，所述运动向量数据集合对应于所述第一图像数据的所述部分相对于所述第二图像数据的所述对应部分之间的所述偏移。
6.根据权利要求5所述的方法，其中经由分层对齐过程来确定所述运动向量数据集合。
7.根据权利要求6所述的方法，其中所述分层对齐过程包括：
确定所述第一图像的第一部分与所述第二图像的第一部分之间的第一对准偏移；以及
基于所述第一对准偏移来确定所述第一图像的第二部分与所述第二图像的第二部分之间的第二对准偏移，其中所述第一图像的所述第二部分位于所述第一图像的所述第一部分内。
8.一种用于选择性地组合视频帧图像数据的设备，其包含：
用于基于对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据来产生运动向量数据集合的对齐装置，所述第一视频帧和所述第二视频帧是从视频俘获装置接收到的，其中，通过至少部分补偿所述第一图像数据的部分相对于所述第二图像数据的对应部分之间的偏移来调整所述第二图像数据以产生调整后的第二图像数据，其中，调整所述第二图像数据包括应用运动向量数据集合，所述运动向量数据集合对应于所述第一图像数据的部分相对于所述第二图像的对应部分之间的运动偏移；
用于通过对所述第一图像数据和调整后的第二图像数据执行分层组合操作来选择性地组合所述第一图像数据和调整后的第二图像数据的组合装置，其中，所述分层组合操作包括粗略组合操作和精细组合操作，其中，所述粗略组合操作用于将所述第一图像数据的块与所述调整后的第二图像数据的块对准并移除归因于对齐的所述第一图像数据和所述第二图像数据的至少之一中的对象移动而不匹配的块，且其中，所述精细组合操作包括：
过滤所述第一图像数据和调整后的第二图像数据，
确定经过滤的第一图像数据和经过滤的调整后的第二图像数据之间的平均像素差结果，
在所述平均像素差结果的量值小于选定量时，使用所述第一图像数据和调整后的第二图像数据的像素值的平均值来产生输出图像数据的像素值，而在所述平均像素差结果的量值不小于选定量时，仅使用所述第一图像数据的像素值来产生输出图像数据的像素值；
用于控制所述组合装置以产生对应于组合视频帧的组合图像数据的控制装置。
9.根据权利要求8所述的设备，其中所述组合图像数据具有以下各者中的至少一者：比所述第一图像数据大的分辨率、比所述第一图像数据高的动态范围、比所述第一图像数据大的景深、比所述第一图像数据少的噪声，或比所述第一图像数据少的归因于运动的模糊。
10.根据权利要求8所述的设备，其中所述组合电路包含：
宏块图像对准电路，其具有经耦合以接收所述第一图像数据的第一输入和经耦合以接收所述第二图像数据的第二输入、经耦合以接收宏块运动向量信号的第三输入、经对准的第一图像输出和经对准的第二图像输出；
块差鉴别器电路，其具有经耦合以接收所述经对准的第一图像输出的第一输入、经耦合以接收所述经对准的第二图像输出的第二输入、经耦合以接收宏块差信号的第三输入，且具有第一图像差输出和第二图像差输出；以及
平均像素差电路，其具有耦合到所述块差鉴别器电路的第一输入且经配置以提供像素差输出信号来指示平均像素差结果。
11.根据权利要求10所述的设备，其进一步包含：
第一过滤器，其耦合于所述块差鉴别器电路与所述平均像素差电路之间，所述第一过滤器具有经耦合以接收所述第一图像差输出的第一输入和提供经过滤的第一图像差输出的输出；以及
第二过滤器，其耦合于所述块差鉴别器电路与所述平均像素差电路之间，所述第二过滤器具有经耦合以接收所述第二图像差输出的第一输入且具有用以提供经过滤的第二图像差输出的输出。
12.根据权利要求8所述的设备，其进一步包含压缩和存储模块，压缩和存储模块经配置以压缩所述组合图像数据且在存储器装置处存储经压缩的组合图像数据。
13.根据权利要求8所述的设备，其进一步包含：
相机透镜；以及
视频俘获电路，其耦合到所述相机透镜以产生所述第一图像数据且产生所述第二图像数据，其中，所述视频俘获电路包括所述视频俘获装置。
14.根据权利要求13所述的设备，其进一步包含处理器，所述处理器耦合到无线收发器以经由天线发送和接收数据。
15.一种用于选择性地组合视频帧图像数据的设备，包括：
用于接收对应于第一视频帧的第一图像数据和对应于第二视频帧的第二图像数据的装置，所述第一视频帧和所述第二视频帧是从图像传感器接收到的；
用于通过至少部分补偿所述第一图像数据的部分相对于所述第二图像数据的对应部分之间的偏移来调整所述第二图像数据以产生调整后的第二图像数据的装置，其中，调整所述第二图像数据包括应用运动向量数据集合，所述运动向量数据集合对应于所述第一图像数据的部分相对于所述第二图像的对应部分之间的运动偏移；
用于通过对所述第一图像数据和调整后的第二图像数据执行分层组合操作来产生对应于组合视频帧的组合图像数据的装置，其中，所述分层组合操作包括粗略组合操作和精细组合操作，其中，所述粗略组合操作用于将所述第一图像数据的块与所述调整后的第二图像数据的块对准并移除归因于对齐的所述第一图像数据和所述第二图像数据的至少之一中的对象移动而不匹配的块，且其中，所述精细组合操作包括：
过滤所述第一图像数据和调整后的第二图像数据，
确定经过滤的第一图像数据和经过滤的调整后的第二图像数据之间的平均像素差结果，
在所述平均像素差结果的量值小于选定量时，使用所述第一图像数据和调整后的第二图像数据的像素值的平均值来产生输出图像数据的像素值，而在所述平均像素差结果的量值不小于选定量时，仅使用所述第一图像数据的像素值来产生输出图像数据的像素值；
用于将所述组合图像数据存储到存储器装置的装置。
16.根据权利要求15所述的设备，其中所述组合图像数据具有以下各者中的至少一者：比所述第一图像数据大的分辨率、比所述第一图像数据高的动态范围、比所述第一图像数据大的景深、比所述第一图像数据少的噪声，或比所述第一图像数据少的归因于运动的模糊。
17.根据权利要求15所述的设备，其进一步包含用于将所述组合图像数据提供到视频编码器以产生经编码的视频数据的装置。
CN201080017979.3A 2009-04-22 2010-04-22 用以选择性地组合视频帧图像数据的系统和方法 Active CN102415088B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/428,354 US8111300B2 (en) 2009-04-22 2009-04-22 System and method to selectively combine video frame image data
US12/428,354 2009-04-22
PCT/US2010/032027 WO2010124070A1 (en) 2009-04-22 2010-04-22 System and method to selectively combine video frame image data

Publications (2)

Publication Number Publication Date
CN102415088A CN102415088A (zh) 2012-04-11
CN102415088B true CN102415088B (zh) 2017-05-31

Family

ID=42235273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080017979.3A Active CN102415088B (zh) 2009-04-22 2010-04-22 用以选择性地组合视频帧图像数据的系统和方法

Country Status (7)

Country Link
US (1) US8111300B2 (zh)
EP (1) EP2422512A1 (zh)
JP (2) JP5694293B2 (zh)
KR (1) KR101352730B1 (zh)
CN (1) CN102415088B (zh)
TW (1) TW201123866A (zh)
WO (1) WO2010124070A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4480760B2 (ja) * 2007-12-29 2010-06-16 株式会社モルフォ 画像データ処理方法および画像処理装置
EP2237221B1 (en) * 2009-03-31 2012-02-29 Sony Corporation Method and unit for generating high dynamic range image and video frame
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
JP4973719B2 (ja) 2009-11-11 2012-07-11 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP5115568B2 (ja) * 2009-11-11 2013-01-09 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
CN102129147A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业（深圳）有限公司 相机及照片拍摄与处理方法
JP5528139B2 (ja) * 2010-02-02 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8494301B2 (en) 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images
US9118842B2 (en) * 2010-09-16 2015-08-25 Intellectual Ventures Fund 83 Llc Producing focused videos from single captured video
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
TWI479896B (zh) * 2011-07-29 2015-04-01 動態影像補償之移動向量搜尋方法
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9392233B2 (en) * 2011-12-08 2016-07-12 International Business Machines Corporation System and method for combined meeting recording
JP2013160530A (ja) * 2012-02-01 2013-08-19 Seiko Epson Corp 検査装置、ロボット装置、検査方法及び検査プログラム
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US9489706B2 (en) * 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
US20140010476A1 (en) * 2012-07-04 2014-01-09 Hui Deng Method for forming pictures
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
WO2014030390A1 (ja) * 2012-08-23 2014-02-27 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
US20140254659A1 (en) * 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
CN103247031B (zh) * 2013-04-19 2016-03-09 华为技术有限公司 一种畸变图像校正的方法、终端及系统
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
CN104113701B (zh) * 2014-07-25 2017-08-11 努比亚技术有限公司 拍摄方法及装置
CN105472263B (zh) * 2014-09-12 2018-07-13 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
US10832425B2 (en) 2016-03-30 2020-11-10 Huawei Technologies Co., Ltd. Image registration method and apparatus for terminal, and terminal
US10282825B2 (en) * 2016-09-13 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and imaging apparatus
US10482359B2 (en) * 2018-01-18 2019-11-19 Google Llc Systems and methods for removing non-stationary objects from imagery
KR102509466B1 (ko) * 2018-08-08 2023-03-14 구글 엘엘씨 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
JP6828069B2 (ja) * 2019-02-18 2021-02-10 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US20200380638A1 (en) * 2019-05-30 2020-12-03 Coretronic Corporation Image processing device and image processing method
WO2021025375A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
US11151731B2 (en) 2019-08-06 2021-10-19 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
CN111028191B (zh) * 2019-12-10 2023-07-04 上海闻泰电子科技有限公司 视频图像的防抖方法、装置、电子设备和存储介质
EP3902240B1 (en) 2020-04-22 2022-03-30 Axis AB Method, device, camera and software for performing electronic image stabilization of a high dynamic range image
CN111709979B (zh) * 2020-05-15 2023-08-25 北京百度网讯科技有限公司 图像对齐的方法、装置、电子设备和存储介质
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507234A1 (en) * 2003-07-18 2005-02-16 Microsoft Corporation A system and process for generating high dynamic range images from multiple exposures of a moving scene

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US518118A (en) * 1894-04-10 William e
JPH03270567A (ja) 1990-03-20 1991-12-02 Fuji Photo Film Co Ltd 画像信号補正方法
US5402171A (en) 1992-09-11 1995-03-28 Kabushiki Kaisha Toshiba Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement
US5519441A (en) 1993-07-01 1996-05-21 Xerox Corporation Apparatus and method for correcting offset and gain drift present during communication of data
US5450502A (en) 1993-10-07 1995-09-12 Xerox Corporation Image-dependent luminance enhancement
US5647360A (en) 1995-06-30 1997-07-15 Siemens Corporate Research, Inc. Digital subtraction angiography for 3D diagnostic imaging
US5690106A (en) 1995-06-30 1997-11-25 Siemens Corporate Research, Inc. Flexible image registration for rotational angiography
EP0838068B1 (en) * 1995-07-10 2005-10-26 Sarnoff Corporation Method and system for rendering and combining images
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
US6720997B1 (en) * 1997-12-26 2004-04-13 Minolta Co., Ltd. Image generating apparatus
US6298144B1 (en) 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
US6522352B1 (en) * 1998-06-22 2003-02-18 Motorola, Inc. Self-contained wireless camera device, wireless camera system and method
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP3707259B2 (ja) 1998-09-10 2005-10-19 コニカミノルタフォトイメージング株式会社 画像合成方法及びこの方法を用いた画像合成装置
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
US6416477B1 (en) 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
DE10064184C1 (de) 2000-12-22 2002-04-04 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Bilderzeugung unter Verwendung mehrerer Belichtungszeiten
US7133070B2 (en) 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7119837B2 (en) 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US7649549B2 (en) 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
JP4401949B2 (ja) * 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
JP4530277B2 (ja) 2005-02-25 2010-08-25 株式会社リコー 画像再生装置、画像再生方法、プログラムおよび記録媒体
JP2006319784A (ja) * 2005-05-13 2006-11-24 Olympus Corp 画像処理装置および撮像装置
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
ATE431397T1 (de) 2005-06-01 2009-05-15 Fraunhofer Ges Forschung Verfahren zur optischen bestimmung des dynamischen verhaltens von kontrahierenden zellen
US7489825B2 (en) 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP2007214887A (ja) * 2006-02-09 2007-08-23 Fujifilm Corp デジタルスチルカメラ及び画像合成方法
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US7639893B2 (en) 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP4671430B2 (ja) * 2006-06-02 2011-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP4762089B2 (ja) 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置
WO2008031089A2 (en) 2006-09-08 2008-03-13 Sarnoff Corporation System and method for high performance image processing
JP5055571B2 (ja) * 2006-09-14 2012-10-24 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
US7982775B2 (en) * 2007-08-02 2011-07-19 Texas Instruments Incorporated Method and apparatus for motion stabilization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507234A1 (en) * 2003-07-18 2005-02-16 Microsoft Corporation A system and process for generating high dynamic range images from multiple exposures of a moving scene

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pattern-selective color image fusion;Luca Bogoni ET AL;《PATTERN RECOGNITION，ELSEVIER》;20010801;第34卷(第8期);第1515-1526页 *

Also Published As

Publication number Publication date
TW201123866A (en) 2011-07-01
CN102415088A (zh) 2012-04-11
US8111300B2 (en) 2012-02-07
JP5694293B2 (ja) 2015-04-01
WO2010124070A1 (en) 2010-10-28
JP2012525073A (ja) 2012-10-18
US20100271498A1 (en) 2010-10-28
KR101352730B1 (ko) 2014-01-16
EP2422512A1 (en) 2012-02-29
JP2015053694A (ja) 2015-03-19
KR20120008062A (ko) 2012-01-25

Similar Documents

Publication Publication Date Title
CN102415088B (zh) 用以选择性地组合视频帧图像数据的系统和方法
US8797421B2 (en) System and method to selectively combine images
JP5254466B2 (ja) ハイダイナミックレンジイメージ合成
US7990465B2 (en) Imaging apparatus, imaging method, storage medium, and integrated circuit
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
WO2009044246A1 (en) Multi-exposure pattern for enhancing dynamic range of images
WO2019146418A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5468930B2 (ja) 画像処理装置及び画像処理プログラム
CN101854462B (zh) 图像处理设备、图像处理方法和计算机程序
WO2019155757A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
JP2022086311A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US9055232B2 (en) Image processing apparatus capable of adding soft focus effects, image processing method, and storage medium
JP6087720B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant