CN101076832B - 图像处理器和图像处理方法 - Google Patents
图像处理器和图像处理方法 Download PDFInfo
- Publication number
- CN101076832B CN101076832B CN2005800403904A CN200580040390A CN101076832B CN 101076832 B CN101076832 B CN 101076832B CN 2005800403904 A CN2005800403904 A CN 2005800403904A CN 200580040390 A CN200580040390 A CN 200580040390A CN 101076832 B CN101076832 B CN 101076832B
- Authority
- CN
- China
- Prior art keywords
- image
- grouping
- compensation
- composograph
- cloth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000013598 vector Substances 0.000 claims abstract description 13
- 239000004744 fabric Substances 0.000 claims description 23
- ZVQOOHYFBIDMTQ-UHFFFAOYSA-N [methyl(oxido){1-[6-(trifluoromethyl)pyridin-3-yl]ethyl}-lambda(6)-sulfanylidene]cyanamide Chemical compound N#CN=S(C)(=O)C(C)C1=CC=C(C(F)(F)F)N=C1 ZVQOOHYFBIDMTQ-UHFFFAOYSA-N 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 abstract 5
- 239000000654 additive Substances 0.000 abstract 2
- 230000000996 additive effect Effects 0.000 abstract 2
- 231100000614 poison Toxicity 0.000 abstract 1
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 230000002194 synthesizing effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003637 basic solution Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Abstract
从多帧图像中提取特征点。从所获取的下一帧图像相对于所提取的前一帧图像特征点的运动矢量，来判断前一帧图像的模糊方向分量。基于该判断结果，来从多帧图像中选择相同模糊方向的图像、并对这些图像进行分组。在执行位置补偿后，对每一组都生成分组合成图像的附加合成物，使得特征点与分组图像一致。随后，对分组合成图像数据应用逆变换滤波处理，并按组完成手抖动补偿，该手抖动补偿补偿与组匹配的模糊方向分量。一旦完成位置补偿，就产生手抖动补偿图像的附加合成物，使得每一幅分组合成图像的特征点都与手抖动补偿一致。
Description
相关申请的交叉引用
本申请基于并要求2004年12月24日提交的在先日本专利申请No.2004-374269的优先权权益，其整个内容在此被引入作为参考。
技术领域
本发明涉及一种例如用于数字相机或数字摄像机中的合适图像处理器和关联的图像处理程序。
背景技术
按照惯例，在数字相机或数字摄像机领域中，通过图像处理来执行手抖动补偿的技术是周知的。对于曝光期间的相机移动，“手抖动”一般也被称为“相机抖动”。
在常规现有技术中，例如题为“Image systhesizing device(图像合成设备)”的日本待审公开(Kokai)专利申请No.2003-134385披露了一种捕获多幅不同曝光量的图像。在这些图像中，在一幅图像和其它图像之间检测一个运动矢量作为整幅图像。基于该检测的运动矢量，过程判断图像中是否存在由“目标模糊”或“手抖动”造成的任何模糊(运动模糊)。在“手抖动”的情况下，在每一幅连续图像的对准后，执行手抖动补偿，并将手抖动补偿叠加到一幅图像上，使得能够抵消与“手抖动”所产生的视角位移对应的目标、背景等的位置位移。
此外，为了实现手抖动补偿以叠加每幅连续图像，使得能够抵消目标和背景等的位置位移，则必须捕获每一幅被叠加的图像作为短时曝光图像，该短时曝光图像不包括手抖动、且具有能够识别目标和背景位移的锐度级。虽然在拍摄环境足够亮时这些要求兼容，但是当光强不足时，将要放弃任一个要求。
此外，作为另一种手抖动补偿方法，也有一种通过向模糊图像应用逆变换滤波器来使模糊在更小程度上引人注意的技术。虽然有可能对上述每一幅短时曝光图像应用这种技术，但是该技术也有问题。
一方面，如上所述的曝光不足的图像包括许多来自图像拾取设备的携带噪声。另一方面，用于手抖动补偿的逆变换滤波器一般具有通常加强高频区的特性。这导致了图像中的噪声分量被加强。因此，逆变换滤波器没有提供根本解决方法。
发明内容
鉴于上述情况而提出了本发明。因此，本发明的目的是提供一种图像处理器和关联的图像处理程序，其中即使在需要长时间曝光的环境中，例如在晚上、暗室中等环境中拍摄图像，也能完成手抖动补偿。
为了实现上述目的，本发明包括：分组装置，用于从多幅连续图像所共有的特征点的移动来确定每幅图像的模糊方向分量，以及提供分别具有相同模糊方向分量的图像组；组合成图像产生装置，用于为每一图像组产生分组合成图像，其中执行并叠加位置补偿，使得图像的特征点分别与分组装置的分组一致；以及补偿图像产生装置，用于补偿分别与组合成图像产生装置所产生的每一图像组的分组合成图像对应的模糊方向分量，并产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点分别与位置补偿一致。
当连同附图一起阅读以下详细描述时，由以下详细描述、本发明的以上和更多目的及新颖特征将更加清楚。然而，应该清楚理解，附图只是用于说明，而不是意图作为本发明范围的定义。
附图说明
图1是示出本发明一个优选实施例的配置的框图；
图2A～2B是用于说明防手抖动拍摄情况下的曝光形式的图；
图3是示出图像处理部分40的配置的框图；
图4A～4B是用于说明特征点提取的图；
图5是示出由分组控制部分45执行的分组的例子的图；
图6是示出手抖动补偿处理操作的流程图；
图7是示出特征点提取处理操作的流程图；以及
图8是示出运动方向分类处理操作的流程图。
具体实施方式
以下将参考附图来说明本发明实施例。
A.配置
A-1.整个配置
图1是示出本发明一个优选实施例的配置的框图。图2A-2B是用于说明防手抖动(相机抖动)拍摄情况下的曝光形式的图。现在参考图1，操作部分10包含各种操作键，如电源开关、快门键等，并产生与击键操作对应的键事件，并且该键事件被提供给控制部分20。控制部分20配有中央处理器(CPU)等，该CPU取决于从操作部分10输入的键事件来产生控制信号以控制每个部分。图像拾取部分30具有：光学系统，其包括图像拾取镜头组；以及快门机构，其具有对目标图像成像、并以预定帧周期产生彩色图像信号的彩色图像传感器，如电荷耦合器件(CCD)等。控制部分20输出根据快门速度或曝光值拾取的被获取图像信号，快门速度和曝光值是基于所提供的控制信号来设置的。
当在需要长时间曝光的环境中，如在晚上、暗室内等环境中拍摄时，执行防手抖动拍摄(参考图2B)，其中与如图2A中所示正常拍摄曝光时间的情况相反，图像拾取部分30重复短时曝光ΔTN次，并连续产生N帧图像信号。假定总和∑ΔT代表每一帧的曝光时间ΔT之和，防手抖动拍摄情况下的总曝光时间T与正常拍摄情况下的曝光时间T一致。后面将描述这种防手抖动拍摄。
图像处理部分40将图像拾取部分30输入的图像信号转换成由亮度分量和色差分量组成的图像数据，并根据控制部分20所提供的控制信号来应用各种类型的图像处理。在此提到的各种类型图像处理例如包括，与通过操作部分10的菜单键操作选择的拍摄模式对应的白平衡校正，对于锐度、对比度等的图像质量调节处理，以及后面描述的手抖动补偿处理。后面将描述图像处理部分40所执行的手抖动补偿处理。显示部分50显示图像处理部分40在控制部分20的控制下输出的图像数据的屏幕显示，或者显示图像存储部分60中存储的图像数据的屏幕显示。图像存储部分60记录图像处理部分40在控制部分20的控制下输出的图像数据。
A2.图像处理部分40的配置
图3是示出图像处理部分40的配置的框图。图4A～4B是用于说明特征点提取的图。图5是示出由分组控制部分45执行的分组的例子的图。从图3开始，该配置示出了与图像处理部分40所执行的手抖动补偿处理对应的功能元件。信号处理部分41将图像拾取部分30输入的图像信号转换成由亮度分量和色差分量组成的图像数据。当在需要长时间曝光的环境中，例如在晚上、暗室中等环境中拍摄时，如图2B所示，从图像拾取部分30向信号处理部分41连续提供N帧图像数据。
特征点提取部分42分别从信号处理部分41连续提供的N帧图像数据中，提取多个特征点。特征点是指其周围亮度或颜色大大变化的像素(像元)。具体地说，例如如图4A所示，假定图像拾取部分30提供的帧图像是把所拍摄的笔记本个人计算机(PC)作为目标的图像A。在该图像A中，提取目标的边缘部分等作为特征点(由图中的黑点所示)。所提取的特征点具有参数，如亮度、颜色等，并且分别被看作具有独立属性的数据。
临时存储存储器43临时存储由特征点提取部分42提取的多个特征点以及被提取了特征点的帧的图像数据，作为集合。该临时存储器可以是被包括在图像处理部分40中的单独存储器，并且对于使用包含上述图像存储部分60的存储区的一部分的风格是无关紧要的。
运动检测部分44检测信号处理部分41输出的下一帧图像(也称为“未来帧”)相对于临时存储存储器43中存储的前一帧图像特征点的运动矢量，并确定前一帧相对于下一帧图像在哪个方向上变模糊了。
如从图4B所看到的，运动矢量检测是计算下一帧图像上的相似特征点与前一帧图像中的特征点P之差(dx，dy)的过程。即，在具有和特征点P相同属性的相似特征点存在于距下一帧上特征点P投影位置的预定范围中的情况下。在未能检索到与投影位置对应的相似特征点的情况下，利用其它特征点来检测运动矢量。在运动检测部分44中，所确定的“模糊方向”作为属性被附加到从临时存储存储器43读出的前一帧图像的图像数据上，并被输出到分组控制部分45的下一级。
分组控制部分45对运动检测部分44所输出的、被分配了“模糊方向”作为属性的帧图像数据的属性，执行分组。在本发明优选实施例中，为了实现简化描述，将如图5所示的模糊方向θ分成4组：
π/8＜θ＜3π/8或9π/8＜θ＜11π/8
3π/8＜θ＜5π/8或11 π/8＜θ＜13π/8
5π/8＜θ＜7π/8或1 3π/8＜θ＜15π/8
15π/8＜θ＜π/8或7π/8＜θ＜9π/8
组保持存储器46包括分别对应于上述4组的存储区1～4，并在与分组控制部分45所划分的组中的图像数据对应的存储区中执行组注册。该组保持存储器46可以是被包括在图像处理部分40中的单独存储器，并且对于使用包含上述图像存储部分60的存储区的一部分的风格是无关紧要的。
当在组保持存储器46中注册新图像数据时，图像合成部分47在执行位置补偿、以便将先前注册的图像数据的特征点的位置和新图像数据的特征点位置匹配之后，通过把先前注册的图像数据和新图像数据相加来组成新的分组合成图像数据。因此，在对连续拍摄的每幅图像数据的所有N帧都进行分组、并在组保持存储器46中执行了组注册的情况下，一个分组合成图像数据将最大限度地被存储在分别与每个组对应的存储区中。
另外，在图像合成部分47中，当对连续拍摄的每幅图像数据的所有N帧进行分组、且在组保持存储器46中执行了组注册时，从组保持存储器46的各组中读出每一组的分组合成图像数据。随后，应用与所读出的分组合成图像数据对应的方向的逆变换滤波，并按组执行手抖动补偿。以下，将说明由图像合成部分47执行的逆变换滤波的概要。
现在，例如认为要对特征点(x0，y0)进行补偿。如上所述，图像合成部分47对每个模糊方向都生成一个分组合成图像数据。可以为模糊方向设置当前x轴，并且可以在作为原点的特征点(x0，y0)处设置当前正交y轴。这样，因为相对于每个y值执行相同处理，所以可以用一个变量x来表示图像。用f(x)表示不模糊图像，用g(x)表示模糊图像，并用h(x)表示图像的模糊条件(PSF一点扩展函数)，则可以用以下公式(1)来表示这些：
g(x)＝f(x)*h(x) …(1)
在此，*表示卷积运算。
然后，当执行分别由F、G和H表示的f(x)、g(x)和h(x)的傅立叶变换时，可以用下式(2)来表示上式(1)：
G(u)＝F(u)×H(u) …(2)
因此，使上述用简单乘法表示的式(2)的两边除以H(u)，得到下式(3)：
F(u)＝G(u)/H(u) …(3)
当代表图像模糊条件(PSF)的h(x)已知时，作为使傅立叶变换模糊图像G(u)除以傅立叶变换模糊条件H(u)的上述(1)～(3)式的结果，可以通过执行该逆傅立叶变换来获得不模糊图像f(x)。由此，可以用下式(4)来表示逆变换滤波器M(u)：
M(u)＝1/H(u) …(4)
接下来，将详细计算h(x)。例如，假定以下情况：要补偿的模糊图像包含五个像素的模糊宽度。在曝光期间手抖动速度恒定的假定之下，图像数据的一个给定像素可以被看作不模糊图像的五个像素部分的平均值。
具体地说，在|x|＜2.5的情况下，模糊条件h(x)变为[1/5th]，且在|x|≥2.5的情况下，模糊条件h(x)变为[0]。可以通过将模糊条件h(x)特性曲线代入上式(1)，来计算这种逆变换滤波器M(u)。另外，该逆变换滤波器M(u)理想地不考虑噪声混合物。实际上，可以使用通过众所周知的维纳(Wiener)滤波的图像恢复方法。
如上所述，因为图像合成部分47对每个模糊方向都生成一个分组合成图像数据，所以叠加在图像数据上的CCD噪声等被均衡了，且信噪比(S/N)提高了。此外，作为利用上述逆变换滤波器M(u)来执行逆滤波处理的直接结果，可以有效执行手抖动补偿。
这样，关于借以执行逆变换滤波的每一组的分组合成图像数据，在完成位置补偿后，图像合成部分47产生附加的合成手抖动补偿图像数据，使得可以叠加各自特征点。随后，经由控制部分20(参考图1)在显示部分50上实现图像显示，或者将图像数据存储在图像存储部分60中。
B.操作
参考图6～8，将说明在根据上述配置的优选实施例中执行的手抖动补偿处理操作。图6是示出由图像处理部分40执行的手抖动补偿处理的概要操作的流程图。图7是示出由特征点提取部分42执行的特征点提取处理操作的流程图。图8是示出由运动检测部分44、分组控制部分45和图像合成部分47执行的运动方向分类处理操作的流程图。
响应来自控制部分20的指令，执行防手抖动拍摄(参考图2A和2B)，其中图像拾取部分30重复短时间曝光ΔT N次，并连续产生N帧图像信号。如图6所示，图像处理部分40对通过防手抖动拍摄产生的N帧图像信号应用手抖动补偿处理。
具体地说，首先在步骤SA1，将图像拾取部分30输入的图像信号转换成图像数据。随后，在步骤SA2，执行特征点提取处理，从所输入的图像数据中提取多个特征点。图7示出了从步骤SB1至SB4的特征点提取处理配置。
在图7所示的步骤SB1、SB4，顺序扫描输入帧图像的每个像素，并检索其周围亮度或颜色大大变化的像素。当检索到适用于这些条件的像素时，步骤SB1的判断结果变为“是”。处理前进到步骤SB2，且提取这些可适用的像素作为特征点。所提取的特征点包含参数，如亮度、颜色等，并且和作为具有独立属性的数据的待提取图像数据一起，分别存储在临时存储存储器43中。
接下来，在步骤SB3，过程判断是否从预定要提取的帧的图像数据中，提取了预定数量特征点。如果还没有完成预定数量特征点的提取，则判断结果变为“否”，借此过程前进到步骤SB4，并继续扫描像素。相反，当完成了预定数量特征点的提取时，判断结果变为“是”，且该处理将完成。然后，将通过如图6所示的步骤SA3，来执行图8所示的运动方向分类处理。
当执行运动方向分类处理时，处理前进到图8所示的步骤SC1。将参考临时存储存储器43中存储的前一帧图像的特征点，来检测下一帧图像的运动矢量。然后，处理确定前一帧图像与下一帧图像相比在哪个方向上模糊了。所确定的“模糊条件”作为属性被附加到从临时存储存储器43读出的前一帧图像的图像数据上，并输出到分组控制部分45的下一级。
分组控制部分45执行步骤SC2～SC4，并且在与模糊方向θ对应的图像数据的组保持存储器46中执行组注册，该模糊方向θ是关于附加到图像数据上的属性的。具体地说，当模糊方向θ为π/8＜θ＜3π/8或9π/8＜θ＜11π/8时，步骤SC2的判断结果变为“是”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区1中。
当模糊方向θ为3π/8＜θ＜5π/8或11π/8＜θ＜13π/8时，步骤SC3的判断结果变为“是”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区2中。
当模糊方向θ为5π/8＜θ＜7π/8或13π/8＜θ＜15π/8时，步骤SC4的判断结果变为“是”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区3中。
当模糊方向θ为15π/8＜θ＜π/8或7π/8＜θ＜9π/8时，步骤SC2～SC4的每个判断结果都变为“否”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区4中。
图像合成部分47执行步骤SC5～SC8。具体地说，当新图像数据被注册在组保持存储器46中时，图像合成部分47在执行位置补偿、以便将先前注册的图像数据的特征点的位置和新图像数据的特征点位置匹配之后，通过把先前注册的图像数据和新图像数据相加，来组成新的分组合成图像数据。然后，在对连续拍摄的每幅图像数据的所有N帧进行分组、且在组保持存储器46中执行了组注册的情况下，步骤SC9的判断结果变为“是”，且该处理将完成。接下来，将执行如图6所示的步骤SA4的按模糊方向的滤波处理。
当对连续拍摄的每幅图像数据的所有N帧进行分组、且在组保持存储器46中执行了组注册时，图像合成部分47从组保持存储器46中的各组中，读出每一组的分组合成图像数据。随后，处理对分组合成图像数据应用逆滤波处理，并按组执行手抖动补偿。此后，处理前进到步骤SA5，步骤SA5涉及借以执行逆变换滤波的每一组的分组合成图像数据。在完成位置补偿后，图像合成部分47产生附加合成手抖动补偿图像数据，使得可以叠加各自特征点。
如上所述，在本发明优选实施例中，分别从通过重复短时曝光获取的多帧图像中提取特征点，检测下一帧相对于所提取的前一帧图像特征点的运动矢量，并从所检测的运动矢量来判断前一帧图像的模糊方向，以提供判断结果。然后，在基于该判断结果从多幅图像中选择相同模糊方向的图像、并对这些图像进行分组的同时，一旦执行且叠加了位置补偿、使得图像特征点分别与分组一致，就为每一组生成分组合成图像。随后，对分组合成图像数据应用逆变换滤波处理，并按组完成手抖动补偿，手抖动补偿补偿与组匹配的模糊方向分量。在执行并叠加了位置补偿、使得每一幅分组合成图像的特征点分别与手抖动补偿一致后，产生手抖动补偿图像。
因此，可以执行以上噪声抑制(噪声均衡)而不降低方向精度，这样通过模糊方向的排列分组而不产生模糊。而且，衰减校正变得可能、而不对方向产生不利影响，这样通过使用只在所需方向上有效的逆变换滤波器而不产生模糊。此外，作为能够在实现噪声抑制和衰减校正后通过叠加图像来补偿曝光不足、而不损害可见度的直接结果，即使在需要长时间曝光的环境中，例如在晚上、暗室中等环境中拍摄图像，也能实现手抖动补偿。
最后，虽然作为本发明优选实施例之一的数字相机处理程序被存储在数字相机存储器(例如只读存储器等)中，但是该处理程序可被存储在记录介质上。在执行如制造、销售等的情况下，只需保护程序本身。在这种情形下，程序保护变为存储图像处理程序的记录介质的形式。
虽然参考优选实施例描述了本发明，但是本发明不受在此描述的任何细节限制，而是包括落入所附权利要求的范围内的所有实施例。
Claims (4)
1.一种图像处理器，包括：
分组装置(42、44、45)，用于从多幅连续图像所共有的特征点的移动来确定每幅图像的模糊方向分量，以及提供分别具有相同模糊方向分量的图像组；
图像合成装置(47)，用于为每一图像组产生分组合成图像，其中执行并叠加位置补偿，其中执行位置补偿以匹配由所述分组装置分组的已注册图像数据的特征点的位置，以及用于补偿分别与所产生的每一图像组的分组合成图像相对应的模糊方向分量，并产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点分别与位置补偿一致。
2.一种图像处理器，包括：
提取装置(42)，用于从多幅连续帧图像中提取特征点，这多幅连续帧图像组成以预定时间间隔重复成像的曝光；
确定装置(44)，用于检测一帧图像相对于提取装置所提取的前一帧图像的特征点的运动矢量，以及通过重复从所检测的运动矢量确定前一帧图像的模糊方向分量的操作，来确定每一幅帧图像的模糊方向分量；
分组装置(45)，用于选择图像、并对这些图像进行分组，以提供相对于确定装置所确定的每一幅帧图像的模糊方向分量分别具有相同模糊方向分量的图像组；
图像合成装置(47)，用于对每一图像组都产生分组合成图像，其中执行并叠加位置补偿，其中执行位置补偿以匹配由所述分组装置分组的已注册图像数据的特征点的位置，用于应用逆变换滤波、并按照图像组来执行手抖动补偿，补偿分别与组合成图像产生装置所产生的每一幅分组合成图像对应的模糊方向分量，以及用于产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点都分别与所述手抖动补偿一致。
3.一种通过处理器执行的图像处理方法，包括以下步骤：
组处理(SA2、SC1、SC2、SC3、SC4)，用于从为多幅连续图像所共有的特征点的移动、来确定每幅图像的模糊方向分量，以及提供分别具有相同模糊方向分量的图像组；
组合成图像产生处理(SC5、SC6、SC7、SC8)，用于为每一图像组产生分组合成图像，其中执行并叠加位置补偿，其中执行位置补偿以匹配由所述分组装置分组的已注册图像数据的特征点的位置；以及
补偿图像产生处理(SA4、SA5)，用于补偿分别与组合成图像产生处理所产生的每一图像组的分组合成图像相对应的模糊方向分量，并产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点分别与位置补偿一致。
4.一种通过处理器执行的图像处理方法，包括以下步骤：
提取处理(SA2)，用于从多幅连续帧图像中提取特征点，这多幅连续帧图像组成以预定时间间隔重复成像的曝光；
确定处理(SC1、SC2、SC3、SC4)，用于检测一帧图像相对于提取处理所提取的前一帧图像的特征点的运动矢量，以及通过重复从所检测的运动矢量确定前一帧图像的模糊方向分量的操作，来确定每一幅帧图像的模糊方向分量；
组处理，用于选择图像、并对这些图像进行分组，以提供相对于由确定处理确定的每一幅帧图像的模糊方向分量分别具有相同模糊方向分量的图像组；
组合成图像产生处理(SC5、SC6、SC7、SC8)，用于对每一图像组都产生分组合成图像，其中执行并叠加位置补偿，其中执行位置补偿以匹配在组处理步骤中分组的已注册图像数据的特征点的位置；
补偿处理(SA4)，用于应用逆变换滤波、并按照图像组来执行手抖动补偿，该补偿处理补偿分别与组合成图像产生处理所产生的每一幅分组合成图像对应的模糊方向分量；以及
补偿图像产生处理(SA5)，用于产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点都分别与补偿处理的手抖动补偿一致。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004374269A JP4487191B2 (ja) | 2004-12-24 | 2004-12-24 | 画像処理装置および画像処理プログラム |
| JP374269/2004 | 2004-12-24 | ||
| PCT/JP2005/024012 WO2006068299A1 (en) | 2004-12-24 | 2005-12-21 | Image processor and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101076832A CN101076832A (zh) | 2007-11-21 |
| CN101076832B true CN101076832B (zh) | 2010-09-29 |
Family
ID=35709324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2005800403904A Expired - Fee Related CN101076832B (zh) | 2004-12-24 | 2005-12-21 | 图像处理器和图像处理方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7496287B2 (zh) |
| EP (1) | EP1828982B1 (zh) |
| JP (1) | JP4487191B2 (zh) |
| KR (1) | KR100886298B1 (zh) |
| CN (1) | CN101076832B (zh) |
| DE (1) | DE602005023653D1 (zh) |
| WO (1) | WO2006068299A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013159333A1 (zh) * | 2012-04-27 | 2013-10-31 | 厚图科技有限公司 | 撷取钻针表面影像的方法 |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4307430B2 (ja) * | 2005-09-22 | 2009-08-05 | 三洋電機株式会社 | 手ぶれ検出装置 |
| US7952612B2 (en) * | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
| JP4423678B2 (ja) | 2006-09-06 | 2010-03-03 | カシオ計算機株式会社 | 撮像装置、撮影方法及びプログラム |
| JP4947576B2 (ja) * | 2006-10-12 | 2012-06-06 | 京セラ株式会社 | 撮像装置、ぶれ補正方法及び撮像方法 |
| KR101340035B1 (ko) * | 2006-11-30 | 2013-12-10 | 삼성전자주식회사 | 디지털 영상 처리 장치의 영상 합성 방법 |
| KR101357425B1 (ko) | 2006-12-22 | 2014-02-11 | 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 | 흔들림 측정 시스템 및 흔들림 측정 방법 |
| JP4884207B2 (ja) * | 2006-12-28 | 2012-02-29 | 三星電子株式会社 | 撮像装置、撮像方法およびコンピュータプログラム |
| US8035692B2 (en) * | 2007-03-30 | 2011-10-11 | Fujifilm Corporation | Image taking apparatus which forms an image of a subject on an imaging device to create image data representative of the subject |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| US8488901B2 (en) * | 2007-09-28 | 2013-07-16 | Sony Corporation | Content based adjustment of an image |
| KR101041366B1 (ko) * | 2007-11-02 | 2011-06-14 | 주식회사 코아로직 | 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법 |
| KR101023946B1 (ko) * | 2007-11-02 | 2011-03-28 | 주식회사 코아로직 | 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법 |
| US8098948B1 (en) | 2007-12-21 | 2012-01-17 | Zoran Corporation | Method, apparatus, and system for reducing blurring in an image |
| US8922672B2 (en) | 2008-01-03 | 2014-12-30 | Apple Inc. | Illumination systems and methods for imagers |
| KR101391432B1 (ko) * | 2008-01-22 | 2014-05-07 | 삼성전기주식회사 | 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법 |
| WO2010100677A1 (ja) | 2009-03-05 | 2010-09-10 | 富士通株式会社 | 画像処理装置およびぶれ量算出方法 |
| JP5226600B2 (ja) * | 2009-04-28 | 2013-07-03 | 富士フイルム株式会社 | 画像変形装置およびその動作制御方法 |
| JP5300591B2 (ja) * | 2009-05-21 | 2013-09-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
| JP5300590B2 (ja) * | 2009-05-21 | 2013-09-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
| KR101356613B1 (ko) | 2009-08-21 | 2014-02-06 | 에스케이텔레콤 주식회사 | 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치 |
| WO2011021915A2 (ko) * | 2009-08-21 | 2011-02-24 | 에스케이텔레콤 주식회사 | 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치 |
| JP5131257B2 (ja) * | 2009-08-27 | 2013-01-30 | カシオ計算機株式会社 | 表示制御装置及び表示制御プログラム |
| US8478071B2 (en) * | 2009-12-16 | 2013-07-02 | Nvidia Corporation | System and method for constructing a motion-compensated composite image |
| US8200076B2 (en) * | 2010-05-19 | 2012-06-12 | Eastman Kodak Company | Estimating gender or age of a photographer |
| US8180209B2 (en) * | 2010-05-19 | 2012-05-15 | Eastman Kodak Company | Determining camera activity from a steadiness signal |
| US8180208B2 (en) * | 2010-05-19 | 2012-05-15 | Eastman Kodak Company | Identifying a photographer |
| US20130271584A1 (en) * | 2011-02-17 | 2013-10-17 | Orcam Technologies Ltd. | User wearable visual assistance device |
| KR101657524B1 (ko) * | 2012-01-11 | 2016-09-19 | 한화테크윈 주식회사 | 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치 |
| CN102609957A (zh) * | 2012-01-16 | 2012-07-25 | 上海智觉光电科技有限公司 | 一种摄像装置画面偏移检测方法及系统 |
| JP6171371B2 (ja) | 2013-02-05 | 2017-08-02 | ノーリツプレシジョン株式会社 | 画像処理プログラム、画像処理装置および画像処理方法 |
| JP6055332B2 (ja) * | 2013-02-12 | 2016-12-27 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
| US10904638B2 (en) | 2014-01-24 | 2021-01-26 | Eleven Street Co., Ltd. | Device and method for inserting advertisement by using frame clustering |
| KR101403937B1 (ko) * | 2014-01-24 | 2014-06-09 | (주)인펙비전 | 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법 |
| JP6345799B2 (ja) * | 2014-03-19 | 2018-06-20 | ソニー株式会社 | 画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御 |
| US10140827B2 (en) | 2014-07-07 | 2018-11-27 | Google Llc | Method and system for processing motion event notifications |
| US10127783B2 (en) | 2014-07-07 | 2018-11-13 | Google Llc | Method and device for processing motion events |
| US9501915B1 (en) | 2014-07-07 | 2016-11-22 | Google Inc. | Systems and methods for analyzing a video stream |
| US9009805B1 (en) * | 2014-09-30 | 2015-04-14 | Google Inc. | Method and system for provisioning an electronic device |
| USD782495S1 (en) | 2014-10-07 | 2017-03-28 | Google Inc. | Display screen or portion thereof with graphical user interface |
| JP6452414B2 (ja) | 2014-12-03 | 2019-01-16 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| TWI681474B (zh) * | 2015-05-08 | 2020-01-01 | 日商Ｊｓｒ股份有限公司 | 焊料電極的製造方法、焊料電極、積層體的製造方法、積層體、電子零件及射出成形焊料用感光性樹脂組成物 |
| US9361011B1 (en) | 2015-06-14 | 2016-06-07 | Google Inc. | Methods and systems for presenting multiple live video feeds in a user interface |
| CN105096266B (zh) * | 2015-06-16 | 2018-04-10 | 努比亚技术有限公司 | 一种信息处理方法及装置、终端 |
| KR20170046391A (ko) * | 2015-10-21 | 2017-05-02 | 삼성전자주식회사 | 영상 촬영 장치 및 방법 |
| JP6618766B2 (ja) * | 2015-10-27 | 2019-12-11 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
| KR102457222B1 (ko) | 2015-11-26 | 2022-10-21 | 삼성전자주식회사 | 이동 로봇 및 그 제어 방법 |
| KR20170083275A (ko) | 2016-01-08 | 2017-07-18 | 에스프린팅솔루션 주식회사 | 토너 카트리지, 이를 포함하는 화상형성장치 및 화상형성장치의 제어방법 |
| US10506237B1 (en) | 2016-05-27 | 2019-12-10 | Google Llc | Methods and devices for dynamic adaptation of encoding bitrate for video streaming |
| US10192415B2 (en) | 2016-07-11 | 2019-01-29 | Google Llc | Methods and systems for providing intelligent alerts for events |
| US10957171B2 (en) | 2016-07-11 | 2021-03-23 | Google Llc | Methods and systems for providing event alerts |
| US10380429B2 (en) | 2016-07-11 | 2019-08-13 | Google Llc | Methods and systems for person detection in a video feed |
| CN107995432A (zh) * | 2016-10-26 | 2018-05-04 | 努比亚技术有限公司 | 一种实现慢门拍照的方法和装置 |
| US11783010B2 (en) | 2017-05-30 | 2023-10-10 | Google Llc | Systems and methods of person recognition in video streams |
| US10599950B2 (en) | 2017-05-30 | 2020-03-24 | Google Llc | Systems and methods for person recognition data management |
| US10664688B2 (en) | 2017-09-20 | 2020-05-26 | Google Llc | Systems and methods of detecting and responding to a visitor to a smart home environment |
| US11134227B2 (en) | 2017-09-20 | 2021-09-28 | Google Llc | Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment |
| KR102429337B1 (ko) * | 2018-01-16 | 2022-08-03 | 한화테크윈 주식회사 | 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법 |
| JP7311620B2 (ja) | 2019-03-08 | 2023-07-19 | メビオン・メディカル・システムズ・インコーポレーテッド | 粒子線治療システムのためのコリメータおよびエネルギーデグレーダ |
| CN112446229A (zh) * | 2019-08-27 | 2021-03-05 | 北京地平线机器人技术研发有限公司 | 一种标志杆的像素坐标获取方法及装置 |
| US11893795B2 (en) | 2019-12-09 | 2024-02-06 | Google Llc | Interacting with visitors of a connected home environment |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2316255A (en) * | 1996-08-09 | 1998-02-18 | Roke Manor Research | Improvements in image stabilisation |
| US5729290A (en) * | 1990-04-29 | 1998-03-17 | Canon Kabushiki Kaisha | Movement detection device and focus detection apparatus using such device |
| CN1577877A (zh) * | 2003-07-22 | 2005-02-09 | 全视技术有限公司 | 使用高帧频的具有帧相加和运动补偿的cmos图像传感器 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6522785B1 (en) * | 1999-09-24 | 2003-02-18 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| JP3866957B2 (ja) | 2001-10-23 | 2007-01-10 | オリンパス株式会社 | 画像合成装置 |
| US7221776B2 (en) | 2001-10-31 | 2007-05-22 | Arcsoft, Inc. | Video stabilizer |
| JP4181923B2 (ja) | 2003-05-29 | 2008-11-19 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
| JP2004357202A (ja) | 2003-05-30 | 2004-12-16 | Canon Inc | 撮影装置 |
-
2004
- 2004-12-24 JP JP2004374269A patent/JP4487191B2/ja active Active
-
2005
- 2005-12-20 US US11/313,072 patent/US7496287B2/en active Active
- 2005-12-21 CN CN2005800403904A patent/CN101076832B/zh not_active Expired - Fee Related
- 2005-12-21 WO PCT/JP2005/024012 patent/WO2006068299A1/en active Application Filing
- 2005-12-21 EP EP05822586A patent/EP1828982B1/en not_active Expired - Fee Related
- 2005-12-21 DE DE602005023653T patent/DE602005023653D1/de active Active
- 2005-12-21 KR KR1020077006412A patent/KR100886298B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5729290A (en) * | 1990-04-29 | 1998-03-17 | Canon Kabushiki Kaisha | Movement detection device and focus detection apparatus using such device |
| GB2316255A (en) * | 1996-08-09 | 1998-02-18 | Roke Manor Research | Improvements in image stabilisation |
| CN1577877A (zh) * | 2003-07-22 | 2005-02-09 | 全视技术有限公司 | 使用高帧频的具有帧相加和运动补偿的cmos图像传感器 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013159333A1 (zh) * | 2012-04-27 | 2013-10-31 | 厚图科技有限公司 | 撷取钻针表面影像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1828982A1 (en) | 2007-09-05 |
| WO2006068299A1 (en) | 2006-06-29 |
| JP2006180429A (ja) | 2006-07-06 |
| US20070014554A1 (en) | 2007-01-18 |
| KR100886298B1 (ko) | 2009-03-04 |
| KR20070088528A (ko) | 2007-08-29 |
| CN101076832A (zh) | 2007-11-21 |
| US7496287B2 (en) | 2009-02-24 |
| DE602005023653D1 (de) | 2010-10-28 |
| JP4487191B2 (ja) | 2010-06-23 |
| EP1828982B1 (en) | 2010-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101076832B (zh) | 图像处理器和图像处理方法 | |
| CN101331754B (zh) | 成像设备和成像方法 | |
| CN101742123B (zh) | 图像处理设备和方法 | |
| JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
| KR101026585B1 (ko) | 장면의 이미지 시퀀스로부터 고 동적 범위(ｈｄｒ) 이미지를 생성하는 시스템, 컴퓨터로 구현된 방법 및 컴퓨터 판독가능 기록매체 | |
| US7825969B2 (en) | Image stabilization using multi-exposure pattern | |
| TWI459324B (zh) | 修改色彩及全色通道彩色濾光片陣列影像 | |
| CN109194877A (zh) | 图像补偿方法和装置、计算机可读存储介质和电子设备 | |
| CN101753779A (zh) | 图像处理装置及摄像装置 | |
| JP6906947B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
| JP6218377B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN107948500A (zh) | 图像处理方法和装置 | |
| JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
| CN101753825A (zh) | 摄像装置 | |
| CN103339925B (zh) | 摄像装置、图像处理装置以及摄像方法 | |
| CN100377574C (zh) | 图像处理装置和电子照相机 | |
| KR20100013171A (ko) | 오토 포커스 영역의 움직임 보상 방법 및 장치, 이를이용한 오토 포커스 방법 및 장치 | |
| JP2010279054A (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
| JP2006270523A (ja) | 画像合成装置および画像合成処理プログラム | |
| WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
| JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
| JP2005079776A (ja) | 画像生成装置、画像生成方法、及びプログラム | |
| Schleicher et al. | High dynamic range imaging by varying exposure time, gain and aperture of a video camera | |
| JP5284195B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP2020160773A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100929 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |