CN1980330A - 图像处理装置、图像处理方法和计算机程序 - Google Patents

图像处理装置、图像处理方法和计算机程序 Download PDF

Info

Publication number
CN1980330A
CN1980330A CNA2006101667075A CN200610166707A CN1980330A CN 1980330 A CN1980330 A CN 1980330A CN A2006101667075 A CNA2006101667075 A CN A2006101667075A CN 200610166707 A CN200610166707 A CN 200610166707A CN 1980330 A CN1980330 A CN 1980330A
Authority
CN
China
Prior art keywords
image
area
zone
region
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101667075A
Other languages
English (en)
Other versions
CN1980330B (zh
Inventor
弗兰克·尼尔森
长谷川雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1980330A publication Critical patent/CN1980330A/zh
Application granted granted Critical
Publication of CN1980330B publication Critical patent/CN1980330B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

一种自动确定图像的构成的图像处理装置包括：区域划分部件，用于将输入图像划分为多个区域；目标区域确定部件，用于从所划分的图像确定具有较高可视性的目标区域；不需要区域确定部件，用于从所划分的图像确定具有较低可视性的不需要区域；以及，构成确定部件，用于从输入图像确定包括目标区域和不包括不需要区域的构成。

Description

图像处理装置、图像处理方法和计算机程序
技术领域
本发明涉及用于处理通过例如数字摄像机捕获的或由其他图像输入装置输入的图像的图像处理装置、图像处理方法和计算机程序，特别是，本发明涉及通过图像处理来自动化至少一部分摄像操作的图像处理装置、图像处理方法和计算机程序。
具体地，本发明涉及用于自动地确定输入图像的组成的图像处理装置、图像处理方法和计算机程序，特别是，本发明涉及以诸如人的目标对象被示出的区域为基础来自动地确定输入图像的组成的图像处理装置、图像处理方法和计算机程序。
背景技术
摄像机作为用于记录可视信息的部件具有很长的历史。近些年来，数字化所捕获图像的数字摄像机被广泛使用，取代了通过使用胶片或感光板而进行曝光的胶片摄像机。数字摄像机在存储器中存储数字化的图像，并且向个人计算机或其他设备传送所存储的图像，所述个人计算机或其他设备对于所传送的图像执行图像处理，并且存储和管理所处理的图像，在大显示器上显示所述图像，打印出所述图像以编辑包含所述图像的相册，或者将所述图像作为文档的一部分来粘贴。数字摄像机具有优点在于：不需要显影所捕获的图像以便观看图像；并且不存在胶片寿命的问题，因为数字摄像机不使用胶片。
一般地，数字摄像机具有与胶片摄像机大致相同的摄像操作。拍摄者将胶片摄像机聚焦在主体(subject)上，调整光圈和曝光量，执行取景以便形成包括所述主体的适当构成，并且按下胶片摄像机的快门。为了抑制摄像机振动，拍摄者应当保持摄像机稳定或将摄像机安装到三脚架。
这样的摄像操作已经在其自动化技术上发展，因此，甚至无经验的用户也不可能拍摄失败。例如，所述自动化技术包括自动聚焦、自动曝光、摄像机振动校正和自动快门。但是，受让人假定在取景或确定所捕获的图像的构成上没有充分实现自动化。
例如，日本未审查的专利申请公开第8-262519号公开了具有自动取景功能的摄像机。摄像机自动设置构成，其中，拍摄者的注视点(主体)位于图像的中心，以避免诸如一部分主体落到图像之外的拍摄失败。
日本未审查专利申请公开第9-33986号公开了一种摄像机，它包括矩形显示部件，包括取景基准点，用于主体的光路上取景，以便用户可以容易地设置主体的图像的构成。
在实际拍摄场景中，可能有这样的情况：其中，在主体和拍摄者之间有障碍物介入。在这种情况下，必须确定构成以便在取景框中仅仅包括主体。具体地，如果这样的障碍物正在移动，则难于在取景框中包括主体并且在避开障碍物的同时在正确的时刻释放快门。另外，可能有这样的情况：其中，虽然所述主体被包括在取景框中，但是在画面中显示了不需要的对象的散焦的图像--诸如用户的手指或被安装在摄像机主体上的带子--而破坏了画面。不可能通过根据主体来确定构成的方法来完全地去除这样的障碍物。因此，有可能在显示图像之前找不到这样的障碍物，因此不可能再一次获得拍摄照片的机会。
例如，当用户试图使用数字摄像机来拍摄期望的主体时，可以通过数字摄像机的取景器来识别被用户前面的人影遮住的所述主体，如图14中所示。在这种情况下，期望不包括诸如人影的不需要的区域、并且具有预定长宽比的最大矩形区域被确定为构成，如图15中所示。但是，用户必须人为地执行这种复杂的确定。
发明内容
期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能够通过图像处理来自动化摄像操作的至少一部分。
也期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能够自动确定输入图像的构成。
还期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能够以诸如人的目标对象被示出的区域为基础来自动确定输入图像的构成。
还期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能够优选地确定构成，其中从原始图像去除诸如障碍物之类的不需要的区域以提取目标区域。
按照本发明的一个实施例，一种自动确定图像的构成的图像处理装置包括：区域划分部件，用于将输入图像划分为区域；目标区域确定部件，用于从所划分的图像确定具有较高可视性的目标区域；不需要区域确定部件，用于从所划分的图像确定具有较低可视性的不需要区域；以及，构成确定部件，用于从输入图像确定包括目标区域和不包括不需要区域的构成。
摄像操作已经在其自动化技术上得到发展，因此，甚至无经验的用户也不可能在拍摄中失败。但是，取景，即确定由摄像机捕获的图像的构成未充分地被自动化。例如，当在主体和拍摄者之间有障碍物干扰时，必须确定构成以便仅仅在取景框中包括所述主体。
相反，按照本发明的所述实施例的所述图像处理装置确定在所捕获图像中的具有较高可视性的目标区域和在所捕获图像中的具有较低可视性的不需要区域，以自动地确定包括所述目标区域和不包括所述不需要区域的构成。因此，有可能从所捕获的图像提取不包括不需要对象的帧，所述不需要的对象包括在主体之前的人和/或悬在摄像机镜头上的用户手指或带子。
所述目标区域确定部件可以对于输入图像执行面部检测，以根据检测到面部的区域来确定目标区域。
所述目标区域确定部件可以执行在所述输入图像和关于所述目标对象的信息之间的匹配，以将具有较高匹配程度的区域确定为目标区域。
所述目标区域确定部件可以将具有较高吸引力的区域确定为目标区域。从在输入图像中包括的每个对象的物理特性--诸如颜色、形状、面积(每个对象和输入图像在面积上的比率)或纹理--来评估所述吸引力。
可以通过聚焦在主体上以拍摄的基本摄像操作来确定所述目标区域和所述不需要区域。所述目标区域确定部件和所述不需要区域确定部件可以根据每个区域获得的聚焦程度来分别确定目标区域和不需要区域。
在这种情况下，可以提取在输入图像中的每个被划分图像区域的边，并且可以对于每个被划分的图像区域计算在所述边图像中的像素值的和，以获得从使用边的长度或面积来标准化所述像素值的和而产生的边的数量来作为指示聚焦程度的值。所述不需要区域确定部件可以将在输入图像中具有较小边数量的外围区域确定为不需要区域。
取代以如上所述的方式来从所述图像区域自动确定所述目标区域和不需要区域，可以在区域划分后按照由用户使用用户输入部件而手动进行的选择来确定所述目标区域和不需要区域的至少一个。
所述区域划分部件通过所谓的网格分段(mesh segmentation)来集成其中每个包括一个或多个像素的多边形网格以提取图像区域。所述网格分段一般是基于在相邻的图像区域之间的类似性。按照本发明的所述实施例，根据关于是否使用统计算法来集成相邻的图像区域的确定而以期望的密度来产生图像区域。
可以高速地执行基于所述统计算法的图像区域的集成，因为通过简单的计算来执行所述集成，其中，以统计方式来处理所述多边形区域。例如，诸如个人计算机之类的普通计算机器可以用于处理大约每秒一百万个多边形。另外，在断言(predicate)中包括的参数值的调整允许适当地设置集成图像区域的标准，以便以期望的密度产生多边形网格，因此提供可伸缩性(scalability)。
可以高速地执行基于所述统计算法的图像区域的集成，因为通过其中以统计方式来处理多边形的区域的简单计算而执行所述集成。因此，可以对于也在其计算功率被限制的便携器件--诸如数字摄像机--中的图像区域执行所述区域划分，并且有可能在区域划分后实现所述图像的自动取景。
按照本发明的另一个实施例，一种自动确定图像的构成的图像处理方法包括步骤：将输入图像划分为多个区域；从所划分的图像确定具有较高可视性的目标区域；从所划分的图像确定具有较低可视性的不需要区域；以及，从输入图像确定包括目标区域和不包括不需要区域的构成。
按照本发明的另一个实施例，一种使得计算机系统执行自动确定图像的构成的处理的计算机可读程序包括步骤：将输入图像划分为多个区域；从所划分的图像确定具有较高可视性的目标区域；从所划分的图像确定具有较低可视性的不需要区域；以及，从输入图像确定包括目标区域和不包括不需要区域的构成。
按照本发明的这个实施例的计算机可读程序是以计算机可读形式被描述的，以便在计算机系统上实现预定的处理。换句话说，在计算机系统中安装按照本发明的这个实施例的计算机可读程序使得所述计算机系统执行合作功能以提供类似于按照本发明的所述实施例的图像处理装置的那些的优点。
按照本发明，有可能提供良好的图像处理装置、图像处理方法和计算机程序，它们能够根据诸如人的目标对象被示出的区域来自动确定输入图像的构成。
按照本发明，也可能提供良好的图像处理装置、图像处理方法和计算机程序，它们能够优选地确定构成，其中，从原始图像中去除诸如障碍物之类的不需要的区域以提取目标区域。
通过下面参见附图来说明示例实施例，本发明的另外的特征和优点将变得显然。
附图说明
图1是示意地示出具有按照本发明的一个实施例的图像处理装置的功能的数字摄像机的硬件结构的示例的方框图；
图2是示出按照本发明的一个实施例的用于实现自动取景的处理的流程图；
图3示出了在自动取景中使用的输入图像的一个示例；
图4示出了在图3中所示的输入图像进行区域划分后的图像的一个示例；
图5示出了对应于在图3中所示的输入图像的边图像的一个示例；
图6示出了对于在图4中所示的图像中的图像区域所计算的边的数量；
图7示出了如何设置如图6中所示的被划分为多个区域的图像中的构成；
图8示出了按照在图7中所示的构成从所捕获的图像提取的帧；
图9示出了最简单的邻接图(incidence graph)的一个示例；
图10示出了更复杂的邻接图的一个示例；
图11图解了如何评估边；
图12图解了如何绘制视频信息的邻接图；
图13是示出网格分段处理的例子的流程图；
图14示出了当在用户前面的人影遮住期望的主体时通过液晶取景器识别的图像；以及
图15示出了被确定为构成的最大矩形区域，所述矩形区域不包括诸如人影之类的不需要区域，并且具有预定的长宽比。
具体实施方式
现在参见附图来说明本发明的实施例。
本发明涉及一种图像处理装置，它接收由例如数字摄像机自动捕获的图像，并且自动确定所捕获的图像的构成。所述图像处理装置根据诸如人的目标对象被示出的区域来自动确定输入图像的构成。这样的图像处理装置的功能可以被安装在个人计算机中，所述个人计算机用于存储和管理由数字摄像机捕获的图像或在数字摄像机中的图像。
图1是示意地示出具有按照本发明的一个实施例的图像处理装置的功能的数字摄像机的硬件结构的示例的方框图。在数字摄像机100中的电路部件经由总线113而彼此连接，并且在CPU 107的控制下执行所捕获的图像的编码、存储和输出。下面详细说明所述电路部件。
拍摄单元101包括也在每个胶片摄像机中使用的拍摄透镜。光学传感器单元102包括传感器元件阵列--诸如电荷耦合器件(CCD)或金属氧化物半导体(MOS)--和所述元件的驱动电路，并且被提供在拍摄透镜的图像形成表面上。光学传感器单元102将入射光转换为对应于每个像素的光强的电信号。
虽然在图1中未示出，但是光学传感器单元102也包括：光圈，它按照在由拍摄单元101的拍摄中的光的发光度来调整曝光量；闪光灯单元，它用于在黑夜或暗处的拍摄。
图像信号处理单元103数字化从光学传感器单元102输出的图像信号以产生数字图像。所产生的数字图像被存储在经由存储器接口104而连接到总线113的盒式存储器105。存储器105是非易失性存储器，诸如电子可擦除和可编程的只读存储器(EEPROM)。虽然当在存储器105中写入图像时或当显示从存储器105读出的图像时进行图像压缩/解压缩和其他编码/解码处理，但是在此省略所述处理的说明，因为所述处理不直接地与本发明相关联。
外部接口106包括符合例如USB或IEEE 1394的串行输出端。在存储器105中存储的图像文件通过所述串行输出端被传送到外部器件，诸如个人计算机。外部接口106也包括视频输出端，通过它，数字图像被作为视频信号提供到显示视频信号的电视监控器等。
数字摄像机100包括显示单元111和输入操作单元112，它们作为用户接口110。显示单元111是例如液晶显示器，并且也作为取景器。显示单元111显示从存储器105读出的图像，并且提供操作屏幕，使用它来设置拍摄条件。输入操作单元112包括：机械操作单元，它包括快门和变焦调整钮；触摸板，它被叠放在显示单元111的显示屏幕上。
CPU 107执行按照在只读存储器(ROM)109中存储的程序代码的预定处理来控制整个数字摄像机100的操作。CPU 107暂时在随机存取存储器(RAM)108中写入用于所述处理的系统变量和环境变量。由CPU 107执行的处理包括摄像操作自动化处理，其中除了包括由数字摄像机100进行的拍摄操作、在液晶显示器中的所捕获的图像的显示和在存储器105中存储的图像数据的外部输出的基本操作之外，还包括自动聚焦、自动曝光和自动取景。
摄像操作已经在其自动化技术上发展，因此，即使无经验的用户也不可能拍摄失败。按照本发明的所述实施例的数字摄像机100其特征在于自动取景，即其特征在于自动确定所捕获的图像的构成。具体地，按照本发明的所述实施例的数字摄像机100确定在所捕获的图像中的具有较高可视性的目标区域和在所捕获的图像中的具有较低可视性的不需要区域，以自动地确定包括所述目标区域和不包括所述不需要区域的构成。因此，有可能从所捕获的图像提取不包括不需要对象的帧，所述不需要对象包括在主体之前的人和/或悬在摄像机100镜头上的用户手指或带子。
图2是示出按照本发明的一个实施例的用于实现自动取景的处理的流程图。这个处理例如由CPU 107实现，该CPU执行从ROM 109读取的程序代码。
在输入要处理的图像后，在步骤S1，所述处理执行区域划分以将输入图像划分为多个图像区域。在步骤S2，所述处理与步骤S1并行地执行边提取以提取边图像。图3示出了输入图像的一个示例。图4示出了在区域划分后的图像的一个示例。图5示出了边图像的一个示例。
可以通过经由所谓的网格分段来集成多边形网格而执行图像的区域划分，所述多边形网格每个包括一个或多个像素。网格分段一般基于在相邻的图像区域之间的类似性。按照本发明的所述实施例，根据使用统计算法关于是否集成相邻的图像区域的确定而以期望的密度来产生图像区域。下面将详细说明所述确定。
通过对于原始图像进行微分处理来进行边提取。因为公知的方法可被应用到边提取，因此在此省略边提取的详细说明。
返回参见图2，在步骤S3，所述处理从在区域划分后的图像区域确定具有较高可视性的目标区域和具有较低可视性的不需要区域。
可以使用面部检测作为一种用于提取目标区域的方法，在所述面部检测中，从输入图像检测面部区域，并且将所检测的面部区域处理为目标区域。
关于是否所提取的区域是目标区域的确定可以基于在所检测的面部区域中的面部的方向。如果在所检测的区域中有两个或多个面部区域，则可以根据是否面向前方或从所述摄像机转移目光来加权所述可视性。另外，可以将个人识别应用到所提取的面部区域以根据在人之间的人关系来加权可视性(例如，根据在组织内的人的位置或是否所述人在事件中是主角或配角)。
为了实施面部检测或面部识别，可以采用使用神经网络的方法或对以面部图像的亮度作为元素的向量空间应用主成分分析(PCA)的方法(特征空间(eigenspace)方法)。可以采用识别面部的方法(例如参见WO2003/019475)。在这种方法中，在通过使用Gabor滤波器--它使用具有方向选择性和不同的频率的多个滤波器来过滤图像--来提取面部区域后，在支持向量机中输入面部区域的提取结果以在非线性空间中映射面部区域的图像，并且在这个非线性空间中获得分离的超平面，以便区分面部图像和非面部图像。
另外，可以采用一种方法，其中，执行在输入图像和关于目标对象--不限于人并且被预先设置以被包括在目标区域中--的信息之间的匹配以将具有较高匹配程度的区域确定为目标区域。
而且，可以将具有较高吸引力的区域确定为目标区域。根据在输入图像中包括的每个对象的物理特性--诸如颜色、形状、面积(每个对象对输入图像在面积上的比率)或纹理--来评估所述吸引力。例如，在Soto T.“GazoRyouiki no Butsuri-teki Tokuchou ni Motozuku Yuumoku-do Hyouka Moderu”，IEICE transactions A，Vol.J83-A，No.5(May，2000)，pp.576-588(Soto T.“GazoRyouiki no Butsuri-teki Tokuchou ni Motozuku Yuumoku-do Hyouka Moderu”，IEICE学报A，卷J83-A，第五期(2000年5月)，第576-588页)中描述了基于图像区域的物理特性评估图像区域的吸引力的方法。
而且，可以对于每个被提取的图像区域获得聚焦度以根据聚焦度来确定目标区域和不需要区域。
按照本发明的所述实施例，将“边的数量”用作为用于指示聚焦度的值。边的数量表示通过下述方式而获得的值：通过对于在步骤S1中划分的每个图像区域计算在步骤S2中提取的边图像中的像素值的和，并且使用所述边的长度或面积来标准化所述像素值的和。
将具有较大边数量的图像区域假定为目标区域，并且将具有较小边数量的图像区域(特别是在图像中的外围区域)假定为不需要区域。图6示出了通过使用在图4中所示的区域划分后的图像和在图5中所示的边图像来对于在图3中所示的输入图像中的图像区域计算的边的数量的多个示例。
取代以如上所述的方式自动从图像区域确定目标区域和不需要区域，用户可以使用触摸板在显示单元111中显示的、在图4中所示的区域划分后的图像中直接地指示目标区域和不需要区域。例如，用户可以直观地识别所捕获的图像，并且可以指示不需要的对象，诸如用户的手指或摄像机的带子。
回来参见图2，在步骤S4中，所述处理提取不包括不需要区域并且具有预定长宽比的最大矩形区域，然后结束自动取景。
在图3中所示的输入图像的示例中，不小心地置于拍摄透镜上的用户的手指的散焦图像被示出在图像的左下部分中。在图4中所示的区域划分后的图像中，除了作为对象的人和背景之外，所述手指还被提取为图像区域。在图5中所示的边提取后的边图像中，除了作为对象的人和背景之外，还提取手指的边。但是，所述手指区域具有比其他图像区域更小的边的数量，如图6中所示，因为手指的散焦图像不具有锐边，结果，将手指确定为不需要区域，并且将不包括所述手指区域并且具有预定长宽比的最大矩形区域输出为最后的帧。图7示出了如何在被划分为多个区域中的图像中设置构成。图8示出了通过自动取景从原始捕获图像中提取的帧。
现在详细说明在图2的步骤S1中的图像的区域划分。
所述图像区域可以被处理为许多多边形的集合。所述图像区域的集成和划分也被称为“网格分段”。因为所述多边形网格的密度大大地影响处理负荷或图像质量，因此可以在例如计算机图形中执行适合于应用的网格分段，以适当地调整多边形网格的密度。
所述网格分段一般基于在相邻的图像区域之间的类似性。但是，因为在现有技术中主要通过使用在网格分段中的阵列的重复操作而执行区域增长或分层/迭代/频谱聚类(cluster)，因此不可取地，处理速度是慢的。
相反，按照本发明的所述实施例，图像区域根据通过使用统计算法是否要集成相邻图像区域的确定来以期望的密度产生。在这种统计算法中，确定是否相邻的图像区域是类似的，即要根据从在图像区域中包括的多边形的区域中的密度不等性得到的断言来确定是否集成相邻的图像区域。
可以高速执行基于统计算法的图像区域的集成，因为通过简单的计算来执行集成，其中，以统计方式来处理关于相邻图像区域的图像特性信息。例如，在关于其图像区域是多边形网格的三维图像的信息的情况下，以统计方式来处理关于图像区域的像素特性信息，诸如面积、法线方向或颜色信息。在包括多个颜色分量--诸如RGB--的视频信息的情况下，根据从密度不等性得到的断言来对于每个颜色分量执行集成。
在基于这样的统计算法的图像区域的集成中，诸如个人计算机之类的公共计算机可以用于处理大约每秒一百万个多边形。可以根据像素大小来在诸如数字摄像机之类的内置设备中实现所述集成。另外，对在所述断言(predicate)中包括的参数的值的调整允许适当设置用于集成所述图像区域的标准，以便以希望的密度来产生多边形网格，由此提供可伸缩性(scalability)。
在诸如三维计算机图形的图像处理中，要绘制的对象一般被处理为多边形的集合，并且可以以邻接图--其中描述了在作为分量的多个多边形之间的关系--的形式来表示作为图像区域的所述多边形网格。在按照本发明的所述实施例的网格分段中，作为多边形网格的最小单位的每个多边形在邻接图中被处理作为一个节点。在多边形网格中的相邻的多边形节点经由对应于在相邻节点之间夹着的侧(side)的边(edge)而连接，以描述所述邻接图，并且在网格分段中输入所述的邻接图。
现在说明当处理作为多边形网格的图像区域时用于绘制邻接图的方法。
首先，要处理的图像区域中的每个多边形Ti与节点Ni相关联。如果在节点Ni和节点Nj之间存在属于多边形Ti和Tj的仅仅一个侧，则在节点Ni和节点Nj之间产生边eij。
可以通过相对于所述边的端点来划分多边形而从包括顶点和平面的索引阵列(index array)直接地绘制邻接图。每个多边形的侧或边被划分为边界边和内部边，边界边是多边形网格或图像区域的边界，内部边不是多边形网格的边界，而是与在多边形网格中的相邻多边形接触。由于作为图像区域的边界的边属于仅仅一个多边形，因此仅仅除了所述边界边之外的边(即仅仅图像区域的内部边)要被处理。足够的是，提供包括顶点和平面的索引阵列，并且不需提供复杂的相邻数据结构，诸如半边(half-edge)结构或guad边结构。
图9示出了最简单的邻接图的一个示例。在图9的左部示出的多边形网格包括经由侧或边e12而彼此连接的两个三角形T1和T2。描述这个多边形网格的邻接图包括对应于三角形T1和T2的两个节点N1和N2和与节点N1和N2接触的边e12。如图9的右部所示。
图10示出了更复杂的邻接图的一个示例。在图10的左部示出的多边形网格包括七个三角形T1-T7。三角形T1接触三角形T2；三角形T2接触三角形T1、T3、T4；三角形T3接触三角形T2和T6；三角形T4接触三角形T2和T5；三角形T5接触三角形T4和T6；三角形T6接触三角形T3、T5和T7。在描述多边形网格的邻接图中，对应于三角形的节点经由接触相邻三角形的侧或边而连接，如图10的右部所示。
所述节点在初始状态中是作为多边形网格的最小单位的多边形，但是在网格增长的进行期间增长为图像区域，它是从一个多边形增长的多边形网格。用于唯一地识别每个节点Ni的标识信息id(Ni)、对应于节点Ni的图像区域(初始是一个多边形)的面积area(Ni)和在所述图像区域或多边形网格中包括的多边形的数量n(Ni)(初始值等于1)被保存为“节点统计信息”。每个节点存储所述多边形的面积和数量，因为需要所述多边形的面积和数量来通过使用基于统计算法的断言确定是否集成节点或图像区域。
接着，在输入的邻接图(incidence graph)中的每条边被评估以排序。具体地，在每条边的评估中，经由所述边而连接的图像区域的特性值相互比较，以根据比较结果来向所述边提供加权值，并且根据所述加权值来排序在邻接图中的所述边。在此的图像区域包括作为最小单位的多边形和作为其中集成多个多边形的多边形网格的图像区域。
例如，使用图像区域的面积来作为特性值。在经由边连接的图像区域之间在面积上的差别被作为边的加权值给出，并且以所述加权值的升序来排序所述边。在这种情况下，当在图像区域之间在面积上的差别变得更小时，在随后的集成处理中加权值降低，并且处理顺序提高。
图11图解了如何评估边。参见图11，在图11的左部示出的多边形网格具有经由边eij连接的两个三角形Ti和Tj。描述这个多边形网格的邻接图包括对应于三角形Ti和Tj的两个节点Ni和Nj以及接触节点Ni和节点Nj的边eij，如图11的右部所示。按照公式1来计算边eij的加权值W(eij)，在所述公式1中，area(P)表示用于计算多边形P的面积的函数。
[公式1]
W(eij)＝|area(Ti)-area(Tj)|    (1)
或者，除了在图像区域中的多边形的面积之外，可以使用在相邻顶点之间各种特性值上的差来设置边的加权值。特性值包括像素特性信息，诸如图像区域的通常方向或颜色(在具有纹理的多边形网格的情况下)。
在视频信息--诸如由数字摄像机捕获的图像--的情况下，通过不是在多边形之间而是在像素之间的连接关系来表示初始邻接图。图12图解了如何绘制视频信息的邻接图。在初始状态中，每个像素被处理为节点，并且在目标像素和8个周围像素之间定义所述边，如图12中所示。在所述边的评估中可用的参数例如限于在多边形网格的情况下的面积和法线，而在视频信息的情况下有可能优化评估边的方法或计算加权值的方法，因为视频信息具有多个可用的参数。按照本发明的所述实施例，计算在经由边连接的像素(或图像区域)之间的每个RGB颜色在平均像素值上的差，并且将在所述差中的最大值作为加权值提供到边。然后，以如上所述的方式，根据所述加权值，来排序在所述邻接图中的边。
接着，以排序的顺序来提取夹着所述边的一对图像区域，并且对于所提取的对执行网格增长。因为用作为在经由边连接的图像区域之间的类似性的索引的加权值被提供给边，因此以加权值的上升顺序的网格增长对应于其中较高优先级被提供给具有更高类似性的图像区域的网格增长。
在这里所述的邻接图的产生中，根据统计算法来确定是否要集成经由以排序顺序被提取的边而连接的两个图像区域。具体上，如果对于经由边而连接的两个图像区域Rk和R1满足基于下面的统计算法的断言，则将集成图像区域Rk和R1。
公式2示出了可应用到作为多边形网格--诸如三维计算机图形--的图像区域的断言的一个示例。在公式2中，图像区域Rk具有面积Sk并且包括nk个多边形，并且图像区域R1具有面积S1，并且包括n1个多边形。在公式2中，A表示多边形的最大面积，Q表示用于控制分段密度的参数。
[公式2]
| S k n k - S l n l | 2 ≤ A 2 ( n k log n k + n l log n l ) Q ( 1 n k + 1 n l ) - - - ( 2 )
按照公式2，如果在在经由边连接的图像区域之间的每个图像区域中包括的多边形的平均区域中的差(Sk/nk-S1/n1)具有较小的值，则执行网格增长。从密度不等性得出所述断言，所述密度不等性是在图像区域中包括的多边形的区域中出现的现象。在统计领域中，密度不等性(concentration inequality)作为中央极限定理是公用的(即使母集团具有任意的分布，当从母集团提取的采样的大小提高时，采样平均的分布也会聚为正则分布)。
相反，当取代多边形网格而处理视频信息时，可以优化基于密度不等性的断言，因为所述视频信息具有多个参数。例如，如果在对于每个RGB彩色分量在经由边连接的图像区域之间计算的、在每个图像区域中包括的像素的平均像素值上的差具有较小的值，则执行网格增长。
在公式2的右侧中的“Q”表示用于控制分段密度的参数。当“Q”增加时，右侧的值降低，并且变得难于满足所述断言以抑制图像区域的网格增长。相反，当“Q”降低时，右侧的值提高，并且变得容易满足所述断言以激励图像区域的网格增长。因此，网格分段导致较低的密度。
在诸如三维计算机图形的图像信息的情况下，所述节点在初始状态中是作为多边形网格的最小单位的多边形，但是在网格增长的进行期间增长为图像区域，它是从一个多边形增长的多边形网格。提供了记录，其中，用于唯一地识别每个节点Ni的标识信息id(Ni)、对应于节点Ni的图像区域(初始是一个多边形)的面积area(Ni)和在所述图像区域或多边形网格中包括的多边形的数量n(Ni)(初始值等于1)被保存为“节点统计信息”。图像区域集成处理器当新节点与现有的节点集成时设置用于识别新节点的新标识信息，并且计算在从所述集成产生的图像区域中的面积和多边形的数量以更新节点统计信息。
最后，处理从图像区域的集成产生的微小区域。例如，在网格增长后在大图像区域之间或内部剩余的微小多边形网格与任何相邻的图像区域集成，而与是否满足所述断言无关，以改善处理结果的外观。所述微小区域对应于具有仅仅大约所述网格平面的面积的几个百分比的面积的多边形网格。
图13是示出网格分段处理的一个示例的流程图。
在步骤S11中，所述处理接收关于要处理的三维对象的图像信息。按照本发明的所述实施例，以包括作为节点的多边形和作为边的每个多边形的侧的邻接图的形式来描述所述图像信息(参见上述说明和图9)。
扫描输入的邻接图以向每个节点Ni给出标识信息id(Ni)，并且计算对应于所述节点的多边形的面积。每个节点的标识信息、面积和多边形的数量(初始化值等于1)被登记为节点统计信息(被初始化)。在公式3中示出了用于初始化节点统计信息的伪程序代码，其中，id()表示这样的阵列，其中，存储关于节点的标识信息--被指示为变元；area()表示这样的阵列，其中，存储具有被指示为变元的标识信息的节点的面积；n()表示阵列，其中，存储了具有被指示为所述变元的标识信息的节点中包括的多边形的数量。
[公式3]
id(Ni)＝i
area(i)＝area(Ti)
n(i)＝1    (3)
在公式3中，向关于从邻接图提取的第i个节点Ni的标识信息id(Ni)分配“i”，向节点Ni的面积area(i)分配对应于节点的多边形的面积area(Ti)，并且向所述多边形的数量n(i)分配初始值1。
返回参见图13，在步骤S12中，所述处理评估在输入邻接图中的每个边，以执行排序。具体地，在经由边连接的图像区域之间在面积上的差被给出作为边的加权值，并且以所述加权值的升序来执行排序。当在图像区域之间在面积上的差变得较小时，所述加权值降低，并且处理顺序在随后的集成处理中提高。
在步骤S13中，所述处理设置参数Q，用于控制分段密度。
在所述图像区域的集成中，以所述排序的顺序来提取夹着所述边的一对图像区域，在步骤S14中，所述处理确定是否存在未处理的边。如果所述处理确定存在未处理的边，则在步骤S15中，所述处理确定是否图像区域满足基于统计算法的断言。在步骤S15中使用的断言是从密度不等性得到的，所述密度不等性是如上所述在图像区域中包括的多边形的区域中出现的现象，并且这里使用在步骤S13中设置的参数Q。
如上所述，提供记录，其中，用于唯一地识别每个节点Ni的标识信息id(Ni)、对应于节点Ni的图像区域(初始是一个多边形)的面积area(Ni)和在所述图像区域或多边形网格中包括的多边形的数量n(Ni)(初始值等于1)被保存作为“节点统计信息”。在图像区域的集成中，当图像区域彼此集成时，产生新的节点，向所产生的节点提供用于识别新节点的新的标识信息，并且计算从所述集成产生的新的图像区域的面积和在新的图像区域中的多边形的数量，以在步骤S16更新节点统计信息。
用于集成图像区域、然后更新节点统计信息的伪程序代码被示出在公式4中，其中，Merge()表示用于集成被指示为变元的图像区域的函数。
[公式4]
Merge(Ni，Nj)
id’(Ni)＝id’(Nj)
area(id’(Ni))＝area(id(Ni))+area(id(Nj))
n(id’(Ni))＝n(id(Ni))+n(id(Nj))
id(Ni)←id’(Ni)
id(Nj)←id’(Nj)    (4)
在公式4中，将节点Ni与节点Nj集成。节点Ni和Nj被指示为Merge函数的变元。接着，向节点Ni和节点Nj提供相同的新标识信息id’(Ni)＝id’(Nj)，以指示两个图像区域被集成，并且产生新的节点。按照本发明的所述实施例，将关于节点Ni或Nj的旧标识信息用作关于新节点的标识信息。可以使用由Robert Endre Tarjan发明的合并寻找(Union-Find)算法来向新的节点提供标识信息。
接着，向新节点的面积area(id’(Ni))分配原始图像区域的面积的和area(Ni)+area(Nj)，并且向在新节点中的多边形的数量n(id’(Ni))分配在原始图像区域中的多边形的数量的和n(id(Ni))+n(id(Nj))。最后，向原始节点Ni提供新的标识信息id’(Ni)，并且向原始节点Nj提供新的标识信息id’(Nj)，以终止节点统计信息的更新。
返回参见图13。如果所述处理在步骤S14中确定在邻接图中的所有边被处理，则在步骤S17，所述处理处理在图像区域的集成后剩余的微小区域。例如，在大图像区域之间或内部的集成后剩余的微小多边形网格与任何相邻的图像区域集成，而不论是否满足所述断言，以改善处理结果的外观。所述微小区域表示具有仅仅大约整个网格平面的几个百分比的面积的多边形网格。
可以高速地执行基于统计算法的图像区域的集成，因为通过简单的计算--其中以统计方式来处理多边形的区域--来执行所述集成。例如，可以使用公共的计算机来处理大约每秒一百万个多边形。可以对于不仅在诸如个人计算机的计算机系统中、而且在诸如数字摄像机的便携设备--其计算功率受限--中的图像区域执行所述区域划分。并且有可能按照在图2中所示的处理来实现自动取景。另外，在断言中包括的参数Q的调整允许适当地设置的用于集成图像区域的标准以便以期望的密度来产生多边形网格，因此提供可伸缩性。
所述网格分段的应用包括参数化和纹理映射、形态化、多分辨率建模、图像编辑、图像压缩、动画和形状匹配。在例如已经被转让给受让者的日本专利申请第2005-166466号中详细描述了基于统计算法的图像区域的集成。
虽然已经在本说明书的上述实施例中描述了在数字摄像机中安装的自动取景功能，但是本发明不限于上述实施例。本发明可适用于存储和处理所捕获图像的个人计算机或任何其他的图像处理装置。
本领域内的技术人员应当明白，可以根据设计要求和其他因素来进行各种修改、组合、子组合和替代，只要所述设计要求和其他因素在所附的权利要求或其等同内容的范围内。
本发明包含与2005年12月8日在日本专利局提交的日本专利申请JP2005-355006相关联的主题，其整体内容通过引用被包含在此。

Claims (28)

1.一种自动确定图像的构成的图像处理装置，包括：
区域划分部件，用于将输入图像划分为区域；
目标区域确定部件，用于从所划分的图像确定具有较高可视性的目标区域；
不需要区域确定部件，用于从所划分的图像确定具有较低可视性的不需要区域；以及，
构成确定部件，用于从输入图像确定包括目标区域和不包括不需要区域的构成。
2.按照权利要求1的图像处理装置，
其中，所述目标区域确定部件对于输入图像执行面部检测，以根据检测到面部的区域来确定目标区域。
3.按照权利要求1的图像处理装置，还包括目标对象信息存储部件，用于存储关于目标对象的信息，
其中，所述目标区域确定部件执行在所述输入图像和关于所述目标对象的信息之间的匹配，以将具有较高匹配程度的区域确定为目标区域。
4.按照权利要求1的图像处理装置，
其中，所述目标区域确定部件将具有较高吸引力的区域确定为目标区域，从在输入图像中包括的每个对象的物理特性——诸如颜色、形状、面积(每个对象对输入图像在面积上的比率)或纹理——来评估所述吸引力。
5.按照权利要求1的图像处理装置，
其中，所述目标区域确定部件和所述不需要区域确定部件根据每个区域获得的聚焦程度来分别确定目标区域和不需要区域。
6.按照权利要求1的图像处理装置，还包括：
边图像提取部件，用于提取在输入图像中的每个被划分图像区域的边；以及
边的数量计算部件，用于对于每个被划分图像区域计算在所述边图像中的像素值的和，以获得从使用边的长度或面积来标准化所述像素值的和而产生的边的数量来作为指示聚焦程度的值。
7.按照权利要求6的图像处理装置，
其中，所述不需要区域确定部件将在输入图像中具有较小边数量的外围区域确定为不需要区域。
8.按照权利要求1的图像处理装置，还包括：
图像显示部件，用于显示输入图像和被所述区域划分部件划分为多个区域的图像；以及
用户输入部件，用于接收由用户在所显示的图像上进行的手动输入，
其中，在区域划分后按照由用户使用用户输入部件而手动进行的选择来确定所述目标区域和所述不需要区域的至少一个。
9.按照权利要求1的图像处理装置，
其中，所述构成确定部件将在输入图像中的最大矩形区域确定为所述构成，所述区域不包括不需要区域，并且具有预定的长宽比。
10.按照权利要求1的图像处理装置，
其中，所述区域划分部件对于对应于接触所述图像区域的侧的边，基于图像区域的特性值之间的比较结果来提供加权值，根据所述加权值来排序所述边，并且以排序顺序根据统计算法来确定是否要集成夹着所述边的所述图像区域对。
11.按照权利要求10的图像处理装置，
其中，所述区域划分部件对于在所述图像区域之间夹着的边，基于在图像区域之间在特性值上的差来提供加权值，并且以加权值的升序来排序所述边。
12.按照权利要求11的图像处理装置，
其中，所述区域划分部件使用诸如图像区域的面积或颜色之类的像素特性信息来作为图像区域的特性值。
13.按照权利要求10的图像处理装置，
其中，所述区域划分部件根据从在图像区域中包括的多边形的面积上的密度不等性得出的断言来确定是否要集成经由所述边连接的图像区域。
14.一种自动确定图像的构成的图像处理方法，所述图像处理方法包括步骤：
将输入图像划分为区域；
从所划分的图像确定具有较高可视性的目标区域；
从所划分的图像确定具有较低可视性的不需要区域；以及
从输入图像确定包括目标区域和不包括不需要区域的构成。
15.按照权利要求14的图像处理方法，
其中，所述目标区域确定步骤对于输入图像执行面部检测，以根据检测到面部的区域来确定目标区域。
16.按照权利要求14的图像处理方法，还包括获取关于目标对象的信息的步骤，
其中，所述目标区域确定步骤执行在所述输入图像和关于所述目标对象的信息之间的匹配，以将具有较高匹配程度的区域确定为目标区域。
17.按照权利要求14的图像处理方法，
其中，所述目标区域确定步骤将具有较高吸引力的区域确定为目标区域，从在输入图像中包括的每个对象的物理特性——诸如颜色、形状、面积(每个对象对输入图像在面积上的比率)或纹理——来评估所述吸引力。
18.按照权利要求14的图像处理方法，
其中，所述目标区域确定步骤和所述不需要区域确定步骤根据每个区域获得的聚焦程度来分别确定目标区域和不需要区域。
19.按照权利要求14的图像处理方法，还包括步骤：
提取在输入图像中的每个被划分图像区域的边；以及
对于每个被划分的图像区域计算在所述边图像中的像素值的和，以获得从使用边的长度或面积来标准化所述像素值的和而产生的边的数量来作为指示聚焦程度的值。
20.按照权利要求19的图像处理方法，
其中，所述不需要区域确定步骤将在输入图像中具有较小边数量的外围区域确定为不需要区域。
21.按照权利要求14的图像处理方法，还包括步骤：
显示输入图像和被所述区域划分步骤划分为多个区域的图像；以及
接收由用户在所显示的图像上进行的手动输入，
其中，在区域划分后按照由用户使用用户输入步骤而手动进行的选择来确定所述目标区域和不需要区域的至少一个。
22.按照权利要求14的图像处理方法，
其中，所述构成确定步骤将在输入图像中的最大矩形区域确定为所述构成，所述区域不包括不需要区域，并且具有预定的长宽比。
23.按照权利要求14的图像处理方法，
其中，所述区域划分步骤对于对应于接触所述图像区域的侧的边，基于在图像区域的特性值之间的比较结果来提供加权值，根据所述加权值来排序所述边，并且以排序顺序根据统计算法来确定是否要集成夹着所述边的所述图像区域对。
24.按照权利要求23的图像处理方法，
其中，所述区域划分步骤对于在所述图像区域之间夹着的边，基于在图像区域之间在特性值上的差来提供加权值，并且以加权值的升序来排序所述边。
25.按照权利要求24的图像处理方法，
其中，所述区域划分步骤使用诸如图像区域的面积或颜色之类的像素特性信息来作为图像区域的特性值。
26.按照权利要求23的图像处理方法，
其中，所述区域划分步骤根据从在图像区域中包括的多边形的面积上的密度不等性得出的断言来确定是否要集成经由所述边连接的图像区域。
27.一种使得计算机系统执行自动确定图像的构成的处理的计算机可读程序，所述程序包括步骤：
将输入图像划分为多个区域；
从所划分的图像确定具有较高可视性的目标区域；
从所划分的图像确定具有较低可视性的不需要区域；以及，
从输入图像确定包括目标区域和不包括不需要区域的构成。
28.一种自动确定图像的构成的图像处理装置，包括：
区域划分单元，用于将输入图像划分为多个区域；
目标区域确定单元，用于从所划分的图像确定具有较高可视性的目标区域；
不需要区域确定单元，用于从所划分的图像确定具有较低可视性的不需要区域；以及，
构成确定单元，用于从输入图像确定包括目标区域和不包括不需要区域的构成。
CN2006101667075A 2005-12-08 2006-12-08 图像处理装置和图像处理方法 Expired - Fee Related CN1980330B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005355006A JP2007157063A (ja) 2005-12-08 2005-12-08 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP355006/05 2005-12-08

Publications (2)

Publication Number Publication Date
CN1980330A true CN1980330A (zh) 2007-06-13
CN1980330B CN1980330B (zh) 2012-12-26

Family

ID=38131302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101667075A Expired - Fee Related CN1980330B (zh) 2005-12-08 2006-12-08 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8320672B2 (zh)
JP (1) JP2007157063A (zh)
CN (1) CN1980330B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243762A (zh) * 2010-05-11 2011-11-16 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN103119932A (zh) * 2010-11-15 2013-05-22 三菱电机株式会社 车载用图像处理装置
WO2019196589A1 (zh) * 2018-04-11 2019-10-17 京东方科技集团股份有限公司 图像处理方法、设备、装置、图像贴合方法、设备、显示方法、装置及计算机可读介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098936B2 (en) 2007-01-12 2012-01-17 Seiko Epson Corporation Method and apparatus for detecting objects in an image
US8233045B2 (en) * 2007-07-16 2012-07-31 Trw Automotive U.S. Llc Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system
KR101613617B1 (ko) * 2009-11-24 2016-04-19 삼성전자주식회사 디지털 영상 촬영 장치 및 그 제어 방법
JP5781743B2 (ja) * 2010-06-28 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5609425B2 (ja) * 2010-08-24 2014-10-22 株式会社ニコン 画像処理装置、撮像装置、及び画像処理プログラム
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
US9384711B2 (en) 2012-02-15 2016-07-05 Microsoft Technology Licensing, Llc Speculative render ahead and caching in multiple passes
US9286122B2 (en) 2012-05-31 2016-03-15 Microsoft Technology Licensing, Llc Display techniques using virtual surface allocation
US9235925B2 (en) * 2012-05-31 2016-01-12 Microsoft Technology Licensing, Llc Virtual surface rendering
US9177533B2 (en) 2012-05-31 2015-11-03 Microsoft Technology Licensing, Llc Virtual surface compaction
US9230517B2 (en) 2012-05-31 2016-01-05 Microsoft Technology Licensing, Llc Virtual surface gutters
JP6135283B2 (ja) * 2013-04-26 2017-05-31 オムロン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
EP2942940A1 (en) * 2014-05-06 2015-11-11 Nokia Technologies OY Method and apparatus for defining the visible content of an image
US9799106B2 (en) 2015-12-16 2017-10-24 Dropbox, Inc. Enhancing a digital image
US10387788B2 (en) * 2016-02-18 2019-08-20 Linkedin Corporation Graph based techniques for predicting results
CN106131518A (zh) * 2016-06-30 2016-11-16 东莞市中控电子技术有限公司 一种图像处理的方法以及图像处理装置
CN113269853B (zh) * 2021-06-02 2023-09-22 福建天晴在线互动科技有限公司 一种游戏界面区域划分的方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4951140A (en) * 1988-02-22 1990-08-21 Kabushiki Kaisha Toshiba Image encoding apparatus
US5128711A (en) * 1989-04-28 1992-07-07 Fuji Photo Film Co., Ltd. Apparatus for recording position information of principal image and method of detecting principal image
JPH08262519A (ja) 1995-03-24 1996-10-11 Canon Inc 自動構図機能付カメラ及びカメラ
KR0155842B1 (ko) 1995-07-05 1998-12-01 이대원 구도맞춤 표시수단을 가지는 카메라와 이 카메라의 구도맞춤 표시방법
JP2000293696A (ja) * 1999-04-07 2000-10-20 Matsushita Electric Ind Co Ltd 画像認識装置
GB2370438A (en) * 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
DE60216411T2 (de) 2001-08-23 2007-10-04 Sony Corp. Robotervorrichtung, gesichtserkennungsverfahren und gesichtserkennungsvorrichtung
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP4228641B2 (ja) * 2002-09-20 2009-02-25 セイコーエプソン株式会社 出力対象画像データ選択
JP3690391B2 (ja) * 2003-01-23 2005-08-31 セイコーエプソン株式会社 画像編集装置、画像のトリミング方法、及びプログラム
JP2005215750A (ja) * 2004-01-27 2005-08-11 Canon Inc 顔検知装置および顔検知方法
JP4487805B2 (ja) * 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
US8224089B2 (en) * 2005-06-07 2012-07-17 Sony Corporation Information processing device and information processing method, image processing device and image processing method, and computer program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243762A (zh) * 2010-05-11 2011-11-16 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102243762B (zh) * 2010-05-11 2016-06-29 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN103119932A (zh) * 2010-11-15 2013-05-22 三菱电机株式会社 车载用图像处理装置
CN103119932B (zh) * 2010-11-15 2016-08-10 三菱电机株式会社 车载用图像处理装置
WO2019196589A1 (zh) * 2018-04-11 2019-10-17 京东方科技集团股份有限公司 图像处理方法、设备、装置、图像贴合方法、设备、显示方法、装置及计算机可读介质
US11783445B2 (en) 2018-04-11 2023-10-10 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method, device and apparatus, image fitting method and device, display method and apparatus, and computer readable medium

Also Published As

Publication number Publication date
US20070133900A1 (en) 2007-06-14
JP2007157063A (ja) 2007-06-21
US8320672B2 (en) 2012-11-27
CN1980330B (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
CN1980330B (zh) 图像处理装置和图像处理方法
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
EP1649681B1 (en) Producing an image of desired aspect ratio
US7580069B2 (en) Image-capturing apparatus and image processing apparatus
EP1984892B1 (en) Foreground/background segmentation in digital images
US8928772B2 (en) Controlling the sharpness of a digital image
US8724919B2 (en) Adjusting the sharpness of a digital image
US7688379B2 (en) Selecting quality images from multiple captured images
KR100659387B1 (ko) 촬상장치 및 그 제어방법
US8558917B2 (en) Transferring of digital images
US10827107B2 (en) Photographing method for terminal and terminal
CN107481186B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
KR20070058003A (ko) 디지털 이미지의 프레이밍 및 샤프니스를 확인하기 위한시스템 및 방법
US7865032B2 (en) Methods and systems for identifying an ill-exposed image
EP1474779A2 (en) Assessing the photo quality of a captured image in a digital still camera
JP2005303991A (ja) 撮像装置、撮像方法、及び撮像プログラム
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20060017835A1 (en) Image compression region of interest selection based on focus information
CN111311533A (zh) 用于确定图像清晰度的设备和方法
CN109618102B (zh) 对焦处理方法、装置、电子设备及存储介质
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
CN110933304B (zh) 待虚化区域的确定方法、装置、存储介质与终端设备
CN115348390A (zh) 拍摄方法及拍摄装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121226

Termination date: 20131208