CN101283379B - 用于建模用于特征提取的微结构的方法和系统 - Google Patents
用于建模用于特征提取的微结构的方法和系统 Download PDFInfo
- Publication number
- CN101283379B CN101283379B CN2006800378023A CN200680037802A CN101283379B CN 101283379 B CN101283379 B CN 101283379B CN 2006800378023 A CN2006800378023 A CN 2006800378023A CN 200680037802 A CN200680037802 A CN 200680037802A CN 101283379 B CN101283379 B CN 101283379B
- Authority
- CN
- China
- Prior art keywords
- image
- piece
- model
- characteristic
- tiny
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
Abstract
示例性系统和方法使用对图像的微结构建模来提取图像特征。图像中的微结构被建模为马尔柯夫随机场,并且向训练图像学习模型参数。微模式从建模的微结构自适应地设计,它捕捉该图像的空间背景。在一个实现中,可以为图像的每个块自动地设计基于建模的微结构的微模式系列,以提供由于对各个图像、各个象素特征和图像中各个点的自适应性的改进的特征提取和识别。
Description
背景技术
特征提取在诸如对象检测和识别、面部检测和识别、眼镜检测和特征识别等许多视觉任务中是最重要的问题之一。诸如边、线、点、团点(blob)、角或更为复杂的模式等常规的微模式被设计用于经由象素之间的局部关系描述图像的空间背景,并且能够用作从图像中找出并提取特征的滤波器或模板。换言之,微模式是用于识别由象素属性描绘的视觉特征的滤波器或模板。
然而,这些常规的微模式是基于经验直观地由用户设计的,并且也受到特定应用的限制。因此,适用于一任务的常规微模式可能不适用于另一任务。例如,“四向线元素”对特征识别是成功的,但在面部识别中不能达到相同的成功,因为面部图像比特征图像复杂的多,并且不能简单地使用方向线来表示。另一个问题是在某些情况下,用户很难在没有反复试验的情况下直观判定微模式是否适用。对于Gabor特征也存在相似的问题。Gabor特征被用于识别一般的对象和面部,而参数主要由实验结果调整,这花费大量的时间和努力来找到适当的微模式和参数。更好的特征提取和识别所需的是一种自动地生成带有到实际图像的一个或多个数学特征的强联接的微模式的系统。
发明内容
示例性系统和方法使用图像的微结构建模来提取图像特征。图像中的微结构被建模为马尔柯夫随机场,模型参数则向训练图像学习。从建模的微结构自适应地设计的微模式捕捉图像的空间背景。在一个实现中,,可以为图像的每个块自动地设计基于建模的微结构的微模式系列,以提供由于对各个图像、各个象素属性和图像各个点的自适应性的改进的特征提取和识别。
本发明还公开了一种用于从图像中提取特征的方法,包括:将图像分成块。将各个块的微结构建模为马尔柯夫随机场。自动地设计对应于块的微结构的一系列微模式。在每个块中逐点计算微模式的发生概率,以形成块中对微模式系列的图像的适应性序列。将改进的快速傅立叶变换MFFT应用到每个块的适应性序列上以获取特征。
本发明还公开了一种用于从图像中提取特征的系统,包括:用于将图像分成块的装置。用于将各个块的微结构建模为马尔柯夫随机场的装置。用于自动地设计对应于块的微结构的一系列微模式的装置。用于在每个块中逐点计算微模式的发生概率,以形成块中对微模式系列的图像的适应性序列的装置。用于将改进的快速傅立叶变换MFFT应用到每个块的适应性序列上以获取特征的装置。
提供本概述以便用简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在确定所要求保护的主题的关键或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
图1是示例性基于马尔柯夫随机场(MRF)的特征提取系统的图示。
图2是示例性特征提取引擎的框图。
图3是象素属性之间的示例性邻近结构的图示。
图4是示例性微模式的图示。
图5是在基于MRF的特征提取期间的示例性功能流程图的图示。
图6是特征提取的示例性方法的流程图。
图7是基于MRF的特征提取的示例性方法的流程图。
具体实施方式
概述
本发明描述了基于模型从图像提取特征的系统和方法。这些示例性系统和方法引入了在特征提取过程期间对特征,即基于结构的特征进行自动建模的概念。该基于建模的特征提取可一般地应用到许多类型的应用上。这种应用包括例如面部鉴别和眼镜识别。
相反,常规的特征提取技术依赖于找出由经验直觉地形成的预定特征,而且每种常规的技术通常非常地特定于一种类型的应用。这些由经验设计或由反复试验得出的常规特征模式通常是艰辛的,并且它们缺乏对各种应用的自适应。
然而,此处所描述的示例性微模式是构建自向数学建模并向示例学习的空间依赖性的。所得的示例性微模式更一般地适用于需要特征提取的许多应用。
在一个实现中,示例性系统将预对准的图像分割成小块,并在每个块中采取同质的模型。接着为每个块设计最适合该块的一系列微模式。在每个块中逐点计算微模式的发生概率,用于形成序列,提取该序列的改进的快速傅立叶变换(MFFT)特征以反映其相应的微模式的区域特征。接着,来自图像的所有块的所有MFFT特征被集中在一起以便有效地表示图像。
由此建模的示例性图像特征具有以下特性。首先,示例性图像特征是微结构特征。与来自诸如PCA(主成分分析)的整体特征相比,示例性图像特征可以对局部空间依赖性建模,并且可用于设计自适应微模式,而常规的整体特征提取图像的整体特征。因此,示例性图像特征更能够捕捉空间背景,这在诸如面部识别和特征识别等许多视觉任务中起要重要的作用。
由微结构建模的示例性图像特征用于设计自适应微模式。与基于微模式的常规的特征提取方法相比,自适应微模式是从使用MRF模型的提取特征设计的,而非由用户直观地定义。从训练示例习得自动设计的微模式的类型,这样使得所得的微模式自适应于不同的图像、不同的属性和图像的不同的点。
示例性图像特征也是基于模型的。与来自诸如局部特征分析和独立成分分析等基于学习的滤波器的常规的基于学习的特征相比,示例性图像特征可以直接对局部空间环境建模,并且由此带来比常规的提取特征所能够做到的更良好和更精细的微模式。
示例性环境
图1示出了示例性计算环境,特征提取系统100,其中可以实现示例性特征建模和提取。在一个实现中,计算设备102主存其中使用诸如面部鉴别或眼镜检测等特征提取的应用程序104。示例性特征提取引擎106执行以下更全面描述的示例性基于微结构的特征提取。在所示的特征提取系统100的示例中,面部图像108由数字照相机110捕捉。图像108被传递给应用程序104以供经由示例性特征提取引擎106进行面部鉴别。
在一个实现中,特征提取引擎106将图像108分成较小的重叠视觉块112。虽然在显示器114上显示了示例性块112,但是块112通常不是由应用程序104来显示的,而是仅供数学处理使用。所选择的每个块的象素的属性,即图像微结构,被建模为马尔柯夫随机场(MRF)。马尔柯夫随机场非常适用于对图像中空间依赖性的建模。从MRF模型定义自适应微模式。通过向一组校准的图像学习来获得每个块的MRF参数。由此,对一般的图像特征集合建模,以便设计自适应微模式。
特征提取引擎106也定义适应性函数(fitness function),由此计算适应性索引,以便将图像的局部适应性编码成自适应模式。理论分析和实验结果显示这种示例性特征提取系统100在提取特征时是既灵活又有效的。
由于示例性微模式是依照图像的空间背景而自适应地设计的,因此微模式适用于各种图像、各种属性和图像的各种点。这使得自适应模式能够由特征提取引擎106用在许多不同的应用中,诸如面部检测、面部鉴别、眼镜检测、特征识别、对象检测、对象识别等。
示例性特征提取引擎
图2很详细地示出了图1的示例性特征提取引擎106。所示的特征提取引擎106的配置仅是一个实现,并且仅旨在为了概述而提供一个示例性排列。所示组件或相似组件的许多其他排列在本主题的范围内也是可能的。提供所示的线和箭头以提示一些组件之间的流程和着重关系。即使在两个组件之间没有示出耦合线,所示的组件一般仍按需彼此通信,因为它们是同一特征提取引擎106的组件。这种示例性特征提取引擎105可以在硬件、软件、或者硬件、软件、固件的组合等中执行。
在一个实现中,特征提取引擎106包括组件,用于向训练图像202学习模型参数用于马尔柯夫随机场微结构建模,并且用于设计与特定图像相关的自适应微模式。特征提取引擎106也包括用于处理主图像204,即用于从主图像204提取特征的组件。块管理器206为训练图像202和主图像204控制图像中块的大小、重叠和注册。
为了上述训练,特征提取引擎106包括学习引擎208、自适应设计器210和用于所得微模式212的缓冲器或存储。刚才介绍的学习引擎208进一步包括属性选择器214、伪最大似然估计器216以及用于模型参数218,即每个块的缓冲器。自适应设计器210还可以包括定义引擎220。
学习引擎208和刚介绍的其他组件在通信上与微结构模型器222相耦合,该微结构模型器222则包括块级别特征提取器224和马尔柯夫随机场属性模型器226。在一个实现中,处理主图像也使用同一微结构模型器222。
为了处理图像,图像处理器228包括用于一个图像块的缓冲器230、局部适应性引擎232和MFFT特征提取器234。局部适应性引擎232还可以包括适用于产生适应性索引238的适应性函数236。图像处理器228还包括用于局部适应性序列240的缓冲空间。
为了整个主图像204的整体结果,特征提取引擎106也包括特征连接器242,用于将图像的所有块的特征组合到单个向量中:表示整幅图像的微结构特征244。
特征提取引擎的示例性组件
现在提供示例性引擎106的概述。块管理器206将图像204分割成块112,由此MRF特征模型器226来提取每个块112的块级别微结构特征。稍后,局部适应性引擎232基于MRF建模来计算局部适应性序列240,以描述图像对微模式的局部适应性。MFFT提取器234从每个块112的局部适应性序列240得出经变形的特征。特征连接器242将来自所有块的这些特征组合到较长的特征向量中。该新特征是基于图像的微结构的,并且在三个级别上示出对图像的描述:马尔柯夫场模型反映了象素级别上邻近象素的空间相关性;每个块中的局部适应性序列240反映了块级别上图像对微模式的区域适应性;而来自所有块的特征被连接以便构建图像204的整体描述。这样,图像的局部结构和整体形状同时被编码。
马尔柯夫随机场(MRF)属性模型器
示例性特征提取引擎106实现基于模型的特征提取方法,该方法使用马尔柯夫随机场(MRF)属性模型器226建模图像204的微结构,并且设计用于特征提取的自适应微模式212。
微结构模型器222在将图像结构建模应用于特征提取时提供了至少三种好处。首先,建模可以为基于图像微结构自动地设计合适的微模式提供健全的理论基础。接着,通过建模,特征提取引擎106或相应的方法可以更一般地在宽广范围的各种不同的应用程序上应用。第三,建模减轻了为调整参数而作出的实验边试边改的努力。
MRF属性模型器226提供了用于对象素之间的空间依赖性关系建模的灵活机制。在图像204的局部区域中,MRF属性模型器226使用空间依赖性来对微模式建模,其中不同的空间依赖性对应于不同的微模式。由此,MRF属性模型器225方便地表示图像内未被观察到和/或复杂的模式,尤其是相似色调、结构或深度的区域之间中断的位置。
此外,在一个实现中,在统计上向采样学习MRF模型的参数而非由用户直观地设计。藉此MRF建模会更适用于图像的局部特征。可以设计不同的微模式用于不同类型的图像、不同属性的图像,甚至是在单个图像的不同点处,这样使得所提取的特征更为灵活,并且更适用于不同的应用。
从以上描述,MRF模型是自适应的,并且对于图像的不同点处的内在模式是灵活的。参数相对于块内的位置而变化。此外,模型适用于改变图像的属性。
图3示出了大小为HxW的图像302的一阶和二阶邻近结构。S是图像302的点图(site map)304。图像302具有一阶邻近结构306和二阶邻近结构308。为了进一步理解MRF属性模型器226的功能,由I表示HxW图像,而S作为其所有点的集合,并且令Xs=xs表示在点s∈S处图像I的某些属性。例如,属性选择器214可以选择灰度级强度,Gabor属性或另一属性。S中不包括点s的所有其他点的属性表示为X-s=x-s。S的属性的空间分布,即X=x={xs,s∈S}会被建模为马尔柯夫随机场(MRF)。
对于成对MRF模型,有其中Hs(Xs)是站点s处的“域”,而Jst(Xs,Xt)是点s和点t之间的“交互作用”。此外,如果那么就使用“平滑模型”,并且有θs={σst,t ∈Ns}。如果Hs(Xs)=αsXs,Jst(Xs,Xt)=βstXsXt且X,∈{+1,-1},s∈S,则使用Ising模型,并且有θs={αs,βst,t∈Ns}。为了简化起见,将θs看作θ。
示例性自适应微模式设计器
图4示出了示例性微模式。这种自适应微模式被用作“滤波器”来从图像204找出或提取特征和/或用于标识图像。特征提取引擎106旨在通过对微模式212建模找出用于给定的图像204的合适的微结构以及其适当的参数。
微模式402、404、406和408是“平滑模型”的微模式。当Ising模型的参数如410中所示时,十六个微模式412、414、416、418、420、422、424、426、428、430、432、434、436、438、440和442是Ising模型的微模式。换而言之,Ising模型可以区别所有16种模式412-442。其中,有“团点”微模式412和414;三角微模式414、416、418、420;角微模式422、424、426和428;线微模式430和432;箭头微模式434、436、438、440;以及环微模式442。Ising模型具有较强的描述微模式的能力。可以选择平滑模型和Ising模型作为要执行的建模的形式。
在一个实现中,一旦选择了模型形式(例如平滑、Ising或其他),微模式212由学习引擎208产生的模型参数218来确定(即由以下公式(2)来定义)。模型参数218由微结构模型器222用于实现MRF属性模型器226。自适应设计器210包括实现一般化定义(公式(2))以便创建自适应微模式212的定义引擎220。
Ωθ(γ)具有以下特征:
1.给定θ,{Ωθ(γ),γ∈R描述了一系列微模式,其中R(实数集)是γ值的集。
2.当γ离散时,Ωθ(γ)由其概率P(Ω=Ωθ(γ))表征;当γ是连续变量时,Ωθ(γ)由概率密度函数p(Ωθ(γ))表征。
由于特征提取引擎106在属性模型器226中使用MRF模型,定义因此如在公式(2)中:
如图4中所示,在这种情况下,认为微模式402和404是相同的,而认为微模式406和408是不同的。
如前所述,一旦选择了模型形式,就由模型参数218确定公式(2)中定义的微模式。模型具有的参数越多,它能区分的微模式212也就越多。由定义引擎220设计的微模式适用于图像204的局部特征,因为参数218是向训练采样202统计学习的。这与用户直觉地设计的微模式(例如Gabor模式)很不相同。
示例性适应性引擎
图像处理器228包括使用微模式212找出图像204中的特征的局部适应性引擎232。局部适应性引擎232包括检测一个块230中点s处的图像的局部特征符合哪个微模式212的适应性函数236。
然后,适应性索引238可以如公式(7)计算:
适应性函数236使得点s处图像204的局部特征与特定微模式212匹配。此外,它扩大了其中存在较低位势或能量的较小γ之间的不同,,并且降低了其中存在较高位势或能量的较大γ之间的不同。
从公式(2)中微模式的定义和公式(1)所例示的马尔柯夫随机场模型,接着得出公式(8):
即,适应性索引yθ238与的概率成比例。从滤波器设计的观点看,例如当局部适应性引擎232决定局部适应性序列240时,适应性函数236使用其概率调整对微模式212的适应性。适应性函数236增强具有较高概率的较低能量的微模式,而降低具有较低概率的较高能量的微模式。实际上,对于给定的θ,自适应设计器210设计一系列微模式Ωθ(γ),γ∈R,而yθ,s,适应性索引238指示在点s处微模式的发生概率。
该适应性序列240可以如公式(10)中计算:
y={yθ,s,s=1,2,...,n},(10)
其中n=H×W是S中点s的数目。
示例性获知引擎
学习引擎208估计要由MRF属性模型器226使用的参数Θ={θs,s∈S}218。参数218通过向训练采样图像202学习来估计。训练图像202可以是来自标准面部数据库的库:例如BANCA数据集,其中包含52个主题,每个主题有120张图像。在其中,BANCA中“部分1”中的五个图像/主题被用于训练图像202(例如260张图像)。在一个实现中,训练图像202是两个训练库,第一库是260个面部的灰度级强度,它们基于眼镜的自动登记被修剪和标准化为55x51象素大小。第二库是使用具有两个刻度和四个定向的Gabor滤波器存储体的相同的经修剪面部的Gabor属性。
假设有m个独立的采样{xj,j=1,2,...,m},其中xj=[xj1,xj2,...,xjn]T。最大似然估计(MLE)可以如同公式(11)中的优化来处理:
它等价于公式(13):
当选择平滑模式时,该近似可以作为公式(14)中的优化处理(为了一般性,使用连续的形式):
特征提取引擎的示例性功能
图5示出了基于MRF的特征提取的示例性综合流程图。要处理的图像204被分成块。每个块经历基于MRF的特征提取,接着特征连接组合来自所有块的特征。属性x(i)502是在第i块处选择的图像属性。项y(i)240是第i块处的局部适应性序列。项u(i)506是第i块的局部适应性序列的改进的快速傅立叶变换(MFFT)。项x(i) j508是第j个训练图像202中第i个块的属性。项θ(i)510表示为第i个块建模的马尔柯夫随机场(MRF)的参数。
在一个实现中,示例性特征提取引擎106在三个阶段中执行。在第一阶段中,块管理器206将图像204分成大小为N×M且L×K重叠的C个块112。对于每个块112,微结构模型器222独立地将MRF属性模型器226应用于对属性x(i)(i=1,2,...,C)的建模。在一个实现中,为了简化起见,模型器222将同质模型应用到每个块112中,即模型参数218在相同的块中是相同的。
其中l=N×M,i=1,2,...,C。一旦学习了参数218,那么微结构模型器222得出最佳地符合来自训练采样202的观察的每个模块的一系列微模式212。
在从图像204提取特征时,局部适应性引擎232使用公式(17)为每个块112y(i)(i=1,2,...,C)计算图像204的局部适应性序列240:
在第二阶段中,MFFT提取器234得出每个块112中局部适应性序列240的MFFT特征,以便降低维数和噪音。维持局部适应性序列240的低频组件,而同时平均化高频组件。如果y(i)表示第i块112的局部适应性序列240且z(i)=FFT(y(i)),其中z(i)={zs (i),s=1,2,...,l},则u(i)={us (i),s=1,2,...,k+1},其中如公式(18)所示:
且k是截取长度。
在第三阶段中,特征连接器242连接来自图像204的所有块的u(i)(i=1,2,...,C),以形成基于MRF的微结构特征,其长度是C×(k+1),如公式(19)中所示:
u=[u(1),u(2),...,u(C)]T (19)
示例性方法
图6示出了从图像提取特征的示例性方法600。在流程图中,将操作概括为各个独立的块。根据实现,示例性方法600可以由硬件、软件或硬件、软件、固件的组合等执行,例如由示例性特征提取引擎106的组件来执行。
在框602处,图像的微结构被建模为马尔柯夫随机场。图像中象素的属性可用于访问图像微结构。由于马尔柯夫随机场建模捕捉图像中的视觉空间依赖性,因此在微级别处的MRF建模得出基于图像结构的提取特征。
在框604处,基于微结构的马尔柯夫随机场建模导出图像特征。建模的微结构经由微模式的一般定义被重塑为自适应微模式。在一个实现中,在图像的每个块中作出图像中微模式的发生概率的逐点扫描,以生成适应性序列。将改进的快速傅立叶变换应用到适应性序列上,以便形成对应于块的特征。
图7示出了基于MRF特征提取的示例性方法700。在流程图中,将操作概括为各个独立的块。根据实现,示例性方法700可以由硬件、软件或硬件、软件、固件等执行,例如由示例性特征提取引擎106来执行。
在框702处。图像被分成块。可任意选择块的尺寸,例如5个象素乘5个象素。在整幅图像的处理期间,所选的块大小的尺寸保持相同。在一个实现中,块重叠,由此提供了过渡平稳性,并防止由于通过特征的假设块切割的假想边界导致微结构特征的丢失。
在块704处,将每个块的微结构建模为马尔柯夫随机场。空间依赖性由MRF很好地建模。可以对诸如灰度级值或强度等象素属性建模。
在块706处,自动地设计对应于建模的微结构的一系列微模式。在一个实现中,设计引擎将对微模式的一般定义应用到MRF建模上,得出为在附近的图像块剪裁的自适应微模型自定义。
在框708处,生成表示块适合微模式系列的适应性序列。在一个实现中,逐点处理图像的每个块,以生成每个特定点的微模式适应性或适应性索引的序列。
在框710处,将改进的快速傅立叶变换应用到每个图像块的适应性序列上以便获取特征。MFFT通过削弱高能量微模式并维持低能量微模式来将适应性序列稳定到特征结果中。结果是具有与已从中导出的图像块的强数学对应,而不管MFFT特征是否具有与该块的强视觉对应。换言之,对于每个块,MFFT特征是该块的微结构的强大而又唯一的特征。
在框712处,连接来自所有块的特征以表示图像。将图像中所有块的每个MFFT特征连接到长向量中,该长向量是整个图像基于MRF的微结构表示。
结论
虽然用专用于结构化特征和/或方法动作的语言描述了示例性系统和方法,但是应该理解在所附权利要求书中定义的本主题不是必须限于上述的特定特征和动作。相反地,公开上述特定的特征和动作来作为用于实现所要求保护的方法、设备、系统等的示例性形式。
Claims (15)
1.一种用于从图像中提取特征的方法,包括:
将所述图像分成块;
将各个块的微结构建模为马尔柯夫随机场;
自动地设计对应于各个块的微结构的一系列微模式;
在每个块中逐点计算微模式的发生概率,以形成所述块中对所述微模式系列的所述图像的适应性序列;以及
将改进的快速傅立叶变换MFFT应用到每个块的适应性序列上以导出各个块的至少一个改进的快速傅立叶变换MFFT特征;以及
连接来自所述图像的所有块的改进的快速傅立叶变换MFFT特征以表示所述图像,所述连接的改进的快速傅立叶变换MFFT特征包括一向量:
其中所述向量表示象素级别上的空间相关性;
其中所述向量基于每个块中的局部适应性序列表示块级别上对所述微模式的区域适应性;以及
其中所述向量表示整体级别上对所述图像的描述,其中整体级别上对所述图像的描述是通过连接来自所有块的特征被构建的。
2.如权利要求1所述的方法,其特征在于,所述建模使用象素属性建模所述微结构。
3.如权利要求2所述的方法,其特征在于,所述象素属性描述所述图像的空间背景。
4.如权利要求3所述的方法,其特征在于,还包括向训练图像学习所述建模的参数。
5.如权利要求4所述的方法,其特征在于,所述学习包括伪最大似然估计器。
6.如权利要求1所述的方法,其特征在于,还包括自动地设计从所述图像的属性或所述图像中的特定点自适应的微模式。
7.如权利要求1所述的方法,其特征在于,设计微模式包括设计遵循平稳模型的一组微模式。
8.如权利要求1所述的方法,其特征在于,设计微模式包括设计遵循Ising模型的一组微模式。
9.如权利要求1所述的方法,其特征在于,还包括使用所述微模式识别图像的至少部分。
10.如权利要求1所述的方法,其特征在于,还包括使用对每块均一致的参数对所述微结构建模。
11.如权利要求1所述的方法,其特征在于,其中将改进的快速傅立叶变换MFFT应用到所述适应性序列上进一步包括导出所述相应的微模式的区域特征。
12.一种用于从图像中提取特征的系统,包括:
经由图像的各个块中的属性对所述图像的微结构建模的马尔柯夫随机场属性模型器;
为对应于所述块的微结构的每个块自动地设计一系列所述微模式的设计器;
在每个块中逐点计算微模式的发生概率的适应性引擎,以形成所述块中对所述微模式系列的所述图像的适应性序列;
从每个适应性序列导出特征的改进的快速傅立叶变换特征提取器;以及
组合所述特征以表示所述图像的特征连接器,其中所述组合的特征包括一向量:
其中所述向量表示象素级别上的空间相关性;
其中所述向量基于每个块中的局部适应性序列表示块级别上对所述微模式的区域适应性;以及
其中所述向量表示整体级别上对所述图像的描述,其中整体级别上对所述图像的描述是通过连接来自所有块的特征被构建的。
13.如权利要求12所述的系统,其特征在于,还包括:
从所述导出的特征创建微模式的设计器;以及
估计用于所述马尔柯夫随机场属性模型器的参数的学习引擎。
14.如权利要求12所述的系统,其特征在于,还包括:
将所述图像分成块的块管理器。
15.一种用于从图像中提取特征的系统,包括:
用于将所述图像分成块的装置;
用于将各个块的微结构建模为马尔柯夫随机场的装置;以及
用于自动地设计对应于各个块的微结构的一系列微模式的装置;
用于在每个块中逐点计算微模式的发生概率,以形成所述块中对所述微模式系列的所述图像的适应性序列的装置;以及
用于将改进的快速傅立叶变换MFFT应用到每个块的适应性序列上以导出各个块的至少一个改进的快速傅立叶变换MFFT特征的装置;以及
用于连接来自所述图像的所有块的改进的快速傅立叶变换MFFT特征以表示所述图像的装置,所述连接的改进的快速傅立叶变换MFFT特征包括一向量:
其中所述向量表示象素级别上的空间相关性;
其中所述向量基于每个块中的局部适应性序列表示块级别上对所述微模式的区域适应性;以及
其中所述向量表示整体级别上对所述图像的描述,其中整体级别上对所述图像的描述是通过连接来自所有块的特征被构建的。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US72670705P | 2005-10-14 | 2005-10-14 | |
US60/726,707 | 2005-10-14 | ||
US11/466,332 US7991230B2 (en) | 2005-10-14 | 2006-08-22 | Modeling micro-structure for feature extraction |
US11/466,332 | 2006-08-22 | ||
PCT/US2006/040536 WO2007047665A1 (en) | 2005-10-14 | 2006-10-16 | Modeling micro-structure for feature extraction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101283379A CN101283379A (zh) | 2008-10-08 |
CN101283379B true CN101283379B (zh) | 2012-11-28 |
Family
ID=37948197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800378023A Active CN101283379B (zh) | 2005-10-14 | 2006-10-16 | 用于建模用于特征提取的微结构的方法和系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7991230B2 (zh) |
KR (1) | KR20080058366A (zh) |
CN (1) | CN101283379B (zh) |
WO (1) | WO2007047665A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100793989B1 (ko) * | 2006-07-11 | 2008-01-16 | 삼성전자주식회사 | 사진 카테고리 분류 방법 및 그 시스템 |
US7853071B2 (en) * | 2006-11-16 | 2010-12-14 | Tandent Vision Science, Inc. | Method and system for learning object recognition in images |
GB2498954B (en) | 2012-01-31 | 2015-04-15 | Samsung Electronics Co Ltd | Detecting an object in an image |
US9672416B2 (en) * | 2014-04-29 | 2017-06-06 | Microsoft Technology Licensing, Llc | Facial expression tracking |
JP6375706B2 (ja) * | 2014-06-11 | 2018-08-22 | 富士ゼロックス株式会社 | 属性推定プログラム及び情報処理装置 |
CN105701492B (zh) * | 2014-11-25 | 2019-10-18 | 宁波舜宇光电信息有限公司 | 一种机器视觉识别系统及其实现方法 |
CN104616300B (zh) * | 2015-02-03 | 2017-07-28 | 清华大学 | 基于采样模式分离的图像匹配方法及装置 |
CN105306946B (zh) * | 2015-11-10 | 2018-06-22 | 桂林电子科技大学 | 一种基于均方误差门限的质量可分级视频编码方法 |
JP7141365B2 (ja) * | 2019-05-20 | 2022-09-22 | 株式会社日立製作所 | ポートフォリオ作成支援装置およびポートフォリオ作成支援方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5710830A (en) * | 1994-10-05 | 1998-01-20 | United Parcel Service | Method of and apparatus for segmenting foreground and background information for optical character recognition of labels employing single layer recurrent neural network |
US20040221237A1 (en) * | 1999-03-11 | 2004-11-04 | Fuji Xerox Co., Ltd. | Methods and apparatuses for interactive similarity searching, retrieval and browsing of video |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7106366B2 (en) * | 2001-12-19 | 2006-09-12 | Eastman Kodak Company | Image capture system incorporating metadata to facilitate transcoding |
JP4394399B2 (ja) | 2003-08-28 | 2010-01-06 | 株式会社リコー | 画像解析装置、画像解析プログラム、記憶媒体および画像解析方法 |
-
2006
- 2006-08-22 US US11/466,332 patent/US7991230B2/en not_active Expired - Fee Related
- 2006-10-16 WO PCT/US2006/040536 patent/WO2007047665A1/en active Application Filing
- 2006-10-16 KR KR1020087008589A patent/KR20080058366A/ko not_active IP Right Cessation
- 2006-10-16 CN CN2006800378023A patent/CN101283379B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5710830A (en) * | 1994-10-05 | 1998-01-20 | United Parcel Service | Method of and apparatus for segmenting foreground and background information for optical character recognition of labels employing single layer recurrent neural network |
US20040221237A1 (en) * | 1999-03-11 | 2004-11-04 | Fuji Xerox Co., Ltd. | Methods and apparatuses for interactive similarity searching, retrieval and browsing of video |
Also Published As
Publication number | Publication date |
---|---|
WO2007047665A1 (en) | 2007-04-26 |
KR20080058366A (ko) | 2008-06-25 |
CN101283379A (zh) | 2008-10-08 |
US7991230B2 (en) | 2011-08-02 |
US20070086649A1 (en) | 2007-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101283379B (zh) | 用于建模用于特征提取的微结构的方法和系统 | |
CN101147159A (zh) | 利用统计模板匹配进行对象检测的快速方法 | |
US20080123975A1 (en) | Abnormal Action Detector and Abnormal Action Detecting Method | |
Li et al. | Unscented Kalman filter for visual curve tracking | |
EP2202672A1 (en) | Information processing apparatus, information processing method, and computer program | |
US20040022432A1 (en) | Parameter estimation apparatus and data collating apparatus | |
KR20060097074A (ko) | 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 | |
Li et al. | Unsupervised learning of generalized gamma mixture model with application in statistical modeling of high-resolution SAR images | |
JP2013142991A (ja) | 物体領域検出装置、方法、及びプログラム | |
Der et al. | Probe-based automatic target recognition in infrared imagery | |
Meier et al. | Using the condensation algorithm to implement tracking for mobile robots | |
JP2009217523A (ja) | 動画像処理方法、動画像処理装置および動画像処理プログラム | |
Avraam | Static gesture recognition combining graph and appearance features | |
Liu et al. | Strip line detection and thinning by RPCL-based local PCA | |
CN116310568A (zh) | 图像异常的识别方法、装置、计算机可读存储介质及设备 | |
EP3076370B1 (en) | Method and system for selecting optimum values for parameter set for disparity calculation | |
US20220237932A1 (en) | Computer implemented method for segmenting a binarized document | |
Dixit et al. | Copy–move image forgery detection using gray-tones with texture description | |
CN106650753A (zh) | 一种基于特征选择的视觉映射方法 | |
Hurn et al. | A study of simulated annealing and a revised cascade algorithm for image reconstruction | |
Mignotte et al. | Adaptive fusion framework based on augmented reality training | |
Petrucci | Gaussian mixture reduction for Bayesian target tracking in clutter | |
Bicego et al. | Probabilistic face authentication using hidden markov models | |
Ye | Robust Visual Motion Analysis: piecewise-smooth optical flow and motion-based detection and tracking | |
Lopera et al. | Automated target recognition with SAS: Shadow and highlight-based classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150421 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150421 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |