CN101283379A - 建模用于特征提取的微结构 - Google Patents

Abstract

示例性系统和方法使用对图像的微结构建模来提取图像特征。图像中的微结构被建模为马尔柯夫随机场，并且向训练图像学习模型参数。微模式从建模的微结构自适应地设计，它捕捉该图像的空间背景。在一个实现中，可以为图像的每个块自动地设计基于建模的微结构的微模式系列，以提供由于对各个图像、各个象素特征和图像中各个点的自适应性的改进的特征提取和识别。

Description

建模用于特征提取的微结构

背景技术

特征提取在诸如对象检测和识别、面部检测和识别、眼镜检测和特征识别等许多视觉任务中是最重要的问题之一。诸如边、线、点、团点(blob)、角或更为复杂的模式等常规的微模式被设计用于经由象素之间的局部关系描述图像的空间背景，并且能够用作从图像中找出并提取特征的滤波器或模板。换言之，微模式是用于识别由象素属性描绘的视觉特征的滤波器或模板。

然而，这些常规的微模式是基于经验直观地由用户设计的，并且也受到特定应用的限制。因此，适用于一任务的常规微模式可能不适用于另一任务。例如，“四向线元素”对特征识别是成功的，但在面部识别中不能达到相同的成功，因为面部图像比特征图像复杂的多，并且不能简单地使用方向线来表示。另一个问题是在某些情况下，用户很难在没有反复试验的情况下直观判定微模式是否适用。对于Gabor特征也存在相似的问题。Gabor特征被用于识别一般的对象和面部，而参数主要由实验结果调整，这花费大量的时间和努力来找到适当的微模式和参数。更好的特征提取和识别所需的是一种自动地生成带有到实际图像的一个或多个数学特征的强联接的微模式的系统。

发明内容

示例性系统和方法使用图像的微结构建模来提取图像特征。图像中的微结构被建模为马尔柯夫随机场，模型参数则向训练图像学习。从建模的微结构自适应地设计的微模式捕捉图像的空间背景。在一个实现中，，可以为图像的每个块自动地设计基于建模的微结构的微模式系列，以提供由于对各个图像、各个象素属性和图像各个点的自适应性的改进的特征提取和识别。

提供本概述以便用简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在确定所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1是示例性基于马尔柯夫随机场(MRF)的特征提取系统的图示。

图2是示例性特征提取引擎的框图。

图3是象素属性之间的示例性邻近结构的图示。

图4是示例性微模式的图示。

图5是在基于MRF的特征提取期间的示例性功能流程图的图示。

图6是特征提取的示例性方法的流程图。

图7是基于MRF的特征提取的示例性方法的流程图。

具体实施方式

概述

本发明描述了基于模型从图像提取特征的系统和方法。这些示例性系统和方法引入了在特征提取过程期间对特征，即基于结构的特征进行自动建模的概念。该基于建模的特征提取可一般地应用到许多类型的应用上。这种应用包括例如面部鉴别和眼镜识别。

相反，常规的特征提取技术依赖于找出由经验直觉地形成的预定特征，而且每种常规的技术通常非常地特定于一种类型的应用。这些由经验设计或由反复试验得出的常规特征模式通常是艰辛的，并且它们缺乏对各种应用的自适应。

然而，此处所描述的示例性微模式是构建自向数学建模并向示例学习的空间依赖性的。所得的示例性微模式更一般地适用于需要特征提取的许多应用。

在一个实现中，示例性系统将预对准的图像分割成小块，并在每个块中采取同质的模型。接着为每个块设计最适合该块的一系列微模式。在每个块中逐点计算微模式的发生概率，用于形成序列，提取该序列的改进的快速傅立叶变换(MFFT)特征以反映其相应的微模式的区域特征。接着，来自图像的所有块的所有MFFT特征被集中在一起以便有效地表示图像。

由此建模的示例性图像特征具有以下特性。首先，示例性图像特征是微结构特征。与来自诸如PCA(主成分分析)的整体特征相比，示例性图像特征可以对局部空间依赖性建模，并且可用于设计自适应微模式，而常规的整体特征提取图像的整体特征。因此，示例性图像特征更能够捕捉空间背景，这在诸如面部识别和特征识别等许多视觉任务中起要重要的作用。

由微结构建模的示例性图像特征用于设计自适应微模式。与基于微模式的常规的特征提取方法相比，自适应微模式是从使用MRF模型的提取特征设计的，而非由用户直观地定义。从训练示例习得自动设计的微模式的类型，这样使得所得的微模式自适应于不同的图像、不同的属性和图像的不同的点。

示例性图像特征也是基于模型的。与来自诸如局部特征分析和独立成分分析等基于学习的滤波器的常规的基于学习的特征相比，示例性图像特征可以直接对局部空间环境建模，并且由此带来比常规的提取特征所能够做到的更良好和更精细的微模式。

示例性环境

图1示出了示例性计算环境，特征提取系统100，其中可以实现示例性特征建模和提取。在一个实现中，计算设备102主存其中使用诸如面部鉴别或眼镜检测等特征提取的应用程序104。示例性特征提取引擎106执行以下更全面描述的示例性基于微结构的特征提取。在所示的特征提取系统100的示例中，面部图像108由数字照相机110捕捉。图像108被传递给应用程序104以供经由示例性特征提取引擎106进行面部鉴别。

在一个实现中，特征提取引擎106将图像108分成较小的重叠视觉块112。虽然在显示器114上显示了示例性块112，但是块112通常不是由应用程序104来显示的，而是仅供数学处理使用。所选择的每个块的象素的属性，即图像微结构，被建模为马尔柯夫随机场(MRF)。马尔柯夫随机场非常适用于对图像中空间依赖性的建模。从MRF模型定义自适应微模式。通过向一组校准的图像学习来获得每个块的MRF参数。由此，对一般的图像特征集合建模，以便设计自适应微模式。

特征提取引擎106也定义适应性函数(fitness function)，由此计算适应性索引，以便将图像的局部适应性编码成自适应模式。理论分析和实验结果显示这种示例性特征提取系统100在提取特征时是既灵活又有效的。

由于示例性微模式是依照图像的空间背景而自适应地设计的，因此微模式适用于各种图像、各种属性和图像的各种点。这使得自适应模式能够由特征提取引擎106用在许多不同的应用中，诸如面部检测、面部鉴别、眼镜检测、特征识别、对象检测、对象识别等。

示例性特征提取引擎

图2很详细地示出了图1的示例性特征提取引擎106。所示的特征提取引擎106的配置仅是一个实现，并且仅旨在为了概述而提供一个示例性排列。所示组件或相似组件的许多其他排列在本主题的范围内也是可能的。提供所示的线和箭头以提示一些组件之间的流程和着重关系。即使在两个组件之间没有示出耦合线，所示的组件一般仍按需彼此通信，因为它们是同一特征提取引擎106的组件。这种示例性特征提取引擎105可以在硬件、软件、或者硬件、软件、固件的组合等中执行。

在一个实现中，特征提取引擎106包括组件，用于向训练图像202学习模型参数用于马尔柯夫随机场微结构建模，并且用于设计与特定图像相关的自适应微模式。特征提取引擎106也包括用于处理主图像204，即用于从主图像204提取特征的组件。块管理器206为训练图像202和主图像204控制图像中块的大小、重叠和注册。

为了上述训练，特征提取引擎106包括学习引擎208、自适应设计器210和用于所得微模式212的缓冲器或存储。刚才介绍的学习引擎208进一步包括属性选择器214、伪最大似然估计器216以及用于模型参数218，即每个块的缓冲器。自适应设计器210还可以包括定义引擎220。

学习引擎208和刚介绍的其他组件在通信上与微结构模型器222相耦合，该微结构模型器222则包括块级别特征提取器224和马尔柯夫随机场属性模型器226。在一个实现中，处理主图像也使用同一微结构模型器222。

为了处理图像，图像处理器228包括用于一个图像块的缓冲器230、局部适应性引擎232和MFFT特征提取器234。局部适应性引擎232还可以包括适用于产生适应性索引238的适应性函数236。图像处理器228还包括用于局部适应性序列240的缓冲空间。

为了整个主图像204的整体结果，特征提取引擎106也包括特征连接器242，用于将图像的所有块的特征组合到单个向量中：表示整幅图像的微结构特征244。

特征提取引擎的示例性组件

现在提供示例性引擎106的概述。块管理器206将图像204分割成块112，由此MRF特征模型器226来提取每个块112的块级别微结构特征。稍后，局部适应性引擎232基于MRF建模来计算局部适应性序列240，以描述图像对微模式的局部适应性。MFFT提取器234从每个块112的局部适应性序列240得出经变形的特征。特征连接器242将来自所有块的这些特征组合到较长的特征向量中。该新特征是基于图像的微结构的，并且在三个级别上示出对图像的描述：马尔柯夫场模型反映了象素级别上邻近象素的空间相关性；每个块中的局部适应性序列240反映了块级别上图像对微模式的区域适应性；而来自所有块的特征被连接以便构建图像204的整体描述。这样，图像的局部结构和整体形状同时被编码。

马尔柯夫随机场(MRF)属性模型器

示例性特征提取引擎106实现基于模型的特征提取方法，该方法使用马尔柯夫随机场(MRF)属性模型器226建模图像204的微结构，并且设计用于特征提取的自适应微模式212。

微结构模型器222在将图像结构建模应用于特征提取时提供了至少三种好处。首先，建模可以为基于图像微结构自动地设计合适的微模式提供健全的理论基础。接着，通过建模，特征提取引擎106或相应的方法可以更一般地在宽广范围的各种不同的应用程序上应用。第三，建模减轻了为调整参数而作出的实验边试边改的努力。

MRF属性模型器226提供了用于对象素之间的空间依赖性关系建模的灵活机制。在图像204的局部区域中，MRF属性模型器226使用空间依赖性来对微模式建模，其中不同的空间依赖性对应于不同的微模式。由此，MRF属性模型器225方便地表示图像内未被观察到和/或复杂的模式，尤其是相似色调、结构或深度的区域之间中断的位置。

此外，在一个实现中，在统计上向采样学习MRF模型的参数而非由用户直观地设计。藉此MRF建模会更适用于图像的局部特征。可以设计不同的微模式用于不同类型的图像、不同属性的图像，甚至是在单个图像的不同点处，这样使得所提取的特征更为灵活，并且更适用于不同的应用。

从以上描述，MRF模型是自适应的，并且对于图像的不同点处的内在模式是灵活的。参数相对于块内的位置而变化。此外，模型适用于改变图像的属性。

图3示出了大小为HxW的图像302的一阶和二阶邻近结构。S是图像302的点图(site map)304。图像302具有一阶邻近结构306和二阶邻近结构308。为了进一步理解MRF属性模型器226的功能，由I表示HxW图像，而S作为其所有点的集合，并且令X_s＝x_s表示在点s∈S处图像I的某些属性。例如，属性选择器214可以选择灰度级强度，Gabor属性或另一属性。S中不包括点s的所有其他点的属性表示为X_-s＝x_-s。S的属性的空间分布，即X＝x＝{x_s，s∈S}会被建模为马尔柯夫随机场(MRF)。

令N_s表示点s的邻居，r阶邻近被定义为 $N_s^{\left(r\right)}=\left\{t\right|\mathrm{dist}(s,t)\≤r,t\∈s\},$ 其中dist(s，t)是点s和点t之间的距离。马尔柯夫模型类似于或等价于Gibbs随机场模型，因此能量函数被用于计算概率，如在公式(1)中：

$p\left(X_s\right|X_{-s})=p\left(X_s\right|X_{n_1})=\frac{1}{\mathrm{\τ}}\exp \{-E_{{\mathrm{\θ}}_s}(X_s,X_{N_s})\}---\left(1\right)$

其中是点s处的能量函数，它是包含点s的团的能量/位势之和，而 $\mathrm{\τ}=\underset{X_s}{\mathrm{\Σ}}\exp \{-E_{{\mathrm{\θ}}_s}(X_s,X_{N_s})\}$ 是配分函数。此处，θ_s是点s的参数集，因此我们将重写为

对于成对MRF模型，有 $E_{{\mathrm{\θ}}_s}(X_s,X_{N_s})=H_s\left(X_s\right)+\underset{t\∈N_s}{\mathrm{\Σ}}{J}_{\mathrm{st}}(X_s,X_t),$ 其中H_s(X_s)是站点s处的“域”，而J_st(X_s，X_t)是点s和点t之间的“交互作用”。此外，如果H_s(X_s)＝0且 $J_{\mathrm{st}}(X_s,X_t)=\frac{1}{{\left({\mathrm{\σ}}_{\mathrm{st}}\right)}^2}{(X_s-X_t)}^2,$ 那么就使用“平滑模型”，并且有 $E_{{\mathrm{\θ}}_s}(X_s,X_{N_s})=\underset{t\∈N_s}{\mathrm{\Σ}}\frac{1}{{\left({\mathrm{\σ}}_{\mathrm{st}}\right)}^2}{(X_s-X_t)}^2,$ θ_s＝{σ_st，t∈N_s}。如果H_s(X_s)＝α_sX_s，J_st(X_s，X_t)＝β_stX_sX_t且X，∈{+1，-1}，s∈S，则使用Ising模型，并且有 $E_{\mathrm{\θs}}(X_s,X_{N_s})={\mathrm{\α}}_s{X}_s+\underset{t\∈N_s}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{st}}{X}_s{X}_t,$ θ_s＝{α_s，β_st，t∈N_s}。为了简化起见，将θ_s看作θ。

示例性自适应微模式设计器

图4示出了示例性微模式。这种自适应微模式被用作“滤波器”来从图像204找出或提取特征和/或用于标识图像。特征提取引擎106旨在通过对微模式212建模找出用于给定的图像204的合适的微结构以及其适当的参数。

微模式402、404、406和408是“平滑模型”的微模式。当Ising模型的参数如410中所示时，十六个微模式412、414、416、418、420、422、424、426、428、430、432、434、436、438、440和442是Ising模型的微模式。换而言之，Ising模型可以区别所有16种模式412-442。其中，有“团点”微模式412和414；三角微模式414、416、418、420；角微模式422、424、426和428；线微模式430和432；箭头微模式434、436、438、440；以及环微模式442。Ising模型具有较强的描述微模式的能力。可以选择平滑模型和Ising模型作为要执行的建模的形式。

在一个实现中，一旦选择了模型形式(例如平滑、Ising或其他)，微模式212由学习引擎208产生的模型参数218来确定(即由以下公式(2)来定义)。模型参数218由微结构模型器222用于实现MRF属性模型器226。自适应设计器210包括实现一般化定义(公式(2))以便创建自适应微模式212的定义引擎220。

由此，在自适应设计器210处，假设Ω表示微模式，而Ω_θ(γ)被定义成对给定θ满足约束 $g_{\mathrm{\θ}}(x_s,x_{N_s})=\mathrm{\γ}$ 的所有

对，即 $\{(x_s,x_{N_s}):g_{\mathrm{\θ}}(x_s,x_{N_s})=\mathrm{\γ}\}.$ 这里，θ是参数集。

Ω_θ(γ)具有以下特征：

1.给定θ，{Ω_θ(γ)，γ∈R描述了一系列微模式，其中R(实数集)是γ值的集。

2.当γ离散时，Ω_θ(γ)由其概率P(Ω＝Ω_θ(γ))表征；当γ是连续变量时，Ω_θ(γ)由概率密度函数p(Ω_θ(γ))表征。

由于特征提取引擎106在属性模型器226中使用MRF模型，定义 $g_{\mathrm{\θ}}(x_s,x_{N_s})=E_{\mathrm{\θ}}(X_s=x_s,X_{N_s}=x_{N_s}),$ 因此如在公式(2)中：

${\mathrm{\Ω}}_{\mathrm{\θ}}\left(\mathrm{\γ}\right)=\{(x_s,x_{N_s}):E_{\mathrm{\θ}}(X_s=x_s,X_{N_s}=x_{N_s})=\mathrm{\γ}\}---\left(2\right)$

即，

在属于同一微模式的同一能量级别中。

a)如果使用平滑模型，即 $E_{{\mathrm{\θ}}_s}(X_s,X_{N_s})=\underset{t\∈N_s}{\mathrm{\Σ}}\frac{1}{{\left({\mathrm{\σ}}_{\mathrm{st}}\right)}^2}{(X_s-X_t)}^2,$ 那么

${\mathrm{\Ω}}_{\mathrm{\θ}}\left(\mathrm{\γ}\right)=\{(x_s,x_{N_s}):\underset{t\∈N_s}{\mathrm{\Σ}}\frac{1}{{\left({\mathrm{\σ}}_{\mathrm{st}}\right)}^2}{(x_s-x_t)}^2=\mathrm{\γ}\}---\left(3\right)$

如图4中所示，在这种情况下，认为微模式402和404是相同的，而认为微模式406和408是不同的。

b)如果使用Ising模型，即 $H_{\mathrm{\θ}}\left(X_s\right|X_{N_s})={\mathrm{\α}}_s{X}_s+\underset{t\∈N_s}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{st}}{X}_s{X}_t$ (具有一阶邻居)，其中Xs∈{+1，-1}，

且θ＝{α_s，β_st，t∈N_s}，如图4(e)中所示，那么

${\mathrm{\Ω}}_{\mathrm{\θ}}\left(\mathrm{\γ}\right)=\{(x_s,x_{N_s}):{\mathrm{\α}}_s{x}_s+\underset{t\∈N_s}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{st}}{x}_s{x}_t=\mathrm{\γ}\}---\left(4\right)$

如前所述，一旦选择了模型形式，就由模型参数218确定公式(2)中定义的微模式。模型具有的参数越多，它能区分的微模式212也就越多。由定义引擎220设计的微模式适用于图像204的局部特征，因为参数218是向训练采样202统计学习的。这与用户直觉地设计的微模式(例如Gabor模式)很不相同。

示例性适应性引擎

图像处理器228包括使用微模式212找出图像204中的特征的局部适应性引擎232。局部适应性引擎232包括检测一个块230中点s处的图像的局部特征符合哪个微模式212的适应性函数236。

给定θ，对于任何给定的

对，适应性函数

被定义为公式(5)：

$h_{\mathrm{\θ}}(X_s,X_{N_s})=e^{-\mathrm{\γ}}{|}_{\mathrm{\γ}=g_{\mathrm{\θ}}(x_s,x_{N_s})}---\left(5\right)$

尤其是当 $g_{\mathrm{\θ}}(X_s,X_{N_s})=E_{\mathrm{\θ}}(X_s,X_{N_s})$ 时，有如公式(6)所示的：

$h_{\mathrm{\θ}}(X_s,X_{N_s})=e^{-\mathrm{\γ}}{|}_{\mathrm{\γ}=E_{\mathrm{\θ}}(X_s,X_{N_s})}---\left(6\right)$

然后，适应性索引238可以如公式(7)计算：

$y_{\mathrm{\θ},s}=h_{\mathrm{\θ}}(x_s,x_{N_s})=e^{-\mathrm{\γ}}{|}_{\mathrm{\γ}=E_{\mathrm{\θ}}(x_s,x_{N_s})}---\left(7\right)$

适应性函数236使得点s处图像204的局部特征与特定微模式212匹配。此外，它扩大了其中存在较低位势或能量的较小γ之间的不同，，并且降低了其中存在较高位势或能量的较大γ之间的不同。

从公式(2)中微模式的定义和公式(1)所例示的马尔柯夫随机场模型，接着得出公式(8)：

$P(\mathrm{\Ω}={\mathrm{\Ω}}_{\mathrm{\θ}}\left(\mathrm{\γ}\right))=\underset{X_{N_s}}{\mathrm{\Σ}}\left\{P(X_s:E_{\mathrm{\θ}}(X_s,X_{N_s})=\mathrm{\γ}|X_{N_s}=x_{N_s})P(X_{N_s}=x_{N_s}\right\}$

$=\underset{X_{N_s}}{\mathrm{\Σ}}\{\left(\underset{X_s{E}_{\mathrm{\θ}}(X_s,X_{N_s})=\mathrm{\γ}}{\mathrm{\Σ}}\frac{1}{\mathrm{\τ}}{e}^{-\mathrm{\γ}}\right)\·P(X_{N_s}=x_{N_s})\}---\left(8\right)$

$=\underset{X_{N_s}}{\mathrm{\Σ}}\{\frac{1}{\mathrm{\τ}}\·V\·e^{-\mathrm{\γ}}\·P(X_{N_s}=x_{N_s})\}$

$=Z\·e^{-\mathrm{\γ}}$

其中 $\mathrm{\τ}=\underset{x_s}{\mathrm{\Σ}}\exp \{-E_{{\mathrm{\θ}}_s}(X_s,X_{N_s})\}$ 独立X_s的，V是对

的数目，它在给定X_Ns＝x_Ns情况下属于的微模式Ω_θ(γ)，并且 $z=\underset{X_{N_s}}{\mathrm{\Σ}}\{\frac{1}{\mathrm{\τ}}\·V\·P(X_{N_s}=x_{N_s})\}.$ 注意V和τ都仅依赖于

和θ，因此z是仅依赖于θ的常数。从而，如公式(9)中所示：

$y_{\mathrm{\θ},s}=h_{\mathrm{\θ}}(x_s,x_{N_s})\∝P(\mathrm{\Ω}={\mathrm{\Ω}}_{\mathrm{\θ}}\left(\mathrm{\γ}\right){|}_{\mathrm{\γ}{=E}_{\mathrm{\θ}}(X_s=x_s,X_{N_s}=x_{N_s})}).---\left(9\right)$

即，适应性索引y_θ，238与 ${\mathrm{\Ω}}_{\mathrm{\θ}}\left(\mathrm{\γ}\right){|}_{\mathrm{\γ}=E_{\mathrm{\θ}}(X_s=x_s,X_{N_s}=x_{N_s})}$ 的概率成比例。从滤波器设计的观点看，例如当局部适应性引擎232决定局部适应性序列240时，适应性函数236使用其概率调整对微模式212的适应性。适应性函数236增强具有较高概率的较低能量的微模式，而降低具有较低概率的较高能量的微模式。实际上，对于给定的θ，自适应设计器210设计一系列微模式Ω_θ(γ)，γ∈R，而y_θ，s，适应性索引238指示在点s处微模式 ${\mathrm{\Ω}}_{\mathrm{\θ}}\left(\mathrm{\γ}\right){|}_{\mathrm{\γ}=E_{\mathrm{\θ}}(X_s{=x}_s,X_{N_s}=x_{N_s})}$ 的发生概率。

该适应性序列240可以如公式(10)中计算：

y＝{y_θ，s，s＝1，2，...，n}，(10)

其中n＝H×W是S中点s的数目。

示例性获知引擎

学习引擎208估计要由MRF属性模型器226使用的参数Θ＝{θ_s，s∈S}218。参数218通过向训练采样图像202学习来估计。训练图像202可以是来自标准面部数据库的库：例如BANCA数据集，其中包含52个主题，每个主题有120张图像。在其中，BANCA中“部分1”中的五个图像/主题被用于训练图像202(例如260张图像)。在一个实现中，训练图像202是两个训练库，第一库是260个面部的灰度级强度，它们基于眼镜的自动登记被修剪和标准化为55x51象素大小。第二库是使用具有两个刻度和四个定向的Gabor滤波器存储体的相同的经修剪面部的Gabor属性。

假设有m个独立的采样{x_j，j＝1，2，...，m}，其中xj＝[x_j1，x_j2，...，x_jn]^T。最大似然估计(MLE)可以如同公式(11)中的优化来处理：

${\mathrm{\Θ}}^{*}=\arg \max \underset{j=1}{\overset{m}{\mathrm{\Σ}}}{p}_{\mathrm{\Θ}}(X_1=x_{j1},X_2=x_{j2,...,}{X}_n=x_{\mathrm{jn}}).---\left(11\right)$

然而，因为有 $p(X_s=x_s|X_{-s}=x_{-s})=p(X_s=x_s|X_{N_s}=x_{N_s}),$ 所以估计器216使用虚拟最大概似估计(PMLE)来得出公式(12)中的近似：

$\underset{\mathrm{\Θ}}{\arg \max }\underset{j=1}{\overset{m}{\mathrm{\Π}}}{p}_{\mathrm{\Θ}}(X_1=x_{j1,}{X}_2=x_{j2,...,}{X}_n=x_{\mathrm{jn}})\≈\arg \max \underset{j=1}{\overset{m}{\mathrm{\Π}}}\underset{s=1}{\overset{n}{\mathrm{\Π}}}{p}_{{\mathrm{\θ}}_s}(X_s=x_{\mathrm{js}}|X_{N_s}=x_{j{N}_s})---\left(12\right)$

它等价于公式(13)：

${\mathrm{\Θ}}^{*}\≈\arg \max \underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{s=1}{\overset{n}{\mathrm{\Σ}}}\log \left(p_{{\mathrm{\Θ}}_s}(X_s=x_{\mathrm{js}}|X_{N_s}=x_{j{N}_s})\right)---\left(13\right)$

当选择平滑模式时，该近似可以作为公式(14)中的优化处理(为了一般性，使用连续的形式)：

$\arg \max \underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{s=1}{\overset{n}{\mathrm{\Σ}}}\left\{\right[-\underset{t\∈N_s}{\mathrm{\Σ}}\frac{1}{{\left({\mathrm{\σ}}_{\mathrm{st}}\right)}^2}{(x_{\mathrm{js}}-x_{\mathrm{jt}})}^2]-\log \left[{\∫}_a^b{e}^{-\underset{t\∈\mathrm{Nst}}{\mathrm{\Σ}}\frac{1}{{\left(\mathrm{\σ}\right)}^2}{(x_{\mathrm{js}}-x_{\mathrm{jt}})}^2}{\mathrm{dx}}_{\mathrm{js}}\right]\},---\left(14\right)$

其中[a，b]是x_js的值间隔。在一个实现中，如果进一步假设马尔柯夫随机场是同质的和各同向性的，即，σ_st＝σ，

那么等价地估计器216能够找到使得公式(15)中的函数最大化的最佳σ：

$\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{s=1}{\overset{n}{\mathrm{\Σ}}}[-\underset{t\∈N_s}{\mathrm{\Σ}}\frac{1}{{\mathrm{\σ}}^2}{(x_{\mathrm{js}}-x_{\mathrm{jt}})}^2]-\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{s=1}{\overset{n}{\mathrm{\Σ}}}\left\{\frac{\sqrt{\mathrm{\π}}}{2}\exp \left(\frac{-4{\mathrm{\ζ}}_{\mathrm{js}}+{\mathrm{\ψ}}_{\mathrm{js}}{)}^2}{4{\mathrm{\σ}}^2}\right)\mathrm{erf}\left(\frac{{2x}_{\mathrm{js}}-{\mathrm{\ψ}}_{\mathrm{js}}}{2\mathrm{\σ}}\right)\mathrm{\σ}{|}_{X_{\mathrm{js}}=a}^{X_{\mathrm{js}}=b}\right\},---\left(15\right)$

其中 ${\mathrm{\ψ}}_{\mathrm{js}}=2\underset{t\∈N_s}{\mathrm{\Σ}}{x}_{\mathrm{jt}},$ ${\mathrm{\ζ}}_{\mathrm{js}}=\underset{t\∈N_s}{\mathrm{\Σ}}{\left(x_{\mathrm{jt}}\right)}^2,$ $\mathrm{erf}\left(x\right)=\frac{2}{\sqrt{\mathrm{\π}}}{\∫}_0^x\exp \left({-t}^2\right)\mathrm{dt}.$ 于是示例性特征提取引擎106找出该最佳σ。

特征提取引擎的示例性功能

图5示出了基于MRF的特征提取的示例性综合流程图。要处理的图像204被分成块。每个块经历基于MRF的特征提取，接着特征连接组合来自所有块的特征。属性x⁽ⁱ⁾502是在第i块处选择的图像属性。项y⁽ⁱ⁾240是第i块处的局部适应性序列。项u⁽ⁱ⁾506是第i块的局部适应性序列的改进的快速傅立叶变换(MFFT)。项x⁽ⁱ⁾ _j508是第j个训练图像202中第i个块的属性。项θ⁽ⁱ⁾510表示为第i个块建模的马尔柯夫随机场(MRF)的参数。

在一个实现中，示例性特征提取引擎106在三个阶段中执行。在第一阶段中，块管理器206将图像204分成大小为N×M且L×K重叠的C个块112。对于每个块112，微结构模型器222独立地将MRF属性模型器226应用于对属性x⁽ⁱ⁾(i＝1，2，...，C)的建模。在一个实现中，为了简化起见，模型器222将同质模型应用到每个块112中，即模型参数218在相同的块中是相同的。

在训练期间，学习引擎208经由公式(16)向预对准的训练图像x⁽ⁱ⁾ _j，j＝1，2，...，C222学习每个块112的模型参数θ⁽ⁱ⁾(i＝1，2，...，C)：

${\mathrm{\θ}}^{{\left(i\right)}^{*}}\≈\arg \max \underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{s=1}{\overset{l}{\mathrm{\Σ}}}\log \left(p_{\mathrm{\θ}\left(i\right)}(X_s=x_{\mathrm{js}}^{\left(i\right)}|X_{N_s}=x_{j{N}_s}^{\left(i\right)})\right),---\left(16\right)$

其中l＝N×M，i＝1，2，...，C。一旦学习了参数218，那么微结构模型器222得出最佳地符合来自训练采样202的观察的每个模块的一系列微模式212。

在从图像204提取特征时，局部适应性引擎232使用公式(17)为每个块112y⁽ⁱ⁾(i＝1，2，...，C)计算图像204的局部适应性序列240：

$y^{\left(i\right)}=\{y_{{\mathrm{\θ}}^{\left(i\right)},s},s=\mathrm{1,2},...,l\},\mathrm{where}{y}_{{\mathrm{\θ}}^{\left(i\right)},s}=h_{{\mathrm{\θ}}^{\left(i\right)}}(x_s^{\left(i\right)},x_{N_s}^{\left(i\right)})=e^{-\mathrm{\γ}}{|}_{\mathrm{\γ}=E_{{\mathrm{\θ}}^{\left(i\right)}}(x_s^{\left(i\right)},x_{N_s}^{\left(i\right)})},i=\mathrm{1,2},...,C---\left(17\right)$

在第二阶段中，MFFT提取器234得出每个块112中局部适应性序列240的MFFT特征，以便降低维数和噪音。维持局部适应性序列240的低频组件，而同时平均化高频组件。如果y⁽ⁱ⁾表示第i块112的局部适应性序列240且z⁽ⁱ⁾＝FFT(y⁽ⁱ⁾)，其中z⁽ⁱ⁾＝{z_s ⁽ⁱ⁾，s＝1，2，...，l}，则u⁽ⁱ⁾＝{u_s ⁽ⁱ⁾，s＝1，2，...，k+1}，其中如公式(18)所示：

$u_s^{\left(i\right)}=\left\{\begin{array}{cc}{z}_s^{\left(i\right)},& s=\mathrm{1,2},...,k\\ \frac{1}{l-k}\underset{t=k+1}{\overset{l}{\mathrm{\Σ}}}{z}_t^{\left(i\right)},& s=k+1\end{array}\right.---\left(18\right)$

且k是截取长度。

在第三阶段中，特征连接器242连接来自图像204的所有块的u⁽ⁱ⁾(i＝1，2，...，C)，以形成基于MRF的微结构特征，其长度是C×(k+1)，如公式(19)中所示：

u＝[u⁽¹⁾，u⁽²⁾，...，u^(C)]^T                       (19)

示例性方法

图6示出了从图像提取特征的示例性方法600。在流程图中，将操作概括为各个独立的块。根据实现，示例性方法600可以由硬件、软件或硬件、软件、固件的组合等执行，例如由示例性特征提取引擎106的组件来执行。

在框602处，图像的微结构被建模为马尔柯夫随机场。图像中象素的属性可用于访问图像微结构。由于马尔柯夫随机场建模捕捉图像中的视觉空间依赖性，因此在微级别处的MRF建模得出基于图像结构的提取特征。

在框604处，基于微结构的马尔柯夫随机场建模导出图像特征。建模的微结构经由微模式的一般定义被重塑为自适应微模式。在一个实现中，在图像的每个块中作出图像中微模式的发生概率的逐点扫描，以生成适应性序列。将改进的快速傅立叶变换应用到适应性序列上，以便形成对应于块的特征。

图7示出了基于MRF特征提取的示例性方法700。在流程图中，将操作概括为各个独立的块。根据实现，示例性方法700可以由硬件、软件或硬件、软件、固件等执行，例如由示例性特征提取引擎106来执行。

在框702处。图像被分成块。可任意选择块的尺寸，例如5个象素乘5个象素。在整幅图像的处理期间，所选的块大小的尺寸保持相同。在一个实现中，块重叠，由此提供了过渡平稳性，并防止由于通过特征的假设块切割的假想边界导致微结构特征的丢失。

在块704处，将每个块的微结构建模为马尔柯夫随机场。空间依赖性由MRF很好地建模。可以对诸如灰度级值或强度等象素属性建模。

在块706处，自动地设计对应于建模的微结构的一系列微模式。在一个实现中，设计引擎将对微模式的一般定义应用到MRF建模上，得出为在附近的图像块剪裁的自适应微模型自定义。

在框708处，生成表示块适合微模式系列的适应性序列。在一个实现中，逐点处理图像的每个块，以生成每个特定点的微模式适应性或适应性索引的序列。

在框710处，将改进的快速傅立叶变换应用到每个图像块的适应性序列上以便获取特征。MFFT通过削弱高能量微模式并维持低能量微模式来将适应性序列稳定到特征结果中。结果是具有与已从中导出的图像块的强数学对应，而不管MFFT特征是否具有与该块的强视觉对应。换言之，对于每个块，MFFT特征是该块的微结构的强大而又唯一的特征。

在框712处，连接来自所有块的特征以表示图像。将图像中所有块的每个MFFT特征连接到长向量中，该长向量是整个图像基于MRF的微结构表示。

结论

虽然用专用于结构化特征和/或方法动作的语言描述了示例性系统和方法，但是应该理解在所附权利要求书中定义的本主题不是必须限于上述的特定特征和动作。相反地，公开上述特定的特征和动作来作为用于实现所要求保护的方法、设备、系统等的示例性形式。

Claims (20)

1.一种方法，包括：

将图像的微结构建模为马尔柯夫随机场；以及

基于所述建模提取图像特征。

2.如权利要求1所述的方法，其特征在于，所述建模使用象素属性建模所述微结构。

3.如权利要求2所述的方法，其特征在于，所述象素属性描述所述图像的空间背景。

4.如权利要求5所述的方法，其特征在于，还包括向训练图像学习所述建模的参数。

5.如权利要求4所述的方法，其特征在于，所述学习包括伪最大似然估计器。

6.如权利要求1所述的方法，其特征在于，还包括从所述建模的微结构自动设计微模式。

7.如权利要求6所述的方法，其特征在于，还包括自动地设计从所述图像的属性或所述图像中的特定点自适应的微模式。

8.如权利要求6所述的方法，其特征在于，设计微模式包括设计遵循平稳模型的一组微模式。

9.如权利要求6所述的方法，其特征在于，设计微模式包括设计遵循Ising模型的一组微模式。

10.如权利要求6所述的方法，其特征在于，还包括使用所述微模式识别图像的至少部分。

11.如权利要求1所述的方法，其特征在于，还包括将所述图像分成块，并且使用对每块均一致的参数对所述微结构建模。

12.如权利要求1所述的方法，其特征在于，还包括：

将所述图像分成块；

自动地设计对应于所述块的微结构的一系列所述微模式；以及

在每个块中逐点计算微模式的发生概率，以形成所述块中对所述微模式系列的所述图像的适应性序列。

13.如权利要求12所述的方法，其特征在于，还包括将改进的快速傅立叶变换(MFFT)应用到所述适应性序列上，以导出所述相应的微模式的区域特征。

14.如权利要求12所述的方法，其特征在于，还包括将改进的快速傅立叶变换(MFFT)应用到所述适应性序列上，以所述导出块的至少一个MFFT特征。

15.如权利要求14所述的方法，其特征在于，还包括连接来自所述图像的所有块的MFFT特征以表示所述图像。

16.如权利要求15所述的方法，其特征在于，所述连接的MFFT特征包括一向量：

其中所述向量表示象素级别上的空间相关性；

其中所述向量表示块级别上对所述微模式的区域适应性；以及

其中所述向量表示整体级别上对所述图像的描述。

17.一种系统，包括：

经由图像的块中的属性对所述图像的微结构建模的马尔柯夫随机场属性模型器；以及

基于所述建模的微结构导出所述图像的特征的特征提取器。

18.如权利要求17所述的系统，其特征在于，还包括：

从所述导出的特征创建微模式的设计器；以及

估计用于所述马尔柯夫随机场属性模型器的参数的学习引擎。

19.如权利要求17所述的系统，其特征在于，还包括：

将所述图像分成块的块管理器；

为对应于所述块的微结构的每个块自动地设计一系列所述微模式的设计器；

在每个块中逐点计算微模式的发生概率的适应性引擎，以形成所述块中对所述微模式系列的所述图像的适应性序列；

从每个适应性序列导出特征的改进的快速傅立叶变换特征提取器；以及

连接所述特征以表示所述图像的特征连接器。

20.一种系统，包括：

用于将图像的微结构建模为马尔柯夫随机场的装置；以及

基于所述建模提取图像特征的装置。

Images