CN100565583C - 人脸特征点检测装置、特征点检测装置 - Google Patents

Abstract

本发明提供一种人脸特征点检测装置、特征点检测装置。将多个节点配置在预先确定的初始位置上，取得各节点周围的多个采样点的特征量，作为对应的各节点的节点特征量，根据相关关系的信息和各节点的节点特征量，取得表示当前的各节点位置与分别对应的特征点位置之间的偏差的误差估计量，其中，所述相关关系为学习用图像中以下两个值之间的相关关系：一个值是多个节点配置在分别对应的特征点的正解位置上的状态下与配置在错误位置的状态下所取得的两节点特征量之差，另一个值是正解位置和错误位置之差，根据该误差估计量和当前的各节点位置，来估计所输入的图像中的各特征点的位置。

Description

人脸特征点检测装置、特征点检测装置

技术领域

本发明涉及用于从图像中检测对象物的特征点的装置、方法及程序等中应用的有效技术。

背景技术

作为从图像中检测对象物的特征点的技术，有把人脸作为对象物、检测人脸的特征点的技术。以下，对于把人脸作为对象物的情况下的背景技术进行叙述。

从拍摄了人物的图像中得到脸的特征点位置，从而可以推测例如该人物的眼睛的睁闭信息、脸姿势、视线方向、脸的表情等。此外，从这些推测结果可以更加详细地了解该人物的状态。并且，通过详细地把握人物的状态，可实现人机界面的性能提高，提供新的服务等。这样，在人机界面的开发上，正确地了解人脸的特征点位置成为重要的课题。

作为这样的人机界面的例子，有驾驶员监视系统。在该系统中，依次观察驾驶员眼睛的睁闭、脸姿势、视线方向等。然后，根据该观察结果判断驾驶员的疲劳程度等，可以根据状况给出恰当的建议。

此外，作为另一人机界面的例子，有对动态图像摄像机和静止图像照相机等的应用。在这些装置中，通过了解被摄者的脸姿势，可实现改变拍摄条件等多种多样的处理。另外，通过详细地分析眼睛的特征点或嘴的特征点等的图像，也能够高精度地进行个人的识别。

作为从图像得到人脸特征点位置的方法(以下，称为“特征点检测方法”)通常采用模板匹配法及其应用。在这些方法中，预先保存各特征点的一般性信息(以下，称为“特征量”)。然后，通过对从图像内的一部分区域得到的特征量和所保存的特征量进行比较，判断是否为应取得的特征点。作为此时使用的特征量的具体例子，有图像的亮度值向量。此外，作为两个特征量的比较手段，通常使用归一化相关或欧几里得距离。

作为这样的技术的例子，提出了通过分离度滤波器预先减少了搜索点数之后，通过模式匹配来检测特征点候选的技术(参照专利文献1)。在该技术中，在检测出特征点候选之后，应用几何约束条件，输出判断为最像人脸的候选点的组合。

但是在该技术中，只能检测基本上朝向正面的、摄影条件较好的人物图像的特征点。因此，难以从特征点的一部分被遮蔽物挡住的图像或预先保存的摄影条件(例如照明条件)与特征点取得时有很大不同的图像中正确地检测出特征点。

此外，也存在通过得到脸的特征点位置来估计脸姿势的技术(参照专利文献2、3)。在这样的技术中，一般采用在取得脸的特征点位置之后，使用其整体配置和特征量来进行估计的方法。例如，预先作为查询表保存表示眼、口、眉、鼻的特征点的坐标和脸姿势之间的关系。然后，根据该查询表判断与从图像中取得的特征点的坐标对应的脸姿势，作为估计结果输出。另外，也有相应于多个脸的朝向，准备脸整体模板或者脸的特征量的模板，通过与这些模板进行匹配来求出脸姿势的方法。但是，在这些方法中，能否正确地执行脸姿势的估计也取决于脸的特征点位置的精度。因此，如果不能正确地执行脸的特征点位置的取得，就不能正确地进行脸姿势的估计。

作为解决这样问题的技术，有称为ASM(Active Shape Model，主动形状模型)的技术(参照非专利文献1)。在ASM中，预先对学习用的多个脸图像取得特征点的位置，生成并保持人脸形状模型。人脸形状模型由与各人脸特征点对应的节点构成。此外，关于人脸形状模型的具体情况将在具体实施方式部分中进行说明。

接着，对于利用ASM从图像中检测特征点位置的处理进行说明。首先，在作为处理对象的图像的适当初始位置处配置该人脸形状模型。接着，在人脸形状模型的各节点的周围进行特征量的取得。对于各个节点，对所取得的特征量与预先与该节点对应地保持的特征量进行比较。通过该比较，把各节点移动到取得与各节点对应的特征量最接近的特征量的位置(即，判断为是与各节点对应的特征点的可能性最高的位置)。在该时刻，人脸形状模型的各节点的位置偏离初始位置。在此，把变形后的节点集合影射到人脸形状模型上而进行整形。反复执行从各节点周围的特征量取得起的处理，直到满足规定的次数或者一定的条件(收敛条件)。然后，把各节点的最终位置判断为各特征点的位置。

如上所述，在ASM中，在各节点的位置移动之后，进行向人脸形状模型的影射。通过该处理，可以检测出特征点的正确位置，而各节点的位置关系仍然保持像脸的形状。即，在从一般的人脸形状分析无论如何不可能的位置上偶然存在具有与特征点相似的特征量的部分的情况下，也可以防止把这样的点误检测为特征点。

但是，在以往的ASM中，需要在各节点中进行周围的搜索处理(特征量的取得和其比较)。因此，存在需要较多计算时间的缺点。此外，在以往的ASM中，存在鲁棒性低的问题。即，在作为处理对象的图像中脸的朝向与配置在初始位置上的人脸形状模型中假设的脸的朝向存在较大差异的情况下，存在检测特征点时失败的情况较多的问题。

作为用于解决ASM这样的问题的技术，有AAM(Active AppearanceModel，主动表观模型)(参照非专利文献2)。在AAM中，如下这样求解人脸特征点的位置。首先，与ASM的情况同样，对学习用的人脸图像取得特征点的位置，生成人脸形状模型。接着，取得各节点位置的平均值，生成由平均位置的节点集合构成的平均形状模型。接着，在学习用人脸图像中生成由各特征点构成的多个面片(patch)，将各面片影射到平均形状模型上，生成自由形状图像(shape free image)(该处理称为“形状修正处理”)。然后，通过对自由形状图像的集合实施主成分分析，生成人脸亮度值模型(自由形状人脸亮度值模型)。接着，求出将人脸形状模型从正解位置向各方向微小地移位固定的量时的自由形状人脸亮度值向量。对于这些集合进行线性回归计算。由此，可以根据微小移位的人脸亮度值向量估计向人脸形状模型的正解点的移动/变形方向以及移动/变形量。在AAM中，预先执行以上的处理作为学习处理。

接着，对利用AAM从图像中检测出特征点位置的处理进行说明。首先，在作为处理对象的图像的适当初始位置处配置人脸形状模型。接着，根据所配置的人脸形状模型的节点位置生成面片，对各面片中的亮度分布进行采样。然后，通过对所采样的亮度分布进行影射，来生成自由形状人脸亮度值模型。

接着，根据该自由形状人脸亮度值模型，通过预先求出的回归式，估计人脸形状模型的移动/变形量。按照该估计结果对人脸形状模型进行移动/变形。反复执行以上的处理直到满足规定的次数或者一定的条件(收敛条件)。然后，把各节点的最终位置判断为各特征点的位置。

根据AAM，如上所述，可以检测出各特征点的位置，而不用进行各节点周围的搜索处理。因此，与ASM的情况不同，无需花费时间对各节点周围进行搜索处理，可以削减计算时间。此外，通过对形状模型进行变形而进行搜索，因此与ASM的情况同样地，可以检测出特征点的正确位置，而各节点的位置关系仍然保持像人脸的形状。

专利文献1：日本特开平9-251534号公报

专利文献2：日本特开2000-97676号公报

专利文献3：日本特开2003-141551号公报

非专利文献1：A.Lanitis，C.J.Taylor，T.F.Cootes，“AutomaticInterpretation and Coding of Face Images Using Flexible Models”，IEEEPAMI Vol.19，No.7，pp.743-756，July 1997

非专利文献2：T.F.Cootes，G.J.Edwards and C.J.Taylor，“ActiveAppearance Models”，IEEE PAMI Vol.23，No.6，pp.681-685，2001

但是，在AAM中存在以下这样的问题点。

为了维持通过AAM检测各特征点的位置的精度，需要在取得各面片的亮度分布时进行均匀且高密度的采样。因此，该采样和把亮度分布影射到平均形状模型上时的计算量变得庞大，需要较多的计算时间。而且，在AAM中，根据基于正解点周围的微小移位的线性回归，来估计人脸形状模型的移动量和变形量。因此，对于较大的移位不能进行正确的估计，不能得到正确的结果。

这样，在以往的使用ASM或AAM的处理中，在搜索处理和通过均匀且高密度的采样实现的亮度分布形状修正处理等中需要较多的计算量，因此不能高速地进行特征点的检测。但是，如上所述，在人机界面等中，把特征点的检测结果用作输入数据，因此大多数情况下要求具有响应性。因此，事实上对高速地进行特征点检测的需求正在高涨。

发明内容

本发明的目的在于，解决这些问题，提供可以高速地从人脸图像中检测特征点位置的装置和程序等。

以往，如AAM那样，一般通过进行形状修正处理来进行误差估计(估计向人脸形状模型中的各节点的正解点移动的移动方向和移动量)。因此，至今为止没有研究过省去每当进行误差估计时的形状修正处理。但是，研究在以往的AAM中导致计算量增大的原因时，作为原因可以列举出认为必要的形状修正处理。因此，本发明人研究了可以检测人脸特征点而不进行这样的形状修正处理的装置。

此外，以往为了较高地维持误差估计的精度，一般在各节点的周围实施高密度的采样。例如，在以往的AAM中，需要在由各节点构成的面片内进行均匀且高密度的采样(具体而言，通常为1万点以上的采样)。因此，至今为止，没有研究过在进行误差估计时实施低密度的采样。但是，作为在以往的AAM中导致计算量增大的原因之一，也可以列举出这样的均匀且高密度的采样。因此，本发明人对于可以检测人脸特征点而不进行这样的均匀且高密度采样的装置进行了研究。

本发明人对于这些研究的结果考虑如下。首先，在以往的AAM中的误差估计中，在由各节点构成的面片中实施采样。因此，当像面片这样作为面来取得采样结果时，如果不通过形状修正处理对伴随基于误差估计结果的节点移动而产生的形状变形进行修正，就难以维持处理的精度。然而，在对于各节点周围的多个点进行非均匀且低密度的采样的情况下，即使形状变形，点也不会变形，并且采样点密度低，因此难以受到伴随节点移动而引起的形状变形的影响。因此，不特别实施形状修正处理也可维持处理的精度。根据这样的研究结果，本发明人提出了以下这样的人脸特征点检测装置。

本发明的第一方面的人脸特征点检测装置具有配置单元、特征量取得单元、存储单元、误差估计量取得单元以及估计单元。配置单元对于所输入的图像，将与人脸图像中的多个特征点分别对应的多个节点配置在预先确定的初始位置处。各节点分别与作为检测对象的特征点相对应。此外，初始位置优选是假设接近与所输入的图像中的各节点对应的特征点的位置。因此，可以根据这样的基准预先确定初始位置。例如，根据人脸大多被拍摄于画面中央的经验，可以把画面中央设为初始位置。

特征量取得单元在由配置单元所配置的各节点的周围配置多个采样点。并且，特征量取得单元取得多个采样点的特征量作为相应的各节点的节点特征量。作为特征量的具体例子，有像素的亮度值、Sobel滤波器特征量、HarrWavelet特征量、GaborWavelet特征量以及复合了这些特征量的值。此外，采样点的配置可以是非均匀且低密度。

存储单元存储预先执行的学习结果。通过对多个学习用图像进行学习处理来取得该学习结果。具体而言，预先作为学习结果取得关于以下所示的两个值的相关关系的信息。一个值是在多个节点配置在分别对应的特征点的正确位置上的状态下所取得的节点特征量与在多个节点配置在偏离了分别对应的特征点的正确位置的位置上的状态下所取得的节点特征量之差。另一个值是各节点的正确位置与所述偏离位置之差。关于这样的两个值的相关关系的信息，例如通过典型相关分析、线性回归、多元线性回归、多元非线性回归等的分析方法取得。

误差估计量取得单元根据存储在存储单元中的相关关系的信息和特征量取得单元所取得的各节点的节点特征量，取得表示当前的各节点位置和分别与之对应的特征点位置之间的偏差的误差估计量。

估计单元根据误差估计量取得单元所得到的误差估计量和当前的各节点的位置，来估计所输入的图像中的各特征点的位置。即，人脸特征点检测装置在估计单元所估计出的各位置处检测各特征点。

根据本发明的第一方面，第一，无需形状修正处理。换言之，根据本发明的第一方面，不实施形状修正处理。因此，省去了此前花费在形状修正处理上的较多的处理，可实现处理的高速化。

根据本发明的第一方面，第二，无需在各节点周围进行搜索处理，也无需在由各节点构成的面片中进行面的高密度采样。因此，可以削减现有技术的这种采样所需的较多的计算量。

由于人脸特征点的检测处理高速化，从而上述的人机界面可以高速地工作。例如，驾驶员监视系统由于其性质而要求具有响应性，可以解决以往未能实现的该要求。

本发明的第一方面可以还具备判定反复处理的结束的结束判定单元。结束判定单元例如可以构成为对执行反复处理的次数进行计数，在达到预定的次数时判定为结束。在还具有结束判定单元的情况下，在得到误差估计量的情况下，配置单元根据该误差估计量移动当前的各节点的位置。然后，配置单元和误差估计量取得单元反复执行处理，估计单元根据由结束判定单元判定为结束时的误差估计量和该时刻的各节点的位置，来估计所输入的图像中的各特征点的位置。

根据这样构成的本发明的第一方面，根据基于误差估计量移动后的各节点的新的位置，再次求出误差估计量，反复执行该处理。并且，根据由结束判定单元判定为该反复处理结束时的误差估计量和该时刻的各节点位置，来估计各特征点的位置。因此，与基于各节点的初始位置取得一次的误差估计量来估计各特征点的位置的情况相比，其精度得以提高。

本发明的第一方面中的结束判定单元可以构成为在误差估计量取得单元所得到的误差估计量处于阈值以下时，判定为反复处理结束。通过这样构成，可以更加正确地检测各特征点的位置。

本发明的第一方面可以进一步具备从所输入的图像中至少检测出人的脸或人脸的要素(指包含在脸中的器官或部分，例如眼、鼻、口、额头等)的位置的人脸检测单元。在该情况下，配置单元根据检测出的人脸或人脸要素的位置，决定各节点的初始位置。通过这样构成，各节点的初始位置变为适当的位置，即接近分别对应的特征点的位置。因此，可更加正确地检测各特征点的位置。

本发明第一方面的人脸检测单元可以构成为还检测人脸的朝向。在该情况下，配置单元可以构成为具有确定了各节点的相对位置关系的节点模型，在根据节点模型把各节点配置到初始位置上时，根据由人脸检测单元检测出的人脸朝向，对节点模型进行变形来使用。例如，当由人脸检测单元检测出脸的朝向为向左时，配置单元可以对节点模型的各节点进行变形以匹配向左的脸。具体而言，配置单元可以例如减小与位于脸的左侧的特征点对应的节点间向量的水平方向的分量，相反增大与位于脸的右侧的特征点对应的节点间向量的水平方向的分量。配置单元可以构成为，在检测出其它方向的人脸的情况下，也对各个方向进行上述的变形处理。通过这样构成，与不变形地使用预先准备的节点模型的情况相比，可以更加准确地检测各特征点的位置。

本发明第一方面的人脸检测单元可以构成为还检测人脸的大小。在该情况下，配置单元可以构成为具有确定了各节点的相对位置关系的节点模型，在根据节点模型把各节点配置到初始位置上时，根据由人脸检测单元检测出的脸的大小，对节点模型进行变形来使用。例如，配置单元可以构成为根据由人脸检测单元检测出的脸的大小，放大或缩小节点模型来进行使用。通过这样构成，与不变形地使用预先准备的节点模型的情况相比，可以更加准确地检测各特征点的位置。

本发明第一方面的人脸检测单元可以构成为还检测人脸的朝向。在该情况下，配置单元可以构成为根据人脸的朝向具有多个确定了各节点的相对位置关系的节点模型。例如，配置单元可以构成为具有与朝右的脸、朝向正面的脸、朝左的脸、朝上的脸、朝下的脸分别对应的节点模型。此外，存储单元可以构成为存储与利用学习用图像而预先得到的各节点模型对应的相关关系的信息，其中该学习用图像是分别拍摄对应朝向的脸而得到的。此外，配置单元可以构成为在根据节点模型把各节点配置到初始位置上时，根据由人脸检测单元检测出的脸的朝向，选择所使用的节点模型。并且，误差估计量取得单元可以构成为从存储单元中读出与配置单元所选择的节点模型对应的相关关系的信息并使用。

在这样构成的本发明的第一方面中，使用特定于人脸检测单元所检测出的脸朝向的节点模型、以及与该节点模型对应的相关关系的信息，进行人脸特征点检测。因此，与一直使用一个节点模型的情况相比，可以更加准确地检测各特征点的位置。

本发明第一方面的人脸检测单元可以构成为还检测人脸的大小。在该情况下，配置单元可以构成为根据人脸的大小具有多个确定了各节点的相对位置关系的节点模型。此外，存储单元可以构成为存储与利用学习用图像而预先得到的各节点模型对应的相关关系的信息，其中该学习用图像是分别拍摄对应大小的脸而得到的。此外，配置单元可以构成为，在根据节点模型把各节点配置到初始位置上时，根据由人脸检测单元检测出的人脸的大小，选择所使用的节点模型。并且，误差估计量取得单元可以构成为从存储单元中读出与配置单元所选择的节点模型对应的相关关系的信息并使用。

在这样构成的本发明的第一方面中，使用特定于人脸检测单元所检测出的人脸大小的节点模型、以及与该节点模型对应的相关关系的信息，进行人脸特征点检测。因此，与一直使用一个节点模型的情况相比，可以更加准确地检测各特征点的位置。

本发明第一方面中的特征量取得单元可以构成为，按照越接近节点则越密、越远离节点则越稀的方式来配置采样点。此外，本发明第一方面中的特征量取得单元可以构成为按照Retina结构来进行采样点的配置。此外，本发明第一方面的特征量取得单元可以构成为存储多个不同的Retina结构，按照与各节点对应的Retina结构配置采样点。

本发明的第一方面的存储单元可以构成为还预先存储关于以下两者的相关关系的信息：在学习用图像中，把多个节点配置在分别对应的特征点的正确位置处的状态下取得的节点特征量，和表示该图像中的人脸姿势的信息。在该情况下，本发明的第一方面可以构成为还具备姿势估计单元，该姿势估计单元根据估计单元所估计的各节点位置和存储单元中存储的关于人脸姿势的相关关系的信息，来估计在所输入的图像中拍摄的人脸的姿势。

通过这样构成，可以判断输入的图像中所包含的人脸为哪一种姿势。脸的姿势可以是例如由脸朝向方向的x轴分量、y轴分量和z轴分量所表示的状态。此外，脸的姿势可以是表示为向右、向左、朝向正面、向上、向下的状态。

本发明的第二方面是使用在主动形状模型(Active Shape Model)中使用的人脸形状模型，来进行输入图像中的人脸特征点检测的人脸特征点检测装置，具有配置单元、特征量取得单元、存储单元、误差估计量取得单元、变更单元以及估计单元。

配置单元对于所输入的图像，在初始位置处配置所述人脸形状模型。

特征量取得单元根据由配置单元所配置的人脸形状模型的各节点位置，按照Retina结构取得多个特征量，取得基于同一节点位置而取得的多个特征量作为一个节点特征量。

存储单元存储通过典型相关分析而预先取得的变换向量矩阵作为误差估计矩阵，其中，该典型相关分析把以下集合作为输入：在人脸形状模型配置在正确位置处的情况下对于人脸形状模型的各节点得到的节点特征量的集合与在人脸形状模型配置在错误位置处的情况下对于各节点得到的节点特征量的集合之差、以及表示配置在正确位置时和配置在错误位置时的各节点位置之差的向量的集合。

误差估计量取得单元根据存储在存储单元中的误差估计矩阵和特征量取得单元所取得的节点特征量的集合，取得表示人脸形状模型的各节点的当前位置和人脸特征点位置之间的偏差的误差估计量。

变更单元根据由误差估计量取得单元所得到的误差估计量，变更当前的人脸形状模型的各节点位置。

此外，估计单元估计通过变更单元变更了位置之后的各节点位置作为人脸特征点的位置。

根据这样构成的本发明的第二方面也可起到与本发明的第一方面同样的作用和效果。

本发明的第三方面是特征点检测装置，其具有配置单元、特征量取得单元、存储单元、误差估计量取得单元以及估计单元。本发明第三方面的特征点检测装置在作为处理对象的对象物不限于人脸的这一点上，与本发明第一方面和第二方面的人脸特征点检测装置不同。因此，本发明第三方面的配置单元对于所输入的图像，在预先确定的初始位置处配置与预定对象物的图像中的多个特征点分别对应的多个节点。

如上所述，这里所指的对象物不限于第一方面和第二方面中示出的人脸。即，对象物只要是可以设定形状模型的对象物即可。例如，对象物可以是人的整体(全身)、X射线图像或CT(Computerized Tomography，计算机断层成像)图像中的内脏器官。换言之，本技术可以应用于具有较大个人差异的对象物和基本形状不变地进行变形的对象物。此外，作为其它例子，即使是汽车等的工业产品这样不变形的刚体对象物，也可以设定形状模型，因此可以应用本技术。

第一至第三方面可以通过信息处理装置执行程序来实现。即，本发明可以把上述第一至第三方面中的各单元执行的处理具体化为用于使信息处理装置执行的程序或者记录了该程序的记录介质。此外，本发明可以把上述各单元执行的处理具体化为信息处理装置执行的方法。此外，此处所示的信息处理装置可以是个人计算机、数字照相机、数字摄像机、安全防范摄像机、安装了数字照相机的移动电话、数字录像机、进行图像处理的服务器(可以是与网络连接的服务器)、数字照片打印机以及微型监测仪等。

根据本发明，在从人脸图像中检测脸的特征点位置时，无需形状修正处理和高密度的采样。因此，可以更高速地实现特征点的检测处理。

附图说明

图1是表示从人脸图像提取出的特征点的例子的图。

图2是表示Retina结构的例子的图。

图3是表示对于人脸形状模型的某一节点应用了Retina结构时的采样点分布例的图。

图4是表示偏离配置模型的例子的图。

图5是表示学习处理的处理例的流程图。

图6是表示人脸特征点检测装置的功能模块示例的图。

图7是表示人脸特征点检测装置的动作例的流程图。

图8是表示姿势相关学习的流程示例的流程图。

图9是表示人脸特征点检测装置的功能模块示例的图。

标号说明

1：人脸特征点检测装置；2：图像输入部；3：人脸检测部；4：特征量取得部；5、5a：学习结果存储部；6：误差估计部7：人脸姿势估计部

具体实施方式

在以下的说明中，人脸图像是指至少包括人物的脸的一部分或者全部图像的图像。因此，人脸图像可以包括人物整体的图像，也可以仅包括人物的脸或者上半身的图像。此外，人脸图像也可以包括多个人物的图像。而且，人脸图像也可以在其背景中包含人物以外的风景(背景：也包括作为被摄体而被关注的物体)或图案等的任意图像。

本发明人对于ASM通过组合基于可变Retina结构的特征量采样和基于典型相关分析的误差估计矩阵学习，而实现了高速的人脸特征点检测。此外，通过该组合，也可以实现鲁棒性高的人脸特征点检测。以下，对于本发明人提出的技术进行说明。

首先，说明人脸特征点检测所需的学习处理。接着，对于根据该学习处理的结果实施本发明人提出的人脸特征点检测的人脸特征点检测装置1，说明其结构示例和动作示例等。接着，对于人脸特征点检测装置1的结构可采用的变形例进行说明。而且，作为本发明人提出的技术的应用例，对于估计人脸的姿势(人脸姿势)所需的学习处理以及进行人脸姿势估计的人脸特征点检测装置1a进行说明。

[学习处理]

首先，对于使人脸特征点检测装置1工作所需的学习处理进行说明。该学习处理需要预先实施，以便通过人脸特征点检测装置1从人脸图像中检测出人脸特征点(以下简称为“特征点”)的位置。首先，对于说明本学习处理的流程所需的处理、人脸形状模型的取得、Retina采样以及误差估计矩阵的取得进行说明。之后，对于学习处理的具体的流程示例进行说明。

<人脸形状模型的取得>

在学习处理中，首先准备多个学习用人脸图像(以下，在学习处理的说明中称为“人脸图像”)，在各图像中提取特征点。为了提高学习处理的精度，最好由人来实施该处理。图1是表示从人脸图像中提取出的特征点的示例的图。在图1中，含有斜线的圆的中心位置为特征点。具体而言，可以把双眼的两端(内侧眼角和外侧眼角)以及中心部分、左右颧骨部分(眼窝部分)、鼻子的顶点、左右嘴角、嘴的中心、鼻的左右端点和左右嘴角的中间点等作为特征点。此外，可以应用上述的非专利文献1中所述的方法来进行特征点的提取。将各特征点p_i的坐标设为p_i(x_i，y_i)。此时，i表示从1至n(n表示特征点的数量)的值。

接着，如式(1)这样定义关于各人脸图像的特征点配置向量X。关于某一人脸图像j的特征点配置向量记为X_j。其中，X的维数为2n。

(式1)

X＝[x₁，y₁，x₂，y₂，....x_n，y_n]^T

接着，根据适当的基准，对所取得的所有特征点配置向量X进行归一化。此时的归一化的基准可以由设计者适当决定。以下，对于归一化的具体例子进行说明。例如，关于某一人脸图像j的特征点配置向量X_j，当把点p₁～p_n的重心坐标设为p_G时，可以使用由式(2)定义的Lm，对其大小进行归一化。具体而言，可以通过将移动后的坐标值除以Lm，来对大小进行归一化。在此，Lm是在以重心为原点的坐标系中移动了各点p_i时的、重心距各点的直线距离的平均值。

(式2)

$\mathrm{Lm}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\sqrt{{(x_i-x_G)}^2+{(y_i-y_G)}^2}$

此外，对于旋转，例如可以通过对特征点坐标进行旋转变换，以使连结双眼中心的直线变为水平，来进行归一化。以上的处理可以由旋转、放大/缩小的组合来表现，因此归一化后的特征点配置向量x可以如式(3)这样表示(相似变换)。

(式3)

$x=\mathrm{sRX}+t$

$\left(\begin{array}{c}\mathrm{sR}=\left[\begin{array}{cc}s\cos \mathrm{\&theta;}& -s\sin \mathrm{\&theta;}\\ s\sin \mathrm{\&theta;}& s\cos \mathrm{\&theta;}\end{array}\right]\\ t=\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]\end{array}\right)$

接着，对该归一化特征点配置向量的集合进行主成分分析。主成分分析例如可以如下这样进行。首先，按照式(4)所示取得平均向量(通过在x的上部标记水平线来表示平均向量)。此外，在式(4)中，N表示人脸图像的数量，即特征点配置向量的数量。

(式4)

$\stackrel{\&OverBar;}{x}=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_j$

然后，如式(5)所示，通过从所有的归一化特征点配置向量中减去平均向量，取得差分向量x′。关于图像j的差分向量表示为x′_j。

(式5)

x′_j＝x_j-x

作为上述的主成分分析的结果，可以得到2n个固有向量和固有值的组。任意的归一化特征点配置向量可以通过式(6)所示的公式来表示。

(式6)

x＝x+Pb

其中，P表示固有向量矩阵，b表示形状参数向量。各自的值如式(7)所示。其中，e_i表示固有向量。

(式7)

P＝[e₁，e₂，…，e_2n]^T

b＝[b₁，b₂，…，b_2n]

实际上，通过使用固有值大的前k维为止的值，可以将任意的归一化特征点配置向量x如式(8)这样进行近似表示。以下，按照固有值从大到小的顺序，将e_i称为第i主成分。

(式8)

x＝x+P′b′

P′＝[e₁，e₂，…，e_k]^T

b′＝[b₁，b₂，…，b_k]

此外，在将人脸形状模型施加(拟合)到实际的人脸图像上时，对归一化特征点配置向量x进行相似变换(平移、旋转、放大/缩小)。当设相似变换的参数为s_x、s_y、s_θ、s_scale时，与形状参数一同，模型参数k可以如式(9)这样表示。

(式9)

在通过该模型参数k表示的人脸形状模型与某一人脸图像上的特征点位置几乎准确地一致的情况下，把该参数称为该人脸图像中的正解模型参数。根据由设计者设定的阈值或基准来判断是否准确地一致。

<Retina采样>

接着，对特征量的采样进行说明。通过对人脸形状模型组合可变Retina结构来进行特征量的采样。Retina结构是指在某一要关注的特征点(节点)周围呈放射状配置采样点的结构。图2是表示Retina结构的示例的图。在图2中，要关注的特征点的坐标为原点，位于其它坐标上的各点表示Retina结构中的采样点。通过实施基于Retina结构的采样，可以低维且高效地对特征点周围的信息进行采样。在本学习处理中，在人脸形状模型的各节点(各点p)处实施基于Retina结构的采样。图3是表示对于人脸形状模型的某一个节点应用了Retina结构时的采样点的分布示例的图。在图3中，包含斜线的圆表示人脸形状模型的节点，黑圆点表示Retina结构中的采样点。

当把第i个采样点的坐标设为q_i(x_i，y_i)时，Retina结构可以如式(10)这样表示。

(式10)

$r={[q_1^T,q_2^T,\&CenterDot;\&CenterDot;\&CenterDot;,q_m^T]}^T$

因此，例如对于某一点p(x_p，y_p)，通过进行基于Retina结构的采样而得到的Retina特征量f_p可以如式(11)这样表示。此外，基于Retina结构的采样是指，按照Retina结构配置采样点，在所配置的采样点处实施采样。

(式11)

f_p＝[f(p+q₁)，…，f(p+q_m)]^T

其中，f(p)表示点p(采样点p)处的特征量。此外，在Retina结构中的各采样点处，作为该采样点的特征量，取得图像的亮度值、Sobel滤波器特征量、HarrWavelet特征量、GaborWavelet特征量或复合了这些特征量的值。在特征量为多维的情况下，Retina特征量可以如式(12)这样表示。

(式12)

$f_p={[f_1(p+q_1^{\left(1\right)}),\&CenterDot;\&CenterDot;\&CenterDot;,f_D(p+q_1^{\left(D\right)}),\&CenterDot;\&CenterDot;\&CenterDot;,f_1(p+q_m^{\left(1\right)})\&CenterDot;\&CenterDot;\&CenterDot;,f_D(p+q_m^{\left(D\right)})]}^T$

其中，D是特征量的维数，f_d(p)表示点p处的第d维的特征量。此外，q_i ^(d)表示与第d维相对的Retina结构的、第i个采样坐标。

Retina结构可以与人脸形状模型的缩放相应地改变其大小。例如，可以与参数s_scale成正比地改变Retina结构的大小。此时，Retina结构r可以如式(13)这样表示。其中，α是适当的固定值。此外，Retina结构可以与人脸形状模型中的其它参数相应地进行旋转和形状变化。此外，Retina结构可以设定为因人脸形状模型的各节点而形状(结构)各异。

(式13)

$r=\mathrm{\&alpha;}{s}_{\mathrm{scale}}{[q_1^T,q_2^T,\&CenterDot;\&CenterDot;\&CenterDot;,q_m^T]}^T$

在由某一模型参数确定的人脸形状模型中，把各节点的Retina特征量排列为一列而成的向量称为该人脸形状模型中的采样特征量f。采样特征量f可以如式14这样表示。在式14中，n表示人脸形状模型中的节点的数量。

(式14)

$f={[f_{p1}^T,f_{p2}^T,\&CenterDot;\&CenterDot;\&CenterDot;,f_{\mathrm{pn}}^T]}^T$

此外，在采样时，在各节点处进行归一化。例如，可以进行缩放变换以使特征量收敛于0至1的范围内，由此进行归一化。此外，可以通过进行变换以得到一定的均值或方差来进行归一化。此外，根据特征量不同，有时不进行归一化也可。

<误差估计矩阵的取得>

接着，对本学习处理中执行的误差估计矩阵的取得进行说明。误差估计矩阵的取得通过使用典型相关分析(Canonical Correlation Analysis)来实施。典型相关分析是求两个维数不同的变量之间的相关关系的方法中的一种。通过典型相关分析可得到表示当人脸形状模型的各节点配置在错误位置(与应检测的特征点不同的位置)上时应向哪个方向进行修正的相关关系的学习结果。

首先，通过在人脸形状模型的取得部分中说明的处理取得正解模型参数，通过利用随机数等将正解模型参数散开在一定范围内，生成偏离配置模型。图4是表示偏离配置模型的示例的图。在图4中，包含斜线的圆表示节点位置。图4(a)是表示基于某一人脸图像的正解模型参数的各节点位置的图。图4(b)是通过对图4(a)中所示的正解模型(由正解模型参数表示的人脸形状模型)进行移位而生成的偏离配置模型的例子。然后，把根据偏离配置模型而取得的采样特征量以及偏离配置模型与正解模型之差作为组，取得关于相关关系的学习结果。以下，说明具体的处理。

首先，如式15所示那样定义两组变量向量x和y。x表示针对偏离配置模型的采样特征量。y表示正解模型参数(k_opt)与偏离配置模型参数(表示偏离配置模型的参数：k_dif)之差。

(式15)

x＝[x₁，x₂....x_p]^T

y＝[y₁，y₂....y_q]^T＝k_opt-k_dif

两组变量向量预先对于每个维归一化为均值为0、方差为1。在后述的人脸特征点检测处理中需要用于归一化的参数(各维的均值、方差)。以下，分别设为x_ave、x_var、y_ave、y_var，称为归一化参数。

接着，在如式16那样定义了对于两个变量的线性变换的情况下，求解使得u、v之间的相关度为最大的a、b。

(式16)

u＝a₁x₁+…+a_px_p＝a^Tx

v＝b₁y₁+…+b_qy_q＝b^Ty

上述a和b是在考虑x、y的同时分布，如式17这样定义了其方差协方差矩阵∑的情况下，作为式18所示的对于求解一般固有值问题时的最大固有值的固有向量而得到。

(式17)

$\mathrm{\&Sigma;}=\left[\begin{array}{cc}{\mathrm{\&Sigma;}}_{\mathrm{XX}}& {\mathrm{\&Sigma;}}_{\mathrm{XY}}\\ {\mathrm{\&Sigma;}}_{\mathrm{YX}}& {\mathrm{\&Sigma;}}_{\mathrm{YY}}\end{array}\right]$

(式18)

$({\mathrm{\&Sigma;}}_{\mathrm{XX}}{\mathrm{\&Sigma;}}_{\mathrm{YY}}^{-1}{\mathrm{\&Sigma;}}_{\mathrm{YX}}-{\mathrm{\&lambda;}}^2{\mathrm{\&Sigma;}}_{\mathrm{XX}})A=0$

$({\mathrm{\&Sigma;}}_{\mathrm{YX}}{\mathrm{\&Sigma;}}_{\mathrm{XX}}^{-1}{\mathrm{\&Sigma;}}_{\mathrm{XY}}-{\mathrm{\&lambda;}}^2{\mathrm{\&Sigma;}}_{\mathrm{YY}})B=0$

这些之中，先求解维数低的固有值问题。例如，在求解第1个式子得到的最大固有值为λ₁，所对应的固有向量为a₁的情况下，向量b₁可以利用式19来得到。

(式19)

$b_1=\frac{1}{{\mathrm{\&lambda;}}_1}{\mathrm{\&Sigma;}}_{\mathrm{YY}}^{-1}{\mathrm{\&Sigma;}}_{\mathrm{YX}}{a}_1$

这样求得的λ₁称为第一典型相关系数。此外，由式20表示的u₁、v₁称为第一典型变量。

(式20)

$u_1=a_1^{T}x$

$v_1=b_1^{T}y$

以下，如与第二大的固有值对应的第二典型变量、与第三大的固有值对应的第三典型变量这样，根据固有值的大小依次求解。此外，在后述的人脸特征点检测处理中使用的向量为固有值具有一定以上的值(阈值)的第M典型变量为止的向量。此时的阈值可以由设计者适当决定。以下，把第M典型变量为止的变换向量矩阵设为A′、B′，称为误差估计矩阵。A′、B′可以如式21那样表示。

(式21)

A′＝[a₁，…，a_M]

B′＝[b₁，…，b_M ]

B′一般不为正方矩阵。但是，在人脸特征点检测处理中需要逆矩阵，因此对B′假想地追加0向量，成为正方矩阵B″。正方矩阵B″可以如式22这样表示。

(式22)

B″＝[b₁，…，b_M，0，…，0]

此外，也可以利用线性回归、多元线性回归、多元非线性回归等的分析方法来求解误差估计矩阵。但是，通过使用典型相关分析，可以忽略与较小的固有值对应的变量的影响。因此，可以排除不对误差估计带来影响的要素的影响，可以实现更加稳定的误差估计。因此，如果不需要相关的效果，则可以不使用典型相关分析而使用上述的其它的分析方法来进行误差估计矩阵的取得。

<学习处理的流程>

以上，对于本学习处理所需的三个处理，即人脸形状模型的取得、Retina采样以及误差估计矩阵的取得进行了说明。接着，对使用这些处理进行学习处理时的流程进行说明。图5是表示学习处理的流程示例的流程图。以下，使用图5对于学习处理的流程的示例进行说明。此外，以下说明的处理通过安装了学习处理程序的信息处理装置来执行。该信息处理装置构成为可以从所连接的存储装置中读出学习用人脸图像和从各人脸图像中预先提取的各特征点的坐标位置(特征点的正解坐标)。该信息处理装置不限于上述的从存储装置读出，也可构成为经由网络或者通过访问记录介质等来读出上述数据。

首先，定义变量i，代入1(S01)。接着，在预先取得了特征点的位置的学习用人脸图像之中，读入第i个人脸图像(Img_i)(S02)。在此，因为把1代入了i，因此读入第1个人脸图像(Img_1)。接着，读出人脸图像Img_i的特征点正解坐标的集合，取得正解模型参数k_opt，生成人脸形状模型(S03)。接着，根据正解模型参数k_opt取得偏离配置模型参数k_dif，生成偏离配置模型(S04)。接着，根据偏离配置模型，执行使用了Retina结构的采样，取得采样特征量x(S05)。此外，根据正解模型参数k_opt和偏离配置模型参数k_dif，取得y(S06)。在此，判断是否对于全部的学习用人脸图像完成了处理(S07)。例如，可以通过比较i值和表示学习用人脸图像的数量的n来进行判断。在存在未处理的人脸图像的情况下(S07-“否”)，增加i值(S08)，根据新的i值执行S02起的处理。另一方面，当判断为对于全部的人脸图像已完成处理的情况下(S07-“是”)，对关于各人脸图像得到的x和y的集合执行典型相关分析(S09)。然后，删除与比预先确定的阈值小的固定值对应的不需要的相关矩阵(S10)，最终取得误差估计矩阵(S11)。

[人脸特征点检测装置]

接着，对于人脸特征点检测装置1进行说明。人脸特征点检测装置1根据通过上述的学习处理而得到的误差估计矩阵和归一化参数等，从所输入的人脸图像中检测特征点。首先，对于人脸特征点检测装置1的装置结构进行说明。

<装置结构>

例如，人脸特征点检测装置1在硬件上可以构成为具有经由总线而连接的CPU(中央运算处理装置)、主存储装置(RAM)和辅助存储装置等。在该情况下，通过CPU执行程序来实现人脸特征点检测装置1。此处言及的辅助存储装置使用非易失性存储装置来构成。非易失性存储装置是指所谓的ROM(Read-Only Memory，只读存储器：包括EPROM(Erasable Programmable Read-Only Memory、可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、Mask ROM等)、FRAM(Ferroelectric RAM，铁电随机存取存储器)和硬盘等。

图6是表示人脸特征点检测装置1的功能模块示例的图。人脸特征点检测装置1通过把存储在辅助存储装置中的各种程序(OS、应用程序等)加载到主存储装置中并通过CPU来执行，从而起到包括图像输入部2、人脸检测部3、特征量取得部4、学习结果存储部5以及误差估计部6等在内的装置的作用。此外，人脸特征点检测装置1的全部或者一部分可以构成为专用的芯片。接着，对于人脸特征点检测装置1包括的各功能部进行说明。

图像输入部2起到用于向人脸特征点检测装置1输入人脸图像数据的接口的作用。通过图像输入部2向人脸特征点检测装置1输入人脸图像数据。可以使用用于向人脸特征点检测装置1输入人脸图像数据的任何现有技术来构成图像输入部2。

例如，可以经由网络(例如，局域网或因特网)向人脸特征点检测装置1输入人脸图像数据。在该情况下，图像输入部2使用网络接口来构成。此外，也可以从数字照相机、扫描仪、个人计算机、记录装置(例如，硬盘驱动器)等向人脸特征点检测装置1输入人脸图像数据。在该情况下，图像输入部2按照将数字照相机、个人计算机、记录装置等与人脸特征点检测装置1可数据通信地进行连接的标准(例如USB(Universal Serial Bus，通用串行总线)、SCSI(Small Computer SystemInterface，小型计算机系统接口)等的有线连接或bluetooth(蓝牙)(注册商标)等的无线连接的标准)而构成。此外，也可以向人脸特征点检测装置1输入记录在记录介质(例如各种闪存、软盘(Floppy Disk，注册商标)、CD(Compact Disk，光盘)或DVD(Digital Versatile Disc，Digital Video Disc：数字通用光盘，数字视频光盘))中的人脸图像数据。在该情况下，使用从记录介质读出数据的装置(例如闪存读取器、软盘(注册商标)驱动器、CD驱动器或DVD驱动器)来构成图像输入部2。

此外，人脸特征点检测装置1可以包含在数字照相机等的摄像装置或具有数字照相机等摄像装置的各种装置(例如PDA(Personal DigitalAssistant，个人数字助理)或移动电话机)的内部，所拍摄的图像可以作为人脸图像数据输入到人脸特征点检测装置1。在该情况下，图像输入部2可以使用CCD(Charge-Coupled Devices，电荷耦合器件)或CMOS(Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体)传感器等来构成，也可以构成为用于向人脸检测装置4a输入由CCD或CMOS传感器等拍摄的人脸图像数据的接口。此外，人脸特征点检测装置1可以包含在打印机或显示器等的图像输出装置的内部，可以把作为输出数据输入给这些图像输出装置的图像作为人脸图像数据输入到人脸特征点检测装置1中。在该情况下，采用将输入到这些图像输出装置中的人脸图像数据转换为在人脸特征点检测装置1中可处理的数据的装置等来构成图像输入部2。

此外，图像输入部2可以构成为可应对上述多个情况。

人脸检测部3从经由图像输入部2输入的人脸图像中检测人的脸。人脸检测部3可以构成为例如通过使用了与人脸的整体轮廓相对应的标准模板的模板匹配来检测人脸。此外，人脸检测部3可以构成为通过基于人脸的构成要素(眼、鼻、耳等)的模板匹配来检测脸。此外，人脸检测部3可以构成为通过色度键(chroma key)处理检测头部等的顶点，根据该顶点来检测出脸。此外，人脸检测部3可以构成为检测接近皮肤颜色的区域，检测出该区域作为人脸。此外，人脸检测部3可以构成为通过神经网络(neural network)进行基于训练信号的学习，检测出像脸的区域作为人脸。此外，人脸检测部3的人脸检测处理也可以通过应用现有的其它任何技术来实现。

人脸检测部3确定所检测出的脸的位置，把该位置传递给特征量取得部4。此时，人脸检测部3可以构成为取得脸的朝向或脸的大小，再把该值传递给特征量取得部4。

特征量取得部4从人脸检测部3检测出的人脸图像中取得采样特征量。以下，对于特征量取得部4的具体处理进行说明。

在对人脸检测部3检测出的人脸初次取得采样特征量的情况下，特征量取得部4首先在检测出的人脸的初始位置处配置由初始参数k_init定义的人脸形状模型。该初始位置可以是例如检测出的人脸的中心与人脸形状模型的中心一致的位置。此外，在例如通过人脸检测部3取得了脸矩形(包围检测出的脸的矩形)的情况下，初始位置可以是从该脸矩形的某一顶点(例如左上角)到预定的位置配置了人脸形状模型的预定节点的位置。如果对检测出的人脸恰当地配置了人脸形状模型，则初始位置可以由设计者任意定义。

此外，初始参数k_init是指在由式9表示的模型参数k中利用初始值表示的模型参数。可以对初始参数k_init设定适当的值。但是，通过对初始参数k_init设定从一般的人脸图像中得到的平均值，可以应对各种人脸的朝向和表情变化等。因此，例如，对于相似变换的参数s_x、s_y、s₀、s_scale，可以使用在学习处理时使用的人脸图像的正解模型参数的平均值。此外，例如对于形状参数b也可以设为0。此外，在利用人脸检测部3得到了人脸的朝向信息的情况下，可以使用该信息来设定初始参数。此外，可以把设计者根据经验得到的其它值设为初始参数。

接着，特征量取得部4对于由所设定的初始参数表示的人脸形状模型，实施基于Retina结构的采样，取得采样特征量f。然后，特征量取得部4向误差估计部6传递所得到的采样特征量f。

另一方面，在第二次以后对由人脸检测部3检测出的脸取得采样特征量时，特征量取得部4对于由误差估计部6得到的新的模型参数k(即，正解模型参数的估计值k_i+1)表示的人脸形状模型，取得采样特征量f。然后，在该情况下，特征量取得部4也向误差估计部6传递所得到的采样特征量f。

学习结果存储部5使用非易失性存储装置来构成，存储通过上述学习处理而得到的学习结果。具体而言，学习结果存储部5存储误差估计矩阵、归一化参数等。此外，根据需要，学习结果存储部5还可以存储初始参数k_init或构成初始参数k_init的值的一部分(例如，在学习处理时使用的人脸图像的正解模型参数中的相似变换参数的平均值等)。

误差估计部6根据特征量取得部4所取得的采样特征量f以及存储在学习结果存储部5中的误差估计矩阵和归一化参数等，来估计误差量并取得新的模型参数k。以下，对于误差估计部6的具体的处理例进行说明。

首先，误差估计部6使用归一化参数(x_ave，x_var)，对通过特征量取得部4所取得的采样特征量f进行归一化，取得用于进行典型相关分析的向量x。然后，误差估计部6根据式23所示的公式计算第一至第M典型变量，从而取得变量u。

(式23)

u＝[u₁，…，u_M]^T＝A′^Tx

接着，误差估计部6使用式24所示的公式取得归一化误差估计量y_err。此外，在式24中，u′是为了与B″成为相同维数而对u追加0后的向量。

(式24)

$y_{\mathrm{err}}=B^{{\&prime;\&prime;T}^{-1}}{u}^{\&prime;}$

接着，误差估计部6对归一化误差估计量y_err使用归一化参数(y_ave，y_var)进行复原处理，取得误差估计量k_err。K_err是从当前的模型参数k_i到正解模型参数k_opt的误差估计量。因此，正解模型参数的估计值k_i+1可以通过对当前的模型参数k_i加上误差估计量k_err来取得。其中，k_err有可能包含误差。因此，为了进行更加稳定的检测，可以利用式25所示的公式取得正解模型参数的估计值k_i+1。在式25中，σ是适当的固定值，可以由设计者适当决定。此外，σ可以例如随i的变化而变化。

(式25)

$k_{i+1}=k_i+\frac{k_{\mathrm{err}}}{\mathrm{\&sigma;}}$

接着，误差估计部6进行结束判定。例如，当i的值超过阈值时，误差估计部6可以判定为结束处理。此外，例如式26所示的Δk的值在阈值以下时，误差估计部6可以判定为结束处理。此外，误差估计部6可以根据所取得的k_i+1的值是否在正常范围内来进行结束判定。例如，在所取得的k_i+1的值明显不是表示人脸图像中的正解位置的情况下，误差估计部6可以决定通过输出错误来结束。此外，在由所取得的k_i+1表示的节点的一部分超出处理对象图像的情况下，误差估计部6也可以决定通过输出错误来结束。

(式26)

Δk＝k_i+1-k_i

在判定为继续进行处理的情况下，误差估计部6向特征量取得部4传递所取得的正解模型参数的估计值k_i+1。另一方面，在判定为结束处理的情况下，误差估计部6把在该时刻得到的正解模型参数的估计值ki(或者可以为k_i+1)作为最终估计参数k_est输出。

<动作例>

图7是表示人脸特征点检测装置1的动作例的流程图。以下，使用图7对人脸特征点检测装置1的动作例进行说明。首先，人脸特征点检测装置1经由图像输入部2读入作为处理对象的图像(S12)。接着，人脸检测部3从作为处理对象的图像中检测人脸。接着，特征量取得部4在按照人脸检测部3的人脸检测处理结果得到的初始位置处配置基于初始参数k_init的人脸形状模型(S13)。接着，特征量取得部4定义变量i并将1代入。并且，特征量取得部4定义k_i并将初始参数k_init代入(S14)。然后，特征量取得部4按照k_i基于Retina结构，取得采样特征量f(S15)。

接着，误差估计部6通过使用所取得的采样特征量f或存储在学习结果存储部5中的误差估计式等，取得正解模型参数的估计值k_i+1(S16)。接着，误差估计部6通过对Δk进行平方取绝对值来取得E(S17)。然后，误差估计部6进行结束判定。

在结束判定中，误差估计部6首先判断所取得的k_i+1的值是否在正常范围内(S18)。当k_i+1的值不在正常范围内时(S18-“否”)，误差估计部6对未图示的输出装置等输出错误(S19)，结束人脸特征点检测装置1的处理。另一方面，当k_i+1的值在正常范围内时(S18-“是”)，判断在S17的处理中取得的E值是否超过阈值(ε)(S20)。当E未超出阈值时(S20-“是”)，误差估计部6认为处理收敛，输出k_est(S21)，结束人脸特征点检测装置1的处理。

另一方面，当E超出阈值时(S20-“否”)，误差估计部6向特征量取得部4传递k_i+1的值。然后，特征量取得部4根据该k_i+1的值生成新的人脸形状模型(S22)。之后，误差估计部6增加i的值(S23)。特征量取得部4根据新的人脸形状模型来进行采样特征量f的取得等。即，在该情况下，根据新的人脸形状模型重复S15起的处理。

<作用/效果>

在以往的ASM中，需要在人脸形状模型的各节点周围反复进行搜索处理。此外，在以往的AAM中，需要在由各节点构成的面片内进行均匀且高密度的采样，进而对其结果进行形状修正处理。具体而言，在以往的AAM中，通常需要1万点以上的采样。即，尽管对于人脸特征点的检测处理要求处理速度和响应性，但在以往的这些技术中，未能充分实现计算量的削减。

另一方面，在人脸特征点检测装置1中，第一，不需要形状修正处理。而且，在人脸特征点检测装置1中，通过基于Retina结构的非均匀且低密度的采样，进行特征点的检测处理。具体而言，通常可以通过几百点左右的采样进行检测处理。这样，根据人脸特征点检测装置1，与以往相比可以大幅削减特征点的检测所需的计算量。

<变形例>

学习结果存储部5可以预先存储多个表示人脸的状态的初始参数k_init。例如，学习结果存储部5可以存储与朝向侧面的脸或者朝向上方的脸等相对应的初始参数k_init的值。并且，特征量取得部4可以随所取得的k_i+1的值而改变所使用的人脸形状模型。具体地说，特征量取得部4可以构成为根据误差估计部6新取得的k_i+1的值，而抛弃该k_i+1的值，从学习结果存储部5中读出与所采用的初始参数k_init不同的另一初始参数k_init，根据其值再次执行S13起的处理。此外，特征量取得部4例如在反复执行人脸特征点的检测处理时，可以根据某一时刻得到的k_est的值，改变对接下来输入的人脸图像实施检测处理时要使用的初始参数。在作为处理对象的图像中包含的脸朝向侧方的情况时等，使用表示朝向侧面的脸的人脸形状模型的初始参数k_init进行处理，与使用表示朝向正面的脸的人脸形状模型的初始参数k_init进行处理相比，有时可以得到更加高精度的结果。因此，在这样的情况下，按照上述的变形例来构成是有效的。此外，特征量取得部4可以构成为不切换初始参数k_init，而切换Retina结构或误差估计矩阵等。

此外，误差估计部6可以不进行结束判定，而输出在该时刻得到的k_i+1的值作为k_est。

此外，人脸特征点检测装置1可以构成为不具备人脸检测部3。在该情况下，特征量取得部4可以构成为例如通过把画面中央设为初始位置来进行处理。此外，人脸检测部3可以设在人脸特征点检测装置1的外部，将人脸图像连同检测出的人脸的位置信息输入到人脸特征点检测装置1中。

此外，人脸检测部3可以构成为不检测人脸而检测人的眼、口或其它特征点。在该情况下，特征量取得部4可以构成为根据这些特征点的位置决定初始位置。

此外，特征量取得部4可以根据Retina结构以外的结构进行采样点的配置。

[用于人脸姿势估计的学习处理]

接着，对用于人脸姿势估计的学习处理进行说明。人脸姿势估计是指与特征点位置检测一起估计包含在处理对象图像中的人脸的人脸姿势的处理。人脸姿势是指脸朝向的方向及其角度等。

<姿势相关学习>

在上述的“学习处理”部分中，对于检测人脸特征点所需的误差估计矩阵的取得处理进行了说明。在本部分中，对于不以检测人脸特征点为目的、而以估计人脸图像中的人物的人脸姿势为目的的姿势估计处理所使用的学习处理(姿势相关学习)进行说明。

正解模型参数k_opt和人脸图像的正解人脸姿势参数g_opt之间存在相关关系。并且，也可以利用典型相关分析，如下这样求出该关系。此外，正解人脸姿势参数g_opt如式27这样定义。在该情况下，人脸姿势参数由脸的x、y、z轴各自的旋转角来表现。人脸姿势参数也可以用其它的值来表示。

(式27)

g_opt＝[θ_x，θ_y，θ_z]^T

首先，对于多个学习用人脸图像，把两组变量向量定义为x＝k_opt ^T，y＝g_opt。g_opt表示正解人脸姿势的人脸姿势参数。预先于各维中将两组变量向量归一化为均值0、方差1。之后，与在“学习处理”部分中说明同样地，通过进行典型相关分析，得到第L典型变量为止的变换向量对。式28是表示通过该处理得到的变换向量对的公式。L是正整数，是可以由设计者决定的数值。此外，此时记录归一化参数。

(式28)

(a₁ ^pose，b₁ ^pose)、…、(a_L ^pose，b_L ^pose)

之后，取得第L典型变量为止的变换向量矩阵，设为A′_pose、B′_pose。以下，把这样得到的两个变换向量矩阵称为姿势估计矩阵。式29表示这样得到的A′_pose、和使B′_pose变为正方矩阵而得到的B″_pose。

(式29)

此外，无需使用模型参数k中包含的全部值。例如，与缩放相对应的s_scale与人脸姿势无关，因此预先省略该值，可以简化计算。

此外，也可以利用线性回归、多元线性回归、多元非线性回归等的分析方法来求解姿势估计矩阵。

<姿势相关学习的流程>

接着，使用流程图对用于取得姿势估计矩阵的处理示例进行说明。图8是表示用于取得姿势估计矩阵的处理示例，即姿势相关学习的处理例的流程图。此外，以下说明的处理通过安装了姿势相关学习处理程序的信息处理装置来执行。该信息处理装置构成为可以从所连接的存储装置中读出学习用人脸图像和在各人脸图像中预先提取的各特征点的坐标位置(特征点的正解坐标)。该信息处理装置不限于上述的从存储装置读出，也可构成为经由网络或者通过访问记录介质等来读出上述数据。

首先，定义变量i，代入1(S24)。接着，在预先取得了特征点位置的学习用人脸图像之中，读入第i个人脸图像(Img_i)(S25)。在此，因为把1代入了i，因此读入第1个人脸图像(Img_1)。接着，读出人脸图像Img_i的特征点正解坐标的集合，取得正解模型参数k_opt，生成人脸形状模型(S26)。接着，取得正解人脸姿势参数g_opt(S27)，判断是否对于全部的学习用人脸图像完成了S25至S27的处理(S28)。例如，可以通过比较i值和表示学习用人脸图像的数量的n来进行判断。在存在未处理的人脸图像的情况下(S28-“否”)，增加i值(S29)，根据新的i值执行S25起的处理。另一方面，当判断为对于全部的人脸图像已完成处理的情况下(S28-“是”)，对关于各人脸图像得到的k_opt和g_opt的集合执行典型相关分析(S30)。然后，删除与比预先确定的阈值小的固定值对应的不需要的相关矩阵(S31)，最终取得姿势估计矩阵(S32)。

[实施人脸姿势估计的人脸特征点检测装置]

图9是表示人脸特征点检测装置1a的功能模块示例的图。人脸特征点检测装置1a在还进行人脸姿势估计的这一点上与人脸特征点检测装置1不同。为了导出这样的作用，人脸特征点检测装置1a还具有人脸姿势估计部7。此外，人脸特征点检测装置1a具有学习结果存储部5a，而取代学习结果存储部5。人脸特征点检测装置1a具有的其它功能部与人脸特征点检测装置1具有的各功能部相同，因此省略说明。

学习结果存储部5a与学习结果存储部5的不同之处在于，还存储通过姿势相关学习得到的学习结果。通过姿势相关学习而得到的学习结果是指，例如姿势估计矩阵和在该学习处理中使用的归一化参数。除去以上这一点，学习结果存储部5a可以与学习结果存储部5同样地构成。

人脸姿势估计部7从误差估计部6取得k_est，进行人脸姿势的估计。首先，人脸姿势估计部7使用在姿势相关学习中得到的归一化参数，对k_est进行归一化，取得用于典型相关分析的向量x_pose。然后，人脸姿势估计部7使用由式30表示的算式，计算至第L典型变量为止。

(式30)

u_pose＝A′_pose ^Tx_pose

接着，人脸姿势估计部7使用式31表示的算式，计算归一化姿势估计量y_pose。其中，在式31中，u′_pose是为了与b″_pose成为相同维数而对u_pose追加零后的向量。

(式31)

$y_{\mathrm{pose}}={B_{\mathrm{pose}}^{\&prime;\&prime;}}^{T^{-1}}{u}_{\mathrm{pose}}^{\&prime;}$

然后，人脸姿势估计部7对归一化姿势估计量y_pose进行归一化复原处理，取得姿势估计量g_est。在归一化复原处理中，人脸姿势估计部7使用在姿势相关学习中取得的归一化参数。

<作用/效果>

根据这样构成的人脸特征点检测装置1a，可以基于由误差估计部6所取得的k_est，检测出输入图像中的人脸的姿势。例如，应用于需要检测驾驶员的脸姿势的瞌睡检测装置等中是有效的。

<变形例>

人脸姿势估计部7可以构成为不使用最终从误差估计部6得到的k_est，而是使用在各i的值时得到的k_i的值，对于每个i值来取得姿势估计量g_i。并且，人脸姿势估计部7可以构成为最终使用k_est的值来取得姿势估计量g_est。

此外，与人脸特征点检测装置1的变形例同样地，学习结果存储部5a可以预先存储多个表示人脸的状态的初始参数k_init。例如，学习结果存储部5a可以存储与朝向侧面的脸或者朝向上方的脸等相对应的初始参数k_init的值。并且，特征量取得部4可以随所取得的k_i+1的值而改变所使用的人脸形状模型。具体地说，特征量取得部4可以构成为根据误差估计部6新取得的k_i+1的值和人脸姿势估计部7新取得的姿势估计量g_i不同，而抛弃该k_i+1的值，从学习结果存储部5a中读出与所使用的初始参数k_init不同的另一初始参数k_init，根据其值再次执行S13起的处理。此外，特征量取得部4例如在反复执行人脸特征点的检测处理时，可以根据某一时刻得到的k_est的值或g_est的值，改变对接下来输入的人脸图像实施检测处理时要使用的初始参数。在作为处理对象的图像中包含的脸朝向侧方的情况时等，使用表示朝向侧面的脸的人脸形状模型的初始参数k_init进行处理，与使用表示朝向正面的脸的人脸形状模型的初始参数k_init进行处理相比，有时可以得到更加高精度的结果。因此，在这样的情况下，按照上述的变形例来构成是有效的。此外，特征量取得部4可以构成为不切换初始参数k_init，或者除初始参数k_init之外，还切换Retina结构或误差估计矩阵等。

Claims (17)

1.一种人脸特征点检测装置，其特征在于，该人脸特征点检测装置具有：

配置单元，其对于所输入的图像，将与人脸图像中的多个特征点分别对应的多个节点配置在预先确定的初始位置上；

特征量取得单元，其在由所述配置单元配置的各节点的周围配置多个采样点，取得所述多个采样点处的特征量，作为对应的各节点的节点特征量；

存储单元，其预先存储关于在学习用图像中以下两个值之间的相关关系的信息：一个值是多个节点配置在偏离了分别对应的特征点正确位置的位置上的状态下取得的所述节点特征量，另一个值是各节点的所述正确位置和所述偏离位置之差；

误差估计量取得单元，其根据存储在所述存储单元中的所述相关关系的信息和由所述特征量取得单元所取得的各节点的节点特征量，取得表示当前的各节点位置与分别对应的特征点位置之间的偏差的误差估计量；以及

估计单元，其根据由所述误差估计量取得单元所得到的所述误差估计量和当前的各节点位置，来估计所输入的图像中的各特征点的位置。

2.根据权利要求1所述的人脸特征点检测装置，其特征在于，

该人脸特征点检测装置还具有判定反复处理的结束的结束判定单元；

在得到了所述误差估计量的情况下，所述配置单元根据该误差估计量，移动当前各节点的位置；

所述配置单元和所述误差估计量取得单元反复执行处理；

所述估计单元根据由所述结束判定单元判定为结束时的误差估计量和该时刻的各节点的位置，来估计所输入的图像中的各特征点的位置。

3.根据权利要求2所述的人脸特征点检测装置，其特征在于，当所述误差估计量取得单元所得到的误差估计量变为阈值以下时，所述结束判定单元判定为反复处理的结束。

4.根据权利要求1至3中任一项所述的人脸特征点检测装置，其特征在于，

所述人脸特征点检测装置还具有人脸检测单元，该人脸检测单元从所述输入的图像中至少检测出人脸或人脸要素的位置；

所述配置单元根据所述检测出的人脸或人脸要素的位置，来决定所述各节点的初始位置。

5.根据权利要求4所述的人脸特征点检测装置，其特征在于，

所述人脸检测单元还检测人脸的朝向；

所述配置单元具有确定了各节点的相对位置关系的节点模型，当根据所述节点模型将各节点配置在所述初始位置处时，所述配置单元根据由所述人脸检测单元检测出的脸的朝向，对所述节点模型进行变形来使用。

6.根据权利要求4所述的人脸特征点检测装置，其特征在于，

所述人脸检测单元还检测人脸的大小；

所述配置单元具有确定了各节点的相对位置关系的节点模型，当根据所述节点模型将各节点配置在所述初始位置处时，所述配置单元根据由所述人脸检测单元检测出的脸的大小，对所述节点模型进行变形来使用。

7.根据权利要求4所述的人脸特征点检测装置，其特征在于，

所述人脸检测单元还检测人脸的朝向；

所述配置单元与脸的朝向相应地具有多个确定了各节点的相对位置关系的节点模型；

所述存储单元存储与使用拍摄分别对应的朝向的脸所得的所述学习用图像而预先得到的各节点模型相对应的所述相关关系的信息；

当根据所述节点模型将各节点配置在所述初始位置处时，所述配置单元根据由所述人脸检测单元检测出的脸的朝向，选择要使用的节点模型；

所述误差估计量取得单元从所述存储单元中读出并使用与所述配置单元选择的节点模型相对应的所述相关关系的信息。

8.根据权利要求4所述的人脸特征点检测装置，其特征在于，

所述人脸检测单元还检测人脸的大小；

所述配置单元与脸的大小相应地具有多个确定了各节点的相对位置关系的节点模型；

所述存储单元存储与使用拍摄分别对应的大小的脸所得的所述学习用图像而预先得到的各节点模型相对应的所述相关关系的信息；

当根据所述节点模型将各节点配置在所述初始位置处时，所述配置单元根据由所述人脸检测单元检测出的脸的大小，选择要使用的节点模型；

所述误差估计量取得单元从所述存储单元中读出并使用与所述配置单元选择的节点模型相对应的所述相关关系的信息。

9.根据权利要求1所述的人脸特征点检测装置，其特征在于，所述特征量取得单元将采样点配置为离节点越近则越密、离节点越远则越疏。

10.根据权利要求9所述的人脸特征点检测装置，其特征在于，所述特征量取得单元按照Retina结构来进行采样点的配置。

11.根据权利要求10所述的人脸特征点检测装置，其特征在于，所述特征量取得单元存储多个不同的Retina结构，按照与各节点相应的Retina结构来配置所述采样点。

12.根据权利要求1所述的人脸特征点检测装置，其特征在于，

所述存储单元还预先存储关于在学习用图像中、多个节点配置在分别对应的特征点正确位置上的状态下所取得的所述节点特征量与表示该图像中的人脸姿势的信息之间的相关关系的信息；

所述人脸特征点检测装置还具有姿势估计单元，该姿势估计单元根据所述估计单元估计出的各节点的位置和所述存储单元中存储的关于人脸姿势的相关关系的信息，估计在所述输入图像中所拍摄的人脸的姿势。

13.一种人脸特征点检测装置，其使用在主动形状模型中使用的人脸形状模型，进行输入图像中的人脸特征点检测，该人脸特征点检测装置具有：

配置单元，其对于所输入的图像，将所述人脸形状模型配置在初始位置上；

特征量取得单元，其根据由所述配置单元配置的人脸形状模型的各节点位置，按照Retina结构取得多个特征量，把基于同一节点位置所取得的多个特征量作为一个节点特征量来取得；

存储单元，其存储通过典型相关分析而预先取得的变换向量矩阵作为误差估计矩阵，该典型相关分析以如下项目作为输入：所述人脸形状模型配置在错误位置上时对于各节点得到的节点特征量的集合、以及表示所述人脸形状模型配置在正确位置上时与配置在错误位置上时各节点的位置之差的向量的集合；

误差估计量取得单元，其根据存储在所述存储单元中的误差估计矩阵和由所述特征量取得单元所取得的节点特征量的集合，来取得表示人脸形状模型的各节点的当前位置与脸的特征点位置之间的偏差的误差估计量；

变更单元，其根据由所述误差估计量取得单元所得到的所述误差估计量，来变更当前的人脸形状模型的各节点位置；以及

估计单元，其将所述变更单元变更了位置后的各节点位置估计为人脸特征点的位置。

14.一种特征点检测装置，该特征点检测装置具有：

配置单元，其对于所输入的图像，将与预定的对象物图像中的多个特征点分别对应的多个节点配置在预先确定的初始位置上；

特征量取得单元，其在由所述配置单元配置的各节点的周围配置多个采样点，取得所述多个采样点处的特征量，作为对应的各节点的节点特征量；

存储单元，其预先存储关于在学习用图像中以下两个值之间的相关关系的信息：一个值是多个节点配置在偏离了分别对应的特征点正确位置的位置上的状态下取得的所述节点特征量，另一个值是各节点的所述正确位置与所述偏离位置之差；

误差估计量取得单元，其根据存储在所述存储单元中的所述相关关系的信息和由所述特征量取得单元所取得的各节点的节点特征量，取得表示当前的各节点位置与分别对应的特征点位置之间的偏差的误差估计量；以及

估计单元，其根据由所述误差估计量取得单元所得到的所述误差估计量和当前的各节点位置，来估计所输入的图像中的各特征点的位置。

15.一种人脸特征点检测方法，其特征在于，该人脸特征点检测方法包括以下步骤：

对于所输入的图像，将与人脸图像中的多个特征点分别对应的多个节点配置在预先确定的初始位置上的步骤；

在所配置的各节点的周围配置多个采样点的步骤；

取得所述多个采样点处的特征量，作为对应的各节点的节点特征量的步骤；

根据存储在存储单元中的相关关系的信息和所取得的各节点的节点特征量，取得表示当前的各节点位置与分别对应的特征点位置之间的偏差的误差估计量的步骤，其中，存储单元预先存储了关于在学习用图像中以下两个值之间的所述相关关系的信息：一个值是多个节点配置在偏离了分别对应的特征点正确位置的位置上的状态下取得的所述节点特征量，另一个值是各节点的所述正确位置和所述偏离位置之差；以及

根据所述误差估计量和当前的各节点位置，来估计所输入的图像中的各特征点的位置的步骤。

16.一种特征点检测方法，其特征在于，该特征点检测方法包括以下步骤：

对于所输入的图像，将与预定对象物图像中的多个特征点分别对应的多个节点配置在预先确定的初始位置上的步骤；

在所配置的各节点的周围配置多个采样点的步骤；

取得所述多个采样点处的特征量，作为对应的各节点的节点特征量的步骤；

根据存储在存储单元中的相关关系的信息和所取得的各节点的节点特征量，取得表示当前的各节点位置与分别对应的特征点位置之间的偏差的误差估计量的步骤，其中，存储单元预先存储了关于在学习用图像中以下两个值之间的所述相关关系的信息：一个值是多个节点配置在偏离了分别对应的特征点正确位置的位置上的状态下取得的所述节点特征量，另一个值是各节点的所述正确位置和所述偏离位置之差；以及

根据所述误差估计量和当前的各节点位置，来估计所输入的图像中的各特征点的位置的步骤。

17.一种人脸特征点检测方法，由使用在主动形状模型中使用的人脸形状模型，进行输入图像中的人脸特征点检测，该方法包括以下步骤：

对于所输入的图像，将所述人脸形状模型配置在初始位置上的步骤；

根据所配置的人脸形状模型的各节点位置，按照Retina结构取得多个特征量，把基于同一节点位置所取得的多个特征量作为一个节点特征量来取得的步骤；

根据存储在存储单元中的误差估计矩阵和所取得的节点特征量的集合，取得表示人脸形状模型的各节点的当前位置与脸的特征点位置之间的偏差的误差估计量的步骤，其中，存储单元存储通过典型相关分析而预先取得的变换向量矩阵作为误差估计矩阵，该典型相关分析以如下项目作为输入：所述人脸形状模型配置在错误位置上时对于各节点得到的节点特征量的集合、以及表示所述人脸形状模型配置在正确位置上时和配置在错误位置上时各节点的位置之差的向量的集合；

根据所得到的所述误差估计量，来变更当前的人脸形状模型的各节点位置的步骤；以及

将变更了位置后的各节点位置估计为人脸特征点的位置的步骤。

Images