CN101198964A - 使用红外图案照射创建对象的三维图像 - Google Patents

Abstract

按照全局方面，对图像进行处理包括将红外图案投影到3D对象上，并且在图案被投影到3D对象上时，产生3D对象的第一图像、第二图像和第三图像。第一图像和第二图像包括3D对象和图案。通过在第一相机和第二相机分别对通过红外滤光器滤光的光线进行捕捉产生第一图像和第二图像。第三图像包括3D对象，但不包括图案。对图像进行处理还包括建立第一图像的一部分像素与第二图像的一部分像素之间的第一对对应关系。对图像进行处理还包括根据第一对对应关系和第三图像，构成表示3D对象的三维结构的2D图像。

Description

使用红外图案照射创建对象的三维图像

相关申请的交叉引用

本申请要求来自于2005年1月7日提交的、序列号为No.60/641752的、标题为“CREATING 3D IMAGES OF OBJECTS BY ILLUMINATING WITH INFRAREDPATTERNS”的美国临时申请。这里出于所有目的，包括这个临时申请的全部内容。

技术领域

本公开涉及图像处理。

背景技术

市场中存在有出于各种目的、用于三维数字化的工业产品。例子包括医疗应用、娱乐产业应用(例如，三维游戏、电影和动画)、时尚设计(例如，三维服装设计、服饰试穿以及塑料手术(plastic surgery))、考古修复和/或保管、司法应用(例如，犯罪现场调查)以及在线物品展示(例如，在线博物馆和在线商店)。

通常，有两种三维数字化技术：有源感测和无源感测。属于第一种的技术、即有源感测的通常向被测量/被观察的场景发射某种能量(例如，光和/或声等)，并且接收反射能或观察反射图案，使用光学或声学方面的物理定律获得从传感器到场景中的对象的距离。有源感测通常需要对照明部件进行复杂并且精密的光学设计，并且，通常需要对环境光照进行控制，从而帮助进行三维捕捉。通常，这一种类中的传感器被局限于对静态场景/对象进行感测，这是由于正常情况下，实际上需要移动扫描系统中的某些部件(例如，需要移动这一种类中的、用于发射激光的部件，以便对对象的不同线进行扫描)，因而导致这些传感器通常需要一定的时间来完成扫描进程。有源三维感测技术包括激光扫描、莫尔条纹等高线(moire fringe contouring)、飞行时间以及结构化照明。

相反，第二种类的无源感测技术通常不向场景发射能量。这些技术通过将场景中的某些可用信号，如亮度和/或颜色，与传感器配置信息一起进行分析，捕捉这些信号，这些技术获得用于场景的三维信息。立体视觉(两台或多台照相机)是无源三维感测的典型例子。

无源感测通常不需要复杂的光学设计。例如，立体视觉系统通常对场景/对象进行拍照，并且使用简单的装置再现三维信息。某些系统还将多台相机集成在一个系统中，以便既捕捉来自场景/对象的三维信息，又捕捉来自场景/对象的彩色纹理信息。具有速度相当快的计算机CPU的系统还可以处理动态场景。为了保证立体感特征充分，从而使两个视图匹配，基于立体视觉的系统通常需要将某些附加特征引入到场景/对象上。投影机(例如，幻灯机或LCD)经常被用于将这样的图案投射到表面上。在这样的系统中，为了捕捉(1)场景/对象的、具有叠加特征的图像以及(2)场景/对象的、没有叠加特征的彩色纹理图像，对图案进行打开和关断。通常，这需要某种将图案打开和关闭的机构。此外，在感兴趣的对象是人类的情况下，照到人脸上的图案会使人眼感到不适。

已知的立体技术建立了两个立体视图之间的对应关系。一般情况下，有两种主要方法用于对对应关系进行计算或进行匹配。第一种方法为基于特征的方法，这种方法通常为图像中的这样一些位置生成匹配，这些位置具有丰富的关于场景的信息，诸如拐角、边缘和线段。第二种方法为基于区域的匹配技术，这种方法在本地图像区域中，根据像素类似性使两个视图匹配。基于特征的方法(第一种方法)使用了表面纹理特征信息，并且为数量有限的像素生成匹配。基于区域的方法(第二种方法)通常在计算方面更昂贵，但是一般能够生成密度大的匹配。对于三维数字化，通常，对三维表面进行采样的分辨率越高，对表面的捕捉越好。基于特征的立体匹配方法通常不为此目的提供足够的匹配点。基于区域的立体匹配方法一般可以生成表面上的、数量足够的三维样本，但是，这种方法会进行长时间计算，尤其是进行高分辨率捕捉时。

发明内容

公开的至少一个实施例提供了基于立体视觉无源感测技术的三维数字转换器系统。由于这种数字转换器系统不包括部件的物理移动，因此能够实时地捕捉场景。数字转换器系统还使用了红外滤光器，用于将图案投影到场景上，这使得系统能够同时捕捉测量图像和纹理图像。这些特性使得系统不仅适合于静止对象，而且适合于动态场景的三维重构。本系统简单而且直接的原理不要求复杂的机械或电气设计，或者特定安装。本系统工作于一般的办公环境中，不要求对周围的光照进行控制，因此便于调整和使用。本系统还可以将参考条纹用作立体视图中的图案，并且可以使用描述的匹配传播技术，以帮助有效而准确地找到视图之间的对应关系。本系统还可以使用Kalman滤波器和非均匀有理B样条(Non-Uniform Rational B-Spline)表面拟合进行滤波和平滑，以试图有效地对来自传感器和数字计算的噪声进行处理。

根据一般方面，对图像进行处理包括将红外图案投影到三维对象上。对图像进行处理还包括当图案被投影到三维对象上时，产生该三维对象的第一图像、第二图像和第三图像。所述第一图像包括该三维对象和图案，并且是包括多个像素的二维数字图像。通过在第一相机处捕捉经过红外滤光器滤光的光线产生该第一图像。所述第二图像包括该三维对象和图案，并且是包括多个像素的二维数字图像。通过在第二相机处捕捉经过红外滤光器滤光的光线产生所述第二图像。将所述第一和第二相机布置为具有已知物理关系的第一立体对。所述第三图像包括该三维对象，但不包括所述图案，并且第三图像是包括多个像素的二维数字图像。对图像进行处理还包括在第一图像的一部分像素与第二图像的一部分像素之间建立第一对对应关系。对图像进行处理还包括根据第一对对应关系和第三图像，构成表示该三维对象的三维结构的二维图像。

上述一般方面的实施例包括以下一个或多个特性。例如，投影红外图案可以包括投影非随机红外图案。图案可以包括垂直条纹。光线可以是非红外光。可以通过在第三相机处捕捉未经滤光的光线产生第三图像。第三相机可以是纹理相机。

建立第一对对应关系可以包括确定第一图像中的初始像素与第二图像中的对应像素之间的对应关系。建立第一对对应关系还可以包括根据第一图像中的初始像素与其第二图像中的对应像素之间的对应关系，确定第一图像中的附加像素与第二图像中的对应像素之间的对应关系。

建立第一对对应关系可以包括确定位于第一图像中的第一特定水平线上的第一初始像素与对应于该第一初始像素的第一对应像素之间的对应关系。第一对应像素可以位于第二图像中的第一特定水平线上。建立第一对对应关系还可以包括确定位于第一图像中的第一特定水平线上的附加像素与对应于该附加像素的对应像素之间的对应关系。对应像素可以位于第二图像中的第一特定水平线上。建立第一对对应关系还可以包括确定位于第一图像中的第二特定水平线上的第二初始像素与对应于该第二初始像素的第二对应像素之间的对应关系。第二对应像素可以位于第二图像中的第二特定水平线上。建立第一对对应关系还可以包括确定位于第一图像中的第二特定水平线上的附加像素与对应于该附加像素的对应像素之间的对应关系。对应像素可以位于第二图像中的第二特定水平线上。

建立第一对对应关系可以包括确定在第一图像中的每条水平线中的初始像素与在第二图像中的每条水平线中的对应像素之间的对应关系。根据在第一图像中的每条水平线中的初始像素与其在第二图像中的每条水平线中的对应像素之间的对应关系，可以确定第一图像中的附加像素与第二图像中的对应像素之间的对应关系。第一初始像素可以是根据第一特定水平线中的图案像素计算的形心图案像素。

可以基于为位于第二特定水平线中的至少一个其他像素确定的对应关系，为位于第一图像中的第二特定水平线上的至少一个附加像素确定对应关系。

可以基于为位于第一特定水平线中的至少一个像素确定的对应关系，为位于第一图像中的第二特定水平线上的至少一个附加像素确定对应关系。位于第一特定水平线中的至少一个像素可以与位于第二特定水平线中至少一个像素处在公共条纹边缘中。

构成表示三维结构的二维图像可以包括基于第一对对应关系形成第一组三维点，和基于该第一组三维点产生第一三维表面模型。

在图案被投影到三维对象上时，可以产生三维对象的第四图像。该第四图像可以是包括多个像素的二维数字图像，并且可以是通过在第四相机处捕捉经过红外滤光器滤光的光线所产生的。

当图案被投影到三维对象上时，可以产生该三维对象的第五图像。所述第五图像可以是包括多个像素的二维数字图像，并且可以是通过在第五相机处捕捉经过红外滤光器滤光的光线所产生的。可以将第四和第五相机布置为具有已知物理关系的第二立体对。可以在第四图像的一部分像素与第五图像的一部分像素之间建立第二对对应关系。还可以基于该第二对对应关系，构成表示三维对象的三维结构的二维图像。

构成表示该三维对象的三维图像的二维图像可以包括基于所述第一对对应关系产生第一三维表面模型，基于所述第二对对应关系产生第二三维表面模型，和注册所述第一和第二三维表面模型。注册所述第一和第二三维表面模型可以包括确定第一和第二三维表面模型中的一公共表面。该公共表面可以被用于产生用于注册矩阵的初始估算。用于注册矩阵的初始估算可以被用于确定第一和第二三维表面模型之间的最近点。

产生第一三维表面模型可以包括基于第一对对应关系形成第一组三维点，和基于第一组三维点产生第一三维表面模型。产生第二三维表面模型可以包括基于第二对对应关系形成第二组三维点，和基于第二组三维点产生第二三维表面模型。

在注册之后，可以将第一和第二三维表面模型合并，从而产生经过合成的三维表面模型。可以将纹理提供给经过合成的三维表面模型。

根据另一个一般方面，用于处理图像的系统包括：第一立体相机对，包括耦合到第二相机的第一相机；以及，第二立体相机对，包括耦合到第四相机的第三相机。该系统还包括：一组共四个红外滤光器，四个红外滤光器中的单独的一个被可操作地耦合到四个相机中的每一个；以及，投影仪。该系统还包括计算机可读介质，被耦合到四个相机中的每一个以及投影仪。计算机可读介质还包括用于将红外图案从投影仪投影到三维对象上的指令。计算机可读介质还包括当图案被投影到三维对象上时，产生该三维对象的第一图像、第二图像和第三图像的指令。第一图像包括所述三维对象和图案，并且是包括多个像素的二维数字图像。通过在第一相机处捕捉经过红外滤光器滤光的光线产生所述第一图像。第二图像包括所述三维对象和图案，并且是包括多个像素的二维数字图像。通过在第二相机处捕捉经过红外滤光器滤光的光线产生所述第二图像。将第一和第二相机布置为具有已知物理关系的第一立体对。第三图像包括所述三维对象，但不包括所述图案，并且第三图像是包括多个像素的二维数字图像。通过在纹理相机处捕捉光线产生第三图像。计算机可读介质还包括用于在所述第一图像的一部分像素和所述第二图像的一部分像素之间建立第一对对应关系的指令。计算机可读介质还包括基于第一对对应关系和第三图像构成表示所述三维对象的三维结构的二维图像的指令。

上述一般方面的实施例可以包括一个或多个以下特性。例如，投影仪可以包括能够产生可见光谱和红外光谱中的光线的光源。投影仪可以包括第五个红外滤光器。计算机可读介质可以包括一个或多个处理装置和存储装置。

按照另一个一般方面，计算机可读介质包括用于访问被捕捉的该三维对象的第一图像、第二图像和第三图像的指令。当图案被投影到三维对象上时，捕捉第一图像，并且第一图像包括该三维对象和所述图案。所述第一图像是包括多个像素的二维数字图像。通过在第一相机处捕捉经过红外滤光器滤光的光线产生第一图像。当图案被投影到三维对象上时，捕捉第二图像，并且该二图像包括所述对象和图案。所述第二图像是包括多个像素的二维数字图像，并且通过在第二相机处捕捉经过红外滤光器滤光的光线产生所述第二图像。当图案被投影到三维对象上时，捕捉第三图像，并且该第三图像包括所述三维对象，但不包括所述图案。该第三图像是包括多个像素的二维数字图像。计算机可读介质还包括用于在所述第一图像的一部分像素与所述第二图像的一部分像素之间建立第一对对应关系的指令。当捕捉到第一和第二图像时，基于已经被布置为具有已知物理关系的第一立体对的第一和第二相机建立所述第一对对应关系。计算机可读介质还包括用于基于第一对对应关系和第三图像构成表示三维对象的三维结构的二维图像的指令。

可以使用例如方法、设备、用于执行方法的设备、程序或其他指令组、包括程序或其他指令组的设备或者计算机可读介质中的一个或多个实现各个方面、实施例和特性。所述计算机可读介质例如可以包括指令、软件、图像和其他数据。

在附图和以下描述中，对一个或多个实施例的细节进行阐述。根据描述和附图并且根据权利要求，将明白其他特性。

附图说明

图1示出了三维数字化系统。

图2示出了使用图1的三维数字化系统的处理。

图3A示出了包括在第一立体对中捕捉的图案的第一图像和第二图像。

图3B示出了包括在第二立体对中捕捉的图案的第三图像和第四图像。

图4示出了强加在图3A-3B的图像中的一个图像上的第一条纹化图案。

图5示出了强加在图3A-3B的图像中的一个图像上的第二条纹化图案。

图6示出了包括一组垂直条纹和水平线的栅格。

图7A-7B示出了用于在包括特定条纹的图案中对初始匹配像素进行定位的处理。

图7C示出了包括表示被定位在图6的水平线中的一条上的像素的亮度值的曲线的亮度分布图。

图8示出了用于在不包括参考条纹的图案中对初始匹配像素进行定位的处理。

图9示出了不是条纹像素的形心像素。

图10分别示出了包括形心条纹像素和与形心条纹像素对应的像素的第一栅格和第二栅格。

图11示出了用于对两个图像中的差别进行传播的处理。

图12示出了用于对水平方向的差别进行传播的处理。

图13示出了用于对垂直方向的差别进行传播的处理。

图14示出了用于生成具有纹理的单个三维表面模型的处理。

图15示出了用于计算初始变换矩阵的处理。

图16A-16B示出了注册之前的第一三维表面模型和第二三维表面模型。

图17A-17B示出了图16A-16B的注册之后的第一和第二三维表面模型。

图18示出了没有纹理的单个三维表面模型和有纹理的单个三维表面模型。

图19示出了用于对对象的三维图像进行重构的处理。

具体实施方式

参照图1，示出了三维数字化系统100的实施例，该系统包括五个相机102、104、106、108和110。这些相机被排列成两个立体对101a和101b，以及一个纹理相机106，其中，立体对101a包括相机102和104，立体对101b包括相机108和110。系统100还包括图案投影仪112、五个红外滤光器114(立体相机102、104、108和100中的每个相机上有一个红外滤光器114，图案投影仪112上有一个红外滤光器114)以及具有图案的幻灯片116。如例子所示，示出了具有垂直线图案的幻灯片116。相机102、104、106、108和110通过导线120连接到计算机处理器118。

三维数字化系统100能够捕捉动态或静态场景的三维信息。系统100用红外光照射对象，并且使用红外滤光器114。系统100使用投影仪112、滤光器114和幻灯片116，用希望的红外图案照射对象。投影仪112可以包括能够产生可见光谱和红外光谱中的光线的普通光源。对普通光线进行滤光，从而仅投射占优势的红外光。在另一个实施例中，投影仪可以包括没有滤光器114的红外光源。立体相机102、104、108和110中的每一个都配备有红外滤光器114中的一个，系统100使用立体相机102、104、108和110捕捉重叠的图案。此外，系统100还能够同时使用纹理相机106捕捉对象的彩色纹理。由于相机106不包括滤光器114中的一个，因此，相机106将接收全部进入光，包括可见光和红外光。但是，可见光一般比红外光强得多，因此，相机106不能在捕捉的图像上可见地示出红外图案。系统100将这些信息通过导线120发送到计算机处理器118。计算机处理器118可以使用以下描述的处理200，处理200使用该信息创建具有纹理的单个三维表面。红外发光和红外滤光器的使用提供了一种不对被拍摄的对象进行可见照明的实施例。如果对象是单个人的脸部，则由于这种图案不使人注意力分散，因此不用可见光进行照明是有利的。此外，使用红外发光和红外滤光器允许同时拍摄所有图像(取决于例如火线卡或USB接口的速度)，这是因为不需要对这种图案进行打开和关闭。此外，由于不需要将图案打开和关闭，因此，除了控制相机以捕捉图像外，不需要对硬件进行附加控制就可以拍摄图像。

参照图2，处理200可以使用系统100例如执行对象的三维重构。处理200包括获得图像(202)。在使用系统100的一个实施例中，作为获得图像(202)的一部分，在图案被投影到三维对象上的同时，产生第一立体图像、第二立体图像和纹理图像。第一立体图像由立体对101a产生，并且包括三维对象的第一图像和第二图像。通过在相机102捕捉经过红外滤光器114滤光的光线，产生第一图像。通过在相机104捕捉经过红外滤光器114滤光的光线，产生第二图像。第一图像包括具有图案的三维对象，并且可以是包括多个像素的二维数字图像。类似地，第二图像包括具有图案的三维对象，并且是包括多个像素的二维数字图像。第二立体图像由立体对101b产生，并且包括该三维对象的第三图像和第四图像。通过在相机108处捕捉经过红外滤光器114滤光的光线产生第三图像，并且，第三图像是包括多个像素的二维数字图像。类似地，通过在相机110处捕捉经过红外滤光器114滤光的光线产生第四图像，并且该第四图像是包括多个像素的二维数字图像。

在上述的实施例中，通过在纹理相机106处捕捉未经滤光的光线产生所述三维对象的纹理图像。在不显示所述红外图案的情况下，纹理图像包括所述三维对象，并且是包括多个像素的二维数字图像。

处理200包括可选择地(如由包围操作201的虚线表示的)对相机102、104、106、108和110中的一个、多个或全部进行校准(201)。作为校准(201)的一部分，可以确定和修改一个或多个、通常是多个相机参数，如外部和内部参数。外部参数包括相机相对于参考坐标系统的平移和旋转。内部参数包括相机的焦距、图像中心以及透镜失真参数。这个实施例中的校准在系统设置期间进行，并且，内部和外部参数都被存储，并且以后被用在三维重构处理中。如果相机102、104、106、108和110中的一个相对于其他相机移动，则系统100需要被重新校准。尽管不是必须要求人为输入，但是，校准一般包括人为输入。处理200中的其他操作，尤其是后续操作通常在没有人为输入的情况下自动工作。

处理200包括产生第一三维表面模型(也称为第一网格)(204)。产生第一三维表面模型(204)可以使用相机的一个或多个参数和第一立体图像。相机参数可以被用于按照本领域公知的技术对第一立体图像进行校正。作为一个实施例中的校正的一部分，外部和内部参数被用于计算与在立体对101a中捕捉的每个图像相关的3×3的校正矩阵。校正矩阵对立体对101a的两个图像进行变换，使得每个图像中的对应像素具有相同的水平位置。第一立体图像被用于建立第一图像的像素与第二图像的像素之间的第一对对应关系，第一对对应关系用于建立第一组三维点，接下来，该第一组三维点被用来产生第一三维表面模型(204)。

类似地，处理200包括产生第二三维表面模型(也称为第二网格)(206)。产生第二三维表面模型可以使用一个或多个相机参数以及第二立体图像。相机参数可以被用于按照本领域公知的技术对第二立体图像进行校正。如以上在一个实施例中所述，外部和内部参数被用于计算与在立体对101b中捕捉的每个图像相关的3×3的校正矩阵。校正矩阵对在立体对101b中捕捉的两个图像进行变换，使得每个图像中的对应像素具有相同的水平位置。第二立体图像被用于建立第三图像的像素与第四图像的像素之间的第二对对应关系，第二对对应关系用于产生第二组三维点，接下来，该第二组三维点被用来产生第二三维表面模型(206)。

作为产生第一和第二三维表面模型的一部分(204和206)，可以使用立体匹配法(stereo matching method)。一个特定的立体匹配法包括将由一组条纹组成的预定图案投影到三维对象上。所述预定图案提供了用于在第一图像的条纹像素与第二图像的条纹像素之间建立第一对对应关系的足够信息。类似地，预定图案提供了用于在第三图像的条纹像素与第四图像的条纹像素之间建立第二对对应关系的足够信息。由于条纹被用于计算对象的三维表面，因此，所述对象的被重新构成的三维图像的分辨率取决于条纹的分辨率。因此，如果被用作投影图案的一部分的条纹越多，则表面上被采样的三维点就越多，被捕捉的表面细节就越多。可以按照要被数字化的对象的复杂度来选择适当的图案。例如，细节较少的表面(例如，足球)比细节较多的表面(例如，人脸)需要更少的条纹。

在一个实施例中，立体匹配包括差别传播途径(disparity propagationapproach)。差别传播途径包括对在立体对101a和101b中的每一个中的两个图像中的、也称为种子的初始匹配像素进行定位。为了对初始匹配像素进行定位，参考条纹可以被用于提供锚定位置(anchoring position)。在两个图像中的每个图像中出现的参考条纹可以被当作第一匹配对条纹。在图3A-3B所示的一个这样的实施例中，参考条纹308比其他条纹306宽。在另一个实施例中，参考条纹308与其他条纹306宽度相同。

在定位初始匹配像素之后，如下面就图11-13更详细描述的，差别传播途径沿着一个或多个方向传播所述初始匹配像素。作为传播初始匹配像素的一部分，考虑到了出现一个或多个深度不连续的可能性。第一图像302、第二图像304、第三图像312和第四图像314当中的每个图像都包括在对象(例如图3A的脸部)的下巴/脖子表面之间的深度不连续310。深度不连续出现在具有不同深度的两个(或多个)物理表面的结合点。由于深度不连续使得差别传播途径中用于使两个图像匹配的条纹变形，因此，在对两个图像中的初始匹配像素进行传播的过程中，深度不连续导致困难。例如，如下面针对图4进一步讨论的，在对象(例如图3A的脸部)的下巴/脖子区域、脖子/衣服区域和/或鼻子区域中，深度不连续会使同一条物理条纹显示为若干断开的段。此外，如下面针对图5进一步讨论的，深度不连续会使两条条纹相互结合，并且形成一条条纹。

图4示出了在不显示图像的情况下投影到图像302、304、312和314中的一个图像上的条纹化图案400的例子。如图所示，深度不连续使包括条纹402、404和406在内的条纹化图案400变形。例如，在与被投影了图案的对象(例如，图3A的脸部)的下巴/脖子对应的区域412处条纹402断开。类似地，在与被投影了图案的对象(例如，图3A的脸部)的鼻子对应的区域414中，条纹404断开。条纹406包括与区域420相邻的端点416。区域420与被投影了图案的对象(例如，图3A的脸部)的颚部与肩部之间的空间对应。在一个实施例中，差别传播途径考虑了上述的深度不连续。例如，如下面针对图7A-7C更详细描述的，由于差别传播途径已经将条纹端点416做了标记，使得条纹端点416停止传播，因此差别传播途径不将初始匹配条纹传播过条纹端点416。

如上所述，深度不连续还会导致两个条纹段相互连接。图5示出了在立体相机102、104、108和110中的一个相机中捕捉到的条纹化图案500的例子。与图4相同，条纹化图案500已经被投影到图像上，并且，将该图像去除，以单独显示图案500。条纹化图案500包括条纹502和504。条纹502包括条纹端点508。由于深度不连续导致条纹502在条纹端点508处断开，并且，条纹502的下段移动到条纹504的下段506。如果简单地将初始匹配的像素沿着条纹504传播，则很可能引入误匹配。这是由于，作为下面结合图11-13详细描述的差别传播的一部分，小窗口(small window)(例如，±3个像素)被用于寻找与初始匹配像素相关的最佳差别。该差别表示多个初始匹配的像素的列位置之间的差异。当初始匹配像素的列位置之间的差异最小时，产生最佳差别。但是，当深度不连续导致两个条纹线段相互连接时，最佳差别会落在搜索窗之外。因此，如果使初始匹配像素沿着具有深度不连续的条纹(例如，沿着段506)传播，则产生不正确的匹配。如以下结合图13更详细描述的，差别传播途径的一个实施例包括若干种用于解决这个问题的技术。

如上所述，差别传播途径的实施例包括定位初始匹配像素。根据所使用图案的类型，有若干种定位初始匹配像素的方法。在一个实施例中，特定参考条纹被用于定位初始匹配像素。在图3A-3B所示的这个实施例中，被投影的图案包括比其他条纹306宽的参考条纹308，从而在图像中，参考条纹308是唯一的。因此，通过在两个图像中定位参考条纹308，实现定位所述初始匹配像素。

图6示出了包括水平线614、条纹602、604、606、608和610的栅格600，其中，水平线614也称为光栅线。条纹602、604、606、608和610为加在对象(例如图3A的脸部)上的条纹图案。条纹602，也称为参考条纹，与条纹604、606、608和610不同。参考条纹602被定位在投影图案的中心，且宽度为w’。参考条纹602的宽度w’近似为条纹604、606、608和610的宽度w的两倍。在一个实施例中，距离d等于宽度w。在另一个实施例中，距离d可以大于或小于宽度w。

由于深度不连续，条纹602、604、606、608和610会在不同的位置处断开。例如，参考条纹602在可能与对象(例如图3A的脸部)的下巴/脖子区域对应的区域611处断开。参考条纹602还可能在对象(例如图3A的脸部)的脖子/衣服区域处断开。此外，深度不连续还可能会导致参考条纹602的段连接到另一条投影条纹的段，并且在图像中形成一条条纹。这样，深度不连续会使得难以在图像302、304、312和314中恢复完整的参考条纹。但是，观察表明，在沿着参考条纹602的任何地方都保持有“较宽的”性质。因此，在定位参考条纹602的段的过程中可以使用这个特性。

阴影和阻塞通常会在图像中引起宽条纹，它看起来会类似参考条纹。阴影和阻塞干扰对参考条纹602的定位。差别传播途径将从在选择参考条纹602过程中所考虑的条纹中排除由阴影和阻塞造成的宽条纹。为此，在一个实施例中，差别传播途径按照赢家通吃方案(winner-takes-all schemen)，对多数条纹的宽度进行估算。在本领域中，赢家通吃方案是公知的。赢家通吃方案使用投票策略(voting strategy)确定宽度w。在投票策略的基础上，每个边缘像素(例如，位于条纹的右边缘和左边缘的条纹像素)对其条纹的宽度进行投票。在一个实施例中，右边缘条纹像素查看它们最靠近的左边缘条纹像素，从而对它们的本地条纹的宽度进行投票。例如，右边缘条纹像素616查看最靠近的左边缘条纹像素618，对条纹604的宽度投一票。条纹604中的附加边缘条纹像素和所有光栅线614上的其他条纹也投一票。赢家通吃方案将所有条纹中票最多的宽度选择为多数条纹的宽度w。在选择参考条纹602的过程中，差别传播途径将宽度比宽度w大两倍的条纹从被考虑的条纹中排除，这是因为这些条纹像由阴影和阻塞引起的。

在被立体对101a和101b中的每一个捕捉的图像中，正在被拍照的对象(例如图3A的脸部)的特征会引起附加条纹。例如，当对象是人脸时，眉毛和面部的头发会使小条纹出现在投影的条纹图案当中。小条纹可以被称为噪声数据，并且，当使用平均值法时，噪声数据影响对宽度w的估算。平均值法使用所有光栅线614上的所有条纹的宽度的平均值来计算宽度w。因此，在平均值法中，噪声数据的宽度被用在计算宽度w的过程中。但是，赢家通吃方案通过在所有条纹中选择具有最多数票的宽度W力图避免这种噪声数据。即使噪声数据的宽度有一些票，但通常不会具有如多数条纹的宽度w的那么多票。结果是，差别传播途径通常也减小了噪声数据的影响。

在确定了宽度w之后，参考条纹602上的参考条纹像素被定位。图7A-7B示出了用于定位所述参考条纹像素和找出与在立体对101a和101b中的每一个中所捕捉的图像相关的初始匹配像素的处理700。处理700包括为每条光栅线614提取亮度分布图(702)。参照图7C，亮度分布图701包括代表定位在一条光栅线614上的像素的亮度值的曲线703。曲线703包括本地最大值703a、703b、703c和703d，本地最小值703e、703f、703g和703h，以及搜索窗705。处理700包括为每条光栅线614计算亮度分布图的本地极值(例如，本地最大值和最小值)(704)。为了计算本地最大值，使用了3个像素的搜索窗705。搜索窗705从曲线703的开始部分703i到曲线703的结束部分703j搜索曲线703，并且，每当搜索窗705中心处的像素亮度大于其相邻像素的亮度时，该中心像素的位置和亮度被存储在本地最大值数据库中。以这样的方式，确定本地最大值703a、703b、703c和703d的位置和亮度，并且将它们存储在本地最大值数据库中。与对本地最大值进行定位类似，搜索窗705从曲线703的开始部分703i到曲线703的结束部分703j搜索曲线703，并且，每当搜索窗705中心处的像素亮度小于其相邻像素的亮度时，该中心像素的位置和亮度被存储在本地最小值数据库中。以这样的方式，识别本地最小值703e、703f、703g和703h的位置和亮度。

处理700还包括按照下式对k^*进行定位(706)，k^*是关于被假设为在参考条纹上的每条光栅线614的亮度分布图中的本地最小值：

k_n ^*＝arg_max(|X_i-X_j|*|((Int_i+Int_j)/2)-Int_k|)    (等式1)

式中，i和j是亮度分布图的两个相邻本地最大值的下标，X_i和X_j是这两个本地最大值的位置，Int_i和Int_j分别为在X_i和X_j的亮度值，k是本地最大值X_i和X_j之间的本地最小值，n是光栅线614的下标。对于每条光栅线614(即对每个“n”)，等式1主要找出参考条纹602上的像素。为了为每条光栅线614对参考条纹602上的像素进行定位，等式1通过将与k相邻的本地最大值之间的距离乘以本地最大值的平均值与本地最小值之间亮度差，为每个本地最小值k计算一个面积。等式1找出使这个面积最大的本地最小值k^*。由于参考条纹602比其他条纹宽且暗，因而参考条纹上的像素产生最大面积，因此k^*代表在参考条纹上的像素。例如，图7C示出了这样的情况，由于参考条纹为2d宽，本地最大值703b和703c之间的距离为3d，因此这个距离比其他相邻本地最大值之间的距离大。此外，由于参考条纹比其他条纹暗，因此在k*的亮度比在其他本地最小值的亮度低。

k^*被当作每条光栅线614上的候选参考条纹像素。处理还包括将k^*存储在数据库中(708)。例如，数据库可以是矢量R＝{k_n ^*，n＝1，2...N}，它可以包括用于每条光栅线614的k^*，其中，N为在立体对101a和101b中的每一个捕捉的图像中的光栅线614的数量。例如，矢量R包括多个像素626、628、630和632的位置，它们属于参考条纹602。对立体对101a和101b中的每一个的所有图像执行处理700。因此，处理700产生四个矢量R^1，L、R^1，R、R^2，R和R^2，L。R^1，L、R^1，R包括在立体对101a的左图像和右图像中的若干组候选参考条纹像素，其中，1指的是立体对101a，L指的是左图像，R指的是立体对101a的右图像。R^2，L和R^2，R包括在立体对101b的左图像和右图像中的若干组候选参考条纹像素，其中，2指的是立体对101b，L指的是左图像，R指的是立体对101b的右图像。

处理700包括使立体对101a和101b中的每一立体对的两个图像中的参考条纹像素匹配(710)，以便去除被错误定位的参考条纹像素。使两个图像中的参考条纹像素匹配(710)包括使R^1，L中的参考条纹像素与R^1，R中具有相同光栅线614位置的对应参考条纹像素匹配。R^1，L中的每个参考条纹像素应该有一个在R^1，R中的匹配。如以下参照图8更详细描述的，对于每一这种匹配，使用匹配得分函数计算与R^1，L中的参考条纹像素及其R^1，R中对应像素相关的匹配得分，以估算匹配像素的质量。测量所述匹配得分，以用于被识别为匹配的当前像素的相邻像素(例如，±3个像素)。产生最高匹配得分的像素(例如，具有与R^1，L中的参考条纹像素具有最高类似性的像素)被当作R^1，L中的参考条纹像素的实际匹配。因此，在一个实施例中，计算七个匹配得分，以确定用于给定参考条纹像素的最佳匹配。这七个匹配得分包括用于R^1，R中对应参考条纹像素的一个匹配得分以及用于在对应的参考条纹像素的每一侧上±3个像素的六个匹配得分。

类似地，使两个图像中的参考条纹像素匹配(710)包括使R^2，L中的参考条纹像素与R^2，R中具有相同光栅线位置的对应参考条纹像素匹配。如以下参考图8更详细描述的，对于每一个这种匹配计算匹配得分，以确定所述匹配像素的质量。如上所述，还测量所述匹配得分，以用于被识别为匹配的当前像素的相邻像素(例如，±3个像素)测量匹配得分。产生最高匹配得分的像素(例如，具有与R^2，L中的参考条纹像素具有最高类似性的像素)被当作R^2，L中的参考条纹像素的实际匹配。因此，在一个实施例中，计算七个匹配得分，以确定用于指定的参考条纹像素的最佳匹配。这七个匹配得分包括用于R^2，R中的对应参考条纹像素的一个匹配得分以及用于在对应的参考条纹像素的每一侧上所述像素±3个像素的六个匹配得分。

操作(710)将被错误定位的参考条纹像素去除，被错误定位的参考条纹像素是由于噪声和由对象(例如，图3A的脸部)的鼻子区域或下巴/脖子区域周围的深度不连续所导致的。例如，如果R^1，L中的参考条纹像素不能找到R^1，R中的它的匹配，则很可能该条纹像素不属于参考条纹602，并且将这个条纹像素从R^1，L中去除。但是，如果R^1，L中的参考条纹像素与R^1，R中的对应参考条纹像素匹配，则这进一步表示该参考条纹像素属于参考条纹。

处理700还包括使用基于Ransac的平面拟合算法(Ransac-basedplane-fitting algorithm)确认参考条纹602的位置(712)。在本领域中，基于Ransac的平面拟合算法是公知的。作为确认参考条纹602的位置(712)的一部分，计算匹配参考条纹像素的三维点。基于本领域公知的立体三角测量技术(stereo triangulation)，使用匹配参考条纹像素和相机参数计算所述三维点。这产生了用于沿着参考条纹602的多个位置的三维点。参考条纹602是右平面与对象(例如，图3A的脸部)的表面交叉的结果。使用光源和幻灯片116中的参考垂直线形成右平面。光源将光投射到幻灯片116中的参考垂直线的左边缘上，并且形成具有可以被描述为沿着光行进方向(即，与将与形成平面的光行进方向垂直的平面正交的矢量)的刨床(planer)的方位的左边缘垂直平面。类似地，光源将光投射到参考条纹602的右边缘和中间，并且形成右边缘垂直平面和中间垂直平面。这些平面与对象(例如，图3A的脸部)的表面的交叉形成了在立体对101a和101b中的每一个捕捉的图像中的参考条纹602的对应点。由于匹配参考条纹像素很可能位于参考条纹602的中间，因此匹配参考条纹像素的三维点应该属于中间平面。基于Ransac的平面拟合算法(Ransac-based plane-fitting algorithm，RPA)被用于找出中间平面参数(例如，中间平面的法向矢量和中间平面的位置)。操作712使用中间平面参数确定三维点到该平面的距离。不考虑距离该平面过远的三维点。即，假设距离该平面过远的点不在参考条纹上。

在确认了参考条纹602的位置之后(712)，处理700包括在立体对101a和101b中的每一个所捕捉的图像中定位初始匹配像素(714)。在一个实施例中，定位初始匹配像素(714)包括对到两个图像中的匹配参考条纹像素的左边最近的边缘条纹像素进行识别。在另一个实施例中，对初始匹配像素进行定位(714)包括对到两个图像中的匹配参考条纹像素的右边最近的边缘条纹像素进行识别。例如，参照图6，到参考条纹像素626、628、630和632最近的边缘条纹像素为边缘条纹像素612、634、636和638。边缘条纹像素612、634、636和638以及在另一图像中的、它们的对应像素被识别为初始匹配像素。

如以下结合图11-13说明的，在定位初始匹配像素(714)之后，沿着在立体对101a和101b的每一个中捕捉的图像中的一个或多个方向传播所述初始匹配像素。

在另一个实施例中，所使用图案的类型不包括作为参考条纹的特定条纹(例如，所有条纹具有相同的宽度)。因此，这个实施例提供了在不使用特定参考条纹的优点的情况下，对在立体对101a和101b中的每一个捕捉的图像之间的初始匹配像素进行定位的算法。基于这种方法定位的初始匹配像素不一定属于同一条纹。

图8示出了根据其中所有条纹具有相同宽度的实施例的用于定位初始匹配像素的处理800。处理800包括使用平均值函数在第一对图像和第二对图像中定位与每条光栅线614相关的形心像素(802)。第一对图像包括由立体相机102产生的第一图像和由立体相机104产生的第二图像。第二对图像包括由立体相机108产生的第三图像和由立体相机110产生的第四图像。形心像素是每条光栅线614上的所有边缘条纹像素的平均值。处理800包括使用本领域公知的、作为预处理的边缘提取以及边缘链接确定形心像素是否是边缘条纹像素(806)。如果该形心像素不是边缘条纹像素，则处理800包括将离形心像素最近的边缘条纹像素设置为形心条纹像素(806和808)。例如，栅格900包括条纹902、904、906、908和910以及光栅线912。栅格900还包括位于光栅线912中的一个上的形心像素914。由于形心像素914不是边缘条纹像素，因此，作为最靠近形心像素914的边缘条纹像素916被设置为形心条纹像素。

处理800包括找出在每条光栅线614上的初始匹配像素(810)。作为找出初始匹配像素(810)的一部分，与第一图像中每条光栅线614相关的形心条纹像素与第二图像中的对应形心条纹像素相匹配。类似地，与第三图像中每条光栅线614相关的形心条纹像素与第四图像中的对应形心条纹像素相匹配。例如，可以使用与前述相同的、开始于对应位置并且在搜索窗中对最佳匹配得分进行检查的处理。

例如，图10示出了目的在于在第一图像和第二图像中找出初始匹配像素的栅格1000a和1000b。栅格1000a包括条纹1002、1004、1006、1008和1010以及光栅线1012。条纹1002、1004、1006、1008和1010为在立体相机102中捕捉的条纹。栅格1000a还包括形心条纹像素p和条纹像素n_i和n_j。形心条纹像素p在条纹1006上。条纹像素n_i和n_j分别在条纹1002和1008上。栅格1000b包括条纹1014、1016、1018、1020和1022以及光栅线1012。条纹1014、1016、1018、1020和1022是在立体相机104中捕捉的条纹。栅格1000b还包括形心条纹像素p’和条纹像素n_i’和n_j’。形心条纹像素p’在条纹1018上。条纹像素n_i’和n_j’分别在条纹1014和1020上。作为找出初始匹配像素的一部分，使第一栅格1000a中的形心条纹像素p与第二栅格1000b中的对应形心条纹像素p’匹配。对于像素p和p’的光栅线1012，像素p和p’被当作用于初始匹配像素的初始猜想。

处理800包括对像素p和p’匹配得如何好进行评估(812)。作为对匹配像素p和p’的质量进行评估(812)的一部分，本地窗口(15×15)中的归一化零平均值交叉相关性(normalized zero-mean cross correlation，NZMCC)被用作匹配得分函数m(p，p’)。在本领域中，ZNMCC是公知的。由等式2表示的匹配得分函数m(p，p’)为亮度匹配得分函数m_int(p，p’)和梯度匹配得分函数m_eg(p，p’)的线性组合。由等式3表示的亮度匹配得分函数m_int(p，p’)确定包括多个像素亮度的亮度图中像素p和p’之间的类似性。由等式4表示的梯度匹配得分函数m_eg(p，p’)确定包括多个像素梯度的梯度图中像素p和p’之间的类似性。以下定义了匹配得分函数m(p，p’)：

m(p，p′)＝αm_eg(p，p′)+(1-α)m_int(p，p′) (等式2)

和

m_int(p，p′)＝∑_Ω(I(p)-μ)*(I′(p′)-μ′)/σσ′ (等式3)

m_eg(p，p′)＝∑_Ω(E(p)-μ_E)*(E′(p′)-μ′_E)/σ_Eσ′_E  (等式4)

式中，Ω为图像I中像素p周围的15×15个邻近像素，Ω′为图像I′中像素p′周围的对应邻近像素，I(p)、I′(p′)分别是在图像I和I’中p和p′处的亮度值，(μ，σ)和(μ′，σ′)分别是I和I’中的邻近像素Ω和Ω′中的平均值和标准偏差，E(p)和E′(p′)分别为梯度图E和E′中的、在p和p′的梯度值，并且，(μ_E，σ_E)和(μ′_E，σ′_E)分别是梯度图E和E′中的平均值和标准偏差。α为0到1之间的权重因数，并且根据其值，对等式2中的亮度或梯度匹配得分函数进行强调。在一个实施例中，α的值为0.6，从而给梯度匹配得分函数以更大的权重。

等式2主要确定两个像素p和p′之间的匹配质量。有若干种用于对产生最佳匹配的边缘条纹像素p′进行定位的方法。在一个实施例中，匹配得分函数m(p，p’)被用于确定对形心条纹像素p具有最高类似性的边缘条纹像素p′。作为确定具有最高类似性的边缘条纹像素p′的一部分，为栅格1000a中的形心条纹像素p以及位于栅格1000b中的与p相同的光栅线上的所有边缘条纹像素，计算匹配得分函数m(p，p′)，并且，将产生最高匹配得分的边缘条纹像素当作p的一个匹配。这个实施例不总是导致最佳匹配。由于非对应像素的匹配得分可能比对应像素的匹配得分高，也许这个实施例可能导致不正确的匹配。例如，匹配得分m(p，n_j′)可能比匹配得分m(p，p′)高。因此，在这个实施例中，可能而是n_j’而不是p′被选择为p的最佳匹配。

在另一个实施例中，匹配支持函数M被用于确定与形心条纹像素p具有最高类似性的像素p′。等式5示出了匹配支持函数M的一个实施例，它用于确定邻近边缘条纹像素(n_i和n_i′)以及(n_j和n_j′)是否具有如匹配像素p和p′那样的类似匹配得分：

M(p，p′)＝∑_i＝1 ^Am(n_i，n_i′)+∑_j＝1 ^Bm(n_j，n_j′)(等式5)

式中，i和j分别表示p和p′的左和右边上的条纹，A是在p和p′左边条纹的数量，B是在p和p′右边上的条纹的数量。作为计算M(p，p′)的一部分，定位边缘条纹像素n_i，其中，i是p左边的条纹。类似地，定位边缘条纹像素n_i′，其中，i是p’左边的条纹。n_i与n_i′很可能是匹配的像素，因为如果p和p′匹配良好，则有理由假设边缘条纹像素n_i(其中，i是栅格1000a中p左边的条纹)与边缘条纹像素n_i′(其中i是栅格1000b中的p′左边的条纹)匹配。计算用于与p和p’左边每条条纹相关的n_i与n_i′的匹配得分，并将它们加在一起。

类似地，作为计算M(p，p′)的一部分，定位边缘条纹像素n_j，其中，j是p左边的条纹，和，定位边缘条纹像素n_j′，其中，j是p′左边的条纹。n_j和n_j′很可能是匹配的像素，因为如果p和p′匹配良好，则有理由假设边缘条纹像素n_j(其中，j是栅格1000a中p右边的条纹)与边缘条纹像素n_j′(其中，j是栅格1000b中p′右边的条纹)匹配。对用于p和p′右边的每条条纹的n_j和n_j′的匹配得分进行计算，并将它们加在一起。如果p和p′匹配良好，则一般邻近像素的匹配得分高，导致对p和p’的高匹配支持。如果p和p′为不良匹配，则一般邻近像素的匹配得分低，导致对p和p′的低匹配支持。

处理800包括为形心条纹像素确定最终匹配(814)。作为确定最终匹配(814)的一部分，使匹配支持函数M最大的像素p*被当作p的匹配，其中

p^*＝arg_maxp′(M(p，p′))  (等式6)

p′的范围包括栅格1000b中的位于与形心条纹像素p在同一条光栅线1012上的所有条纹像素。本质上，等式6对具有对p的最高类似性的像素进行定位。如以下针对图11-13更细描述的，如果匹配得分m(p，p*)比要求的阈值高，则将m(p，p*)当作用于差别传播处理的初始匹配像素。在一个实施例中，阈值为0.8。

包括匹配支持函数M的实施例增强了所述匹配算法，这是因为它避免了非对应像素产生比对应像素高的匹配得分的情况。如上所述，n_j′可能导致比正确的匹配p′高的匹配得分，这会导致将n_j′选择为p的良好匹配。由于p和n_j′为误匹配的对，因此它们的邻近条纹的边缘像素的匹配得分一般很低。因此，对p和n_j′的匹配支持一般很低，表示p和n_j′不是良好匹配。因此，这种方法被设计为对失配进行识别，去除失配，并且产生更可靠的匹配结果。

处理800继续为每条光栅线1012寻找初始匹配像素。在为所有光栅线1012找到初始匹配像素之后，处理800可以用两个附加操作，来进一步保证初始匹配像素的正确性和可靠性。这两个操作包括对初始匹配像素s_i和s_i′的本地和全局支持进行检查。初始匹配像素s_i和s_i′为一对边缘条纹像素，并且包括位置(x_i，y_i)和(x_i′，y_i′)，其中，x代表列，y代表行。如上所述，由于对图像进行了校正，因此，行位置y_i和y_i’相同。但是，列位置x_i和x_i′不同。x_i和x_i′之间的差异被称为差别。

对初始匹配像素s _i和s_i′的本地支持进行检查包括确定初始匹配像素s_i和s_i′的差别，并且将这个差别与位于邻近光栅线1012上的初始匹配像素n_k和n_k′的差别进行比较。如果初始匹配像素n_k和n_k′的差别与初始匹配像素s_i和s_i′的差别类似，则将位于邻近光栅线1012上的初始匹配像素n_k和n_k′计数为一个支持者。如果在初始匹配像素s_i和s_i′的附近的支持者的数量少于附近初始匹配像素的数量的一半，则将初始匹配像素s_i和s_i′计数为一个不良匹配或忽略。对初始匹配像素s_i和s_i′的本地支持进行检查有助于将靠近深度不连续的失配去除，这样的匹配通常没有来自来自邻近匹配的有力支持。

对初始匹配像素s_i和s_i′的全局支持的检查包括构成差别的直方图。为初始匹配像素的差别计算直方图，并且使用直方图对差别的分布进行分析。在直方图中，良好的差别通常表现出强支持，即，初始匹配像素中的许多具有这样的差别。同时，不良差别通常表现出弱支持，即，只有很少的初始匹配像素共享这个差别。因此，直方图有助于识别并去除具有弱支持的初始匹配像素。

在根据上述方法中的一个方法找出初始匹配像素之后，如针对图11-13说明的，沿着一个或多个方向，对初始匹配像素中的每一个进行传播。参照图3A-3B，差别传播被用于建立第一图像302中的附加边缘条纹像素与第二图像304中的附加边缘条纹像素之间的对应关系。类似地，差别传播还被用于建立第三图像312中的附加边缘条纹像素与第四图像314中的附加边缘条纹像素之间的对应关系。

图11示出了用于在图像302、304、312和314中沿着一个或多个方向进行差别传播的处理1100。处理1100包括识别投影条纹中的深度不连续(1102)。作为识别深度不连续(1102)的一部分，对每条条纹上的外部和内部终止部分进行标记，并且，当在差别传播期间遇到外部和内部终止部分时，沿着指定方向使差别传播进程停止。参照图4，外部终止部分分别包括条纹406的条纹端点416和条纹404和402的区域414和412。如上所述，条纹端点416表示在被投射了图案的对象中存在深度不连续(例如，在图3A的脸部的颌部与肩部之间)。内部终止部分包括在与另一条条纹的外部终止部分相邻的条纹上的像素。当由于深度不连续而导致两条条纹段彼此连接时，会造成内部终止部分。例如，参照图5，条纹504包括位置与条纹502的外部终止部分508相邻的像素段510。将像素段510标记为内部终止部分，并且，它使差别传播停止，这是由于像素段510周围的像素很可能表示深度不连续。因此，通过对内部终止部分进行识别和标记，操作1102试图有效地对由于深度不连续而导致的两条条纹相互连接的情况进行处理。

处理1100包括用于在由立体对101a和101b中的每一个所捕捉的图像中的附加像素之间建立对应关系的三个差别传播处理(1104、1106和1108)。第一处理包括沿着水平方向传播差别(例如，沿着左、右两个方向横穿条纹)(1104)。第二处理包括沿着垂直方向传播差别(例如，沿着上、下两个方向顺着条纹)(1106)。第三处理包括再次沿着水平方向传播差别(例如，沿着左、右两个方向横穿条纹)(1108)。

图12示出了用于在第一处理中沿着水平方向传播差别的处理1200。处理1200包括对每条光栅线614上的每个初始匹配像素的差别进行计算(1202)。某些光栅线614会由于深度不连续而导致没有初始匹配像素。

如上所述，由于对图像进行了校正，因此，每个图像中的对应像素具有相同的光栅线位置和可能不同的列位置。因此，沿着初始匹配像素的光栅线614进行找到初始匹配像素的邻近像素的对应关系。处理1200包括向参考图像中的每条光栅线614上的初始匹配像素的左边传播差别(1204)。用于立体对101a的参考图像可以是第一图像302或第二图像304。用于立体对101b的参考图像可以是第三图像312或第四图像314。在一个实施例中，将第一图像302当作用于立体对101a的参考图像，并且将第三图像312当作用于立体对101b的参考图像。参照图6，作为向左传播差别(1204)的一部分，在参考图像中，对初始匹配像素612左边的边缘条纹像素616进行定位。向左传播差别(1204)还建立参考图像中的边缘条纹像素616与另一个图像中的对应像素之间的对应关系。为了建立参考图像中的边缘条纹像素616与另一个图像中的对应像素之间的对应关系，使用在操作1202中计算的初始匹配像素612的差别。初始匹配像素612的差别提供了对另一个图像中的对应像素的初始猜测。因此，将具有这样的位置的像素616′(没有示出)当作用于边缘条纹像素616的初始匹配。确定用于匹配像素(616，616′)的匹配得分。此外，还确定用于条纹像素616与像素616′的若干邻近像素(例如，±3个像素)中的每个像素的匹配得分。导致最高匹配得分(例如，与边缘条纹像素616具有最高类似性)的像素被当作条纹像素616的实际匹配。将最高匹配得分与阈值进行比较，并且，如果最高匹配得分高于阈值，则认为该匹配为良好匹配(1206)。如果最高匹配得分低于阈值，则认为该匹配为不良匹配(1206)。如果如由低匹配得分表示的，有三个连续的、没能找到匹配的像素，则差别传播将被停止(1208)。例如，可以使用NZMCC计算匹配得分。

如果匹配是成功的，则处理1200包括为新匹配的像素计算差别，并且将这个差别设置为默认差别(1212)。向初始匹配像素的左边传播差别还包括将参考图像中的下一个边缘条纹像素618定位到在前边缘条纹像素616的左边，并且建立参考图像中的边缘条纹像素618与另一个图像中的对应像素之间的对应关系(1214)。为了建立边缘条纹像素618与对应像素之间的对应关系，以与操作1204类似的方式，使用新的默认差别找出用于条纹像素618的对应关系。差别传播从新匹配的像素继续进行，并且，当边缘条纹像素属于条纹的外部或内部端点时，差别传播停止。

在完成向初始匹配像素的左边进行差别传播之后，还以同样方式向初始匹配像素的右边进行差别传播。对每条光栅线614重复处理1200。因此，处理1200在立体对101a和101b中的每一个捕捉的图像中提供了一组匹配的水平带，其中，猜测匹配带跟在条纹的边缘的后面。

图13示出了用于在第二处理中沿着垂直方向传播所述差别的处理1300。根据在前的水平差别传播，多数条纹可以具有它们匹配边缘的一部分。例如，参照图6，参考条纹602包括不匹配的段N和匹配的边缘条纹像素634和638。处理1300包括为条纹化图案中的每个条纹边缘，对参考图像中的不匹配段N进行定位(1302)。不匹配段N包括端点N1和N2。处理1300包括对位于端点N1之上的匹配边缘条纹像素634以及位于端点N2之下的匹配边缘条纹像素638进行定位(1304)。处理1300包括对匹配边缘条纹像素634和638的差别进行比较(1306)。如果匹配边缘条纹像素634和638的差别之间的差异在阈值之上，则不沿着参考条纹602传播差别(1307和1308)。并且，将这个段标记为不定段。在一个实施例中，阈值为3。如果匹配边缘条纹像素634和638的差别之间的差异在阈值之下(例如，小于3)，则处理1300包括根据匹配边缘条纹像素634和638的差别，找出参考图像中的不匹配段N与另一个图像中的对应段之间的对应关系(1307和1310)。在一个实施例中，为了找出两个图像中的不匹配段N之间的对应关系，从段N的中心向两个端点N1和N2进行传播。或者，可以从段N的顶部到底部进行传播，反之亦然。对其他条纹604、606和608重复处理1300。在一个实施例中，处理1300可以从条纹化图案的左上角开始，并且移动到条纹化图案的右下角。或者，处理1300可以从条纹化图案的右上角开始，并且移动到条纹化图案的左下角。因此，可以使每条条纹中的不匹配段N与另一图像中的对应段匹配。

在差别传播的在前两个迭代之后，可以执行第三处理。第三处理试图使诸如上面针对第二处理提到的那些不定段的不匹配条纹段匹配。第三处理使用与第一处理中的处理相同的处理(处理1200)。到目前为止的不匹配条纹可以具有在第二处理中被匹配的水平邻近像素，并且，新匹配的邻近像素可以提供能够使到目前为止的不匹配像素匹配的差别值。

在第三处理之后，可以得到表示哪一个边缘条纹像素被匹配的最终匹配图。经过传播处理1200和1300，用于找到与每个条纹像素相关的对应关系的搜索空间已经很小(例如，±3个像素)。因此，差别传播途径减少了计算需求。在没有差别传播途径的情况下，使第一图像中的像素与第二图像中的对应像素匹配可能需要沿着第二图像中的光栅线614的很大的搜索窗口，以找到对应像素。这是因为可能需要对沿着第二图像中的光栅线614的多数像素进行评估，以为第一图像中的像素找到潜在匹配。因此，用于每个像素的搜索窗口通常比差别传播途径中的搜索窗口大得多，导致更高的计算需求。

参照图11，的目前为止已经建立的匹配为整数精度。与对象的近似平整表面对应的匹配像素可能具有相同的整数差别。在三维图像中，这些匹配像素出现在相同的深度，即使它们在对象中有略微不同的深度。因此，重新构成的三维图像也许是不平滑和不连续的，这是因为，在整数差别的情况下，一般只能在深度差异相当大的匹配像素之间表现出对象深度方面的过渡。这会产生阶梯式重构。为了构成平滑并且连续的表面(1110)，在一个实施例中，处理1100还包括使匹配细化到次像素精度。次像素精度提高了深度差别的分辨率；因此，在重构的三维图像中，与近似平坦的表面对应的匹配像素显现它们实际的对应深度。作为将匹配细化到次像素精度的一部分，使用了抛物线拟合法(curve-parabola-fitting method)。按照抛物线拟合法，如以上针对图8描述的，如果按照匹配得分m₀将像素(x，y)匹配到(x′，y)，则还使用等式2计算(x，y)与(x′-1，y)之间的匹配得分m₁以及(x，y)与(x′+1，y)之间的匹配得分m₂。作为构成平滑并且连续表面(1110)的一部分，将抛物线拟合到三个点(x′-1，m₁)(x′，m₀)和(x′+1，m₂)中，并且，对抛物线上的最大值m*和对应的x*进行定位。将匹配像素(x*，y)当作对(x，y)的最终匹配。使用次像素精度的匹配，操作1110产生平滑的三维表面。

在最终的匹配图中，偶尔有一些误匹配像素，它们将其自己表现为表面上的尖刺。处理1110包括执行误匹配检测，以去除误匹配像素(1112)。可以在三维网孔的基础上进行检测，后面将针对图14对此进行描述。对于每个匹配像素，对邻近的像素进行定位，并且，使用立体三角测量技术(stereotriangulation technique)为匹配像素及其邻近像素计算对应的三维点。如果匹配像素的对应三维点以及其邻近像素的对应三维点之间的距离大于预定阈值，则处理1100将该匹配像素当作误匹配像素。例如，假设q_i，j(j＝1，2，...N_i)为p_i的邻近像素，即考虑当中的像素，那么Q_i，j与P_i为对应三维点。然后，处理1100为每个j确定Q_i，j与P_i之间的距离是否大于预定阈值。如果P_i的大距离的邻近像素的数量对P_i的邻近像素的总数量的比值较大，则处理1100将此作为误匹配导致的点。

图14示出了用于生成具有纹理的单个三维表面模型的处理1400。处理1400包括为立体对101a和101b中的每一个生成三维点云(pointcloud)(1402)。生成三维点云可以使用立体三角测量。本领域公知的立体三角测量使用匹配像素的差别和相机参数计算三维点云。

处理1400包括生成和平滑用于立体对101a和101b中的每一个的三维表面模型(1404)。根据诸如三维网格划分的公知技术，使用所述三维点云生成用于立体对101a和101b中的每一个的三维表面模型。

在一个实施例中，作为生成三维表面模型的一部分，将本领域公知的三角剖分(Delaunay triangulation)算法被用于建立与参考图像中的匹配像素相关的三角测量。然后，对应的三维点形成三维网格。

由于立体匹配处理以及立体三角测量中的数字误差，三维点云通常是有噪声的。此外，由于匹配像素是从条纹中提取的，因此三维网格通常是不规则的，当条纹被投影的表面上时，深度不连续导致条纹变形。因此，网格中的三角形在形状和尺寸方面差异很大。因此，一个实施例包括建立新的、符合指定分辨率的图像栅格的三维表面模型(例如，网格)。

在建立新的三维表面模型的过程中，作为本领域的标准进程，将矩形栅格强加在图像平面上。使用Kalman滤波和平滑，对新的三维表面模型进一步进行处理。在本领域中，这个进程是公知的。作为重新进行网格划分以及Kalman滤波和平滑的结果，产生三维表面模型，其对应的二维表面模型符合图像栅格，噪声被抑制，表面被平滑。必要时，通过将NURB表面拟合到在上述处理中得到的三维点云中，可以进一步进行平滑，在本领域中，这是公知的。

参照图14，操作(1404)产生两个三维表面模型(用于立体对101a和101b中的每一个)。处理1400使用这两个三维表面模型为立体对101a和101b生成单个合成三维表面模型(1406)。

参照图2，生成单个合成三维表面模型(1406)包括对第一和第二三维表面模型进行注册(208)。在本领域中，对第一和第二三维表面模型进行注册是公知的。注册指的是对来自立体对101a和101b的数据进行对准的进程，其中，来自立体对101a和101b的数据可以具有它们自己的坐标系统，因此可以将数据变换到单个坐标系统中。即使当使用相同的参照系统对立体对101a和101b进行校准时，由于校准进程中的误差或者立体对101a和101b本身中的误差，依据立体对101a和101b获得的数据可能有差异性。

注册第一和第二三维表面模型(208)包括将第一三维表面模型与第二三维表面模型对准。在一个实施例中，为了将第一与第二三维表面模型对准，计算第一与第二三维表面模型之间的刚性变换矩阵(R，t)，因而，通过将这个矩阵应用于第一或第二三维表面模型，使一个三维表面模型与另一个三维表面模型对准。

计算刚性变换矩阵(R，t)可以包括两项操作。首先，计算初始变换矩阵，它粗略地使两个三维表面模型对准。其次，使用迭代最近点(IterativeClosest Point，ICP)将初始变换矩阵反复细化，并且最终将第一与第二三维表面模型对准。

参照图15，处理1500可以被用于计算初始变换矩阵。处理1500包括识别第一和第二三维表面模型中感兴趣的部分(1502)。参照图3A-3B，由于每台相机在不同位置，因此，在立体对101a和101b中的每一个中捕捉的图像不覆盖正好相同的物理表面区域。每个图像都有与其他图像重叠的区域，并且，每个图像也都有仅被该图像覆盖的区域。在图3A-3B中，重叠区域包括覆盖人脸鼻子的区域。因此，在第一和第二三维表面模型中，可以将覆盖鼻子的区域选择为感兴趣的区域。由于三角测量技术被用于创建第一和第二三维表面模型，因此第一和第二三维表面模型中的每个点都被一个三角形覆盖。对应于鼻子的三角形被识别为落入中心区域中的三角形，也被称为种子三角形，并且最靠近相机。

处理1500包括对感兴趣的区域进行扩展(1504)。作为对感兴趣的区域进行扩展的一部分，对与种子三角形共享相同边缘的三角形进行定位。通过对与已经在感兴趣的区域中的共享边缘的更多三角形进行处理，使扩展继续，直到这群三角形的总面积达到预定量。在一个实施例中，预定面积为10000mm²。因此，对感兴趣的区域进行扩展(1504)产生了两个区域，这给出了两个三维表面模型之间的粗略对应关系。

处理1500还包括找出第一与第二三维表面模型之间的初始变换矩阵(1506)。找出初始变换矩阵基于以上找到的两个感兴趣的区域。假设两个匹配区域中的顶分别为RG₁＝{p_1i，i＝1，2，...n₁}和RG₂＝{p_2j，i＝1，2，...n₂}，式中，n₁和n₂分别为两个区域中的顶的数量。RG₁和RG₂被用于计算初始平移矢量T₀和初始旋转矩阵R₀。计算RG₁和RG₂的形心C₁和C₂，并且，T₀＝C₁-C₂。假设M_1，cov和M_2，cov为RG₁和RG₂的共变矩阵(covariance matrices)。然后，这两个矩阵的特征向量被用于形成初始旋转矩阵R₀，它们是两个点集关于球坐标系统的旋转矩阵。然后，按照R₀＝R₂*R^-1 ₁对RG₁和RG₂之间的初始旋转矩阵进行估算。R₀为两个点云之间的初始旋转矩阵。那么，初始变换矩阵M₀包括初始平移矢量T₀和初始旋转矩阵R₀(M₀＝{T₀，R₀})。

然后，使用ICP算法，它将M₀当作初始值，并且对M₀进一步进行细化。ICP的输出最终使两个三维表面模型对准。

参照图16A-16B，示出了注册之前的第一三维表面模型1601和第二三维表面模型1602。参照图16A，第一三维表面模型1601和第二三维表面模型1602以白黑形式出现，并且，每个都包括黑白条纹。第一三维表面模型1601用灰度级较轻的线表示，如在“下巴”下面示出的，并且用标号1601表示的那些线。第二三维表面模型1602用灰度级较重的线表示，如在“下颏”上面示出的，并且用标号1602表示的那些线。在注册之前，第一三维表面模型1601和第二三维表面模型1602的条纹出现在不同位置。例如，第一和第二三维表面模型的参考条纹1603相互靠近，而不是在相同位置。因此，条纹之间的间隙非常小，并且，条纹化图案没有区别。参照图16B，第一三维表面模型1601以蓝颜色出现，而第二三维表面模型1602以黄颜色出现。注册之前，黄色条纹出现在蓝色条纹之间。

图17A-17B示出了注册之后的第一三维表面模型1601和第二三维表面模型1602。参照图17A，第一三维表面模型1601和第二三维表面模型1602以黑白形式出现。如以上针对图16A描述的，第一三维表面模型1601用灰度级较轻的线表示，如在“下巴”下面示出的，并且用标号1601表示的那些线。第二三维表面模型1602用灰度级较重的线表示，如在“下颏”上面示出的，并且用标号1602表示的那些线。如图所示，注册使第一三维表面模型1601的垂直条纹与第二三维表面模型1602的垂直条纹对准。例如，两个三维表面模型1601和1602中的参考条纹1603重叠，并且形成区别比图16A-16B中的区别大的条纹。因此，在图17A-17B中，条纹之间的间隙比图16A-16B中示出的条纹之间的间隙大。参照图17B，第一三维表面模型1601和第二三维表面模型1602以彩色形式出现。第一三维表面模型1601以蓝颜色出现，而第二三维表面模型1602以黄颜色出现。注册之后，蓝色和黄色条纹相互重叠，产生了条纹之间的大空隙，并且使条纹化图案区别更大。例如，图17A-17B中示出的下巴区域1605比图16A-16B中示出的好。

再参照图2，对第一和第二三维表面模型进行合成(210)的操作将经过注册的第一和第二三维表面模型组合，并且生成单个表面模型2202，如图18所示。在本领域中，对第一和第二三维表面模型进行合成(210)的操作是公知的。

再参照图2，处理200包括给经过合成的三维表面模型提供纹理(212)。在本领域中，给经过合成的三维表面模型提供纹理是公知的。在一个实施例中，作为给经过合成的三维表面模型提供纹理的一部分，使用了相机参数、来自纹理相机106的图像以及经过合成的三维表面模型。由于经过合成的三维表面模型与纹理相机106在同一个坐标系统中，因此简单地将该表面模型中的每个三维点投影到图像平面上，从而产生纹理坐标。因此，给经过合成的三维表面模型提供纹理(212)产生了具有纹理的单个三维表面(1508)。例如，通过操作214和216，通过提供(214)或输出(216)具有纹理的单个三维表面，给用户提供具有纹理的单个三维表面。参照图20，示出了最终被纹理化的表面模型2204的三个视图。

参照图19，在另一个实施例中，处理1900包括将红外图案投影到三维对象上(1902)，并且在图案被投影到三维对象上的同时，产生第一图像和第二图像(1904)。通过在相机102捕捉通过红外滤光器114滤光的光线，可以产生第一图像。通过在相机104捕捉通过红外滤光器114滤光的光线，可以产生第二图像。第一图像包括具有图案的三维对象，并且可以是包括多个像素的二维数字图像。类似地，第二图像包括具有图案的三维对象，并且可以是包括多个像素的二维数字图像。处理1900包括建立在第一图像的一部分像素与第二图像的一部分像素之间的第一对对应关系(1906)。

处理1900包括在图案被投影到三维对象上的同时产生三维对象的第三图像(1908)。在一个实施例中，第三图像可以是纹理图像，并且通过在相机106对未经滤光的光线进行捕捉产生第三图像。纹理图像包括不显露红外图案的三维对象，并且可以是包括多个像素的二维数字图像。处理1900包括根据第一对对应关系和第三图像构成二维图像(1910)。

可以在各种装置中，至少部分实现实施例或者实施例的特性。例如，光盘(CD)、处理装置或者计算机可读介质可以包含用于实现所公开的方法中的任何一个方法的程序、指令或代码段。此外，可以为实现所公开的方法中的任何一个方法提供工具。例如，工具可以包括处理器、计算机、可编程逻辑器件或者集成电路。

还可以使用便携式装置实现实施例。例子包括：便携式计算机或其他处理装置；移动电话、个人数字助理；消息接发装置，如纸式或便携式e-mail装置(如Blackberry)；便携式音乐播放器，如iPod；或者其他电子的、便携式的、用于接发消息、娱乐、组织或游戏的装置。

尽管公开的实施例将垂直的条纹化图案投影到三维对象(例如，图3A的脸部)上，但是，也可以将其他图案投影到三维对象上。例如，可以将水平线图案、对角线图案和/或同心圆投影到三维对象上。

最后，为了产生实施例，可以使用、组合和修改各种技术，例如，这些技术包括各种硬件、软件、固件、集成元件、分立元件、处理装置、存储器或存储装置、通信装置、透镜、滤光器、显示装置和投影装置。

此外，尽管在构成人脸的3D图像的上下文中，已经一般地对公开的系统和方法进行了描述，但是，预期还能够构成其他对象的3D图像。

已经对若干实施例进行了描述。然而，应该理解，可以进行各种修改。例如，为了产生另外的实施例，可以对不同系统、处理和其他实施例的要素进行组合、补充、修改、重新布置或去除。此外，为了产生实施例，可以使用、组合和修改各种技术，例如，这些技术包括各种硬件、软件、固件、集成元件、分立元件、处理装置、存储器或存储装置、通信装置、透镜、滤光器、显示装置和投影装置。因此，其他实施例在以下的权利要求的范围内。

Claims (23)

1.一种方法，包括如下步骤：

将红外图案投影到三维对象上：

当所述图案被投影到三维对象上时，产生该三维对象的第一图像，所述第一图像(i)包括所述三维对象和所述图案，(ii)是包括多个像素的二维数字图像，和(iii)是通过在第一相机处捕捉经过红外滤光器滤光的光线所产生的；

当所述图案被投影到三维对象上时，产生该三维对象的第二图像，所述第二图像(i)包括所述三维对象和所述图案，(ii)是包括多个像素的二维数字图像，和(iii)是通过在第二相机处捕捉经过红外滤光器滤光的光线所产生的，并且将所述第一和第二相机布置为具有已知物理关系的第一立体对；

在所述第一图像的一部分像素和所述第二图像的一部分像素之间建立第一对对应关系；

当所述图案被投影到三维对象上时，产生该三维对象的第三图像，所述第三图像(i)包括所述三维对象，但不包括所述图案，(ii)是包括多个像素的二维数字图像；和

基于所述第一对对应关系和所述第三图像，构成表示三维对象的三维结构的二维图像。

2.如权利要求1所述的方法，其中，投影所述红外图案包括投影非随机的红外图案。

3.如权利要求1所述的方法，其中，建立所述第一对对应关系包括：

确定所述第一图像中的初始像素与所述第二图像中的对应像素之间的对应关系；和

基于所述第一图像中的初始像素与所述第二图像中它的对应像素之间的所述对应关系，确定所述第一图像中的附加像素与所述第二图像中的对应像素之间的对应关系。

4.如权利要求1所述的方法，其中，建立所述第一对对应关系包括：

确定位于所述第一图像中的第一特定水平线上的第一初始像素与对应于所述第一初始像素的第一对应像素之间的对应关系，其中，所述第一对应像素位于所述第二图像中的第一特定水平线上；

确定位于所述第一图像中的第一特定水平线上的附加像素与对应于所述附加像素的对应像素之间的对应关系，其中，所述对应像素位于所述第二图像中的所述第一特定水平线上；

确定位于所述第一图像中的第二特定水平线上的第二初始像素与对应于所述第二初始像素的第二对应像素之间的对应关系，其中，所述第二对应像素位于所述第二图像中的第二特定水平线上；和

确定位于所述第一图像中的所述第二特定水平线上的附加像素与对应于所述附加像素的对应像素之间的对应关系，其中，所述对应像素位于所述第二图像中的所述第二特定水平线上。

5.如权利要求1所述的方法，其中，建立所述第一对对应关系包括：

确定在所述第一图像中的每条水平线中的初始像素与在所述第二图像中的每条水平线中的对应像素之间的对应关系；和

基于在所述第一图像中的每条水平线中的所述初始像素与其在所述第二图像中的每条水平线中的对应像素之间的对应关系，确定所述第一图像中的附加像素与所述第二图像中的对应像素之间的对应关系。

6.如权利要求1所述的方法，其中，所述图案包括垂直条纹。

7.如权利要求5所述的方法，其中，所述第一初始像素是根据所述第一特定水平线中的图案像素计算的形心图案像素。

8.如权利要求4所述的方法，其中，确定位于所述第一图像中第二特定水平线上的至少一个附加像素的对应关系是基于为位于所述第二特定水平线上的至少一个其它像素确定的对应关系。

9.如权利要求4所述的方法，其中，确定用于位于所述第一图像中的所述第二特定水平线上的至少一个附加像素的对应关系是基于为至少一个位于所述第一特定水平线中的像素确定的对应关系。

10.如权利要求9所述的方法，其中，至少一个位于所述第一特定水平线中的像素与至少一个位于所述第二特定水平线中的像素处在公共条纹边缘中。

11.如权利要求1所述的方法，其中，构成表示所述三维结构的所述二维图像包括：

基于所述第一对对应关系形成第一组三维点；和

基于所述第一组三维点产生第一三维表面模型。

12.如权利要求1所述的方法，还包括：

当所述图案被投影到三维对象上时，产生该三维对象的第四图像，所述第四图像是包括多个像素的二维数字图像，并且是通过在第四相机处捕捉经过红外滤光器滤光的光线所产生的；

当所述图案被投影到所述三维对象上时，产生该三维对象的第五图像，所述第五图像是包括多个像素的二维数字图像，并且是通过在第五相机处捕捉经过红外滤光器滤光的光线所产生的，将所述第四和第五相机布置为具有已知物理关系的第二立体对；和

在所述第四图像的一部分像素和所述第五图像的一部分像素之间建立第二对对应关系，

其中，构成表示该三维对象的所述三维结构的所述二维图像还基于所述第二对对应关系。

13.如权利要求12所述的方法，其中，构成表示该三维结构的二维图像包括：

基于所述第一对对应关系产生第一三维表面模型；

基于所述第二对对应关系产生第二三维表面模型；和

注册所述第一和第二三维表面模型。

14.如权利要求13所述的方法，其中，所述注册包括：

在所述第一和第二三维表面模型中确定一公共表面；

基于所述公共表面为注册矩阵产生初始估算；和

基于为所述注册矩阵的初始估算，确定所述第一和第二三维表面模型之间的最近点。

15.如权利要求13所述的方法，其中：

产生所述第一三维表面模型包括：

基于所述第一对对应关系形成第一组三维点；和

基于所述第一组三维点产生所述第一三维表面模型，和

产生所述第一三维表面模型包括如下步骤：

基于所述第二对对应关系形成第二组三维点；并且

基于所述第二组三维点产生所述第二三维表面模型。

16.如权利要求13所述的方法，还包括：

在所述注册之后，合成所述第一和第二三维表面模型，以产生经过合成的三维表面模型；并且

提供纹理给合成后的三维表面模型。

17.如权利要求1所述的方法，其中，产生所述第三图像包括通过在第三相机处捕捉非红外光线产生所述第三图像。

18.如权利要求17所述的方法，其中，所述第三相机为纹理相机。

19.一种系统，包括：

第一立体相机对，包括耦合到第二相机的第一相机；

第二立体相机对，包括耦合到第四相机的第三相机；

一组共四个红外滤光器，所述四个红外滤光器中的单独的一个被可操作地耦合到四个相机中的每一个；

投影仪；和

计算机可读介质，被耦合到所述四个相机中的每一个以及所述投影仪，并且包括至少用于执行如下操作的指令：

将红外图案从所述投影仪投影到三维对象上；

当所述图案被投影到所述三维对象上时，产生该三维对象的第一图像，所述第一图像(i)包括该三维对象和所述图案，(ii)是包括多个像素的二维数字图像，和(iii)是通过在第一相机处捕捉经过红外滤光器滤光的光线所产生的；

当所述图案被投影到所述三维对象上时，产生该三维对象的第二图像，所述第二图像(i)包括该三维对象和所述图案，(ii)是包括多个像素的二维数字图像，(iii)是通过在第二相机处捕捉经过红外滤光器滤光的光线所产生的，和所述第一和第二相机被布置为具有已知物理关系的第一立体对；

在所述第一图像的一部分像素和所述第二图像的一部分像素之间建立第一对对应关系；

当所述图案被投影到三维对象上时，产生该三维对象的第三图像，所述第三图像(i)包括该三维对象，但不包括所述图案，(ii)是包括多个像素的二维数字图像；和

基于所述第一对对应关系和所述第三图像构成表示该三维对象的三维结构的二维图像。

20.如权利要求19所述的系统，其中，所述投影仪包括能够产生可见光谱和红外光谱中的光线的光源。

21.如权利要求20所述的系统，其中，所述投影仪包括第五红外滤光器。

22.如权利要求19所述的系统，其中，所述计算机可读介质包括一个或多个处理装置和存储装置。

23.一种计算机可读介质，包括用于至少执行以下操作的指令：

访问三维对象的被捕捉的第一图像，在图案被投影到三维对象上时，已经捕捉到所述第一图像，所述第一图像(i)包括三维对象和所述图案，(ii)为包括多个像素的二维数字图像，和(iii)是通过在第一相机处捕捉经过红外滤光器滤光的光线产生的；

访问被捕捉三维对象的第二图像，在图案被投影到所述三维对象上的同时，已经捕捉到所述第二图像，所述第二图像(i)包括该三维对象和所述图案，(ii)是包括多个像素的二维数字图像，和(iii)是通过在第二相机处捕捉经过红外滤光器滤光的光线所产生的；

在所述第一图像的一部分像素与所述第二图像的一部分像素之间建立第一对对应关系，当捕捉所述第一和第二图像时，基于已经被布置为具有已知物理关系的第一立体对的所述第一和第二相机，建立所述第一对对应关系；

访问被捕捉的三维对象的第三图像，在图案被投影到所述三维对象上的同时，已经捕捉到所述第三图像，所述第三图像(i)包括该三维对象，但不包括所述图案，(ii)是包括多个像素的二维数字图像；和

根据所述第一对对应关系和所述第三图像，构成表示该三维对象的三维结构的二维图像。

Images