CN1956555A

CN1956555A - 三维图像处理设备和方法

Info

Publication number: CN1956555A
Application number: CNA2006101639357A
Authority: CN
Inventors: 河泰铉; 具宰必
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-10-12
Filing date: 2006-10-12
Publication date: 2007-05-02
Anticipated expiration: 2026-10-12
Also published as: CN1956555B; US20070081716A1; KR20070040645A; NL1032656A1; NL1032656C2; KR101185870B1; US8116557B2

Abstract

本发明提供了一种图像处理设备和方法，其可以调整输入的三维(3D)图像的视差，并且稳定地显示3D图像。图像处理设备包括：接收3D图像并且将3D图像划分为左眼图像和右眼图像的图像划分单元；估计左眼图像和右眼图像之间的视差、测量估计的视差发生的频率、并且产生视差和频率的频率分布图的频率分布图产生单元；使用产生的频率分布图确定左眼图像和右眼图像的水平运动值的水平运动值确定单元；和基于确定的水平运动值来水平地移动左眼图像和右眼图像的水平运动单元。图像处理设备可以控制图像的收敛以加强3D效果和减少眼睛疲劳。

Description

三维图像处理设备和方法

技术领域

本发明涉及用于处理三维(3D)图像的设备和方法，尤其涉及用于调整输入的3D图像的视差(disparity)并且稳定地显示3D图像的图像处理设备和方法。

背景技术

传统的三维(3D)显示器通过使用二维(2D)平面显示器和工具(诸如膜式微偏光器(film-type micropolarizer)、视差栅栏(parallax barrier)和双凸透镜(lenticular lens))将具有不同视差的图像投影到用户的左眼和右眼来显示三维图像。根据其上显示的视图的数目这种3D显示器可以区分为立体(stereoscopic)3D显示器和多视图(multiview)3D显示器。立体3D显示器显示具有两个不同视图的图像，而多视图3D显示器显示具有两个以上视图的图像。

为了产生3D图像，实像由包括两个入射透镜的立体相机或包括若干入射透镜的多视图相机拍摄(filmed)。可替代地，立体或多视图图像内容可以使用计算机图形产生。

当使用3D相机产生3D图像或当使用计算机图形产生图像内容时，需要考虑人的视觉特征。然而，当显示环境不同于产生环境时，例如当使用多视图相机产生的3D图像在立体3D显示器上显示时或当不同大小的显示器用于产生和显示3D图像时，传统的3D显示器不能按照需要显示3D图像。

发明内容

本发明的一个方面提供了图像处理设备和方法，其可用于加强三维(3D)效果并且减少眼睛疲劳以使用由多视图相机获取的图像用于3D立体显示。

本发明的一个方面提供图像处理设备和方法，其可用于通过在接收和显示3D图像的接收端调整图像的视差来控制图像的收敛(convergence)。

根据本发明一个方面，提供图像处理设备包括：接收三维(3D)图像并且将3D图像划分为左眼图像和右眼图像的图像划分单元；估计左眼图像和右眼图像之间的视差、测量估计视差发生的频率、并且产生视差和频率的频率分布图(histogram)的频率分布图产生单元；使用产生的频率分布图确定左眼图像和右眼图像的水平运动值的水平运动值确定单元；基于确定的水平运动值水平地移动左眼图像和右眼图像的水平运动单元。

水平运动值确定单元计算阈值并且使用所计算的阈值确定水平运动值，所述阈值使得频率分布图中视差的预定比率为正。水平运动值确定单元可以确定对应于阈值一半的值为水平运动值。

水平运动单元可以基于阈值水平地移动左眼图像和右眼图像并且从而调整视差。

所述设备可以更进一步的包括用户接口单元，其通过用户输入信号从用户接收预定比率或阈值并且将预定比率或阈值传送给水平运动值确定单元，其中水平运动值确定单元使用所接收的预定比率或阈值来确定水平运动值。所述设备可以更进一步的包括3D立体显示单元，其显示从水平运动单元输出的已调整视差的左眼图像和右眼图像。

根据本发明的另一个方面，，提供图像处理方法包括：接收三维(3D)图像并且将3D图像划分为左眼图像和右眼图像；估计左眼图像和右眼图像之间的视差，测量估计视差发生的频率，并且产生视差和频率的频率分布图；使用产生的频率分布图来确定左眼图像和右眼图像的水平运动值；基于确定的水平运动值水平地移动左眼图像和右眼图像以调整视差。

根据本发明的另一个方面，提供一种其上记录了用于执行图像处理方法的程序的计算机可读取记录媒体。

附图说明

通过结合附图详细地描述其中的示例性实施例，本发明的上述及其它特征和优点将会变得更加明显，在附图中：

图1A-1C示出立体相机的类型；

图2示出当使用toed-in立体相机执行拍摄操作时产生的问题；

图3示出多视图相机的结构；

图4示出多视图视频编码的应用；

图5A-5C示出根据本发明的实施例的通过平行多视图相机拍摄的左眼图像和右眼图像；

图6A-6C示出根据本发明示例性实施例的通过将附图5的左眼图像和右眼图像分别向右和向左移动而产生稳定的立体图像的处理；

图7示出根据本发明示例性实施例的基于块(block-based)的视差估计(DE)；

图8示出根据本发明示例性实施例的左眼图像和右眼图像之间视差的频率分布图；

图9A-9C示出根据本发明示例性实施例的在通过平行(parallel)多视图相机获取的多视图图像中的左眼图像和右眼图像之间视差的三种频率分布图；

图10A-10C示出根据本发明示例性实施例的基于水平运动值的左眼图像和右眼图像的水平移动，所述水平运动值使用视差频率分布图确定；

图11是根据本发明的实施例的图像处理设备的方框图；和

图12是示出根据本发明的实施例的图像处理方法的流程图。

具体实施方式

现在将结合附图更加全面的描述本发明，其中示出了本发明示例性实施例。然而，本发明可以体现为很多不同的形式并且不应该解释为是限制于其中阐述的实施例；更确切些，提供这些实施例以便这种公开将是彻底的并且完全的，并且将本发明的思想完全传送给本领域的技术人员。

现在结合图1和3描述产生实像(real image)的相机的结构。

图1A-1C示出立体相机的类型。图1A示出平行立体相机。平行立体相机的对准是简单的。然而，由于平行立体相机不具有收敛功能，考虑到人的视觉特征它不能拍摄图像。因此，所拍摄的图像不能用作三维(3D)图像。图1B示出toed-in立体相机。Toed-in立体相机具有收敛功能，并且精密地反映了人的视觉特征。然而，toed-in立体相机具有附图2示出的问题。

附图2示出当使用附图1B示出的toed-in立体相机执行拍摄操作时产生的问题。

当矩形对象21定位在图2示出的左右相机的相机轴线之间时，分别通过左和右相机拍摄的图像23和25变形如图2中所示。当图像23和25用于3D图像时，图像23和25的这种变形导致眼睛疲劳。

图1C示出以防止图1A和1B分别示出的平行立体相机和toed-in立体相机缺点的方式对准的混合(hybrid)立体相机。在混合立体相机中，透镜单元和电荷耦合器件(CCD)单元可以单独地移动。因此，通过调整CCD单元和透镜的位置可以控制收敛。

图3示出多视图相机的结构。

拍摄多视图图像的传统方法使用如图3示出的构造的多视图相机。在运动图像专家组(MPEG)3D音频视频(3DAV)进行标准化处理中，通过附图3的多视图相机拍摄的图像用作标准图像。立体相机能够具有附图1C示出的结构。然而，在多视图视频拍摄的情况下，控制每一个图像的收敛实际上是不可行的。

图4示出多视图视频编码的应用。

参考图4，从由N个相机组成的多视图相机输出的图像在多视图编码处理中被压缩并且存储或传送，然后在多视图译码处理中重建。重建图像可以根据显示设备的应用来显示。即，视图的图像序列显示在2D显示器上。对于3D立体显示，两个视图被选中并且用于在3D立体显示器上显示3D图像。对于3D多视图显示，至少两个视图被选中并且用于在3D多视图显示器上显示3D多视图图像。当两个图像序列用于在3D立体显示器上显示3D图像时，3D立体显示器具有图1A中示出的平行立体相机同样的问题。因此，通过多视图相机获取的图像必须正确处理以在3D立体显示器上显示。

图5A-5C示出根据本发明的实施例的通过平行多视图相机拍摄的左眼图像和右眼图像。当假定从由平行多视图相机输出的图像序列中选中两个视图并且用于3D立体显示时，就会出现图5A-5C示出的现象。

图5A示出左眼图像，而图5B示出右眼图像。图5C示出在一个平面中叠加在图5B的右眼图像上的图5A的左眼图像以展示它们之间的视差。假定当右眼图像的目标(objects)存在于左眼图像的相同目标的右边时就存在正视差。在这种情况下，图5C中示出的重叠图像内所有目标的图像具有正视差。换言之，可以说由于平行相机的特征不存在收敛点或收敛点存在于屏幕之外。

当图5C示出的重叠图像在3D立体显示器上显示时，重叠的图像内所有目标的图像看起来从屏幕突出。这种视差，也就是，深度，导致眼睛疲劳并且减少了3D效果。

图6A-6C示出根据本发明的一个实施例通过将图5A-5C的左眼图像和右眼图像分别向右和向左移动产生稳定的立体图像的处理。换句话说，图6A-6C示出通过调整视差向用户提供稳定3D图像的图像处理方法。图6A示出移到右边的附图5A中的左眼图像，而图6B示出移到左边的附图5B中的右眼图像。附图6C示出根据本发明的实施例在3D立体显示器上的与图6B中的左眼图像合成的图6A中的右眼图像。

参考图6C，合成的图像的整体视差小于附图5C示出的重叠图像的视差。因此，某些目标的图像，例如，目标的图像61，具有负视差。换句话说，图像61具有负深度并且因此看起来象陷入屏幕。图像64是具有零视差并且具有等于屏幕深度的深度的收敛点。图像62和63的视差是正的。因此，图像62和63看起来象从屏幕突出。

当右眼图像和左眼图像合成为如图6C所示时，合成图像内目标的图像具有比图5C示出的重叠图像更加多样的深度。因此，可以向用户提供更加稳定和立体的图像。现在描述根据本发明一个实施例的一种确定水平运动值的方法，其通过当右眼和左眼图像以预定间隔水平地移动时估计输入的右眼和左眼图像之间的视差来确定水平运动值和确定表示一个图像中估计的视差和估计的视差出现频率之间的关系的视差频率分布图。

图7示出根据本发明的实施例的基于块(block-based)的视差估计(DE)。

参考附图7，左眼图像被分成相等大小的N×N块。使用绝对差的和(SAD)或绝对差分均值(MAD)来估计最类似于左眼图像中相应的块的右眼图像的块。在这种情况下，基准(reference)块和估计块之间的距离定义为视差向量(DV)。通常，DV分配给基准图像中的每个像素。然而，为了减少所需计算的量，假定块中的所有像素的DV和基于块的DE中的近似相同。为了获取每个像素的DV对每个像素执行DE被称作基于像素的DE。

基于块的DE或基于像素的DE用于估计视差。

图8示出根据本发明的实施例的左眼图像和右眼图像之间视差的频率分布图。参考附图8，频率分布图的水平轴表示视差大小，而频率分布图的垂直轴表示频率，即，具有相同大小视差的单元(unit)图像的数目。单元图像表示基于块的DE中的单元块和基于像素的DE中的单元像素。

在图8示出的频率分布图的情形中，稳定的立体图像可以提供给用户的双眼，而且目标看起来从屏幕中突出。在图8的频率分布图中，大多数图像具有负视差，而其它的具有正视差。

因此，一般立体图像的频率分布图分布需要调节为图8的频率分布图分布。

图9A-9C示出根据本发明的实施例的在通过平行多视图相机获取的多视图图像中的左眼图像和右眼图像之间视差的三种频率分布图。根据立体相机的类型和若干立体图像参数(诸如相机和焦距之间的距离)，存在各种类型的视差频率分布图。通过平行多视图相机拍摄的左眼图像和右眼图像之间视差的频率分布图可以分类为图9A-9C中示出的三种频率分布图。图9A的频率分布图在视差低的区域呈现比较高的频率。图9B的频率分布图在视差偏中的区域呈现比较高的频率。图9C的频率分布图在视差高的区域呈现比较高的频率。

然而，如图9A到9C所示的平行多视图或立体视图的水平方向中所有视差值通常大于零，这是因为相机互相平行对准而且因此光轴不收敛于任何一个点。具有这种频率分布图的这种左眼和右眼图像可以导致严重的眼睛疲劳。图8示出的稳定频率分布图可以减少眼睛疲劳并且用于产生3D立体图像。

根据本发明的一个实施例，图9A到9C示出的3D立体图像频率分布图调节为图8示出的理想视差频率分布图。为此，附图9A到9C中示出的频率分布图需要在负方向上移动。

如上所述，为了产生具有图8示出的视差频率分布图的输入图像，为每一个输入帧分析输入图像的视差频率分布图，并且计算视差阈值Dth，所述阀值使得输入图像的视差频率分布图中所有视差的预定比率(a％)为正。在这种情况下，a是实验上确定的恒定值。本领域一般技术人员可以知晓视差阈值Dth可以使用多种方法计算。

在图9A的频率分布图中计算的阈值是Dth1，图9B的频率分布图中是Dth2，而图9C的频率分布图中是Dth3。当附图9A到9C的频率分布图分别通过计算的阈值Dth1到Dth3在负方向上移动时，在图9A到9C的每一频率分布图中总的视差的预定比率(即，a％)将是如图8所示的正视差。

在视差调整处理中，基于计算的阈值左眼图像向右移动而右眼图像向左移动。然后，水平移动的左眼图像和右眼图像被合成。这种视差调整处理用于将目标的收敛点置于立体屏幕的提供最优深度知觉的位置。

图10A-10C示出根据本发明的实施例的基于水平运动值的左眼图像和右眼图像的水平移动，所述水平运动值使用视差频率分布图来确定。

如上所述，根据本实施例，通过视差阈值Dth调整3D图像的视差，以便正视差占据左眼和右眼图像之间总的视差的a％。参考附图10A-10C，左眼图像向右水平移动Dth/2，而右眼图像向左水平移动Dth/2。在这种情况下，3D立体图像的视差被调整。

图10C示出水平地移动和重叠的图10A中的左眼图像和图10B中的右眼图像。参考图10C，重叠图像内目标101具有负视差，目标102和103具有正视差，而目标104具有零视差。因此，当使用左眼和右眼图像之间的视差调整3D图像的视差时，重叠图像内的目标具有不同的深度。因此，可以向用户提供更加稳定和立体的图像。

图11是根据本发明的实施例图像的处理设备100的方框图。参考图11，图像处理设备100包括图像划分单元11、频率分布图产生单元13、水平运动值确定单元15、水平运动单元17以及用户接口单元19。

图像划分单元11接收3D图像并且将3D图像划分为右眼图像和左眼图像。然后，图像划分单元11将右眼图像和左眼图像传送给频率分布图产生单元13和水平运动单元17。

频率分布图产生单元13估计右眼图像和左眼图像之间的视差，测量估计视差发生的频率，并且产生对于视差和频率的频率分布图。在这种情况下，可以使用如上所述基于块的DE或基于像素的DE或其它方法。

水平运动值确定单元15接收来自频率分布图产生单元13产生的频率分布图，并且确定左眼和右眼图像的水平运动值。详细地，水平运动值确定单元15分析每个输入帧的视差频率分布图，计算视差阈值Dth，(其使得正视差占据总视差的预定比率，即，a％)，并且确定对应于计算的视差阈值Dth一半的值为水平运动值。

水平运动值确定单元15可以通过用户接口单元19接收来自用户的预定比率，并且确定视差阈值Dth。或者，水平运动值确定单元15可以通过用户接口单元19直接从用户接收视差阈值Dth。在这种情况下，用户可以在实验上输入不同的比率或阈值，确定合适的水平运动值，并且基于确定的阈值调整3D图像的视差以提供最优3D效果。

水平运动单元17将左眼图像向右移动并且将右眼图像向左移动从水平运动值确定单元15接收的水平运动值，且输出已调整视差的左眼和右眼图像。虽然未示出，但是视差调整设备100可以包括3D立体显示单元以显示从水平运动单元17输出的已调整的视差的左眼和右眼图像。

显然左眼图像和右眼图像不必移动相等的量。例如，右眼图像可被移动，而左眼图像不被移动。

图12是示出根据本发明的实施例的图像处理方法流程图。参考图12，3D图像被接收并且分成左眼图像和右眼图像(S120)。估计左眼图像和右眼图像之间的视差，测量估计的视差发生的频率，并且产生对于视差和频率的频率分布图(S122)。基于频率分布图确定右眼图像和左眼图像的水平运动值(S124)。详细地，计算视差阈值，其使得视差频率分布图中所有视差的预定比率为正，并且使用所计算的视差阈值确定水平运动值。水平运动值可以确定为等于阈值的一半。此外，预定比率或视差阈值可以由用户作为用户输入信号输入。

左眼图像和右眼图像基于确定的水平运动值被水平地移动，并且调整左眼图像和右眼图像之间的视差(S126)。输出并且显示已调整视差的左眼和右眼图像。

根据本发明的一个方面的图像处理方法和装置可用于基于左眼和右眼图像之间的视差控制通过多视图相机获取的图像的收敛，并且因此所述图像可以用于3D立体显示，从而加强3D效果并且减少眼睛疲劳。

根据本发明的一个方面的图像处理方法和装置可用于通过在接收和显示3D图像的接收端调整图像的视差来控制图像的收敛(convergence)。

本发明还可以实施为计算机可读取记录媒体上的计算机可读取代码。此外，用于完成本发明的功能程序、代码和代码段可以容易地由本发明所属的领域的技术程序员解释。计算机可读取记录媒体是任何可以存储其后通过计算机系统读取的数据的数据存储装置。计算机可读取记录媒体的实例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储器设备和载波(诸如通过互联网的数据传送)。计算机可读取记录媒体还可以是分布式网络耦合计算机系统以便计算机可读取编码以分布式方式存储和执行。

虽然结合其中的示例性实施例特别示出和描述了本发明，然而本领域的一般技术人员可以理解的是不脱离所附权利要求所定义的本发明的精神和范围可以做出形式和细节上的不同的变化。

Claims

1.一种图像处理设备，包括：

图像划分单元，其接收三维(3D)图像并且将3D图像划分为左眼图像和右眼图像；

频率分布图产生单元，其估计左眼图像和右眼图像之间的视差，测量估计的视差发生的频率，并且产生视差和频率的频率分布图；

水平运动值确定单元，其使用产生的频率分布图确定左眼图像和右眼图像的水平运动值；以及

水平运动单元，其基于确定的水平运动值水平地移动左眼图像和右眼图像中的至少一个。

2.权利要求1的设备，其中，所述水平运动值确定单元计算阈值，其使得频率分布图中的视差的预定比率为正，并且使用计算的阈值来确定水平运动值。

3.权利要求2的设备，其中，所述水平运动值确定单元确定对应于阈值一半的值为水平运动值。

4.权利要求3的设备，其中，所述水平运动单元基于所述阈值水平地移动左眼图像和右眼图像，并且，因此调整视差。

5.权利要求2的设备，进一步包括用户接口单元，其通过用户输入信号从用户接收预定比率或阈值并且将预定比率或阈值传送给水平运动值确定单元，其中，所述水平运动值确定单元使用接收的预定比率或阈值来确定水平运动值。

6.权利要求1的设备，进一步包括3D立体显示单元，其显示从水平运动单元输出的已调整视差的左眼图像和右眼图像。

7.一种图像处理方法包括：

接收三维(3D)图像并且将3D图像划分为左眼图像和右眼图像；

估计左眼图像和右眼图像之间的视差，测量估计视差发生的频率，并且产生视差和频率的频率分布图；

使用产生的频率分布图来确定左眼图像和右眼图像的水平运动值；以及

基于确定的水平运动值水平地移动左眼图像和右眼图像中的至少一个以调整视差。

8.权利要求7的方法，其中，所述水平运动值的确定包括：

计算阈值，该阈值使得频率分布图中视差的预定比率为正；以及

使用所计算的阈值确定水平运动值。

9.权利要求8的方法，其中，所述水平运动值的确定包括确定对应于阈值一半的值为水平运动值。

10.权利要求9的方法，其中，所述左眼图像和右眼图像的水平运动包括基于阈值水平地移动左眼图像和右眼图像，并且，因此调整视差。

11.权利要求8的方法，进一步的包括：

通过用户输入信号接收来自用户的预定比率或阈值；以及

使用接收的预定比率或阈值来确定水平运动值。

12.权利要求7的方法，进一步包括显示已调整视差的左眼图像和右眼图像。

13.一种其上记录了用于执行权利要求7的方法的程序的计算机可读取记录介质。

14.一种图像处理设备包括：

图像划分单元，其接收图像并且将图像划分为第一图像和第二图像；

频率分布图产生单元，其估计第一图像和第二图像之间的视差，测量估计的视差发生的频率，并且产生视差和频率的频率分布图；

运动值确定单元，其使用产生的频率分布图确定第一图像和第二图像的运动值；以及

运动单元，其基于确定的运动值来移动第一图像和第二图像中的至少一个，并且，因此调整图像的视差。

15.一种图像处理方法，包括：

接收图像，并且将图像划分为第一图像和第二图像；

估计第一图像和第二图像之间的视差，测量估计的视差发生的频率，并且产生视差和频率的频率分布图；

使用产生的频率分布图确定第一图像和第二图像的运动值；以及

基于确定的运动值移动第一图像和第二图像中的至少一个，并且，因此调整图像的视差。