CN101189872A - 照相机的规格化图像 - Google Patents

Abstract

提供了一种产生与会者规格化图像使得当显示图像时，参与者显现为大致同样的大小的方法和系统。该规格化系统根据从照相机的位置到参与者的距离相关的约束条件对图像大小进行规格化。为规格化参与者的图像，该系统对照相机进行变焦，以考虑从照相机到参与者的距离。

Description

照相机的规格化图像

技术领域

背景技术

位置分散的人们通常通过视频会议举行会议。在通常的场合下，照相机和麦克风被设置在各个位置的房间内以向另一个位置传输视频和音频。照相机和麦克风通常被连接到一个运行负责通过电话线、互联网或其它网络将数据传输到远程位置的视频会议软件的计算系统。远程位置的计算系统然后接收到该视频和音频数据，使用显示屏或扬声器将其传递给与会者。

可以用方位角和仰角来描述照相机的方向，而用量程(range)来描述其离目标的距离。方位角指绕照相机所面对的桌子的旋转角。磁北被指定为0度，这样如果照相机面对磁北时，方位角为0度。改变照相机方位角的动作被称为移动镜头。仰角是指自照相机所对水平面上下的角度。正对水平面的照相机的仰角为0度。水平面之上的角度用正值表示，水平面之下的角度用负值表示。改变照相机仰角的行为称为俯仰运动(tilting)。量程指的是照相机与对其捕捉图像的目标之间的距离。使目标在图像中看起来更大或更小的动作被称为变焦。

在早期的视频会议系统中，照相机是固定的，在远程位置只能看到直接坐在照相机前方的与会者。某些视频会议系统添加了对照相机手动移动镜头、俯仰、和变焦的能力。后期的视频会议系统自动对照相机进行移动镜头、俯仰运动，以使远程位置处的参与者可以看到正在说话的参与者，而无论她位于房间中的什么位置(例如，采用声音和/或视觉技术)。某些现代的视频会议系统利用来自麦克风的音频来定位照相机，并根据音量估计说话的参与者到照相机的距离，但是，这种通常导致错选说话者或不成比例的图像大小，例如，因为某些参与者说话声音比其他人大，以及房间内其它噪音，例如物体上的反射都可能干扰该系统。

即使采用可移动照相机，通常也难以看到全部与会者。与会者通常坐在矩形桌周围。坐在桌子尽头离照相机较远的与会者看上去较小，与坐在桌子两侧离照相机较近的与会者相比，细节较少。由于部分与会者靠近照相机，他们将充满整个显示画面，而由于其他与会者距照相机较远，从而在显示画面中占一个很小的部分，与会者不得不看到这样的情况，他们会分心。

概述

本发明提供了一种产生与会者的规格化图像的方法和系统，使得在显示图像时，与会者显现为大致相同的大小。根据与会者与照相机位置的距离的约束条件，该规格化系统对图像大小进行规格化。该系统利用照相机的方位角和该约束条件，估计照相机到照相机所指向的参与者的距离。为了对参与者的图像进行规格化，该系统对照相机进行变焦，以考虑参与者到照相机的距离。

提供本概述以用简化的方式介绍将在下面的详细描述中做进一步的介绍的概念的选取。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在有助于界定所要求保护的范围。

附图说明

图1示出了在两个位置处设置规格化系统以支持视频会议的典型场景。

图2示出了一实施例中采用规格化系统的会议室设置；

图3示出了采用规格化系统典型设置的俯视图和侧视图的普通照相机定位术语；

图4示出了一实施例中从全景照相机图像中提取1CIF图像；

图5是示出一实施例中规格化系统的各组件的框图；

图6是示出一实施例中规格化系统的自动移动镜头俯仰变焦(AutoPanTiltZoom)组件的处理的流程图；

图7是示出一实施例中规格化系统的检测方位角组件的处理的流程图；

图8示出了一实施例中SSL组件采用麦克风阵列来检测说话位置；

图9a和9b示出了规格化系统的MPD组件所产生的输出；

图10给出了在典型的方位角检测组件的调用中所检测到概率的图表；

图11是示出一实施例中检测仰角检测组件的处理的流程图；

图12是示出一实施例中检测量程组件的处理的流程图；

图13a和13b是采用和不采用规格化系统的图像；

图14是示出一实施例中规格化系统的处理的流程图。

详细描述

提供了一种产生与会者的规格化图像使得在显示图像时，与会者显现为大致相同的大小的方法和系统。在一实施例中，规格化系统根据参与者到照相机位置的距离相关的约束条件，对图像大小进行规格化。例如，这些约束条件可能包括中央放置照相机的会议桌的桌子布局(例如长和宽)。该系统利用照相机的方位角和这些约束条件估计出照相机到照相机所指向的参与者的距离。例如，假设桌子布局是5×10英尺的矩形，长边为南北向，照相机设置于中央。因此，当照相机指向西时，该系统可根据桌子布局估计参与者到照相机的距离至少为2.5英尺。当照相机指向北时，该系统可估计参与会者到照相机的距离至少为5英尺。为了对参与者图像规格化，该系统对照相机进行变焦，以考虑参与者到照相机的距离。例如，该系统对距离照相机2.5英尺的参与者采用1X的变焦系数，对距离照相机5英尺的参与者采用2X的变焦系数。这样，与会者可以看到照相机所指向的与会者的规格化图像。

在某些实施例中，规格化系统利用全景照相机同时捕捉描绘绕桌子的每个方位角的单个图像。全景照相机通常形成太大而无法直接通过互联网或其它网络进行传输的图像。典型的全景照相机可以产生3700×600像素的高分辨率图像。可对该图像进行裁剪和缩放，以产生从全景图像中的一部分得到的、适于通过互联网传输的图像。视频会议数据传输的常用格式，即常用中间格式图像(CIF)的分辨率为352×288像素，由ICU H.261视频会议标准描述。计算装置从全景照相机接收全景图像并用作虚拟照相机来指向全景图像的一个特定部分。本说明书全文中，本技术领域的普通技术人员可以理解，通过对从全景照相机接收的图像进行裁剪和缩放，也可以同样良好地应用对非全景照相机的移动镜头、俯仰运动、变焦等的引用。在本说明书中，对“照相机”的引用可以指的是物理照相机、虚拟照相机、全景照相机、或非全景照相机，除非上下文中指示所指的仅是一种或另一种照相机。

在某些实施例中，规格化系统自动将照相机指向正在说话的参与者。利用多个麦克风，可基于说话的参与者语音的声音来标识出他。规格化系统所采用的视频会议终端可包括绕基座分布的多个麦克风以及一照相机。通过检测在各个麦克风处接收特定声音的延迟，麦克风可以用于确定说话的参语者的方位角。最先接收该特定声音的麦克风最靠近该声音，声音到达其它麦克风的延迟允许使用如2003年3月31日提交的申请号为10/404,219的题为“A System and Process for Time DelayEstimation in the Presence of Correlated Noise and Reverberation(在存在相关的噪声和反射时的时间延迟估计系统和过程)”的美国申请以确定该声音的方位角，该申请通过引用包含在此。一旦知道方位角之后，照相机自动指向该方向。

某些实施例中，规格化系统接收描述桌子布局及其与照相机的相对方向的一组约束条件作为会议之前的初始设置的一部分。桌子布局关于桌子大小、形状和其它信息。利用照相机或其它装置可以自动确定该桌子的布局，或可由参与者手动输入该桌子的布局。例如，规格化系统可对全景图像进行分析以标识桌子的边缘，并估计照相机到该边缘的距离。当采用非全景照相机时，通过旋转360度以捕捉含各个方位角的图像来产生全景图像。当照相机未位于桌子中央时，该系统可确定从桌子中央到该照相机的偏移量，使得在确定到与会者的距离时，规格化系统可以将该偏移量考虑在内。

在某些实施例中，该规格化系统可确定照相机与各约束条件有关的初始位置。通过使全景或非全景照相机的基座朝向相对于桌子的固定位置，可建立该初始位置。当对非全景照相机移动镜头到另一侧时，可以通过传感器、步进电动机等等检测与初始位置相比方位角的变化。例如，可采用光传感器来检测从初始位置经过的固定大小隆起的数目。照相机的方位角然后通过考虑与初始位置相比的方位角的变化来与约束条件相关。为了确定全景照相机的初始位置，可要求参与者调整照相机的基座的方向，使基座上的指示器指向桌子的特定一端。全景照相机也可以允许使用软件来选取初始位置，例如，通过显示全景图像并要求参与者在图像中选择桌子的特定一端。将全景图像内的各个位置与所确定的初始位置进行比较，这些位置可与该约束条件相关。

某些实施例中，规格化系统考虑初始设置后照相机相对桌子的方向变化。例如，与会者可能碰撞或移动照相机，这样所存储的约束条件并不能正确反映桌子相对于照相机的位置关系。为了解决这个问题，照相机包括一个输出照相机相对于磁北的方位角的磁力计，或者采用基于图像的桌子检测。在初始设置期间，系统存储初始方向，例如，取得磁力计的读数。由于在初始设置过程中照相机被设置在相对于桌子的固定位置中，来自磁力计的初始读书指定了桌子相对于照相机的方向。在会议期间，规格化系统将该磁力计的输出与所存储的值进行比较，以确定是否移动了照相机，以及移动了多少方位角。方位角的改变被用来校正根据所存储的约束条件确定的到与会者的距离。

图1示出了在两个位置设置了规格化系统以支持视频会议的典型场景。在一位置105的视频会议终端107包括一个附连于个人计算机或其它客户机装置115的照相机110。监视器140也附连于个人计算机115。视频会议终端107被连接至互联网120或其它网络，以将视频发送到第二位置125。第二位置125处的视频会议终端127包括一附连有照相机130和监视器145的个人计算机或其它客户机装置135。第一位置105处的照相机110捕捉该位置处与会者的视频。个人计算机115从照相机110接收视频并通过网络120将其发送到第二位置125。第二位置处125的个人计算机135接收视频并将其显示在附连监视器145上以提供给第二位置125处的参与者。类似地，在第一位置105处显示来自第二位置125的视频。在某些实施例中，视频会议终端的各个组件可被包含在无需连接至单独的个人计算机的集成视频装置中。

实现该系统的计算装置包括中央处理单元、存储器、输入装置(例如，键盘和定点设备)、输出装置(例如，显示装置)以及存储装置(例如，磁盘驱动器)。存储器和存储装置是可含有实现该系统的指令的计算机可读介质。此外，可以通过诸如通信链路上的信号的数据传输介质进行存储或传输数据结构和消息结构。可以采用各种通信链路，例如互联网、局域网、广域网、点对点拨号连接、蜂窝电话网络等等。

可以在包括个人计算机、服务器计算机、手持或膝上型装置、多处理器系统、基于微处理器的系统、可编程消费者电子器件、数码相机、网络PC、小型计算机、大型机、包括以上任一系统或装置的分布式计算环境的各个操作环境下实现该系统的实施例。该计算机系统可以是蜂窝电话、个人数字助理、智能电话、个人计算机、可编程消费者电子器件、数码相机等等。

该系统可在诸如程序模块等由一台或多台计算机执行的计算机可执行指令的通用上下文中描述。一般而言，程序模块包括例程、程序、对象、组件、数据结构等，它们执行特定任务或实现特定的抽象数据类型。通常，在各个实施例中，程序模块的功能可以按照需要组合或分布。

图2示出了一个实施例中采用规格化系统的会议室设置。视频会议终端210位于矩形桌205的中央。该视频会议终端210包括麦克风阵列215和LCD显示屏220。该麦克风阵列215包括绕视频会议终端210的基座等间隔分布的六个麦克风。在桌子的边缘示出了绕桌子的各个位置的参与者的相对大小。例如，在桌子205的一端230，相对大小50％的表示该位置的参与者将显现为坐在桌子205的255侧的参与者大小的50％。可以将产生规格化大小的各个参与者的图像的变焦系数计算为相对大小的倒数，使得变焦系数2×将适合于坐在所述桌子该端的人。适当的变焦系数取决于桌子的大小和布局，以及视频会议终端的位置。尽管在附图中示出将会议视频终端置于中央的矩形桌，但规格化系统支持多个桌子大小、形状和布局。例如，可以采用将会议视频端置于一边上的圆桌，规格化系统可对那些坐在离终端较远参与者采用比坐在离终端较近的参与者更大的变焦系数。

图3示出了采用规格化系统典型设置的俯视和侧视图的普通照相机定位术语。照相机305位于桌子310上。照相机与参与者315成一垂直角，被称为仰角320。照相机305绕桌子成一旋转角，被称为方位角325。照相机305与参与者315的距离，称为量程330。

图4示出了一个实施例中从全景照相机图像中提取CIF图像。该全景照相机以高分辨率例如3700×600像素下，产生一个较大的图像405。规格化系统用作选取较大图像405的一部分以产生例如分辨率352×288的较小图像410的虚拟照相机。在该较大图像405中从左到右的移动过程类似于移动镜头，而上下移动过程类似于俯仰运动。当开始通过以还不是352×288的较大图像的子集来提取较小图像时，将该图像大小调整为352×288的过程类似于对焦。

图5示出了一实施例中规格化系统的各组件的框图。客户机505包括一个桌子配置存储510、声音存储515、图像存储520、声源定位(SSL)组件525、多人检测(MPD)组件530、AutoPanTiltZoom组件535。桌子配置存储510包括描述会议桌布局和照相机在桌子上的位置的约束条件。声音存储515包括用视频会议终端的麦克风阵列捕捉的音频数据。图像存储520含有用视频会议终端的照相机捕捉的图像。如果照相机是一全景照相机，则该图像存储包括表示示出绕桌子的所有方向的全景照相机输出的单个图像。SSL组件525分来来自声音存储515的音频信息，并确定说话的参与者位于绕桌子的任何特定方位角处的概率。MPD组件530分析来自图像存储520的视频信息，并确定参与者坐在绕桌子的任何特定方位角的概率。对于检测到参与者的方位角值，计算出包括参与者头部的边界框。MPD组件530也可定位桌子的边缘以确定在何处放置边界框的底边。如果采用非全景照相机，可以执行照相机绕房间的初始移动镜头以为MPD组件收集数据。AutoPanTiltZoom组件535利用来自桌子配置存储510、SSL组件525、MPD组件530的信息来产生最终图像以便发送到其它与会者。AutoPanTiltZoom组件包括检测量程组件550、检测方位角组件555和检测仰角组件560，它们将分别在以下更详细描述。

图6是示出一实施例中规格化系统的AutoPanTiltZoom组件的处理的流程图。在整个会议过程中周期性地调用该组件来检查何时说话的参与者改变并调节照相机以产生参与者的规格化图像。在框605中，该组件调用检测方位角组件以检测说话的参与者的方位角。在框610中，该组件调用检测仰角组件，以检测说话的参与者的仰角。在框615中，该组件调用检测量程组件以检测从视频会议终端到说话的参与者的量程。在框620中，该组件通过对非全景照相机进行移动镜头、俯仰运动和变焦，或者对向虚拟照相机提供的全景图像进行裁剪和缩放来将照相机定位到该说话的参与者。然后该组件完成。

图7是示出一实施例中规格化系统的检测方位角组件的处理的流程图。调用该组件以检测说话的参与者的方位角。在框705中，该组件从SSL组件接收利用音频数据所确定的说话的参与者位于围绕桌子的任何方位角的概率的信息。在框710中，该组件从MPD组件接收指示利用视频数据所确定的参与者位于围绕桌子的任何方位角的概率的信息。框715中，从SSL组件接收到的概率被加到从MPD组件接收到的概率，以产生一说话的参与者位于围绕桌子的任何方位角的组合概率。组合SSL和MPD数据也可以采用加权平均、神经网络或贝叶斯网络，使得在产生组合概率时对从SSL组件或MPD组件接收的信息给予较大的权重。在框720中，选取最高概率方位角作为说话的参与者的位置。然后该组件完成。

图8示出一实施例中由SSL组件使用麦克风阵列来检测说话的参与者的位置。与会者805坐在视频会议终端810周围。该视频会议终端810包括绕其周围的麦克风阵列815。声波820在不同时间到达各个麦克风。例如，图中，来自参与者的声波在到达麦克风830之前到达825，因为麦克风825更靠近参与者805。可利用来自各个麦克风的延迟信息，以使用本领域的公知技术对参与者进行三角形测量来确定参与者的位置。

图9a和9b示出了规格化系统的MPD组件和SSL组件所产生的输出。图9a给出了全景照相机所产生的图像，图9b示出了带指示由MPD和SSL组件所确定信息的线条的同一图像。所示的边界框905被示为绕围绕桌子一端的参与者绘制，它采用了所检测到的桌子边缘910作为其下边缘。较远的参与者915的边界框比那些较近的参与者920的边界框要小，这指示应应用不同的变焦来规格化各个参与者的大小。

图10给出了检测方位角组件的典型调用过程中检测到的概率的图表。示出了图像1005，它可以来自全景照相机，或通过将来自非全景照相机的多个图像缝合在一起，以产生示出整个会议室的单个图像来产生。该图像1005包括两个参与者1010和1015。图表1025示出SSL组件利用音频数据所产生的的说话的参与者位于特定位置的概率。示出了三个峰值1030、1035和1040。前两个峰值1030和1035有可能由与会者发出的声音形成，而第三峰值1040可能是从会议室中的自板1020反射的噪音产生。为了改善SSL组件所收集的数据，在第二图表1050中示出，将来自MPD组件的数据与SSL数据相加，以产生第三图表1075中描绘的总概率。该第三图表1075示出了中央参与者1015的位置处的峰值，指示她最有可能是说话的参与者。

图11是示出一实施例中检测仰角组件的处理的流程图。调用该组件来检测说话参与者的仰角。在框1105中，该组件接收如由检测方位角组件所确定的说话的参与者的方位角。在框1110中，该组件使用方位角通过将各个边界框水平中心的方位角与说话的参与者的方位角进行比较，来找到最近的边界框。在框1115中，该组件确定所选边界框的垂直中心，并返回该位置的仰角值。该组件然后完成。在某些实施例中，调用SSL组件以检测说话的参与者的仰角，或以类似于上述用于检测方位角的方法补充来自MPD组件的边界框信息。

图12是示出一实施例中检测量程组件的处理的流程图。调用该组件检测从照相机到说话的参与者的量程。在框1205中，该组件接收如由检测方位角组件所确定的说话的参与者的方位角。在框1210中，该组件查找如由规格化系统初始设置过程中提供的桌子约束条件所确定的所接收的方位角处的量程。在某些实施例中，规格化系统也检测自视频会议终端设置以来位置的变化，并基于位置的任何变化调节量程。在某些实施例中，检测量程组件也利用MPD组件提供的信息，以根据所检测到的参与者的位置和桌子的边缘来细化量程。该组件然后完成。

图13a和13b示出了采用或不采用规格化系统的图像。图13a描述了一个不采用规格化系统的与会者。该与会者仅占掘图像中较小的一部分。图13b描绘了采用规格化系统的同一与会者。该参与者在该图像显现得大得多，且使观众分心的无关视觉信息较少。

图14是示出一实施例中规格化系统的处理的流程图。在框1405中，该系统接收描述桌子布局和方向的条件。在框1410中，该系统检测当前正在说话的参与者。在框1415中，该系统将照相机设置为指向该说话的参与者并生成该参与者的图像，使参与者的大小规格化。然后该组件完成。

根据上述描述，可以理解，为了说明的目的，描述了规格化系统的特定实施例，但可作出各种修改而不背离本发明精神和范围。例如，系统可采用各种类型的照相机和视频会议终端。具体地，描述了采用全景和非全景照相机两者的技术，但也可以采用例如静态照相机、摄像机、红外照相机等等其它类型的照相机。可以与规格化系统一起使用桌子的多个形状和布局，包括矩形、正方形、圆形、椭圆形等等。虽然在视频会议的上下文中描述了该系统，但所述技术可同样应用在其它场合。例如，该系统可用于监控商场内的购物者、动物园中的动物、教室中的参与者或其它设置。如本说明书中描述的参与者指的是在由照相机产生的图像中描绘的对象，可以是人、动物等等。按照变焦来放大特定与会者的大小来描述了对该与会者大小的规格化过程，，但是照相机也可以物理地移近参与者以创建较大的图像。因此，除了所附权利要求书，本发明并不受限。

Claims (20)

1.一种计算机系统中对视频中参与者的图像大小进行规格化的方法，包括：

提供与所述参与者的位置相关的一组约束条件；以及

生成参与者的图像，该图像具有经调节的大小以考虑由所提供的约束条件指示的所述参与者的位置。

2.根据权利要求1所述的方法，其特征在于，所述约束条件描述了所述参与者所围绕的桌子。

3.根据权利要求1所述的方法，其特征在于，生成所述图像包括：考虑所述约束条件被提供后照相机方向的变化。

4.根据权利要求1所述的方法，其特征在于，照相机是一虚拟照相机。

5.根据权利要求4所述的方法，其特征在于，所述虚拟照相机对从全景照相机接收的所述参与者的全景图像起作用。

6.根据权利要求5所述的方法，其特征在于，所生成的图像是通过对所述全景图像进行裁剪或缩放的至少一个动作来创建的所述全景图像的子集。

7.根据权利要求1所述的方法，其特征在于，照相机是一非全景照相机。

8.根据权利要求7所述的方法，其特征在于，所述生成图像包括对所述照相机进行移动镜头、俯仰运动或变焦中的至少一种。

9.根据权利要求1所述的方法，其特征在于，包括自动将照相机设置为指向当前正在说话的参与者。

10.根据权利要求9所述的方法，其特征在于，正在说话的参与者是利用麦克风检测出的。

11.根据权利要求1所述的方法，其特征在于，设置照相机包括：检测所述桌子的边缘并利用所述边缘作为所生成的图像的底部位置。

12.根据权利要求1所述的方法，其特征在于，接收所述一组约束条件包括自动检测所述约束条件。

13.一种计算机可读介质，含有用于控制计算机系统执行规格化视频会议中参与者的图像大小的方法的指令，所述方法包括：

从全景照相机捕捉第一图像；以及

从参与者的第一图像中生成大小基于放置所述全景照相机的桌子的布局的第二图像。

14.根据权利要求13所述的计算机可读介质，其特征在于，所述桌子的布局描述了所述照相机到所述桌子边缘的距离。

15.根据权利要求13所述的计算机可读介质，其特征在于，所述方法包括将照相机自动设置为指向当前正在说话的参与者。

16.根据权利要求15所述的计算机可读介质，其特征在于，正在说话的参与者是利用麦克风检测出的。

17.根据权利要求15所述的计算机可读介质，其特征在于，设置照相机包括：检测所述桌子的边缘和调节所述第二图像的大小以排除所述边缘。

18.根据权利要求13所述的计算机可读介质，其特征在于，生成第二图像包括：考虑确定所述桌子布局之后所述照相机的方向的变化。

19.一种数据信号，传输通过将照相机定位到参与者并生成参与者图像而产生的图像，所述参与者图像具有经调整的大小以考虑由所述参与者的位置上的约束条件所指示的所述参与者的估计位置。

20.根据权利要求19所述的数据信号，其特征在于，所述参与者是当前正在说话的参与者。

Images