CN1178166C - 用于检测连续视频图象中镜头变化的方法 - Google Patents

Abstract

包括生成一幅图象直方图的步骤(2)，包括图象T(t)直方图与先前的图象T(t-1)的直方图的比较步骤(5)，该比较步骤(5)包括：计算，对应图象T(t)的亮度值n的具体值histo_lum(n，t)，这个具体值histo_lum(n，t)与前一幅图象具体值histo_lum(n+k，t-1)之间的绝对差值，k是从-k到+k变化，k是自然数，从这些差值中选择最小值Min_Diff(n，t)，对这组亮度值直方图的最小值求和(6)，将所获得的和与一个阀值进行比较(7)。

Description

用于检测连续视频图象中镜头变化的方法

技术领域

本发明涉及到用于检测连续视频图象中镜头变化的一种方法，通常称作一个“剪辑”。

背景技术

需要在特别是帧画面速率变换应用中发生的这种声音-图象序列的镜头变化添加标记，通常在应用中采用暂时滤掉的办法。当两个连续的帧画面不再相关时，就不再需要这种滤波了。这种镜头变化的预先检测能够利用其它类型的插入法，例如一帧画面的重复，因此可以避免不一致的混淆。

对于视频内容的索引参数的提取，利用以前的转换检测通过视频镜头的分段也是本发明的应用。

大家知道的检测视频序列中镜头变化的一些方法通常依靠两个所考虑连续帧画面之间亮度直方图的差别。所以原理是根据从一个镜头到下一个的亮度变化。这类检测器对于亮度的变化是非常灵敏的，亮度变化可能单独地发生在场景的变化因而并不是非常可靠的。

发明内容

本发明的目的是克服前述的缺点。

本发明的主题是一种用于检测连续视频图象中镜头变化的方法，包括生成一幅图象直方图的步骤，它表示亮度值的具体值作为这些数值的一个函数，包括一个图象T(t)直方图与先前的图象T(t-1)的直方图的比较步骤，其特点在于该比较步骤包括：

-计算，对应图象T(t)的亮度值n的具体值histo_lum(n，t)，这个具体值histo_lum(n，t)与前一幅图象具体值histo_lum(n+k，t-1)之间的绝对差值，k是从-k到+k变化，k是自然数，

-从这些差值中选择最小值Min_Diff(n，t)，

-对这组亮度值直方图的最小值求和，

-将所获得的和与一个阈值进行比较。

根据一个特殊实施例，在比较步骤之前，该方法实现一个过滤直方图的步骤，这是根据相邻亮度值的一些具体值，执行关于给定亮度值n的具体值取平均值。

一个应用涉及到一种为了检索序列参数提取的声音-图象索引的方法，这种索引方法的特点在于它包括一个根据本发明方法检测镜头变化的步骤。

尽管还是依靠直方图的差，但是所建议的方法能够吸收可能导致错误检测的亮度变化。这些变化的起因可能源于改变焦距，起源于跟踪(例如当进入阴影区域)，起源于一个轻微的摄象机晃动等等。

所建议的方法是更可靠的，更有效以及比较简单地实现。相应的装置是非常经济的，它可以非常容易地嵌入到市场上大多数的设备中。事实上在结构的复杂性和效用上是一种非常好的折中方法。

这种方法还可以是更高级复杂的声音-图象索引系统的一部分，对该系统它可以构成一个基本的算法模块。它可以用能够实施的还比较健全的其它分析层次来补充。

附图说明

图1是本发明方法的各个步骤的流程图。

具体实施方式

通过例子并且参考描绘该方法各个步骤的附图1，从下面的描述中本发明的特点和优点将更清楚。

第一步骤1处理与在时刻t，T(t)一帧画面有关的视频信息。这帧画面中每个像素的一些亮度值都是通过简单地修剪最低两位的6个比特的精确度来产生的。

在下一个步骤2，亮度值直方图HISTO_LUM(0...63，t)在t时刻这帧画面的一些亮度值上进行编译。这个直方图包含从0到63的64个不同数值。

下一个步骤3执行该亮度直方图的滤波。一个单维滤波器应用到该直方图的元素。这个滤波器帮助补偿由于亮度中寄生变量产生的寄生影响。

在与帧画面T(t)有关的直方图中，让HISTO_LUM(n，t)是亮度值n的具体值的数量，或者其它的描述，在该帧画面中像素的数量具有数值n。

例如，直方图的滤波和平滑是整个2N+1值平均有关亮度值n具体值来实现的。除了考虑具体值以外，这些数值是相邻亮度值的一些具体值，即n前后的N值。对位于距离比来自极值0和63的N小的亮度值，该滤波数值可以是原来的数值。

考虑一个平均值超过5(N＝2)的例子，与亮度值n有关的具体值的平滑数值，histo_lum(n，t)，等于：

$\mathrm{histo}\_\mathrm{lum}(n,t)=\frac{1}{5}\×\underset{k=-2}{\overset{k=+2}{\mathrm{\Σ}}}\mathrm{HISTO}\_\mathrm{LUM}(n+k,t)$

定义滤波器宽度的值N大于或等于1，该滤波器适合至少3个元素。所有的越大期望的滤波器元素越多。

为每个新的帧画面计算其亮度直方图。当前帧画面滤波后的直方图，histo_lum[0...63，(t)]，在第四步骤被存储。

先前帧画面histo_lum[0...63，(t-1)]滤波后的直方图已经在步骤4存储，当这个先前帧画面T(t-1)的处理被传送到步骤5时也接收直接来自步骤3的当前帧画面T(t)的滤波后直方图。

然后步骤5执行根据本发明方法的两个直方图之间的比较，以便获得该直方图的每个元素的最小差别。

当前帧画面直方图的每个元素(或采样)histo_lum[n，(t)]与其对应的histo_lum[n，(t-1)]和相邻元素histo_lum[n+k，t-1]相比较，以便提供差值，选出最小差值Min_Dif(n，t)。

因此，对于这两个直方图的差值，我们有：

-0+k≤n≤63-k

$\mathrm{Min}\_\mathrm{Dif}(n,t)=\underset{k=-k}{\overset{k=+k}{\mathrm{Min}}}\left\{\mathrm{Abs}\right[\mathrm{histo}\_\mathrm{lum}(n,t)-\mathrm{histo}\_\mathrm{lum}(n+k,t-1)\left]\right\}$

-n＜0+k或63-k＜n

-Min_Dif(n ，t)＝Abs[histo_lum(n，t)-histo_lum(m，t-1)]

K是一个自然数，Abs对应于绝对值。

此外，对于来自极值0和63小于k的一个距离的亮度值，该计算的数值Min_Dif(n，t)是滤波后数值差值的绝对值。

该过程的下一步骤6在于对当前帧画面直方图的全部元素的集合，获得最小差值Min_Dif(n，t)求和：

$\mathrm{Sum}\left(t\right)=\underset{n=0}{\overset{n=63}{\mathrm{\Σ}}}\mathrm{Min}\_\mathrm{Dif}(n,t)$

步骤7执行为帧画面T(t)而获得的数值Sum(t)与一个预定阈值Thr_cut的比较。

-因为Sum(t)≥Thr_cut，则帧画面T(t)被认为对应于一个序列的剪辑：

Cut(t)＝1

-如果Sum(t)＜Thr_cut，这里认为没有剪辑：

Cut(t)＝0

以一种完全根据经验的方式，检测阈值Thr_cut的数值固定在大约是包含在一帧画面中点数的1/5。例如，对于一个720×288有用像素的SDTV帧画面，阈值Thr_cut的数值取等于40000的数值。

因此，如果计算的总和比一个预定阈值大，在步骤7执行测试，则所考虑的两个帧画面之间的一个镜头有变化并且第一输出(Y)被激活。在相反的情况下，第二个激活的输出(N)表示这里不存在镜头变化。

差值Min_Dif(n，t)的计算在一个预定值K结束。对于K值选择越大，系统将越能够吸收亮度中大的变量，但是这将得到的是在真实镜头变化时检测器灵敏度的损害，因此可能导致检测失败。

经验已经证明选择K＝1，该系统的运行最有效。则它可以检测到95％的镜头变化而产生大约10％的错误检测。根据自动检测系统，这些表面上大量的错误检测包含着认为是镜头变化的场景模糊的状况。这些状况通常被分类并且能够容易地通过补偿分析系统来确定，分析系统的责任是拒绝它们以便清理这些结果。这些辅助工具与这些典型的状况有关，就是说状况是已知的，因此能够改善我们的方法性能。

没有检测到的镜头变化能够通过替换K值来减少，但是对错误检测的损害将变得更多了。根据所针对的应用以及根据与这个检测器有关的工具，该优点对检测速率和错误检测起作用。

例如，在帧画面速度变化的情况，期望限制错误检测，因为它们导致一个可能由明显的跳动引起的特殊嵌入。

关于用来分段一个视频序列到一些镜头的应用，检测过度将不是关键的，因为检测器后面跟随能够拒绝过剩检测的补偿分析。

关于2N+1个采样，在差分化之前实施的滤波能够吸收，从一幅图象到另一幅，在向相邻采样传播时出现的亮度中较小的变化。因此它允许较好地区分由于序列剪辑引起的而且在图象中完全是随机的亮度变化，亮度中的变化是由于场景中的运动。这些后面的变化一般把接近相邻数值采样的传播表现为有关区域的面积演变，区域的出现或消失的演变，亮度变化的演变的一个函数，这些演变和变化通常以递增的方式发生。事实上它是一个直方图的形状，因此为了与其它的直方图比较必须重视过滤的直方图，而不是这些直方图特殊值。的确，从一幅图象到另一幅它们即使是很小，这些数值也能提供一个可能导致剪辑错误检测的一些变化的较大的总和。

几个差别都将计算，一是根据先前图象亮度的相同值，另外是根据相邻的数值而且正是最小值被重视。通过选择采样相邻的最小值它能够防止错误的检测。的确，在序列的一个剪辑期间，该直方图峰值完全改变位置，然而在其它情况下这些直方图峰值从一个亮度值到其它亮度值的缓慢演变在数量上更多。这是一种亮度值向相邻直方图的采样的转变，例如在光慢变化期间，在跟踪期间等。由于考虑相邻采样就可能防止这个转变，对于一定的内容取决于相邻采样的数量。

还可以在图象中亮度梯度中添加一个有优势的变化，例如在图象减弱或者感光过度期间，从一幅图象到另一幅图象的累加超过大量的亮度采样并且因此超过了在一些差值上执行的求和。选择最小值使其能够对这种在该图象内全部亮度变化的灵敏度减小。

根据本发明所提方法的应用涉及到图象的编码和压缩装置以及还涉及到通过视频镜头对于序列索引的参数提取进行的分割。该方法能够检测各种序列，例如在一个电影胶片或一些连续电影胶片中，所以它能够对每个电影胶片并且根据已知的方法，提取一个或更多识别或辨认参数。例如，一个声音-图象索引处理可以包括一个根据本发明的方法检测序列的步骤。

明显地，前面描述的一些计算可能涉及到图象，或帧画面的连续性以及涉及到任何标准或编码的类型。

一个编码或视频数据压缩装置包括一个实现前面描述方法的电路，也是本发明领域的一部分。

Claims (8)

1.一种用于检测连续视频图象中镜头变化的方法，包括一个生成一幅图象直方图的步骤(2)，它表示亮度值的具体值作为这些数值的一个函数，包括一个图象T(t)直方图与先前的图象T(t-1)的直方图的比较步骤(5)，其特征在于该比较步骤(5)包括：

-计算，对应图象T(t)的亮度值n的具体值histo_lum(n，t)，这个具体值histo_lum(n，t)与前一幅图象具体值histo_lum(n+k，t-1)之间的绝对差值，k是从-k到+k变化，k是自然数；

-从这些差值中选择最小值Min_Diff(n，t)；

-对这组亮度值直方图的最小值求和(6)；

-将所获得的和与一个阈值进行比较(7)。

2.根据权利要求1所述的方法，其特征在于在比较步骤(5)之前，该方法实现一个过滤直方图的步骤，这是根据相邻亮度值的具体值，执行关于给定亮度值n的具体值取平均值。

3.根据权利要求2所述的方法，其特征在于相邻亮度值是两个低于n和两个高于n的数值。

4.根据权利要求2所述的方法，其特征在于对应极端亮度值的具体值，平均值由原始值代替。

5.根据权利要求1所述的方法，其特征在于与获得的总和比较的阈值等于一幅图象中包含像素点数的1/5。

6.根据权利要求1所述的方法，其特征在于在直方图的计算之前执行亮度值的修剪处理。

7.根据权利要求1所述的方法，其特征在于K的数值等于1。

8.一种声音-图象索引的方法，用于索引序列参数的提取，其特征在于它包括一个根据权利要求1所述方法的检测镜头变化的步骤。

Images