CN1739121A - 用于运动估计的视频帧相关 - Google Patents

Abstract

在一个视频数据参考帧内的第一个搜索窗口与第一个窗口的第一个相关性阈值一起被识别。所述第一个相关性阈值是正在被编码的像素组与第一个搜索窗口内的像素组之间的相关性因数与之进行比较的值。例如，如果第一个搜索窗口中的一个特定像素组与正在被编码的像素组之间的相关性因数满足了所述第一个阈值，则发现在上述两个像素组之间已经实现了成功的匹配，并且可以将一个相应的运动矢量分配给这个正在被编码的像素组。如果第一个窗口内没有像素组满足第一个阈值，则选择第一帧内的第二个搜索窗口以及第二个相关性阈值。将第二个窗口内的像素组的相关性因数与第二个相关性阈值进行比较。

Description

用于运动估计的视频帧相关

技术领域

本发明整体上涉及对视频数据的处理，更具体地说涉及一种对视频数据进行编码的方法和系统。

背景技术

通常对数字视频数据进行编码，以压缩表示一个视频流所需的数据量。本领域中已知一次仅对一帧像素组进行编码。例如，可以通过将一帧中每个宏块的像素与先前所显示或解码的前一帧中的其他宏块的像素进行比较，来对当前帧中的每个宏块进行编码。一旦发现前一帧中的像素组与正在被编码的像素组非常接近时，识别出指向该像素组的一个运动矢量。一旦识别出指向该像素组的运动矢量，就能够量化并有效地压缩这两个像素组之间的任何信息差。

已知的编码方法是将正在被编码的像素组与前一帧中或前一帧的一部分中的像素组进行相关，直至达到一个相关性阈值。一旦达到这个阈值，就表明在前一帧中已经找到了与正在被编码的像素组充分接近的像素组。由于与视频流和视频帧相关的数据量非常大，编码过程可能是一个非常耗时的过程。因此，能够更为有效地对像素组进行编码的系统或方法将是非常有用的。

附图说明。

图1以框图的形式示出了根据本发明的视频数据参考帧的图形表示方法；

图2以流程图的形式示出了根据本发明的一种方法；以及

图3以框图的形式示出了实现本发明的一个特定实施例的系统。

具体实施方式

根据本发明的一个特定实施例，在视频数据的一个参考帧中选择第一个窗口。所述第一个窗口包含一个或多个像素组，其中每个像素组与正在被编码的一个像素组相关，以确定一个相关性因数。另外，为所述第一个搜索窗口确定第一个阈值。所述第一个阈值是与相关性因数进行比较的值。例如，如果第一个搜索窗口中的一个特定像素组与正在被编码的像素组之间的一个相关性因数达到了第一个阈值，则发现这两个像素组之间实现了成功的匹配，并且可以将一个相应的运动矢量分配给正在被编码的像素组。

如果第一个窗口中没有像素组达到第一个阈值，则在所述第一帧内选择第二个搜索窗口。为所述第二个搜索窗口确定不同于第一个阈值的第二个阈值。典型地，第二个阈值没有第一个阈值那么严格。用于第二个搜索窗口中的、与正在被编码的像素组相关的像素组的相关性因数与第二个阈值进行比较。通过利用具有不同阈值的多个搜索窗口，可以获得更有效的编码过程。例如，通过将第一个搜索窗口设定为相对较小，可以实现更快速的匹配，同时保持很高的相关性等级。这为解码器系统提供了一种机制，以在编码过程的处理能力和所需要的编码过程质量之间进行折衷。图1至图4进一步示出了本发明的特定实施例。

图1示出了帧F1 102和F2 104。帧F1 102表示相对于正在被编码的帧F2 104的参考帧。帧F1 102是一个参考帧，当帧F2 104中的像素组正在被编码或解码时，在帧F1 102中可获得并使用与帧F1相关联的像素数据。因此，在编码过程期间，帧F2 104中的每个像素组，如宏块(macroblocks)或块，将与帧F1 102的一部分进行比较，以确定在帧F1 102中是否存在基本相似的像素组。本发明的一个特定实施例将参照图2中的方法和图1中的帧数据来进一步讨论。

在步骤201确定第一个搜索窗口的大小和位置。例如参照图1，定义了搜索窗口111。搜索窗口111表示帧F1 102的一个区域，该区域具有一个或多个要与宏块F2/52进行相关的像素组。要注意F2/52指的是位于帧F2 104中的宏块位置52处的宏块，它是正在被编码的宏块。还应该理解，在特定的搜索窗口内，并没有通过特定的像素组(如宏块边界)对搜索加以限制。换句话说，在一个搜索窗口内识别出的像素组可能跨越编码像素组的边界而存在。在一个实施例中，第一个搜索窗口111包含要搜索的单个像素组。在其他实施例中，所述第一个搜索窗口包含多个像素组。

应理解的是，第一个搜索窗口的位置通常是基于一个被预测的运动矢量。应该理解，有许多预测运动矢量的方法，并且能够通过多种方法来决定如何确定第一个搜索窗口的最初位置。

在图2的步骤202，为第一个窗口设定一个相关性阈值。当正在被编码的像素组与第一个窗口中的像素组进行相关时，确定一个相关性因数。这个相关性因数与第一个窗口的相关性阈值进行比较，以确定何时发现像素组之间实现了成功的匹配。通常，第一个窗口的相关性阈值与其他相关性阈值相比被设定为相对较高，因为第一个窗口内的像素组数目相对较少。由于第一个窗口内可能包含的像素组数目相对较少，因此可以使用较高一些的相关性因数，而不会影响性能。

在步骤203，确定一个搜索窗口像素组。对于图1，可能存在一个单个的搜索窗口像素组。不管怎样，都要在搜索窗口内识别一个像素组。

在步骤204，确定正在被编码的像素组和所述搜索窗口像素组之间的一个相关性因数。可以利用多种相关技术中的任意一种来确定这个相关性因数。这些相关技术可能非常简单，如从其他像素组中减去一个像素组，以确定像素组之间的差。其他技术可能较为复杂。例如，当像素组信息代表空间数据时，相关技术可能执行一个数学变换，将该数据转换为非空间像素组数据。例如，可以采用二次采样技术和/或对频域数据进行操作的技术。此外，应该理解，在由步骤204-205-211-210所形成的循环中，步骤204中的各种应用可以使用相同的相关技术也可以使用不同的相关技术。例如，第一个搜索窗口位置可以采用不同于下一个搜索窗口的相关技术来确定。

在步骤205，确定所述相关性因数是否满足步骤202中识别的相关性阈值。如果相关性因数满足了所述相关性阈值，则流程进行到步骤206，其中一个运动矢量被用来对应于所述搜索窗口像素组。如果在步骤205相关性因数未满足相关性阈值，则流程进行到步骤211。请注意，在当前窗口是最后要搜索的窗口的实施例中，可以将相关性阈值设置为永远也不会满足该阈值。这允许在步骤221选择具有最佳相关性因数的像素组。

在步骤211，确定在当前搜索窗口是否存在更多的搜索窗口像素组。如果是这样的话，流程进行到步骤210，否则流程进行到步骤209。

在步骤210，在当前窗口内确定下一个搜索窗口像素组。一旦确定了下一个搜索窗口像素组，则流程进行到步骤204。由步骤204、205、211和210形成的循环持续进行，直到当前窗口内的所有搜索窗口像素组都已和正在被编码的像素组进行了相关，或者直到完成了成功的相关。

在当前搜索窗口中不存在更多的搜索窗口像素组的情况下，流程从步骤211进行到步骤209。在步骤209，确定是否要识别更多的搜索窗口。如果不是，则流程从步骤209进行到步骤221，在该步骤中图2中的方法选择最佳的像素组位置和/或并未完成成功相关而结束。但是，如果要识别其他的搜索窗口，则流程进行到步骤208。

在步骤208，确定下一个搜索窗口的大小和位置。参照图1，搜索窗口112是下一个要识别的搜索窗口。

在步骤207，为下一个搜索窗口112设定一个相关性阈值。再次参照图1，将为窗口大小112设定一个新的相关性阈值。由于窗口大小112比搜索窗口111包含更多的像素组，因此将容忍不那么严格的相关性因数。换句话说，为了避免较长的编码时间，允许对相关性质量进行折衷。

在步骤203，识别一个新的搜索窗口像素组。应该理解，当第一个搜索窗口111是新的搜索窗口112的子集时，与第一个搜索窗口中的像素组相关联的相关性因数可以被保留，而不必进行重新相关，并与新的阈值进行比较。通过保留第一个搜索窗口的相关性因数，只需要将第二个搜索窗口112所独有的搜索窗口像素组进行相关，从而节省了处理时间。

同样以先前所述的方式，步骤204、205、211和210重复进行，直到所有的搜索窗口像素组都已经与正在被编码的像素组进行了相关，或者直到完成了成功的像素组相关。

以所述方式，可以分别搜索多个搜索窗口，即搜索窗口111、112和113，以寻找满足不同相关性阈值的像素组。通过这种方式，可以在图片质量和预期可能要花费的处理时间之间动态地保持平衡。应该理解，这是相对于现有技术所具有的优点，在现有技术中仅识别一个窗口和一个阈值。

图3示出了一种根据本发明的一个特定实施例的系统。具体来说，图3示出了具有一个数据处理器310和一个存储器320的系统300。在操作中，数据处理器310访问存储器300，以执行程序指令322并处理视频数据324。例如，视频数据324通常包括图1中的帧F1 102和F2 104的视频帧数据。类似地，视频处理器310通常包括一个用于实现指令的指令执行单元。另外，数据处理器310可包括辅助处理器312，该辅助处理器可包含专用的硬件加速器和/或微代码引擎，能够实现这里所描述的编码处理中的一些或全部。此外还应该理解，图3中的信息处理器300可以是通用计算机或专用计算机的一部分，或者集成为大型系统中的一部分。

在前面详细描述的实施例中，并且参照了作为其一部分的附图，其中通过实例方式示出了特别的实施例，对本发明进行了公开。这些实施例被充分详细地描述，以使本领域技术人员能够实施本发明，并且应该理解，也可以使用其他的实施例，可以对本发明做出逻辑、机械和电气上的改动，而不会背离本发明的主旨或保护范围。为了避免对于本领域技术人员实施本发明不必要的细节，说明书中省去了本领域技术人员所公知的信息。此外，本领域技术人员可以很容易地构造包含了本发明的指导的许多其他实施例。因此，本发明并不局限于这里所提到的特定方式，相反，本发明覆盖了其他的改动、改进和等价物，这可以很合理地包括在本发明的主旨和保护范围中。因此前面详细描述的说明并不具有限制意义，本发明保护范围仅通过所附的权利要求来限定。

Claims (25)

1.处理视频图像的方法，该方法包括：

选择第一个视频数据帧的第一个搜索窗口，所述第一个搜索窗口具有第一个窗口大小；

确定第一个搜索窗口内的第一个像素组与第二个视频数据帧中的第二个像素组之间的第一个相关性因数；

将所述第一个相关性因数与第一个阈值进行比较；

选择所述第一帧的第二个搜索窗口，所述第二个搜索窗口具有第二个窗口大小，所述第二个窗口大小大于所述第一个窗口大小；

确定第二个搜索窗口内的第三个像素组与所述第二个像素组之间的第二个相关性因数；并且

将所述第二个相关性因数与第二个阈值进行比较，所述第二个阈值不同于所述第一个阈值。

2.如权利要求1所述的方法，其中所述选择第二个搜索窗口的步骤包括：所述第一个像素组位于所述第二个搜索窗口内。

3.如权利要求1所述的方法，还包括选择所述第一帧的第三个搜索窗口，所述第三个搜索窗口具有第三个窗口大小，所述第三个窗口大小大于所述第二个窗口大小。

4.如权利要求3所述的方法，还包括确定第三个搜索窗口内的第三个像素组与所述第二个像素组之间的第三个相关性因数。

5.如权利要求4所述的方法，还包括将所述第三个相关性因数与第三个相关性阈值进行比较，所述第三个相关性阈值不同于所述第二个相关性阈值，且不同于所述第一个相关性阈值。

6.如权利要求1所述的方法，还包括根据第三个搜索窗口内的第三个像素组中的至少一个像素来确定一个运动矢量。

7.如权利要求1所述的方法，还包括：

保留第一个相关性因数；并且

将第一个相关性因数与第二个阈值进行比较。

8.如权利要求7所述的方法，其中将第一个相关性因数与第二个阈值进行比较的步骤发生在将第二个相关性因数与第二个阈值进行比较之前。

9.如权利要求1所述的方法，其中所述确定第一个相关性因数的步骤是根据第一种相关技术来确定的，所述确定第二个相关性因数的步骤是根据不同于所述第一种相关技术的第二种相关技术来确定的。

10.如权利要求2所述的方法，其中所述确定第一个相关性因数的步骤是根据第一种相关技术来确定的，所述确定第二个相关性因数的步骤也是根据第一种相关技术来确定的。

11.如权利要求1所述的方法，包括：

选择所述第一帧的第三个搜索窗口，所述第三个搜索窗口具有第三个窗口大小，所述第三个窗口大小大于所述第一个窗口大小；

确定第三个搜索窗口内的第四个像素组与第二个像素组之间的第三个相关性因数；

当所述第四个像素组具有第三个搜索窗口中的像素组的最佳相关性因数时，将所述第四个像素组识别为具有第三个窗口中最佳相关性因数的像素组。

12.一种方法，包括：

选择第一个视频数据帧的第一个搜索窗口，所述第一个搜索窗口具有第一个窗口大小；

将所述第一个搜索窗口内的第一个像素组与第二个视频数据帧中的一个像素组进行比较，以确定第一个相关性；

选择所述第一个视频数据帧的第二个搜索窗口，所述第二个搜索窗口具有第二个窗口大小，所述第二个窗口大小大于所述第一个窗口大小；并且

将所述第二个搜索窗口内的第二个像素组与第二个视频数据帧中的所述像素组进行比较，以确定第二个相关性。

13.如权利要求12所述的方法，还包括利用第一个阈值来评估第一个相关性，并利用第二个阈值来评估第二个相关性，所述第一个阈值比所述第二个阈值更为严格。

14.如权利要求12所述的方法，还包括选择所述第一个视频数据帧的第三个搜索窗口，所述第三个搜索窗口具有第三个窗口大小，所述第三个窗口大小大于所述第二个窗口大小。

15.如权利要求14所述的方法，还包括将所述第三个搜索窗口内的第三个像素组与第二个视频数据帧中的所述像素组进行比较，以确定第三个相关性。

16.如权利要求12所述的方法，其中所述第一个窗口大小等于第二个像素组的大小。

17.如权利要求1所述的方法，其中所述比较第一个像素组的步骤包括根据第一种相关技术来确定第一个相关性，并且所述比较第二个像素组的步骤包括根据不同于第一种相关技术的第二种相关技术来确定第二个相关性。

18.如权利要求1所述的方法，其中所述比较第一个像素组的步骤包括根据第一种相关技术来确定第一个相关性，并且所述比较第二个像素组的步骤包括根据第一种相关技术来确定第二个相关性。

19.如权利要求12所述的方法，其中所述选择第二个搜索窗口的步骤包括：所述第一个像素组位于所述第二个搜索窗口内。

20.一种系统，包括：

一个视频数据处理单元；

一个与所述视频数据处理单元相连接的存储器，该存储器包括：

一个用于存储第一个视频数据帧和第二个视频数据帧的视频数据存储区；

一个用于存储程序指令的程序存储区，所述程序指令用来：

选择第一个视频数据帧的第一个搜索窗口，所述第一个搜索窗口具有第一个窗口大小；

将所述第一个搜索窗口内的第一个像素组与第二个视频数据帧中的一个像素组进行比较，以确定第一个相关性；

选择所述第一个视频数据帧的第二个搜索窗口，所述第二个搜索窗口具有第二个窗口大小，所述第二个窗口大小大于所述第一个窗口大小；并且

将所述第二个搜索窗口内的第二个像素组与第二个视频数据帧中的所述像素组进行比较，以确定第二个相关性。

21.如权利要求20所述的系统，其中所述程序指令还用来：

利用第一个阈值来评估第一个相关性；

利用第二个阈值来评估第二个相关性，所述第一个阈值与所述第二个阈值不同。

22.如权利要求20所述的系统，其中所述程序指令还用来选择所述第一个视频数据帧的第三个搜索窗口，所述第三个搜索窗口具有第三个窗口大小，其中所述第三个窗口大小大于所述第二个窗口大小。

23.如权利要求20所述的系统，其中选择所述第一个窗口大小的程序指令包括：第一个窗口大小是单个像素，而第二个窗口大小包括多个像素。

24.为一个正在被编码的像素组确定一个运动矢量的方法，包括：

选择第一个视频数据帧的第一个搜索窗口，所述第一个搜索窗口具有第一个窗口大小；

对于正在被编码的像素组，判断是否有与所述第一个搜索窗口相关联的任何像素组满足第一个相关性要求；

当有与第一个搜索窗口相关联的像素组满足了第一个相关性要求时，为该像素组确定一个运动矢量；并且

当没有与第一个搜索窗口相关联的像素组满足第一个相关性要求时：

选择第一个视频数据帧的第二个搜索窗口，所述第二个搜索窗口具有比第一个窗口大小更大的第二个窗口大小；

对于正在被编码的像素组，判断是否有与所述第一个搜索窗口相关联的任何像素组满足第二个相关性要求，所述第二个相关性要求不同于所述第一个相关性要求；

当有与第一个搜索窗口相关联的像素组满足了第二个相关性要求时，为该像素组确定一个运动矢量。

25.如权利要求24所述的方法，其中为正在被编码的像素组确定一个运动矢量的步骤包括：第二个相关性要求没有第一个相关性要求严格。

Images