CN1846445A - 基于遮蔽检测对像素的时间插值 - Google Patents

基于遮蔽检测对像素的时间插值 Download PDF

Info

Publication number
CN1846445A
CN1846445A CNA2004800251644A CN200480025164A CN1846445A CN 1846445 A CN1846445 A CN 1846445A CN A2004800251644 A CNA2004800251644 A CN A2004800251644A CN 200480025164 A CN200480025164 A CN 200480025164A CN 1846445 A CN1846445 A CN 1846445A
Authority
CN
China
Prior art keywords
motion vector
pixel
image
value
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800251644A
Other languages
English (en)
Other versions
CN1846445B (zh
Inventor
R·B·维特布鲁德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Data Technology LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34259238&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1846445(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1846445A publication Critical patent/CN1846445A/zh
Application granted granted Critical
Publication of CN1846445B publication Critical patent/CN1846445B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions

Abstract

公开了一种用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值的方法。该方法包括:根据对应于第一图像的第一运动矢量场(3(,n-1))第一p和第二pp运动矢量来计算第一运动矢量差;根据对应于第二图像的第二运动矢量场(3(,n))的第三n和第四nn运动矢量来计算第二运动矢量差;如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。

Description

基于遮蔽检测对像素的时间插值
本发明涉及一种用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值的方法。
本发明还涉及一种用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值的像素值确定单元。
本发明还涉及一种包括这样的像素值确定单元的图像处理设备。
本发明还涉及一种由计算机配置装载的计算机程序产品,包括指令,用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值。
遮蔽区域意味着与正在拍摄的场景的一部分相一致的区域,它在一列连续图像的一个图像中是可以见到的,但它在下一个或前一个图像中是不能见到的。这是因为比背景对象更接近照相机的场景中的前景对象可能覆盖部分背景对象。例如在前景对象移动的情况下,背景对象的一部分被遮蔽,同时背景对象的其他部分被暴露。
遮蔽区域可能在时间插值中导致伪象。例如,在上变换的情况下,遮蔽区域能导致所谓的晕圈(holo)。在上变换的情况下,估计移动矢量以致通过时间插值来计算上变换的输出图像。例如,见“Robustmotion-compensated video upconversion”,由0.0jo和G.de Haan在消费电子中的IEEE学报第43卷第4章,第1045-1056页,1997年11月发表。对于时间插值,也就是,两个原始输入图像中间的新图像的计算,要从连续图像中获取多个像素,这些像素优选地与一个且相同的对象相关。在遮蔽区域的例子中不能直接这样做,因为在两个连续的图像中找不到相关的像素。其他插值策略也是需要的,典型地,基于仅仅的上一个或下一个原始图像的像素值的插值。因而,为遮蔽区域来估计运动矢量很重要,这一点是将是清楚的。
本发明的目的是提供一种在开始段落中所描述的那种相对健壮的方法。
本发明的这一目通过下面的方法来实现,该方法包括:
-根据对应于第一图像的第一运动矢量场的第一和第二运动矢量来计算第一运动矢量差,第一运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第一运动矢量场中选择的;
-根据对应于第二图像的第二运动矢量场的第三和第四运动矢量来计算第二运动矢量差,第三运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第二运动矢量场中选择的;
-如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
本发明公开了:可以通过比较第一运动矢量场的两个适当选择的运动矢量之间的第一差和第二运动矢量场的两个适当选择的运动矢量之间的第二差来确定两个独立图像中的哪一个应该被选择来为了确定特定像素的值而获取一个或多个像素值。典型地,两个运动矢量场之一的两个所选的运动矢量相互之间基本上是相等的。这意味着:这两个运动矢量都与背景或相同的前景对象相关的概率相对是高的。在那种情况下,使用这两个运动矢量之一能够获取适合于中间图像的像素的概率相对也是高的。在遮蔽的情况下,典型地,这两个运动矢量都与背景相关。
运动矢量的适当选择基于特定像素的特定空间位置和根据为特定像素而估计的运动矢量。优选地,第二运动矢量是根据特定像素的特定空间位置和第一运动矢量从第一运动矢量场中选择的,而第四运动矢量是根据特定像素的特定空间位置和第三运动矢量从第二运动矢量场中选择的。
一个值代表任何类型的人类可视信息,像亮度或颜色。
本发明方法的实施例包括:如果第一运动矢量差和第二运动矢量差都小于预定阈值,那么根据第一像素的第一值和第二像素的第二值来确定特定像素值。在本发明的这一实施例中,不是从两个图像中任一图像中选择像素值,相反,可选择地来根据两个图像的像素值来确定特定像素值。这依赖于测试以验证两个运动矢量差是否都小于预定阈值。优选地,这个测试通过将两个运动矢量中最大的与预定阈值相比较来实现。这个测试是隐含的遮蔽检测。如果运动矢量差中只有一个小于预定阈值,那么假设特定像素位置位于遮蔽区域中。遮蔽类型,也就是,覆盖或暴露,依赖于两个中的哪一个小于预定阈值。然而,如果两个运动矢量都小于预定阈值,那么假设特定空间位置不在遮蔽区域中。在后一种情况下,特定像素值是基于两个输入图像的像素值的。
本发明方法的实施例包括:通过第一像素的第一值和在第一像素的空间邻域中的另一像素的另一值的插值来确定特定像素值。换言之,在本发明的这一实施例中,通过多个像素值的插值来实现子像素的准确性。
本发明的另一个目的是提供一种在开始段落中所描述的那种相对健壮的像素值确定单元。
本发明的这一目的通过下面的像素值确定单元来实现,它包括:
-第一计算装置,它用来根据对应于第一图像的第一运动矢量场的第一和第二运动矢量来计算第一运动矢量差,第一运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第一运动矢量场中选择的;
-第二计算装置,它用来根据对应于第二图像的第二运动矢量场的第三和第四运动矢量来计算第二运动矢量差,第三运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第二运动矢量场中选择的;
-确立装置,它用来如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
本发明的另一个目的是提供一种在开始段落中所描述的那种相对健壮的、包括像素值确定单元的图像处理设备。
本发明的这一目的通过下面的像素值确定单元来实现,它包括:
-第一计算装置,它用来根据对应于第一图像的第一运动矢量场的第一和第二运动矢量来计算第一运动矢量差,第一运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第一运动矢量场中选择的;
-第二计算装置,它用来根据对应于第二图像的第二运动矢量场的第三和第四运动矢量来计算第二运动矢量差,第三运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第二运动矢量场中选择的;
-确立装置,它用来如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
优选地,该图像处理设备进一步包括显示设备,用来显示输出图像。该图像处理设备可以是例如TV,置顶盒,VCR(录像机)播放器,卫星调谐器,DVD(数字化视频光盘)播放器或记录器。
本发明的另一个目的是提供一种在开头段落中所描述的那种相对健壮的计算机程序产品。
本发明的这一目的通过下面的计算机程序产品来实现,该计算机程序产品被装载后能够为处理装置提供执行下述的能力:
-根据对应于第一图像的第一运动矢量场的第一和第二运动矢量来计算第一运动矢量差,第一运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第一运动矢量场中选择的;
-根据对应于第二图像的第二运动矢量场的第三和第四运动矢量来计算第二运动矢量差,第三运动矢量是根据特定像素的特定空间位置和为特定像素而估计的特定运动矢量从第二运动矢量场中选择的;
-如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
像素确定单元的修改及其变化可以对应于所描述的所述图像处理单元、方法和计算机程序产品中它的修改和变化。
根据本发明,像素值确定单元的、图像处理设备的、方法的,计算机程序产品的这些和其他方面将参照附图并结合后面描述的实现方式和实施例来阐述和变得清楚,其中:
图1示意性描述了场景中的前景对象的移动和背景对象的移动;
图2示意性描述了为图1中所示的图像所估计的运动矢量场;
图3示意性描述了根据本发明的用于两个都位于遮蔽区域中的示例像素的方法;
图4示意性描述了根据本发明的用于一个不位于遮蔽区域中的示例像素的方法;
图5示意性描述了根据本发明的提供了三个运动矢量场的像素值确定单元的实施例;
图6示意性描述了根据本发明的图像处理设备的实施例。
在整个附图中,相同的附图标记标示类似的部分。
图1示意性描述了场景中的前景对象118的移动和背景的移动。在图1中,绘制了在两个时间位置n-1和n处的两个原始图像100和104。这些图像中的对象118是以向上的方向 移动,
Figure A20048002516400092
由通过实黑线106和108连接的灰色矩形来标示。长窄点黑线110和112指示了背景的移动
Figure A20048002516400093
它是向下的。阴影区域114和116指示了遮蔽区域。在时间位置n+α(其中-1≤α≤0)处产生的新图像102由虚线120来指示。
图2示意性描述了为图1中所示的图像所估计的运动矢量场,也就是估计的运动矢量场由箭头来指示。第一运动矢量场为两个原始图像中的第一个100而估计,而第二运动矢量场为两个原始图像中的第二个104而估计。这两运动矢量场通过三帧运动估计器来计算。第一运动矢量场由
Figure A20048002516400094
来标示。第一运动矢量场被估计在亮度帧
Figure A20048002516400095
之间。第二运动矢量场由 来标示。这个第二运动矢量场估计在亮度帧
Figure A20048002516400099
之间。此外,已经为第一和第二运动矢量场中间的时间位置n+α计算了初始运动矢量场。这个初始运动矢量场 估计在亮度帧
Figure A200480025164000911
Figure A200480025164000912
之间。注意到,三帧运动估计器的运动矢量场
Figure A200480025164000914
基本上与前景对象118匹配,而两帧运动估计器的运动矢量场表示了延伸到背景中的前景矢量。根据本发明的方法,时间上位于第一和第二输入图像中间的图像由三个运动矢量场
Figure A200480025164000916
Figure A200480025164000917
来计算。那意味着:背景矢量被确定在遮蔽区域中,并且被用于从两个输入图像中的一个图像获取像素。
图3示意性描述了根据本发明的用于两个分别位于空间位置
Figure A20048002516400102
处的示例像素的方法。首先考虑在位置 处的像素周围的情形。来自运动矢量场 的运动矢量
Figure A20048002516400105
用来分别从第一运动矢量场和第二运动矢量场
Figure A20048002516400107
获取运动矢量
Figure A20048002516400108
Figure A20048002516400109
D → p ( x → 1 ) = D → 3 ( x → 1 - ( a + 1 ) D → c ( x → 1 ) , n - 1 ) - - - ( 1 )
D → n ( x → 1 ) = D → 3 ( x → 1 - α D → c ( x → 1 ) , n ) - - - ( 2 )
这个选择过程分别由粗黑箭头300和302来指示。两个运动矢量是背景矢量。使用
Figure A200480025164001014
获取矢量 使用矢量
Figure A200480025164001017
Figure A200480025164001018
获取矢量
Figure A200480025164001019
D → pp ( x → 1 ) = D → 3 ( x → 1 - ( α + 1 ) D → p ( x → 1 ) , n - 1 ) - - - ( 3 )
D → nn ( x → 1 ) = D → 3 ( x → 1 - α D → n ( x → 1 ) , n ) - - - ( 4 )
这个获取由粗黑点箭头301和303来指示。可以看出: 也是背景矢量,但是
Figure A200480025164001023
是前景矢量。这意味着
Figure A200480025164001024
相互之间基本上是相等的,也就是,第一运动矢量差小于预定阈值T0。然而,在
Figure A200480025164001026
Figure A200480025164001027
之间的差却相当大,也就是,第二运动矢量差大于预定阈值T0。因此,在中间图像102的空间位置 处的像素值将基于在时间位置n处的第二图像104的像素值,因为第二运动矢量差小于第一运动矢量差。
一个类似过程可以用来为在位置
Figure A200480025164001029
处的其他像素建立适当的运动矢量。来自运动矢量场 的运动矢量 用来分别从第一运动矢量场 和第二运动矢量场
Figure A200480025164001033
获得运动矢量
Figure A200480025164001034
D → p ( x → 2 ) = D → 3 ( x → 2 - ( α + 1 ) D → c ( x → 2 ) , n - 1 ) - - - ( 5 )
D → n ( x → 2 ) = D → 3 ( x → 2 - α D → c ( x → 2 ) , n ) - - - ( 6 )
这个选择过程分别由粗黑箭头304和306来指示。用
Figure A200480025164001039
获取的运动矢量分别是背景矢量和前景矢量。使用
Figure A200480025164001041
获取取矢量 使用矢量
Figure A200480025164001043
Figure A200480025164001044
获取矢量
D → pp ( x → 2 ) = D → 3 ( x → 2 - ( α + 1 ) D → p ( x → 2 ) , n - 1 ) - - - ( 7 )
D → nn ( x → 2 ) = D → 3 ( x → 2 - α D → n ( x → 2 ) , n ) - - - ( 8 )
这个获取由粗黑箭头304和307来指示。也能看到
Figure A200480025164001048
Figure A200480025164001049
都是背景矢量。这意味着
Figure A200480025164001051
相互之间基本上是相等的,也就是,第二运动矢量差小于预定阈值T0。然而,在
Figure A200480025164001053
之间的差是相当大的,也就是,第一运动矢量差大于预定阈值T0。因此,在中间图像102的空间位置
Figure A20048002516400111
处的像素值将基于在时间位置n-1处的第一图像100的像素值,因为第一运动矢量差小于第二运动矢量差。
总体而言,如果:
        则检测到了遮蔽。
在遮蔽被检测出的情况下,分类成覆盖和暴露。
如果:
Figure A20048002516400113
则像素在暴露区域中。
并且,如果:
Figure A20048002516400114
则像素在覆盖区域中。
因此,空间位置 处的像素位于暴露区域中,而在空间位置
Figure A20048002516400116
处的像素位于覆盖区域中。
图4示意性示出了根据本发明的用于一个不位于遮蔽区域中的示例像素
Figure A20048002516400117
的方法。来自运动矢量场 的运动矢量 用来分别从第一运动矢量场 和第二运动矢量场
Figure A200480025164001111
获取运动矢量
D → p ( x → 3 ) = D → 3 ( x → 3 - ( α + 1 ) D → c ( x → 3 ) , n - 1 ) - - - ( 12 )
D → n ( x → 3 ) = D → 3 ( x → 3 - α D → c ( x → 3 ) , n ) - - - ( 13 )
这个选择过程分别由粗黑箭头400和402来指示。两个运动矢量
Figure A200480025164001117
是前景矢量。使用
Figure A200480025164001118
Figure A200480025164001119
获取矢量
Figure A200480025164001120
使用矢量
Figure A200480025164001121
Figure A200480025164001122
获取矢量
Figure A200480025164001123
D → pp ( x → 3 ) = D → 3 ( x → 3 - ( α + 1 ) D → p ( x → 3 ) , n - 1 ) - - - ( 14 )
D → nn ( x → 3 ) = D → 3 ( x → 3 - α D → n ( x → 3 ) , n ) - - - ( 15 )
这个获取也分别由粗黑箭头400和402来表示。可以看出
Figure A200480025164001126
Figure A200480025164001127
也是前景矢量。这意味着
Figure A200480025164001129
相互之间基本上是相等的,也就是,第一运动矢量差小于预定阈值T0。另外,
Figure A200480025164001130
相互之间基本上是相等的,也就是,第二运动矢量差低于预定阈值T0。因此,在中间图像102的空间位置 处的像素值将基于在时间位置n-1处的第一图像100的第一像素的第一值和基于在时间位置n处的第二图像104的第二像素的第二值。
图5示意性示出了根据本发明的像素值确定单元500的实施例,它用来计算时间上位于第一图像和第二图像中间的图像,中间图像位于时间位置n+α处。像素值确定单元500被提供有三个运动矢量场。这些提供的运动矢量场中的第一个
Figure A20048002516400121
和第二个
Figure A20048002516400122
通过三帧运动估计器512来计算。三帧运动估计器512的例子在US6,011,596中公开。第三个提供的运动矢量场
Figure A20048002516400123
通过两帧运动估计器514来计算。这个两帧运动估计器508例如和在下面的文献中所说明的一样,″True-Motion Estimation with 3-D Recursive Search BlockMatching”,作者G.de Haan等人,在视频技术的电路和系统IEEE学报第3卷第5章,第368-379页,1993年10月发表。
运动估计器512和514和像素值确定单元500被提供了代表第一和第二图像和其他输入图像的输入视频信号。像素值确定单元500在输出连接器518提供输出视频信号,它代表第一和第二图像及中间图像。像素值确定单元500包括控制接口520,用来接收代表预定阈值T0的控制信号。
根据本发明的像素值确定单元500包括:
-运动矢量比较单元502;
-确定单元504;和
-和像素值计算单元506。
运动矢量比较单元502被安排来从三个运动矢量场
Figure A20048002516400125
Figure A20048002516400126
获取相应的运动矢量。运动矢量比较单元502包括:
-第一计算单元508,用来根据对应于第一图像的第一运动矢量场
Figure A20048002516400127
的第一
Figure A20048002516400128
和第二 运动矢量来计算第一运动矢量差,第一运动矢量
Figure A200480025164001210
是根据特定像素的特定空间位置
Figure A200480025164001211
和为特定像素而估计的特定运动矢量
Figure A200480025164001212
从第一运动矢量场
Figure A200480025164001213
中选择的;
-第二计算单元510,用来根据对应于第二图像的第二运动矢量场 的第三 和第四 运动矢量来计算第二运动矢量差,第三运动矢量
Figure A200480025164001217
是根据特定像素的特定空间位置
Figure A200480025164001218
和为特定像素而估计的特定运动矢量
Figure A200480025164001219
从第二运动矢量场 中选择的。
确定单元504被安排用来确定特定像素位于其中的区域的类型。因此,确定单元504被安排用来检查两个运动矢量差是否都小于预定阈值T0。然后,按照公式9-11所规定的,来估计区域类型。确定单元504更进一步被安排用来为了计算中间图像的特定像素的像素值而检查应该使用哪个运动矢量或可选地使用哪些运动矢量来从第一和第二图像获取像素值。通常,如果第一运动矢量差小于第二运动矢量差,那么特定像素的值基于第一图像的第一像素的第一值,而如果第二运动矢量差小于第一运动矢量差,那么特定像素的值基于第二图像的第二像素的第二值。如果第一运动矢量差和第二运动矢量差都小于预定阈值T0,那么特定像素的值基于第一像素的第一值和第二像素的第二值。
像素值计算单元506被安排用来确定特定像素的实际值。它可以是第一或第二图像的像素值的直接复制。优选地,该值基于多个像素值的插值,在运动矢量是子像素准确之时特别如此。
根据本发明的像素值确定单元500的运作结合图3和4来描述。
运动矢量比较单元502,确定单元504,像素值计算单元506,三帧运动估计器512和两帧运动估计器514都可以使用一个处理器来实现。通常,这些功能在软件程序产品的控制下实行。在执行期间,通常软件程序产品被装载到存储器,像RAM,并从其被执行。程序可以从背景存储器,像ROM,硬盘,或磁和/或光存储器被装载,或可以经由网络,像因特网被装载。可选择地,专用集成电路提供了所公开的功能。
不同时间位置n-1,n+α和n处的运动矢量的计算优选地与中间图像的像素值的计算同步执行。那意味着:特定运动矢量场(例如时间位置n-1处的)不需要与一起来代表相应原始输入视频图像的所有像素运动的运动矢量组相对应。换句话说,运动矢量场可以与一起来代表相应原始输入视频图像的部分像素(例如仅仅10%)的运动的运动矢量组相对应。
图6示意性描述了根据本发明的图像处理设备600的实施例,包括:
-接收装置602,用来接收与一个视频图像序列相对应的信号;
-第一运动估计器512,用来为视频图像中的第一个来估计第一运动矢量场和为视频图像中的第二个来估计第二运动矢量场;
-第二运动估计器514,用来为时间上位于视频图像的第一个和视频图像的第二个中间的输出图像来估计第三运动矢量场;
-像素值确定单元500,和结合附图5所描述的一样;和
-显示设备606,用来显示像素值确定单元500的输出图像。
该信号可以是经由天线或电缆接收的广播信号,但也可以是来自存储设备像VCR(录像机)或数字化视频光盘(DVD)的信号。该信号在输入连接器608处被提供。图像处理设备600可以是例如TV。可选的,图像处理设备600不包括可选的显示设备,但却向包括显示设备606的设备提供输出图像。于是,图像处理设备600可以是例如置顶盒,卫星调谐器,VCR播放器,DVD播放器或记录器。可选的,图像处理器600包括存储装置,像硬盘或用来在可移动的媒介,例如光盘上存储的装置。图像处理设备600也可以是被电影制片厂或广播商使用的系统。
应当理解:上面提及的实施例用来说明本发明而不是用来限制本发明,本领域技术人员在不偏离所附权利要求的保护范围的情况下也能够设计出可替换的实施例。在权利要求中,用括号括起来的任何附图标记都不应该被解释为对权利要求的限制。术语“包括”不排除没有列在权利要求中的单元或步骤的存在。在单元之前的术语“一个”不排除多个这样的单元的存在。本发明能够通过包括多个分立单元的硬件和通过合适的编程的计算机来实现。在列举了多个装置的单元权利要求中,这些装置中的几个能够用一个相同的硬件项来具体化。术语第一,第二和第三及其他的使用不表明任何排序。这些词语应该被解释为列举。

Claims (10)

1.一种用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值的方法,该方法包括:
-根据对应于第一图像的第一运动矢量场
Figure A2004800251640002C1
的第一和第二
Figure A2004800251640002C3
运动矢量来计算第一运动矢量差,第一运动矢量
Figure A2004800251640002C4
是根据特定像素的特定空间位置
Figure A2004800251640002C5
和为特定像素而估计的特定运动矢量
Figure A2004800251640002C6
从第一运动矢量场 中选择的;
-根据对应于第二图像的第二运动矢量场
Figure A2004800251640002C8
的第三
Figure A2004800251640002C9
和第四
Figure A2004800251640002C10
运动矢量来计算第二运动矢量差,第三运动矢量
Figure A2004800251640002C11
是根据特定像素的特定空间位置
Figure A2004800251640002C12
和为特定像素而估计的特定运动矢量
Figure A2004800251640002C13
从第二运动矢量场
Figure A2004800251640002C14
中选择的;
-如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
2.如权利要求1所述的确定特定像素值的方法,其中,第二运动矢量
Figure A2004800251640002C15
是根据特定像素的特定空间位置 和第一运动矢量 从第一运动矢量场 中选择的。
3.如权利要求2所述的确定特定像素值的方法,其中,第四运动矢量 是根据特定像素的特定空间位置
Figure A2004800251640002C20
和第三运动矢量 从第二运动矢量场
Figure A2004800251640002C22
中选择的。
4.如权利要求1所述的确定特定像素值的方法,包括如果第一运动矢量差和第二运动矢量差小于预定阈值,那么根据第一像素的第一值和第二像素的第二值来确立特定像素值。
5.如权利要求1所述的确定特定像素值的方法,包括通过第一像素的第一值和在第一像素的空间邻域中的另一像素的另一值的插值来确立特定像素值。
6.一种用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值的像素值确定单元(500),该像素值确定单元包括:
-第一计算装置(508),它用来根据对应于第一图像的第一运动矢量场
Figure A2004800251640002C23
的第一 和第二
Figure A2004800251640002C25
运动矢量来计算第一运动矢量差,第一运动矢量 是根据特定像素的特定空间位置
Figure A2004800251640003C1
和为特定像素而估计的特定运动矢量
Figure A2004800251640003C2
从第一运动矢量场中选择的;
-第二计算装置(510),它用来根据对应于第二图像的第二运动矢量场
Figure A2004800251640003C4
的第三
Figure A2004800251640003C5
和第四 运动矢量来计算第二运动矢量差,第三运动矢量 是根据特定像素的特定空间位置
Figure A2004800251640003C8
和为特定像素而估计的特定运动矢量
Figure A2004800251640003C9
从第二运动矢量场
Figure A2004800251640003C10
中选择的;
-确立装置(504),它用来如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
7.一种图像处理设备(600),包括:
-接收装置(602),用来接收与一个视频图像序列相对应的信号;
-运动估计装置(512),用来为视频图像中的第一个来估计第一运动矢量场和为视频图像中的第二个来估计第二运动矢量场;
-像素值确定单元(500),用来确定时间上位于视频图像的第一个和第二个中间的特定图像的特定像素值,该像素值确定单元包括;
-第一计算装置(508),它用来根据对应于第一图像的第一运动矢量场 的第一
Figure A2004800251640003C12
和第二 运动矢量来计算第一运动矢量差,第一运动矢量
Figure A2004800251640003C14
是根据特定像素的特定空间位置 和为特定像素而估计的特定运动矢量
Figure A2004800251640003C16
从第一运动矢量场 中选择的;
-第二计算装置(510),它用来根据对应于第二图像的第二运动矢量场 的第三
Figure A2004800251640003C19
和第四
Figure A2004800251640003C20
运动矢量来计算第二运动矢量差,第三运动矢量
Figure A2004800251640003C21
是根据特定像素的特定空间位置
Figure A2004800251640003C22
和为特定像素而估计的特定运动矢量
Figure A2004800251640003C23
从第二运动矢量场 中选择的;
-确立装置(504),它用来如果第一运动矢量差小于第二运动矢量差,则根据视频图像中的第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据视频图像中的第二图像的第二像素的第二值来确立特定像素值。
8.如权利要求7所述的图像处理设备(600),更进一步包括显示设备(606),用来显示输出图像。
9.如权利要求8所述的图像处理设备(600)是TV。
10.一种由计算机配置装载的计算机程序产品,包括指令,用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值,计算机程序产品被装载后能够给所述处理装置提供执行下述的能力:
-根据对应于第一图像的第一运动矢量场 的第一和第二 运动矢量来计算第一运动矢量差,第一运动矢量是根据特定像素的特定空间位置
Figure A2004800251640004C5
和为特定像素而估计的特定运动矢量 从第一运动矢量场 中选择的;
-根据对应于第二图像的第二运动矢量场
Figure A2004800251640004C8
的第三 和第四
Figure A2004800251640004C10
运动矢量来计算第二运动矢量差,第三运动矢量
Figure A2004800251640004C11
是根据特定像素的特定空间位置 和为特定像素而估计的特定运动矢量
Figure A2004800251640004C13
从第二运动矢量场
Figure A2004800251640004C14
中选择的;
-如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
CN2004800251644A 2003-09-02 2004-08-23 基于遮蔽检测对像素的时间插值 Expired - Fee Related CN1846445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03103269 2003-09-02
EP03103269.1 2003-09-02
PCT/IB2004/051530 WO2005022922A1 (en) 2003-09-02 2004-08-23 Temporal interpolation of a pixel on basis of occlusion detection

Publications (2)

Publication Number Publication Date
CN1846445A true CN1846445A (zh) 2006-10-11
CN1846445B CN1846445B (zh) 2010-09-29

Family

ID=34259238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800251644A Expired - Fee Related CN1846445B (zh) 2003-09-02 2004-08-23 基于遮蔽检测对像素的时间插值

Country Status (6)

Country Link
US (1) US7536031B2 (zh)
EP (1) EP1665808B1 (zh)
JP (1) JP2007504700A (zh)
KR (1) KR101135454B1 (zh)
CN (1) CN1846445B (zh)
WO (1) WO2005022922A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287067B (zh) * 2007-04-13 2012-04-18 索尼株式会社 图像处理设备和图像处理方法
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7931699B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Compositions for spray dyeing cellulosic fabrics
US7931700B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Composition for dyeing of cellulosic fabric
WO2006137020A2 (en) * 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Video signal compression
JP2009533887A (ja) * 2005-11-30 2009-09-17 エヌエックスピー ビー ヴィ 動きベクトル場修正装置及び方法
JP5081898B2 (ja) * 2006-04-19 2012-11-28 トライデント マイクロシステムズ インコーポレイテッド 補間画像生成方法及びシステム
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
JP4670918B2 (ja) * 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
EP2390838B1 (en) * 2009-01-23 2019-10-02 Nec Corporation Image identifier extracting apparatus
US9042680B2 (en) 2009-02-12 2015-05-26 Zoran (France) S.A. Temporal video interpolation method with 2-frame occlusion handling
WO2010091934A1 (en) 2009-02-12 2010-08-19 Zoran (France) Video sequence analysis for robust motion estimation
EP2224740A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
EP2224738A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
EP2227012A1 (en) * 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
KR101353104B1 (ko) * 2009-04-14 2014-01-17 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
US8254439B2 (en) * 2009-05-08 2012-08-28 Mediatek Inc. Apparatus and methods for motion vector correction
JP5287509B2 (ja) * 2009-05-28 2013-09-11 富士通株式会社 フレーム補間装置、フレーム補間方法、及び、フレーム補間プログラム
KR101355258B1 (ko) * 2009-06-16 2014-01-27 닛본 덴끼 가부시끼가이샤 이미지 시그니처 매칭 장치
US8487981B2 (en) * 2009-09-04 2013-07-16 Broadcom Corporation Method and system for processing 2D/3D video
JP4692913B2 (ja) * 2009-10-08 2011-06-01 日本ビクター株式会社 フレームレート変換装置及び方法
US9659353B2 (en) * 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
US9013584B2 (en) * 2010-03-01 2015-04-21 Stmicroelectronics, Inc. Border handling for motion compensated temporal interpolator using camera model
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
EP2383992B1 (en) * 2010-04-30 2017-11-29 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for the detection and classification of occlusion regions
JP4735779B2 (ja) * 2011-01-12 2011-07-27 日本ビクター株式会社 補間画素データ生成装置及び方法
CN102263956B (zh) * 2011-07-21 2013-03-20 福建星网视易信息系统有限公司 基于运动矢量的移动侦测方法
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9148622B2 (en) 2011-12-29 2015-09-29 Hong Kong Applied Science and Technology Research Institute Company, Limited Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
KR101908388B1 (ko) 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
CN110390645B (zh) * 2018-04-23 2024-04-16 康耐视公司 用于立体瞬时图像序列的改善3d数据重构的系统和方法
US11388432B2 (en) * 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation
WO2023174546A1 (en) * 2022-03-17 2023-09-21 Dream Chip Technologies Gmbh Method and image processor unit for processing image data

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2087946A1 (en) 1991-05-24 1992-11-25 Michael Burl Video image processing
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
KR100220678B1 (ko) * 1995-12-29 1999-09-15 전주범 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법
JPH09214899A (ja) * 1996-01-31 1997-08-15 Nippon Hoso Kyokai <Nhk> 画像予測処理方法および装置
JP2002523985A (ja) 1998-08-21 2002-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号における問題領域位置決め
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
CN100504925C (zh) * 2000-05-18 2009-06-24 Nxp股份有限公司 用于检测图像间的运动的方法和装置以及图像显示装置
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
KR100875743B1 (ko) * 2001-01-16 2008-12-26 엔엑스피 비 브이 모션 보상된 보간에서 헤일로 효과를 감소시키는 방법
US7995793B2 (en) * 2001-11-07 2011-08-09 Trident Microsystems (Far East) Ltd. Occlusion detector for and method of detecting occlusion areas
WO2003067523A2 (en) * 2002-02-05 2003-08-14 Koninklijke Philips Electronics N.V. Estimating a motion vector of a group of pixels by taking account of occlusion
DE60312981D1 (de) * 2003-08-26 2007-05-16 St Microelectronics Srl Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287067B (zh) * 2007-04-13 2012-04-18 索尼株式会社 图像处理设备和图像处理方法
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置

Also Published As

Publication number Publication date
US7536031B2 (en) 2009-05-19
EP1665808A1 (en) 2006-06-07
US20070002058A1 (en) 2007-01-04
KR20060121856A (ko) 2006-11-29
EP1665808B1 (en) 2016-05-25
CN1846445B (zh) 2010-09-29
JP2007504700A (ja) 2007-03-01
WO2005022922A1 (en) 2005-03-10
KR101135454B1 (ko) 2012-04-13

Similar Documents

Publication Publication Date Title
CN1846445A (zh) 基于遮蔽检测对像素的时间插值
US7519230B2 (en) Background motion vector detection
US20060098737A1 (en) Segment-based motion estimation
CN101640801B (zh) 图像处理设备和图像处理方法
US20070092111A1 (en) Motion vector field re-timing
KR20120072351A (ko) 디지털 이미지 안정화
CN1456015A (zh) 识别并行地出现在单个电视信号场中的影片和视频对象
US20060045365A1 (en) Image processing unit with fall-back
US20090296818A1 (en) Method and system for creating an interpolated image
CN1311409C (zh) 用于分割的系统和方法
WO2003102872A2 (en) Unit for and method of estimating a motion vector
CN1231055C (zh) 电视中传送电影场景的数字检测装置
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
WO2007129591A1 (ja) 遮蔽物映像識別装置及び方法
CN1875633A (zh) 跟踪快速移动的小物体的运动矢量场求精法
Mangiat et al. Inexpensive high dynamic range video for large scale security and surveillance
CN1833256A (zh) 图形重叠检测
KR20060029283A (ko) 모션-보상된 영상 신호 보간
EP1574055A1 (en) Recognizing film and video occurring in parallel in television fields
thi Tran et al. Frame rate converter with pixel-based motion vectors selection and halo reduction using preliminary interpolation
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
CN1817036A (zh) 运动补偿图像信号内插

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090116

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090116

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100825

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN ETHERLANDS TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20100825

Address after: Grand Cayman, Cayman Islands

Applicant after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Applicant before: Koninkl Philips Electronics NV

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180703

Address after: American Minnesota

Patentee after: Dynamic data technology limited liability company

Address before: American California

Patentee before: Entropic Communications, Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929

Termination date: 20190823