CN100440976C - 图像处理装置及其方法 - Google Patents

图像处理装置及其方法 Download PDF

Info

Publication number
CN100440976C
CN100440976C CNB2005100689176A CN200510068917A CN100440976C CN 100440976 C CN100440976 C CN 100440976C CN B2005100689176 A CNB2005100689176 A CN B2005100689176A CN 200510068917 A CN200510068917 A CN 200510068917A CN 100440976 C CN100440976 C CN 100440976C
Authority
CN
China
Prior art keywords
pixel
frame
background
pixel value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100689176A
Other languages
English (en)
Other versions
CN1678076A (zh
Inventor
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1678076A publication Critical patent/CN1678076A/zh
Application granted granted Critical
Publication of CN100440976C publication Critical patent/CN100440976C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Abstract

公开一种用于处理多个连续帧的图像信号的图像处理装置，包括：同位像素检测装置，当定位法被应用于每个帧的背景时，根据多个连续帧的图像信号检测多个连续帧中在空间上被置于同位的像素集；像素数目检测装置，当每组像素的像素值在空间上被置于同位时检测像素数目；以及背景像素值确定装置，根据像素数目来确定每组背景图像的像素值。

Description

图像处理装置及其方法
本发明是以下专利申请的分案申请：申请号：00134405.6，申请日：2000年9月13日，发明名称：图像处理装置。
技术领域
本发明涉及图像处理装置及其方法，特别涉及用于处理多个连续帧的图像信号的图像处理装置及其方法。
背景技术
作为一种图像的压缩编码方法，目标编码法是众所周知的。在目标编码法中，图像的多个连续帧的前景和背景(一个场景或一个图像的剪辑)(例如，一个场景转换到下一个场景转换间的图像)被提取出来。当多个图像由N幅帧构成时，由N幅帧展示的一个全场景的背景(如果该场景是通过摇动或倾斜拍摄得到，例如，背景是一幅风景图像或一幅肖像图像)和从共用的N幅帧中得到的前景被提取出来。从目标编码中得到的数据通过在背景中排列前景来进行解码。此类目标编码在USP(美国专利)第5,706,367号中有描述，并转让给本申请的受让人，作为参考合并在此。
在前景和背景被提取出来的编码，例如目标编码中，编码被提取的前景的方式极大地影响着编码的效率。
在前景和背景被提取出来的编码，例如目标编码中，提取背景的精确度极大地影响着解码图像的质量。
作为在目标编码中检测摄像机运动的一种方法，将整个帧看作一个块并实现块匹配是一种值得考虑的方法，象检测宏块的运动矢量的方法。
然而，为了将块匹配应用到整个帧，在摄像机运动将被检测到的帧的空间位置正在移动的同时，必须得到一帧上的多个图像像素和该帧前一帧上的对应图像像素之差的绝对值之和。计算量很大而且计算起来十分麻烦。
发明内容
本发明正是基于以上状况的考虑而做出的。因此，本发明一个目的是高度精确地从一幅图像中提取背景。
按照本发明的一个方面，上述和其他目的可以通过提供一种用于处理多个连续帧的图像信号的图像处理装置来实现，该装置包括：同位像素检测装置，当定位法被应用于每个帧的背景时，根据多个连续帧的图像信号检测多个连续帧中在空间上被置于同位的像素集；像素数目检测装置，当每组像素的像素值在空间上被置于同位时检测像素数目；背景像素值确定装置，根据像素数目来确定每组背景图像的像素值。
按照本发明的另一个方面，上述和其他目的可以通过提供一种用于处理多个连续帧的图像信号的图像处理方法来实现，该方法包括：同位像素检测步骤，当定位法应用与每个帧的背景时，根据多个连续帧的图像信号来检测多个连续帧中在空间上被置于同位的像素集；像素数目检测步骤，当每组像素的像素值在空间上置于同位时检测像素数目；以及背景像素值确定步骤，根据像素数目来确定每组背景图像的像素值。
附图说明
图1是本发明的实施例的图像传输装置的示例结构的视图。
图2是展示图1所示的编码器的示例结构的方框图。
图3是展示图2所示的累积部分11中储存的一系列图像的视图。
图4A到4C展示的是图2所示的摄像机运动检测部分12的处理。
图5是展示图2所示的摄像机运动检测部分12的示例结构的方框图。
图6A到6C展示的是如何从图5所示的摄像机运动检测部分12中得到摄像机运动矢量。
图7是图5所示的摄像机运动检测部分12的摄像机运动矢量检测处理的流程图。
图8是图7所示的S3步骤中执行的焦点帧重心的计算处理的详尽第一示例的流程图。
图9是级表视图。
图10是图7所示的S4步骤中执行的运动检测区域的重心的计算处理的细节的流程图。
图11是图7所示的S3步骤中执行的处理的详尽第二示例的流程图。
图12是分类表视图。
图13是图7所示的S3步骤中执行的处理的详尽第三示例的流程图。
图14A和14B展示的是边缘像素。
图15是图5所示的无运动判定部分25中执行的无运动确定处理的细节的流程图。
图16是展示图2所示的背景提取部分14的示例结构的方框图。
图17是展示图16所示的图像区域检测部分31的处理的视图。
图18是展示图16所示的读取部分32的处理的视图。
图19是级表视图。
图20是图16所示的背景提取部分14的背景提取处理的流程图。
图21是图20所示的S124步骤中执行的背景像素提取处理的细节的流程图。
图22是图20所示的S125步骤中执行的背景延伸处理的细节的流程图。
图23是展示图22所示的背景延伸处理的视图。
图24是展示图2所示的前景编码部分16的示例结构的方框图。
图25是图24所示的前景累积图象配置部分43的处理的视图。
图26是展示图24所示的学习部分45的示例结构的方框图。
图27是展示图24所示的自适应处理部分47的示例结构的方框图。
图28是图24所示的前景编码部分16的前景编码处理的细节的流程图。
图29是展示当预测分接头是通过使用一个误差图像来形成的情况的视图。
图30是展示当预测分接头是通过使用两个误差图像来形成的情况的视图。
图31是展示图1所示的解码器2的示例结构的方框图。
图32是展示图31所示的解码器2的解码处理的流程图。
图33A到33C展示的是实施本发明的记录介质。
图34是展示图33A所示的计算机101的示例结构的方框图。
具体实施方式
图1是根据本发明的实施例的图像传输装置的示例结构。
编码器1接收作为要编码的图像的数量图像数据，诸如通过摄影机捕捉到的图像，编码该图像并将编码过的数据输出。编码过的数据通过诸如卫星线路、陆地波、有线电视网络(CATV)、因特网或集成服务数量网络(ISDN)这样的传输媒介3传输，或者被录制到诸如光盘、磁光盘、磁盘、磁带或相变盘这样的记录介质4。
解码器2接收通过传输媒介3传输的或从记录介质4中复制的编码过的数据，将其解码并输出解码图像到比如未在图上展示的监视器上。
上面所描述的图像传输媒介能够应用到比如用来传送和接收图像的远程装置或用来录制和复制图像的装置上。
图2展示的是图1所示的编码器的示例结构。
例如，累积部分11由半导体存储器或者磁盘组成，并临时储存发送到编码器1的图像数据。累积部分11将图像数据以多帧为单位储存，如象从一个场景变换到下一个场景变转换之间的所有帧。例如假定累积部分11储存的是由第一帧到第N帧组成的N帧图像，如图3所示。
当累积部分11储存了N帧图像时，摄像机运动检测部分12就从累积部分11中读出N帧图像并检测出表示每帧中摄像机运动量值的摄像机运动矢量。
换句话说，摄像机运动检测部分12将第一帧的左上角设置成原点，并将第一帧的摄像机运动矢量V1在坐标系(在下文中被称为参照坐标系)中设置为0(＝(0，0))，在该坐标系中，从原点起向右的方向设置为X轴正方向，而从原点向下方向设置为Y轴正方向。当得到每帧背景的定位时，摄像机运动检测部分12在参照坐标系中将第N帧中的摄像机运动矢量VN设置成第N帧的左上角的坐标(x，y)。
更确切地说，当摄像机运动检测部分12将第一帧的摄像机运动矢量V1设置为0之后，摄像机运动检测部分12得到第二帧的位置，以使得第一帧的背景与参照坐标系中的第二帧的背景相匹配，并将运动矢量V2设置成在获得的位置上的第二帧的左上角的坐标，如图4B所示。接着，摄像机运动检测部分12得到第三帧的位置，以使得第一帧和第二帧的定位背景与参照坐标系中的第三帧的背景相匹配，并将运动矢量V3设置成在获得的位置上的第三帧的左上角的坐标，如图4C所示.。
用同样的方法，摄像机运动检测部分12从第四帧到第N帧中得到运动矢量V4到VN。
为了简化描述，假定摄像机只是水平或垂直地运动，而不旋转。然而本发明可以应用到包括旋转的摄像机运动中。
摄像机运动矢量包括由摄像机运动本身所引起的分量，同时还有由于背景运动而引起的运动分量。在一个特例中，即便摄像机被固定，其相应的摄像机运动矢量也不会是零。摄像机运动矢量是用来定位每帧背景的运动矢量。
利用摄像机运动检测部分12从第一帧到第N帧中检测到的摄像机运动矢量V1到VN被送到摄像机运动矢量储存部分13中，并储存起来。
当摄像机运动矢量储存部分13把摄像机运动矢量V1到VN储存起来时，背景提取部分14从摄像机运动矢量储存部分13中读取摄像机运动矢量V1到Vn，从累积部分11中读取从第一帧到第N帧的图像数据，完成定位并以摄像机运动矢量V1到VN为根据将第一帧到第N帧的背景合并来提取下文中的背景(如果有必要的话，称其为共用背景)(例如，对在摄像机摇动或倾斜时摄像机所捕捉到的一系列图像，该背景是风景图像或肖像图像)。由背景提取部分14所提取出的共用背景被送到背景存储器15中，并储存起来。
每个位置上的第一帧到第N帧的像素通过平均或加权求和来合并。
当背景存储器15将共用背景储存起来时，前景编码部分16根据储存在摄像机运动矢量储存部分13中的每帧的摄像机运动矢量，在共用背景中检测累积部分11中储存的每帧的背景，并将检测到的每帧的背景从每帧的图像中减去。前景编码部分16将每帧的前景编码并将编码结果输出到多路复用器(MUX)17。
当多路复用器17从前景编码部分16收到前景编码结果时，就将储存在摄像机运动矢量储存部分13中的摄像机运动矢量和根据在前景编码的结果储存在背景存储器15中的共用背景进行多路复用操作，并以编码数据的方式将多路复用操作的结果输出。
编码器1以上述的多帧为单位来编码图像数据。
图5展示的是图2所示的摄像机运动检测部分12的示例结构。
重心计算部分21以帧为单位接收储存在累积部分11中的图像(图2)，并如后所述得到每帧的重心。重心计算部分21指定一区域(如果有必要的话，在后文中称为运动检测区域)，该区域用来检测在后面描述的储存在累积图像存储器24中的一个累积图像的焦点帧的摄像机运动矢量，并得到运动检测区域的重心。在重心计算部分21中得到的焦点帧和运动检测区域的重心被送到一个矢量检测部分22。
矢量检测部分22根据从重心计算部分21送来的焦点帧和运动检测区域的重心来检测焦点帧的摄像机运动矢量，并将摄像机运动矢量送到摄像机运动矢量储存部分13(图2)和写入控制部分23。
写入控制部分23根据从矢量检测部分22送出的摄像机运动矢量，控制着累积图像存储器24储存焦点帧的图像数据的地址。累积图像存储器24从累积部分11(图2)中读取焦点帧的图像数据，并将它储存在写入控制部分23所指定的地址。
用来检测摄像机运动矢量的摄像机运动检测处理，由图5所示的摄像机运动检测部分12实现，接下来将通过参照图6A到6C对其进行描述。
在由摄像机运动检测部分12来完成的摄像机运动检测处理中，采用了图像的重心根据使用的摄像机的移动而移动的想法。基本上，要定位帧使得其重心能相匹配，而每帧的左上角在定位状态时被检测为每帧的摄像机运动矢量。
更具体地说，如果第N帧被置为焦点帧，累积图像存储器24已经按照使得在位置上每帧的背景相匹配的原则，储存了一个图像(累积图像)，该图像是通过重叠从第一帧到第n-1帧，也就是从第一帧到焦点帧的前一帧的图像数据得到的。
在这种情况下，重心计算部分21得到为焦点帧的第n帧的重心cn，如图6A所示。重心计算部分21还在储存在累积图像存储器24中的累积图像中，指定一个包括焦点帧的前一帧的第n-1帧并比第n-1帧大的区域作为运动检测区域，并得到第n-1帧的重心“c”，如图6B所示。一个无论在上下左右方向都比第N-1帧大出一些像素的区域被设置成运动检测区域。
当得到焦点帧的重心cn和运动检测区域的重心“c”后，在焦点帧的重心cn和运动检测区域的重心“c”相匹配的情况下，矢量检测部分22得到焦点帧左上角的位置，并将位置坐标作为也是焦点帧的第n帧的摄像机运动矢量vn输出。
换句话说，当也是焦点帧的第n帧的摄像机运动矢量vn要得到时，从第一帧第n-1帧的摄像机运动矢量已经得到。如图6C所示，在第n-1帧的左上角作为参照的情况下，当运动检测区域的重心“c”的位置由矢量v′c表示；以及在第n帧的左上角作为参照的情况下，当第n帧的重心cn的位置由矢量v′cn表示时，在参照坐标系中，在焦点帧的重心cn和运动检测区域的重心“c”相匹配的情况下，焦点帧的左上角的坐标表示焦点帧的摄像机运动矢量vn。摄像机运动矢量vn可以通过把表示运动检测区域的重心“c”的位置的矢量v′c与也是焦点帧之前一帧的第n-1帧的摄像机运动矢量vn-1相加，然后减去表示第n帧的重心cn的位置的矢量v′cn得到。也就是说，摄像机运动矢量vn可以通过表达式vn＝vn-1+v′c-v′cn来得到。
当摄像机运动矢量vn通过以上方法得到后，写入控制部分23根据摄像机运动矢量vn，控制累积图像存储器24储存焦点帧的图像数据的写入地址。更具体地说，焦点帧的图像数据被重写入累积图像存储器24，这样焦点帧的左上角便被设置成参照坐标系中的摄像机运动矢量vn所表示的点。通过该写入得到的图像在第n+1帧的摄像机运动矢量vn+1被检测到时，被用为累积图像。
利用图5所示的摄像机运动检测部分12实现的摄像机运动矢量检测处理还将参照图7所示的流程图进行描述。
储存在累积部分11中的图像中的第一帧被读为焦点帧，并被送到重心计算部分21中，然后清除累积图像存储器24中的储存值。
重心计算部分21在步骤S1中确定焦点帧是否为第一帧。当确定焦点帧是第一帧后，处理进行到步骤S2。矢量检测部分22把摄像机运动矢量v1设置为0，将其输出到摄像机运动矢量储存部分13和写入控制部分23，然后处理进行到步骤S6。
在步骤S6中，写入控制部分23根据从矢量检测部分22送出的摄像机运动矢量控制累积图像存储器24的写入地址，并将焦点帧写入累积图像存储器24。在这种情况下，由于焦点帧是第一帧而且摄像机运动矢量v1是0，第一帧的图像数据被写入累积图像存储器24，以使得该帧的左上角定位于参照坐标系的原点。
接着，处理进行到步骤S7，并确定累积部分11是否储存下一帧。当确定累积部分11储存下一帧时，下一帧将被读为焦点帧并被送到重心计算部分21。处理返回步骤S1，然后重复如上所述的处理。
当在步骤S1中确定焦点帧不是第一帧时，也就是说，焦点帧是从第二到第N帧中的一帧时，处理进行到步骤S3。重心计算部分21完成重心计算处理来获得焦点帧的重心，然后处理进行到步骤S4。在步骤S4中，重心计算部分21为储存在累积图像区24中的累积图像的焦点帧指定运动检测区域，并执行重心计算处理来获得运动检测区域的重心，接着处理进行到步骤S5。
在步骤S5中，矢量检测部分22通过使用从重心计算部分21中得到的焦点帧的重心和运动检测区域的重心，来获得焦点帧的摄像机运动矢量，如图6A到6C所示，并把矢量送到摄像机运动矢量储存部分13并写入控制部分23。
接着，处理进行到步骤S6。如上所述，写入控制部分23根据从矢量检测部分22送出的摄像机运动矢量控制累积图像存储器24的写入地址，并将焦点帧写入累积图像存储器24。也就是说，焦点帧的图像数据被重写入累积图像存储器24，使得该帧的左上角位于由在参照坐标系中的焦点帧的摄像机运动矢量所表示的点。
接着，处理进行到步骤S7。如上所述，要来确定累积部分11是否储存下一帧。当确定累积部分11不储存下一帧时，也就是说，当已得到从第一帧到第N帧中每帧的摄像机运动矢量时，摄像机运动矢量检测处理便终止。
图7所示的S3步骤中，由重心计算部分21执行的焦点帧的重心的计算处理，将参照图8所示的流程图进行详尽描述。
在步骤S11中，把在焦点帧中水平排列的像素数目设为变量X，而在焦点帧中垂直排列的像素数目设为变量Y。然后，处理进行到步骤S12。
在步骤S12中，把表示焦点帧中每个像素的y坐标的变量y设为初始值，例如，-1。处理进行到步骤S13，变量y增加1。
组成焦点帧的每个像素的坐标在坐标系中被标出，在该坐标系中，其原点被排列在左上像素，从原点向右的方向被设为x轴正方向，从原点向下的方向被设为y轴正方向。
接着，处理进行到步骤S14，并确定变量y是否比焦点帧中垂直排列的像素数目Y小。如果在步骤S14中确定变量y是比焦点帧中垂直排列的像素数目Y小，处理便进行到步骤S15。变量x被设为初始值，例如，-1，然后处理进行到步骤S16。
在步骤S16中，变量x增加1。接着，处理进行到步骤S17，并确定变量x是否比焦点帧中水平排列的像素数目X小。如果在步骤S17中确定变量x不比焦点帧中水平排列的像素数目X小，那么处理返返回步骤S13，然后重复上述的处理。
当在步骤S17中确定变量x是比焦点帧中水平排列的像素数目X小，则处理进行到步骤S18，像素p(x，y)被设为焦点像素，然后焦点像素根据像素值被列入事先设定好的一级中。
也就是说，在本实施例中，级被限制成几个比像素值域小的域。例如，假定级被限定成K个域，该K个域从有最小像素值的域起，依次称为级1、级2......级K，根据步骤S18中的像素值将焦点像素列入级1到级K之一。
在步骤S18中焦点像素的级分类结果也会被输入一个级表。
更确切地说，重心计算部分21把级表存在内建存储器中(未显示)。在该级表中，属于级k(k＝1，2，...，K)的像素数目fk和属于级k的像素的x坐标的总和∑xk以及y坐标的总和∑yk相应地储存到每个级k，如图9所示。例如，当焦点像素的像素值属于级k时，重心计算部分21便把级k的数量fk增加1，并在级表中把该焦点像素的x坐标和y坐标分别加到x坐标的总和∑xk以及y坐标的总和∑yk中。
当图8所示的流程图中的处理开始时，级表中的数量fx，总和∑xk和总和∑yk就都清为0。
接着，处理返回步骤S16，重复上述处理。
当在步骤S14中确定变量y不比焦点帧中垂直排列的像素数目Y小时，也就是说，当组成焦点帧的每个像素都在处理中被设为焦点像素，而且都输入进级表时，处理进行到步骤S19，并得到在级表中属于每个级的像素的重心。更确切地说，在步骤S19中，级表中每个级k的x坐标的总和∑xk以及y坐标的总和∑yk都除以相应的数量fk，并得到由系数标出的坐标(∑xk/fk，∑yk/fk)来作为属于每个级k的像素的重心。
接着，处理进行到步骤S20。获得属于从层1到层K的像素的重心作为组成焦点帧的整个图像的重心，然后重新启动处理。
更确切地说，在步骤S20中用相应的数量f获得属于从层1到层K的像素的重心的加权平均值。加权平均值输出为组成焦点帧的整个图像的重心。
图7所示的S4步骤中由重心计算部分21执行的重心计算处理将参照图10中的流程图进行详尽描述。
首先在步骤S31中指定运动检测区域，在该区域中，焦点帧的前一帧被写入。在步骤S31中该区域在累积图像存储器24中储存的累积图像中被检测到。被检测到的区域在上下左右方向以预定的像素数目延伸，延伸区域被指定为运动检测区域。
接着，处理进行到步骤S32。把运动检测区域中水平排列的像素数目设为变量X，而在运动检测区域中垂直排列的像素数目设为变量Y。然后，处理进行到步骤S32。
步骤S33到步骤S41所执行的处理与图8所示的步骤S12到步骤S20一样。通过这些步骤得到组成运动检测区域的全部像素的重心，然后整个过程重新开始。
如上所述，摄像机运动检测部分12指定一个预定区域，包括作为运动检测区域的累积图像的焦点帧之前的那一帧，计算运动检测区域的重心和焦点帧的重心，根据重心得到焦点帧的摄像机运动矢量，并根据摄像机运动矢量将焦点帧写入累积图像。这些操作随着焦点帧的变动而重复。因此，摄像机运动矢量的获得要比在执行块匹配的情况下要容易一些。
在图7所示的例子中，焦点帧的重心在步骤S3中得到，然后运动检测区域的重心在步骤S4中得到。两者中的任一个都可以先得到，或者同时得到。
在图8所示的例子中，焦点帧的重心通过将组成焦点帧的像素按照其值分为几级(如果需要，在后文中称为级分类)来得到的。组成焦点帧的像素可以根据几个排列于每个像素周围的像素(这几个像素可能包括每个像素，可能不包括)分为几类(如果需要，在后文中称为类分类(classclassification))，以得到焦点帧的重心。
简要描述一下类分类。例如，假定由一个焦点像素和在上下左右四个方向上与焦点像素邻近的四个像素所组成的一共五个像素形成一个分接头(tap)(如果需要，在后文中称为类分接头)，它被用来进行焦点像素的类分类。在这种情况下，举例说，当像素值用一位表示(0或1)时，那么根据组成焦点像素的分解头的五个像素的总像素值，可以将焦点像素分为32(＝(21)5)个帧面。这些帧面组成类分类。
一般来说，一个像素赋予8位的值。当一个像素赋予8位的值时，如果有一个如上所述由五个像素集成的类分接头，并执行了类分类，那么类的数量可以达到(28)5。
类分类通过首先对焦点帧的类分接头进行L位自适应动态域编码(ADRC)处理来执行，然后通过使用根据该处理得到的类分接头得到。
例如，在ADRC处理中检测到组成一个类分接头的像素的最大像素值MAX和最小像素值MIN，则最大值和最小值之间的差DR＝MAX-MIN设为组成类分接头的像素的动态域，重新根据这个动态域DR，将组成类分接头的像素量化为L位。也就是说，最小值是从组成类分接头的像素的像素值中提取出来的，并且其结果除以DR/2L。因此，当L位ADRC处理被应用到类分接头时，组成类分接头的每个像素的像素值都由L位来表示。当L小于赋予一个像素的位数的值时，那么类的数量比在不将ADRC处理应用到类分接头的情况下的类分类要少得多。
当被排列于帧的上下左右端的像素被设为焦点像素时，因为在上下左右四个方向上与焦点像素邻近的像素不存在，因此例如，通过假定相同的帧被对称地置于此帧的上下左右边组成一个类分接头。
在根据每个像素的类分接头来对组成焦点帧的每个像素进行类分类来获得焦点帧的重心的情况下，由重心计算部分21所执行的焦点帧重心计算处理将参照图11中的流程图进行描述。
在这种情况下，步骤S51到步骤S57所执行的过程与图8所示的步骤S11到步骤S17一样。在步骤S58中，与图8中的步骤S18相对应，被置于坐标(x，y)的像素p(x，y)设为焦点像素，然后形成焦点像素的类分接头。根据该类分接头，焦点像素被类分类成，例如，K个类中的一个，类分类的结果被输入到类表中。
更确切地说，在图11所示的例子中，重心计算部分21把类表存在一个内建存储器中。在类表中，属于类k(k＝1，2，...，k)的像素数目fk和属于类k的像素的x坐标的总和∑xk以及y坐标的总和∑yk被相应地储存到每个类k，如图12所示。当焦点像素属于类k，重心计算部分21便把数量fk为类k增加1，并在类表中把焦点像素的x坐标和y坐标分别加入x坐标的总和∑xk以及y坐标的总和∑yk中。
象级表一样，当图11所示的流程图中的处理开始时，类表清为零0。
步骤S58中的过程执行完之后，处理返回步骤S56，如上所述的同样过程将重复。
当在步骤S54中确定变量y不比焦点帧中垂直排列的像素数目Y小时，处理进行到步骤S59，并得到在类表中属于每个类的像素的重心。更确切地说，在步骤S59中，级表中每个类k的x坐标的总和∑xk以及y坐标的总和∑yk都除以相应的数量fk，并得到由系数标出的坐标(∑xk/fk，∑yk/fk)来作为属于每个类k的像素的重心。
接着，处理进行到步骤S60。获得属于从类1到类K的像素的重心作为组成焦点帧的全部像素的重心，然后处理返回开头。
更确切地说，在步骤S60中用相应的数量f获得属于从类1到类K的像素的重心的加权平均值。加权平均值输出为组成焦点帧的全部像素的重心。
当组成焦点帧的每个像素根据每个像素的类分接头来进行类分类来获得焦点帧的重心时，最好也将组成运动检测区域的每个像素根据每个像素的类分接头来进行类分类来获得运动检测区域的重心。
为了通过类分类来获得运动检测区域的重心，图10所示的步骤S31和步骤S32需要按照图11所示的流程图所阐明的处理来执行，而不是按照步骤S51来。由于其它过程与图11所示的一样，因此在这里免去描述。
在图11所示的例子中，组成焦点帧的每个像素根据每个像素的类分接头来进行类分类，而通过类分类得到的属于所有的级的像素的重心被用来获得焦点帧的重心。焦点帧的重心可能只能通过使用通过类分类得到的属于某些类的像素的重心来获得。
更确切地说，焦点帧的重心的获得是通过把包括被置于物体边缘的在后文中被称为边缘像素的类设为边缘类，而且使用的只是属于边缘类的边缘像素的重心。
在焦点帧的重心的获得使用的只是属于从组成焦点帧的每个像素的类分类的结果中得到的边缘类的边缘像素的重心的情况下，由重心计算部分21执行的焦点帧的重心计算处理将参照图13所示的流程图进行描述。
也是在这个例子中，步骤S71到步骤S77所执行的过程与图8所示的步骤S11到步骤S17一样。在步骤S77中，当确定变量x小于X时，处理进行到步骤S78，置于坐标(x，y)的像素p(x，y)被设为焦点像素，然后被以图11所示的步骤S58中一样的方式被类分类。
接着，处理进行到步骤S79，来确定在步骤S78中执行的类分类的结果所得到的级是否是边缘类，也就是说，焦点像素是否是边缘像素。
如上所述，当应用2位ADRC处理并且将类分类应用到由五个像素集成的类分接头上时，焦点像素被分入1024(＝(22)5)个类中的一个。当2位ADRC处理被应用到类分接头上时，组成类分接头的每个像素的像素值是00B，01B，10B或11B(B其前面的数为二进制)。因此如上所述，当类分接头由五个像素-焦点像素和在上下左右四个方向上与焦点像素邻近的四个像素集成时，焦点像素为边缘像素-当焦点像素的像素值为最小值00B时，在上下左右四个方向上与焦点像素邻近的四个像素的像素值则不为00B；当焦点像素的像素值为最大值11B时，在上下左右四个方向上与焦点像素邻近的四个像素的像素值则不为11B。
如图14A所示，当焦点像素的像素值为00B时，在上下左右四个方向上与焦点像素邻近的四个像素的像素值则为01B，10B，11B，像素值在焦点像素上达到最低点。如图14B所示，当焦点像素的像素值11B时，在上下左右四个方向上与焦点像素邻近的四个像素的像素值则为00B，01B，10B，像素值在焦点像素上达到最高点。因此如图14A和14B所示，焦点像素是边缘像素。
焦点像素的像素值为00B，而在上下左右四个方向上与焦点像素邻近的四个像素的像素值为01B，10B，11B的情况共用81(＝3x3x3x3)种。同样，焦点像素的像素值为11B，而在上下左右四个方向上与焦点像素邻近的四个像素的像素值为00B，01B，10B的情况也共用81种。这样一来，对于边缘像素来说总共用162(＝81+81)种类(边缘类)。
图14A和14B所示的边缘像素是拥有最高像素值和最低像素值的像素。本发明并不局限于这些示例。例如，一个边缘像素可以表示一个图像的线边缘，在这种图像中，置于水平线上的像素为黑色，而置于水平线下的像素为白色。线边缘并不局限为水平线。它可以是垂直线或斜线。即便是一个图像在大多数点上拥有同样的值，如果使用的是拥有最高像素值和最低像素值的边缘像素，它还是要比其它方式更容易被检测到。
再来参照图13，当在步骤S79中确定焦点像素不是边缘像素时，也就是说焦点边缘的类不是上面所说到的162个类中的一个，处理返回步骤S76。
当在步骤S79中确定焦点像素是边缘像素，也就是说，焦点边缘的类是上面所说到的162个类中的一个，处理进行到步骤S80。焦点像素的类分类结果被输入到类表。更确切地说，在步骤S80中，数量fk为类k增加1，并如图12所示，在类表中把焦点像素的x坐标和y坐标分别加入x坐标的总和∑xk以及y坐标的总和∑yk中。
在图13所示的例子中，只有属于边缘类的焦点像素的数据被输入到类表中。如上所述，当应用2位ADRC处理并且将类分类应用到由五个像素集成的类分接头上时，而且只有属于边缘类的数据被输入到类表中时，类表中的类的数量K也就是上面所说的类的数量，为162。
当应用2位ADRC处理并且将类分类应用到由五个像素集成的类分接头，而且属于所有的类的数据被输入到类表中时，由于焦点像素被类分类成1024个类中的一个，所以类表中的类的数量K是1024。
因此，图13所示的类表的大小(容量)要比图11所示的减少的要多。
在步骤S80处理完成后，处理返回步骤S76，重复上述过程。
当在步骤S74中确定变量y不比焦点帧中垂直排列的像素数目Y小时，处理进行到步骤S81，并得到在类表中属于每个边缘类的像素的重心。更确切地说，在步骤S81中，类表中每个类k的x坐标的总和∑xk以及y坐标的总和∑yk都除以相应的数量fk，并得到由系数标出的坐标(∑xk/fk，∑yk/fk)来作为属于每个类k的像素的重心。
接着，处理进行到步骤S82。获得属于从类1到类K的像素的重心的重心作为组成焦点帧的全部像素的重心，然后处理返回开头。
更确切地说，在步骤S82中用相应的数量f1至fk作权获得属于从边缘类到边缘类K的像素的重心的加权平均值。加权平均值输出为组成焦点帧的全部像素的重心。
当在组成焦点帧的像素中只有属于边缘类的像素被使用来获得焦点帧的重心时，在组成运动检测区域的像素中最好只有属于边缘类的像素被用来获得运动检测区域的重心。
为了只使用属于边缘类的像素被来获得检测区域的重心，需要在图13所示的流程图所阐明的处理中执行图10所示的流程图中的步骤S31和步骤S32，而不是执行步骤S71。由于其它处理与图13所示一样，因此在此处省去描述。
当在焦点帧和焦点帧之前的那一帧之间没有摄像机运动时，焦点帧的摄像机运动矢量应该和焦点帧之前的那一帧的摄像机运动矢量相同。由于前景的移动会影响到帧的摄像机运动矢量，然而，即使焦点帧没有摄像机运动，焦点帧的摄像机运动矢量和焦点帧之前的那一帧的摄像机运动矢量不同也是可能的。
图5所示的摄像机运动检测部分12可以设置成使得用来确定在焦点帧和焦点帧之前的那一帧之间有没有摄像机运动的无运动判定部分25，被配置成图中的虚线所表示的那样；当焦点帧没有摄像机运动时，矢量检测部分22将焦点帧之前的那一帧的摄像机运动矢量作为焦点帧的摄像机运动矢量输出，而当焦点帧有摄像机运动时，它会通过使用焦点帧的重心和运动检测区域的重心来获得焦点帧的摄像机运动矢量。
根据上面这些设置，当焦点帧没有摄像机运动时，焦点帧的摄像机运动矢量将会与焦点帧之前的那一帧的摄像机运动矢量相等。
由无运动判定部分25所执行的确定在焦点帧有没有摄像机运动的无运动确定处理将参照图15所示的流程图来进行描述。
在无运动确定处理中，步骤S91到步骤S99所执行的过程与图13所示的步骤S71到步骤S79一样。
当在步骤S99中确定焦点像素是边缘像素时，处理进行到步骤S100，确定焦点像素的像素值p(x，y)是否与被置于同一位置的焦点帧之前的那一帧的焦点像素的像素值p’(x，y)匹配。
在步骤S100中p(x，y)和p’(x，y)匹配包括这样一种情况，也就是p’(x，y)和p’(x，y)几乎相等，换句话说就是|p(x，y)-p′(x，y)|小于或等于一个很小的阈值。
当在步骤S100中确定焦点像素的像素值p(x，y)与被置于同一位置的焦点帧之前的那一帧的焦点像素的像素值p’(x，y)不相匹配时，处理跳过步骤S101并返回步骤S96。
当在步骤S100中确定焦点像素的像素值p(x，y)与被置于同一位置的焦点帧之前的那一帧的焦点像素的像素值p’(x，y)相匹配，也就是说当确定也是边缘像素的焦点像素的像素值p(x，y)与被置于同一空间位置的焦点帧之前的那一帧的焦点像素的像素值p’(x，y)相匹配，处理进行到步骤S101，变量“c”递增，然后返回步骤S96。
变量“c”在图15所示的无运动确定处理开始前被清为0。
当在步骤S94中确定变量y不比Y小时，也就是说，当组成焦点帧的所有像素都已经被处理为焦点像素时，处理进行到步骤S102，来确定变量“c”是否等于或大于阈值“th”。当在步骤S102中确定变量“c”是等于或大于阈值“th”时，也就是说，在焦点帧中的边缘像素的像素值与被置于同一位置的焦点帧之前的那一帧的像素的像素值几乎相等的情况下，当像素的数量等于或大于阈值“th”时，处理进行到步骤S103。一个表示没有摄像机运动的信息被输出到矢量检测部分22中作为确定在焦点帧和焦点帧之前的那一帧之间是否有摄像机运动的结果，然后无运动确定处理被终止。
当在步骤S102中确定变量“c”是小雨阈值“th”时，也就是说，在焦点帧中的边缘像素的像素值与被置于同一位置的焦点帧之前的那一帧的像素的像素值几乎相等的情况下，当像素的数量小于阈值“th”时，处理进行到步骤S104。一个表示有摄像机运动的信息被输出到矢量检测部分22中作为确定在焦点帧和焦点帧之前的那一帧之间是否有摄像机运动的结果，然后终止无运动确定处理。
图15所示的无运动确定处理先于由重心计算部分21所执行的运动检测区域的重心计算处理之前执行，然后处理第二帧和以及后面的帧。
图16所示的是图2中所示的背景提取部分14的示例结构。
图像区域检测部分31接收存在摄像机运动矢量储存部分13(图2)中的摄像机运动矢量v1至vN。图像区域检测部分31将实现对第一帧到第N帧的背景的定位，然后检测使第一帧到第N帧都适于参照坐标系中的最小的矩形区域(图像区域)。
更确切地说，图像区域检测部分31模拟出一个环境，在这个环境下，根据第一帧到第N帧的摄像机运动矢量v1，到vN来将定位法运用到从第一帧到第N帧的背景上，实现定位后再来检测从第一帧到第N帧的像素所被排列的最小矩形区域。图像区域检测部分31同时得到参照坐标系中的图像区域的左上角的坐标(Xmin，Ymin)和右下角的坐标(Xmax，Ymax)，并将它们送到读入部分32和写入部分35。
定位法运用到从第一帧到第N帧的背景上的环境可以通过在参照坐标系中将从第一帧到第N帧的左上角分别按照由摄像机运动矢量v1到vN所表示的坐标排列来模拟出来，如图17所示。
定位法运用到从第一帧到第N帧的背景上的情况下，读入部分32检测并读入组成储存在累积部分11(图2)中的第一帧到第N帧的像素中在三维上被置于同一位置的像素，并将他们送到数量计算部分33和写入部分35。
更确切地说，读入部分32从图像区域检测部分32中接收到坐标(Xmin，Ymin)和(Xmax，Ymax)以及储存在像机运动矢量储存部分13摄像机运动矢量v1到vN。与图像区域检测部分31一样，读入部分32模拟出一个环境，在这个环境下，根据第一帧到第N帧的摄像机运动矢量v1，vN来将定位法运用到从第一帧到第N帧的背景上。接着，读入部分32在参照坐标系扫描由从图像区域检测部分31得到的坐标(Xmin，Ymin)和(Xmax，Ymax)所指定的图像区域的坐标，并在坐标(x，y)上检测和读入在定位法运用到从第一帧到第N帧的背景上的情况下第一帧到第N帧的像素，如图18所示。
在定位法已经运用到从第一帧到第N帧的背景上的情况下，对在参照坐标系中被置于坐标(x，y)上的第N帧的像素的检测可以通过检测被置于摄像机运动矢量vN的坐标上的像素来实现，这个摄像机运动矢量vN是指从在被置于第N帧的左上角的像素被设为原点的局部坐标系的坐标(x，y)中减去摄像机运动矢量vn。
数量计算部分33计算的是属于上述的每个像素值级的像素的数量，这些像素是指在定位法运用到从第一帧到第N帧的背景上的情况下，在组成第一帧到第N帧的像素中在三维上被置于同一位置(如果必要，在后文中称为同位像素)的每组像素。数量计算部分33将结果输入到储存在被置于后续阶段的数量表储存部分34中的数量表。
数量表储存部分34储存的是如图19所示的数量表。更确切地说，数量表储存部分34储存的数量表中，在定位的情况下，同位像素的像素值的每一级与属于同位像素的每一级的像素数目的比率在图像区域的坐标(x，y)的每一点上相对应。
在定位的情况下，拥有在图像区域中的一个位置(坐标)上的一组同位像素中的第m个量级数量的像素值级被称为第m个数量级。
在图19所示的例子中，数量表储存了从第一个到第m个数量级共M级以及相应的比率。因此，数量计算部分33在没有将第m+1级以及后继的级的结果输入到数量表的情况下将其删除。与所有级相关的计算结果被输入到数量表中。
如上所述，当一个像素值域被分为K级时，M将小于等于K。
写入部分35将组成背景存储器15(图2)中共用背景的背景像素根据储存在数量表储存部分34中的数量表和从读入部分32中送出的像素写入到与图像区域检测部分31送出的图像区域相对应的地址中。写入部分35同时也将一个背景标记写入到背景标记存储器36中。
背景标记存储器36储存了一个表示背景像素是否为图像区域的每个像素被写入的背景标记。更确切地说，当写入部分35将一个背景标记写入到背景存储器15中的一个地址时，它在背景标记存储器36中写入背景标记的地址与背景像素被写入的地址是相对应的。假定背景标记是一个一位标记，如果背景像素被写入相应的地址，则背景标志被设为1；如果背景像素没有被写入相应的地址，则背景标志被设为0。
由图16所示的背景提取部分14执行的，用于从第一帧到第N帧中提取共用背景的背景提取处理将参照图20中所示的流程图进行描述。
首先，在步骤S111中，图像区域检测部分31从摄像机运动矢量储存部分13中读取摄像机运动矢量，并如图17所示检测图像区域。图像区域检测部分31将参照坐标系中图像区域的左上角的坐标(Xmin，Ymin)和右下角的坐标(Xmax’，Ymax)作为鉴别图像区域的信息送到读入部分32和写入部分35中。
当读入部分32接收到坐标(Xmin，Ymin)和(Xmax’，Ymax)来鉴别图像区域时，在步骤S112中，被用来在参照坐标系中的y轴方向上扫描图像区域的变量y被设为初始值Ymin-1。处理进行到步骤S113，变量y的增量为1。处理进行到步骤S114。在步骤S114中确定变量y是否小于等于Ymax。当确定变量y是小于等于Ymax时，处理进行到步骤S115。在步骤S115中，读入部分32将被用来在参照坐标系中的x轴方向上扫描图像区域的变量x设为初始值Xmin-1。处理进行到步骤S116时，变量x的增量为1。处理进行到步骤S117。在步骤S117中确定变量x是否小于等于Xmax，处理返回步骤S113。上述的同样过程将会重复。
当确定在步骤S117中变量x小于等于Xmax时，处理进行到步骤S118。用来计算作为储存在累积部分11(图2)中的一系列图像的第一帧到第N帧的数量的变量n被设为初始值0。处理进行到步骤S119。在步骤S119中，变量n增1。处理进行到步骤S120，确定变量n是否小于等于储存在累积部分11(图2)中的一系列图像的数量N。
当在步骤S120中确定变量n是小于等于数量N，处理进行到步骤S121。在定位法运用到从第一帧到第N帧的背景上的情况下，读入部分32从累积部分11(图2)中读取参照坐标系中被置于坐标(x，y)位置的第n帧的像素。更确切地说，读入部分32从累积部分11(图2)中读取被置于由摄像机运动矢量vn指定的坐标(x，y)-vn的像素，这个摄像机运动矢量vn是指在被置于第n帧的左上角的像素被设为原点的局部坐标系的坐标(x，y)中提取出的摄像机运动矢量vn。
当摄像机运动矢量vn的x坐标和y坐标分别由Xv#n和Yv#n来表示，一个帧中的水平和垂直方向的像素数目则分别由X和Y来表示，读入部分32在局部坐标系中读取被置于坐标(x-xv#n，y-yv#n)的像素。在这种情况下，第n帧的任意一个像素都不会被置于0≤x-xv#n＜X和0≤y-yv#n＜Y的区域之外的坐标(x-xv#n，y-yv#n)上。因此在步骤S121中所读取的第N帧的像素只会在0≤x-xv#n＜X和0≤y-yv#n＜Y的区域之内。
在步骤S121中，读入部分32从累积部分11(图2)中读取第n帧的像素并将像素送到数量计算部分33和写入部分35时，处理返返回步骤S119。重复从步骤S119到步骤S121的过程，直到在步骤S120中确定变量n大于N。通过这些步骤，在定位法运用到从第一帧到第N帧的背景上的情况下，参照坐标系中在第一帧到第N帧中被置于坐标(x，y)的像素(定位情况下的同位像素)被送到数量计算部分33和写入部分35中。如上所述，有些帧没有在参照坐标系中被置于坐标(x，y)的像素。在这种情况下，被送到数量计算部分33和写入部分35中的像素不包括这些帧的像素。
当在步骤S120中确定变量n大于N时，处理进行到步骤S122。在定位法运用到从第一帧到第N帧的背景的情况下，数量计算部分33将从读入部分32送来的参照坐标系中在第一帧到第N帧中被置于坐标(x，y)的像素根据它们的值分类成级1到级K。数量计算部分33还计算属于每一级的像素的数量并得到(每一级数量与属于所有级的像素数目的)比率。
处理进行到步骤S123，数量计算部分33将以数量比率和属于所有级的像素的数量比率的量值的第1到第M级(第一数量级到第M数量级)输入到数量表储存部分34中的图19所示的数量表中的坐标(x，y)的行上。然后，处理返回步骤S116。
当在步骤S114中确定变量y大于Ymax，也就是说，当图像区域内所有的坐标的处理都完成时，处理进行到步骤S124。写入部分35执行背景像素提取处理：写入部分35检测在属于第一数量级的像素数目的比率大于等于储存在数量表储存部分34中的数量表的预定值上的坐标，并将与第一数量级相对应的像素值写入与背景存储器15中的坐标相对应的地址中作为背景像素的像素值。接着，处理进行到步骤S125。在步骤S125中，写入部分35执行背景延伸处理来将背景像素的像素值写入像素值还没有被写入步骤S124中的背景像素提取处理中的图像区域内的坐标，并终止该背景提取处理。
图20所示的在步骤S124中由写入部分35执行的背景像素提取处理将参照图21所示的流程图进行描述。
在背景像素提取处理中，在步骤S13背1到步骤S136中景像素提取处理，中所在步骤S131到步骤S136中所执行的处理与图20所示的步骤S112到步骤S117中的一样。当在步骤S136中确定变量x小于等于Xmax时，处理进行到步骤S137，来确定坐标(x，y)的第一数量级的比率是否大于等于一个参照数量表的阈值Lth。
当在步骤S137中确定坐标(x，y)的第一数，量级的比率不等于或大于阈值Lth时，换句话说，在定位法运用到从第一帧到第N帧的背景上的情况下得到的组成第一帧到第N帧的像素中被置于坐标(x，y)上的、拥有同样像素值的像素的最大数量的比率不高时，处理跳过步骤S138和步骤S139，返回步骤S135。
因此在这种情况下，背景像素的像素值没有被写入背景存储器15中与图像区域的坐标(x，y)相对应的地址。
当在步骤S137中确定坐标(x，y)的第一数量级的比率大于等于一个参照数量表的阈值Lth时，也就是说，在定位法运用到从第一帧到第N帧的背景上的情况下得到的组成第一帧到第N帧的像素中被置于坐标(x，y)上的并拥有同样像素值的像素的最大数量的比率高时，处理进行到步骤S138。写入部分35将最大数量比率高的像素写入背景存储器15中作为被置于坐标(x，y)的背景像素。
更确切地说，在定位法运用到从第一帧到第N帧的背景上的情况下，写入部分35将从读入部分32中得到的组成第一帧到第N帧的像素中被置于坐标(x，y)上的像素中的属于第一数量级的像素提取出来，并计算出其平均值。写入部分35将平均值写入背景存储器15中作为被置于坐标(x，y)的背景像素的像素值。
当步骤S138完成后，处理进行到步骤S139。写入部分35将储存在背景标记存储器36中与坐标(x，y)相对应的地址中的背景标记设为1，然后处理返回步骤S135。重复上述的步骤直到在步骤S133中确定变量y大于Ymax。
当在步骤S133中确定变量y大于Ymax时，处理返回。
储存在背景标记存储器36中的值被清为0，当图21所示的背景像素提取处理开始时。
在图21所示的背景像素提取处理中，如上所述，当定位法运用到从第一帧到第N帧的背景上的情况下得到的组成第一帧到第N帧的像素中，被置于坐标(x，y)上的、拥有同样像素值的像素的最大数量的比率不高时，背景像素的像素值不写入背景存储器15中与坐标(x，y)相对应的地址。
换句话说，在背景像素提取处理中，当定位法运用到从第一帧到第N帧的背景上的情况下得到的组成第一帧到第N帧的像素中被置于坐标(x，y)上的并拥有同样像素值的像素的最大数量的比率高时，最大数量的比率高的像素值被写入背景存储器15中作为一个可能的被置于坐标(x，y)的共用背景的像素值。因此，如果与最大数量相对应的像素值不是一个可能的被置于坐标(x，y)的共用背景的像素值，也就是说，当定位法运用到从第一帧到第N帧的背景上的情况下得到的组成第一帧到第N帧的像素中，被置于坐标(x，y)上的、拥有同样像素值的像素的最大数量的比率不高时，共用背景的像素值在背景像素提取处理中不写入背景存储器15中与坐标(x，y)相对应的地址。
作为结果，当写入背景存储器15中的像素值处于“蠕动”状态而且无像素值部分需要被填充时，共用背景于背景像素提取处理中形成。为此，在背景像素提取处理中，当背景像素提取处理(图21)在步骤S124中被执行时，将像素值填充入无像素值部分的背景延伸处理在步骤S125中被执行。
在图20所示的步骤S125中执行的背景延伸处理将参照图22所示的流程图进行描述。
在背景延伸处理中，变量y在步骤S141中被设为初始值Ymin-1。处理进行到步骤S142，变量y增1。接着，处理进行到步骤S143，确定变量y是否小于等于Ymax。当确定变量y是小于等于Ymax时，处理进行到步骤S145。在步骤S145中，变量x被设为初始值Xmin-1。处理进行到步骤S146，变量x增1。处理进行到步骤S147，确定变量x是否小于等于Xmax。当确定变量x大于Xmax时，处理返返回步骤S142。重复上述的相同步骤。
当在步骤S147中确定变量x是小于等于Xmax时，处理进行到步骤S148，来确定储存在背景标记存储器36中与坐标(x，y)相对应的地址的背景标记是否为0。当在步骤S148中确定储存在背景标记存储器36中与坐标(x，y)相对应的地址的背景标记不为0时，也就是说，背景标记为1时，因此，当一个像素值已经被写入到背景存储器15(图2)中与坐标(x，y)相对应的地址中作为共用背景时，处理返回步骤S146，然后重复上述的同样步骤。
当在步骤S148中确定储存在背景标记存储器36中与坐标(x，y)相对应的地址的背景标记是为0时，也就是说，当一个像素值还没有被写入到背景存储器15(图2)中与坐标(x，y)相对应的地址中时，处理进行到步骤S149，参照背景标记存储器36，来确定被置于坐标(x，y)上的像素周围的像素中的至少一个，例如与被置于坐标(x，y)上的像素在上下左右四个方向上邻近的像素之一的背景标记是否是1。
当在步骤S149中确定被置于坐标(x，y)上的像素周围的像素中没有一个的背景标记是1时，也就是说，当还没有一个共用背景的像素值被写入到背景存储器15(图2)中与坐标(x，y-1)，(x，y+1)，(x-1，y)，(x+1，y)，(x-1，y-1)，(x-1，y+1)，(x+1，y-1)以及(x+1，y+1)相对应的地址中去时，处理返回步骤S146。
当在步骤S149中确定被置于坐标(x，y)上的像素周围的像素中有一个的背景标记是1时，也就是说，当有一个像素值被写入到背景存储器15(图2)中与坐标(x，y-1)，(x，y+1)，(x-1，y)，(x+1，y)，(x-1，y-1)，(x-1，y+1)，(x+1，y-1)以及(x+1，y+1)相对应的地址中来作为共用背景时，处理进行到步骤S150。
如果有必要的话，在被置于坐标(x，y)上的像素周围的像素中，其像素值已经被作为共用背景写入的像素在后文中被称为已写入的邻近像素。
在步骤S150中确定与已写入的邻近像素的像素值相连的像素值的级是否被输入到数量表中来作为坐标(x，y)的第一数量级到第M数量级中的任一个。与另一个像素值相连的像素值表示相似的像素值(包括相同的像素值)。
当在步骤S150中确定与已写入的邻近像素的像素值相连的像素值的级是被输入到数量表中来作为坐标(x，y)的第一数量到第M数量级中的任一个时，也就是说，在定位法运用到从第一帧到第N帧的背景上的情况下，在组成第一帧到第N帧的像素中被置于坐标(x，y)上的像素中，以预定的比率找到拥有一个或更多与已写入的邻近像素的像素值相连的像素值的像素时，处理进行到步骤S151。根据以预定的比率找到的与已写入的邻近像素的像素值相连的像素值来为被置于坐标(x，y)的像素计算出共用背景的像素值，并将像素值写入背景存储器15(图2)中相应的地址。
也就是说，当与已写入的邻近像素的像素值的级被输入到数量表中来作为坐标(x，y)的第一数量到第M个数量级中的第m数量级时，在定位法运用到从第一帧到第N帧的背景上的情况下，在组成第一帧到第N帧的像素中被置于坐标(x，y)上的像素中属于第m个数量级的像素的像素值的平均值被计算出来，然后被写入背景存储器15(图2)中相应的地址来作为被置于坐标(x，y)上的像素的共用背景的像素值。
如上所述，在背景像素提取处理中，当定位法运用到从第一帧到第N帧的背景上的情况下得到的组成第一帧到第N帧的像素中被置于坐标(x，y)上的并拥有同样像素值的像素的最大数量的比率高时，最大数量的比率高的像素值被写入背景存储器15中作为一个可能的被置于坐标(x，y)的共用背景的像素值。根据背景像素提取处理，当由N帧组成的一系列的图像中的一个场景被用作背景，而且当前景被输入时主体移动，如果背景在几乎所有N帧中被显示在同一个像素位置而且没有被前景所遮盖，由于在几乎所有N帧中被显示的像素值的像素的数量的比率很高，像素值被作为背景像素值写入。
当前景在一些帧中被显示，而背景在一些帧中被显示在一个像素的位置上(在后文中被称为中间)时，由于一些帧中的前景和一些帧中的背景由相应的像素值组成，中间像素所拥有的像素值不会使得拥有像素值的中间像素的数量的比率很高。因此没有像素值在背景像素提取处理中被写为中间像素。
为了得到共用背景，在背景被显示在一个帧的像素位置时得到的中间像素的像素值需要被写入。鉴定出背景被显示在中间像素位置时的帧是困难的。因此，在背景延伸处理中，当共用背景的像素值已经为中间像素邻近的像素中的一个被写入，而且与已经被写入的像素值相近的像素值被显示为中间像素的像素值时，被显示的像素值被写入到背景存储器15(图2)来作为当背景被显示在中间像素位置时得到的一个可能的像素值。
因此，根据背景延伸处理，即使背景只是在一帧中被显示在一个像素位置(中间像素位置)。被显示为那一帧中的背景的像素值也可以被写入。
当在步骤S150中确定与已写入的邻近像素的像素值相连的像素值的级没有被输入到数量表中来作为坐标(x，y)的第一数量到第M数量级中的任一个时，也就是说，在定位法运用到从第一帧到第N帧的背景上的情况下，在组成第一帧到第N帧的像素中被置于坐标(x，y)上的像素中，没有找到拥有一个与已写入的邻近像素的像素值相连的像素值的像素时，处理进行到步骤S152。根据已写入的邻近像素的像素值相连的像素值来为被置于坐标(x，y)的像素计算出共用背景的像素值，并将计算出来的像素值写入背景存储器15(图2)中相应的地址。
在与中间像素邻近的像素中，由一个像素的像素(已写入的邻近像素)值被写入为共用背景。当一个与已写入的像素值相近的像素值还没有被显示为中间像素的像素值，已写入的邻近像素的像素值(例如，如果有多个已写入的邻近像素，则为这些像素值的平均值)被写入背景存储器15(图2)中来作为在步骤S152中被置于坐标(x，y)的像素的共用背景的像素值。
在步骤S151或步骤S152之后，处理进行到步骤S153。其像素值在步骤S151或步骤S152中被写入为共用背景的像素值的像素的背景标记，也就是储存在背景标记存储器36中与坐标(x，y)相对应的地址的背景标记被设为1，然后处理进行到步骤S146。重复上述的同样步骤。
当在步骤S143中确定变量y大于Ymax，处理进行到步骤S144，来确定是否所有储存在背景标记存储器36中与图像区域内的坐标相对应的背景标记都被设为1。当在步骤S144中确定所有储存在背景标记存储器36中与图像区域内的坐标相对应的背景标记都没有被设为1，也就是说，在被置于图像区域内的坐标的像素中其像素值被作为共用背景的像素的像素值还没有被写入时，处理返返回步骤S141。重复上述的同样步骤。
当在步骤S144中确定所有储存在背景标记存储器36中与图像区域内的坐标相对应的背景标记都被设为1，也就是说，在被置于图像区域内的坐标的像素中其像素值被作为共用背景的像素的像素值被写入时，处理返回。
根据参照图22所描述的处理，如图23所示，像素P(x，y)(在图中由阴影线圆表示)的像素值没有被写入，并与已被写入为共用背景的像素(在图中由黑线圆表示)邻近时，已写入的邻近像素(在图中的坐标为P(x-1，y)，P(x-1，y-1)，P(x，y-1)或者P(x+1，y+1))的像素值或与已写入的邻近像素的像素值相连的像素值被写入为在坐标P(x，y)的共用背景的像素值。然后共用背景被延伸。因此图22所描述的处理被称为背景延伸处理。
图24展示的是图2所示的前景编码部分16的示例结构。
前景提取部分41接收到储存在累积部分11(图2)中的第一帧到第N帧、储存在背景存储器15(图2)中的共用背景以及储存在摄像机运动矢量储存部分13(图2)中的摄像机运动矢量。前景提取部分41将前景从第一帧到第N帧中提取出来。更确切地说，前景提取部分41在参照坐标系中将第n帧的左上角根据摄像机运动矢量vn排列在从共用背景移位出的位置上，来完成共用背景和第n帧之间的定位，并从第N帧的每个像素中减去在共用背景中被置于相同的位置上的像素来从第n帧中提取前景。
前景储存部分42储存在前景提取部分41中提取出的第一帧到第N帧的前景。
前景累积图形配置部分43接收到储存在摄像机运动矢量储存部分13(图2)中的摄像机运动矢量。前景累积图形配置部分43根据摄像机运动矢量，通过使用储存在前景储存部分42中第一帧到第N帧的前景对一个前累积图像和一个后累积图像进行配置。更确切地说，在定位法应用到第一帧到第N帧的背景情况下，前景累积图形配置部分43根据摄像机运动向量模拟出第一帧到第N帧的前景，然后对通过在时间进程方向内观察第一帧到第N帧的前景得到的后累积图像进行配置，如果从过去观察，该图像是由前景构成的图像，和对通过在相反的时间进程方向内观察第一帧到第N帧的前景得到的前累积图像进行配置，如果从未来观察，它是由前景构成的图像。
在定位法应用到第一帧到第N帧的背景的情况下，前累积图像可以通过将第一帧到第N帧的前景的像素值按照第一帧到第N帧的顺序重写入一个存储器来得到。同样的，在定位法应用到第一帧到第N帧的背景的情况下，后累积图像可以通过将第一帧到第N帧的前景的像素值按照第N帧到第一帧的顺序重写入一个存储器来得到。
前景累积图像储存部分44储存在前景累积图形配置部分43被配置的前累积图像和后累积图像。
学习部分45通过使用组成储存在前景累积图像储存部分44中的前累积图像和后累积图像的像素以及，如果有必要的话，组成储存在误差图像储存部分49中的误差图像的像素，来执行学习处理来获得用来预测组成第一帧到第N帧中每一帧的前景的像素的预测系数。
预测系数储存部分46储存学习部分45执行学习处理获得的预测系数。
自适应处理部分47通过使用组成储存在前景累积图像储存部分44中的前累积图像和后累积图像的像素，储存在预测系数储存部分46中的预测系数组以及，如果有必要的话，组成储存在误差图像储存部分49中的误差图像的像素，来执行自适应处理来预测组成第一帧到第N帧中每一帧的前景。
学习部分45执行的学习处理和自适应处理部分47执行的自适应处理将在下面进行描述。
在自适应处理中，组成的像素在当前情况下为前累积图像，后累积图像或误差图像的现有图像，被线性地与预测系数组结合来获得想要的图像的像素的预测值(在当前情况下，就是第一帧到第N帧中每一帧的前景)。
在学习处理中，想要的图像被用作主数据，被用来获得想要的图像的现有图像被用作从数据，并得到预测系数组，预测系数组被用来通过指定的线性结合模式来得到组成想要的图像的想要的像素的像素值“y”的预测值E[y]，例如，指定的线性结合模式是一组几个组成现有图像的现有像素的像素值x1，x2，...和预测系数组w1，w2，...的线性结合。在当前情况下，预测值E[y]可以通过以下的表达式来表示。
E[y]＝w1x1+w2x2+...    (1)
为了推广表达式(1)，由预测系数组“wj”构成的矩阵“W”，由从数据组构成的矩阵“X”以及由预测值E[y]构成的矩阵“Y′”将根据以下方式定义：
X = x 11 x 12 · · · x 1 J x 21 x 22 · · · x 2 J · · · · · · · · · · · · x I 1 x I 2 · · · x IJ , W = w 1 w 2 · · · w J , E [ y ] E [ y 2 ] · · · E [ y I ]
得出以下观测方程
XW＝Y′    (2)
矩阵X中的xij表示第i组从数据组(从数据组被用来预测第i个主数据yi)中的第j个从数据，矩阵W中wj表示要与从数据组中的第j个从数据相乘的预测系数。第i个主数据由yi表示，因此，E[yi]表示第i个主数据的预测值。矩阵Y中的yi的后缀“i”在表达式(1)的左边表示“y”时被省略，矩阵X中xij的后缀“i”在表达式(1)的右边也被省略，以使得表示成“x1，x2，...”
假定将最小二乘法应用到观测方程上来得到与想要的像素的像素值“y”相近的预测值E[y]。在这种情况下，当由一组被用为主数据的想要的像素的真像素值“y”构成的矩阵“Y”以及由一组与想要的像素的真像素值“y”相对的预测值E[y]的余数“e”构成的矩阵“E”将根据以下方式定义，
E = e 1 e 2 · · · e I , Y = y 1 y 2 · · · y I
则从方程式(2)中得到以下的余项方程。
XW＝Y+E    (3)
在这种情况下，用来得到与想要的像素的像素值“y”相近的预测值E[y]的预测系数wj要通过将平方误差降到最小来得到。
因此，当由预测系数wj微分得到的平方误差为0时得到的预测系数wj，也就是满足以下表达式的预测系数wj，是用来得到与想要的像素的像素值“y”相近的预测值E[y]的最佳值。
e 1 ∂ e 1 ∂ w j + e 2 ∂ e 2 ∂ w j + . . . + e I ∂ e I ∂ w j = 0 , ( j = 1,2 , . . . , J ) - - - ( 4 )
表达式(3)被预测系数wj微分来得到以下的表达式。
∂ e i ∂ w 1 = x i 1 , ∂ e i ∂ w 2 = x i 2 , . . . , ∂ e i ∂ w J = x iJ , ( I = 1,2 , . . . , I ) - - - ( 5 )
从表达式(4)和表达式(5)得到表达式(6)。
Σ i = 1 I e i x i 1 = 0 , Σ i = 1 I e i x i 2 = 0 , . . . , Σ i = 1 I e i x iJ = 0 , - - - ( 6 )
根据被考虑的数据“xij”、预测系数“wj”，主数据“y”以及余数“ei”之间的关系从表达式(6)得到以下法方程。
( Σ i = 1 I x i 1 x i 1 ) W 1 + ( Σ i = 1 I x i 1 x i 2 ) W 2 + . . . + ( Σ i = 1 I x i 1 x iJ ) W J = ( Σ i = 1 I x i 1 y i ) ( Σ i = 1 I x i 2 x i 1 ) W 1 + ( Σ i = 1 I x i 2 x i 2 ) W 2 + . . . + ( Σ i = 1 I x i 2 x iJ ) W J = ( Σ i = 1 I x i 2 y i ) · · · ( Σ i = 1 I x iJ x i 1 ) W 1 + ( Σ i = 1 I x iJ x i 2 ) W 2 + . . . + ( Σ i = 1 I x iJ x iJ ) W J = ( Σ i = 1 I x iJ y i ) - - - ( 7 )
和要得到的预测系数“wj”的J相同数目的法方程(7)数量可以在准备了一定组数的从数据“xij”和主数据“yi”后得到。因此，求解法方程(7)(为了解方程(7)，要求由被应用到预测系数“wj”系数组成的矩阵非奇异)来得到最佳的预测系数“wj”。有可能用扫除方法(sweeping method)(高斯-若当(Guass-Jordan)消去法)解法方程(7)。
如上所述，最佳的预测系数“wj”在学习处理中得到，与想要的像素的像素值“y”相近的预测值E[y]通过在自适应处理中使用预测系数“wj”在表达式(1)中得到。
也就是说，学习部分45和自适应处理部分47通过使用储存在前景累积图像储存部分44中的前累积图像和后累积图像以及，如果有必要的话，储存在误差图像储存部分49中的误差图像来作为现有图像，以及第一帧到第N帧的前景作为想要的图像，分别执行学习处理和自适应处理。
自适应处理例如，与在其中复制包括在想要的图像中而没有包括在现有图像中的组成部分的简单内插处理有所不同。也就是说，如果仅仅从表达式(1)来看，自适应处理与内插处理是一样的，都使用了内插滤波器。由于与内插滤波器的分接头系数相对应的预测系数组“w”是通过使用主数据“y”的学习获得，所以包括在想要的图像中的组成部分被复制。从这种情况看，可以说自适应处理有图像创建(分辨率提高)功能。
误差计算部分48从前景储存部分42中读取第一帧到第N帧的每一帧的前景，并计算由自适应处理部分47得到的第一帧到第N帧的每一帧的前景的预测值的预测误差。更确切的说，误差计算部分48通过从像素的预测值中减去组成第N帧的前景的像素的真像素值来得到每个像素的预测误差。
误差图像储存部分49储存一幅图像(如果必要的话，在后文中被称为误差图像)，此图像由第一帧到第N帧的前景的预测误差构成，并在误差计算部分48中得到。
误差判定部分50计算预测误差的绝对值的总和，这些预测误差是被作为组成储存在误差图像储存部分49中的误差图像的像素的像素值，并确定这个绝对值的总和是否不大于(不小于)一个阈值。
多路复用器(MUX)51对储存在前景累积图像储存部分44中的前累积图像和后累积图像，储存在预测系数储存部分46中的预测系数组以及，如果有必要的话，储存在误差图像储存部分49中的误差图像进行多路复用，并将多路复用的结果数据输出到MUX17作为第一帧到第N帧的每一帧的前景的编码结果。
图26展示的是图24所示的学习部分45的示例结构。
预测分接头配置部分61接收到储存在前景累积图像储存部分44中的前累积图像和后累积图像(如果有必要的话，在后文中被总称为前景累积图像)，以及，如果有必要的话，储存在误差图像储存部分49中的误差图像。在定位法应用到从第一帧到第N帧的背景的情况下，预测分接头配置部分61在组成第一帧到第N帧的每一帧的前景的像素中将其预测值即将被得到的像素设为焦点像素，并提取在前累积图像，后累积图像和误差图像中在空间上与焦点像素相近的像素，将它们输出到法方程配置部分62中来作为通过自适应处理用来获得由焦点像素的预测值的预测分接头。
法方程配置部分62从预测分接头配置部分61接收到预测分接头和储存在前景储存部分42中的组成第一帧到第N帧的每一帧的前景。法方程配置部分62为作为焦点像素的前景的像素(主数据)和预测分接头(从数据)执行加法。
更确切的说，法方程配置部分62用预测分接头来执行从数据(预测分接头)和总和(∑)的乘法(xijxi′j′)，它们将在法方程(7)的左边与预测系数相乘。
另外，法方程配置部分62用预测分接头和焦点像素来在法方程(7)的右边，执行从数据(预测分接头)、主数据(焦点像素)和总和(∑)乘法(xijyj)。
在组成第一帧到第N帧的每一帧的前景的像素被相继设为焦点像素的情况下，法方程配置部分62执行以上步骤来生成法方程(7)。
接着，预测系数计算部分63解由法方程配置部分62生成的法方程来得到一个预测系数组，并将它送到预测系数储存部分46(图24)中储存起来。
在本实施例中，在定位法应用到从第一帧到第N帧的背景的情况下，图24所示的自适应处理部分47，例如通过以下的表达式在第一帧到第N帧中得到在参照坐标系的第N帧的图像区域中被置于坐标(x，y)的像素的像素值A(x，y)的预测值E[An(x，y)]。
E[An(x，y)]＝g(F，B，E，n)    (8)
在表达式(8)中，F，B，E分别表示前累积图像、后累积图像以及误差图像，而函数g(F，B，E，n)被以下与线性方程(1)相对应的表达式所定义。
g(F，B，E，n)＝wF1xf1+wF2xf2+...
wB1xb1+wB2xb2+...
wE1xe1+wE2xe2+...
wxf    (9)
在表达式(9)中，wF1，wF2，...wB1，wB2，...wE1，wE2...表示预测系数，f1，f2，...表示在组成前累积图像F的像素中组成焦点像素的预测分接头的像素，b1，b2，...表示在组成后累积图像B的像素中组成焦点像素的预测分接头的像素，e1，e2，...表示在组成误差图像E的像素中组成焦点像素的预测分接头的像素。
当函数g(F，B，E，n)被表达式(9)定义时，法方程配置部分62生成用来得到表达式(9)中的预测系数wF1，wF2，...wB1，wB2，...wE1，wE2，...w的法方程，而预测系数计算部分63解法方程来得到预测系数wF1，wF2，...wB1，wB2，...wE1，wE2，...w。因此在这种情况下，对于第一帧到第N帧的所有前景得到一组预测系数wF1，wF2，...wB1，wB2，...wE1，wE2，...w。
图27展示的是图24所示的自适应处理取47的示例结构。
预测分接头配置部分71接收到储存在前景累积图像储存部分44中的前景累积图像和(如果有必要的话)储存在误差图像储存部分49中的误差图像。和图26所示的预测分接头配置部分61一样，在定位法应用到从第一帧到第N帧的背景的情况下，预测分接头配置部分71在组成第一帧到第N帧的每一帧的前景的像素中将其预测值即将被得到的像素设为焦点像素，并提取在前累积图像，后累积图像和误差图像中在空间上与焦点像素相近的像素，将它们作为预测分接头输出到预测计算部分72中。
预测计算部分72从预测分接头配置部分71中接收到预测分接头以及储存在预测系数储存部分46(图24)中的预测系数组。预测计算部分72使用预测分接头和预测系数组来计算被表达式(8)和表达式(9)定义的线性方程，来得到前景中焦点像素的预测值，并将它输出到误差计算部分48。
图24所示的由前景编码部分16所执行的对第一帧到第N帧的每一帧的前景进行编码的前景编码处理将参照图28所示的流程图进行描述。
首先，在步骤S161中，如上所述，前景提取部分41用储存在摄像机运动矢量储存部分13(图2)中的摄像机运动矢量和储存在背景存储器15(图2)中的共用背景来将前景从储存在累积部分11(图2)中的第一帧到第N帧的图像中提取出来，并将它们送到前景储存部分42中储存起来。
处理进行到步骤S162。前景累积图像配置部分43对储存在前景储存部分42中的第一帧到第N帧、参照图25描述的前景的前累积图像和后累积图像进行配置，并将他们送到前景累积图像储存部分44储存起来。处理进行到步骤S163。
在步骤S163中，学习部分45使用储存在前景累积图像储存部分44中的前累积图像和后累积图像以及，如果有必要的话，组成储存在误差图像部分49中的误差图像的像素来执行学习处理，来得到用来预测组成第一帧到第N帧的每一帧的前景的预测像素的预测系数。
当在步骤S163中首先执行学习处理时，由于误差图像还没有被存入误差图像储存部分49中，因此学习处理是在没有使用误差图像的情况下执行，该图像不能用。
在步骤S163中通过学习处理得到的预测系数组从学习部分45被送到预测系数储存部分46中并以重写的方式储存。当预测系数储存部分46储存了预测系数组时，自适应处理部分47在步骤S164中执行自适应处理来得到组成第一帧到第N帧的每一帧的前景的像素的预测值，这个值是通过使用储存在前景累积图像储存部分44中的前累积图像和后累积图像的像素，储存在预测系数储存部分46中的预测系数组以及，如果有必要的话，组成储存在误差图像部分49中的误差图像来计算由表达式(8)和表达式(9)所定义的线性方程来得出。
同样，如果当在步骤S163中首先执行自适应处理时，由于误差图像还没有被存入误差图像储存部分49中，因此自适应处理是在没有使用误差图像的情况下执行，该图像不能用。
在步骤S164中执行自适应处理来得到组成第一帧到第N帧的每一帧的前景的像素的预测值被送到误差计算部分48。在步骤S165中，误差计算部分48依照储存在前景储存部分42中的第一帧到第N帧的每一帧的前景来得到组成前景的每个像素的预测值。
接着处理进行到步骤S166。误差计算部分48将在参照坐标系的图像区域的每一个位置上拥有最大的预测误差的绝对值的像素从组成第一帧到第N帧的每一帧的前景的像素中提取出来，并将从每个位置上提取出来的像素的预测误差作为误差图像送到误差图像储存部分49中。误差图像储存部分49将从误差计算部分48送来的误差图像储存起来。
接着处理进行到步骤S167。误差判定部分50计算组成储存在误差图像储存部分49中的误差图像的像素的像素值(预测误差)的绝对值的总和，并确定绝对值的总和是否不大于阈值∈。
当在步骤S167中确定组成误差图像的像素的像素值(预测误差)的绝对值的总和是不大于阈值∈，也就是说，当从预测系数组、前累积图像和后累积图像(以及，如果有必要的话，误差图像)中得到的前景的预测值的精确度不够时，处理返回步骤S163。重复上述的相同步骤。
在这种情况下，由于在接下来执行的步骤S163和步骤S164中，误差图像储存部分49储存了误差图像，预测分接头就通过使用前累积图像和后累积图像以及误差图像来构成(图29所示)，学习处理和自适应处理被分别执行。
当在步骤S167中确定组成误差图像的像素的像素值(预测误差)的绝对值的总和是小于等于于阈值∈，也就是说，当从预测系数组、前累积图像和后累积图像(以及如果有必要的话，误差图像)中得到的前景的预测值的精确度足够时，处理进行到步骤S168。误差判定部分50控制MUX 51来读取和多路复用储存在前景累积图像储存部分44中的前累积图像和后累积图像的像素、储存在预测系数储存部分46中的预测系数组、以及误差图像，如果误差图像储存在误差图像部分49中的话。MUX 51将多路复用结果数据输出到多路复用器17(图2)来作为对第一帧到第N帧的每一帧的前景编码的结果，然后结束前景编码处理。
每次执行步骤S166时，误差图像储存部分49都有可能将新的误差图像以重写方式储存在已储存的误差图像上，或者让已储存的图像按原样保留。
当误差图像储存部分49将新的误差图像以重写方式储存在已储存的误差图像上时，由于即使预测系数组学习处理被重复执行也始终只有一个误差图像被储存，因此即使前景预测值的精确度的提高被限制在一个很小的范围内，多路复用数据的数量也是很小的。
当误差图像储存部分49在将新的误差图像存储器来的同时也让已储存的图像按原样保留时，由于多个误差图像被储存，因此多路复用数据的数量会增加。由于预测分接头的生成是通过使用前累积图像和后累积图像以及两个或多个误差图像，如图30所示，再加上学习处理和自适应处理的执行，前景预测值的精确度得到提高。图30展示的是两个误差图像被储存的情况。
在上述情况中，通过使用由学习处理得到的预测系数组，自适应处理被执行来得到预测值。当预测误差大时，通过使用误差图像，学习处理被执行来得到预测值小的预测系数组。与预测误差的量值无关，作为由学习部分45执行的第一次学习处理的结果的预测系数组可以与储存在前景累积图像储存部分44中的前累积图像和后累积图像一起被输出为前景编码的结果。在这种情况下，前景解码部分16可以在不包括自适应处理取47、误差计算部分48、误差图像储存部分49和误差判定部分50的情况下构成。
另外，在上述情况中，用来得到前景的预测值的函数(F，B，E.n)被表达式(9)所定义，而同样被用来得到第一帧到第N帧的每一帧的前景的预测值的一组预测系数由此函数得到。例如在每一帧或每个复数帧中都可以得到预测系数组。
也就是说，要在每一帧中得到预测系数组，有必要定义，例如象表达式(10)所示的函数g(F，B，E，n)，生成并解法方程而得到每一帧的预测系数组。
g(F，B，E，n)＝wF1xf1+wF2xf2+...
+wB1xb1+wB2xb2+...
+wE1xe1+wE2xe2+...
(10)
在表达式(10)中，wF1，wF2，...wB1，wB2，...wE1，wE2，...表示用来得到第N帧前景的预测值的预测系数。
前景的预测值是通过线性预测得到。前景的预测值可以通过二阶或更高阶的高阶预测方程得到。
另外，由第一帧到第N帧的每一帧的前景构成的前累积图像和后累积图像被用来执行预测系数组的学习处理来获得第一帧到第N帧的每一帧的前景的预测值。预测系数组的学习处理可以通过使用非前累积图像和后累积图像来执行。也就是说，预测系数组的学习处理，例如，可以通过使用一个或更多个由噪声构成的图像来执行，使得由噪声构成的图像的像素值被用来减少前景的预测值的预测误差。
图31展示的是图1所示的解码器2的示例结构。
通过传输媒介3(图1)传输的编码数据或者从记录介质4(图1)中复制的编码数据被送到多路分解器(DMUX)81中。DMUX 81将送来的编码数据中的前累积图像、后累积图像、预测系数组、共用背景以及摄像机运动矢量分开。如果编码数据中包括有误差图像，DMUX 81也会将误差图像从编码数据中分开。
前累积图像、后累积图像，如果编码数据中包括有误差图像的话，还有误差图像被DMUX 81送到图像储存部分86中。预测系数组、共用背景以及摄像机运动矢量被DMUX 81分别送到预测系数储存部分82、背景存储器87和摄像机运动矢量储存部分88中。
预测系数储存部分82储存从DMUX81送来的预测系数组。自适应处理部分83使用储存在预测系数储存部分82中的预测系数组，储存在图像储存部分86中的前累积图像、后累积图像，如果有必要的话还有误差图像，来执行与图24所示的自适应处理部分47所执行的同样的自适应处理来获得第一帧到第N帧的每一帧的前景的预测值。
前景储存部分84将由自适应处理部分83得到的第一帧到第N帧的每一帧的前景的预测值储存为第一帧到第N帧的每一帧的前景的解码结果。
合成部分85根据储存在摄像机运动矢量储存部分88中的摄像机运动矢量vn，将第N帧的背景从储存在背景存储器87中的共用背景中提取出来，并将第n帧的背景与储存在前景储存部分84中的存储的第n帧的前景的解码结果结合(合成)以对第n帧图像解码，然后输出。
图像储存部分86储存从DMUX 81送来的前累积图像，后累积图像以及误差图像。背景存储器87储存从DMUX 81送来的共用背景。摄像机运动矢量储存部分88储存从DMUX 81送来的摄像机第第一帧到第N帧的运动矢量。
图31所示的由解码器2所执行的对作为一系列图像的第一帧到第N帧的图像进行解码的解码处理将参照图32所示的流程图进行描述。
首先在步骤S171中，DMUX 81送来的编码数据中的前累积图像、后累积图像、必要的误差图像、预测系数组、共用背景以及摄像机运动矢量分开。前累积图像、后累积图像以及必要的误差图像被送到图像储存部分86中并储存起来。预测系数组、共用背景以及摄像机运动矢量被分别送到预测系数储存部分82，背景存储器87和摄像机运动矢量储存部分88中并储存起来。
接着，处理进行到步骤S172。自适应处理部分83使用储存在预测系数储存部分82中的预测系数组，储存在图像储存部分86中的前累积图像，后累积图像以及必要的误差图像来执行与图24所示的自适应处理部分47所执行的同样的自适应处理来获得第一帧到第N帧的每一帧的前景的预测值。预测值被送到前景储存部分84中并被储存为第一帧到第N帧的每一帧的前景的解码结果。
接着，处理进行到步骤S173。合成部分85根据储存在摄像机运动矢量储存部分88中的摄像机运动矢量vn，来将第n帧的背景从储存在背景存储器87中的共用背景提取出来，并将第n帧的背景与储存在前景储存部分84中的第一帧到第N帧的每一帧的前景的解码结果合成。合成部分85将此处理应用到从第一帧到第N帧的每一帧上，然后解码处理终止。
以上所描述的一系列处理可以由硬件或软件来执行。当这一系列处理由软件来执行时，组成软件的一个程序将被安装到建在编码器1或解码器2中的电脑上来作为特殊的硬件，或者安装到一个用安装的各种程序来执行各种处理的普通用途的电脑上。
用来安装执行一系列如上所述的处理的程序和使电脑可以对它进行处理的记录介质将参照图33A到图33C进行描述。
当该程序被事先安装到硬盘102或者作为内建于101中的记录介质的半导体存储器103中时，程序可以供应给用户。
另外，当该程序被录入记录介质，如软盘111、CD-ROM112、磁光盘113、DVD114、磁盘115和半导体存储器116，如图33B所示，程序可以被作为软件包供应给用户。
另外，该程序可以通过用来进行数量卫星广播的人造卫星122从下载站点121无线传输到电脑101上，或者通过网络131，例如局域网(LAN)或者因特网，有线传输到电脑101上，并安装到电脑101上的硬盘102中，如图33C所示。
在当前规范下，描述由记录介质来供应程序的步骤并不需要按与流程图中所描述的步骤相同的时序，也包括并行或单独执行(例如并行处理或面向对象处理)。
图34展示的是图33A所示的电脑101的示例结构。
电脑101包括一个中央处理器(CPU)142，如图34所示。CPU 142通过总线141被连接到输入输出接口145上。当用户操作由键盘和鼠标组成的输入部分147通过输入输出接口145输入指令时，CPU 142执行储存在与图33A所示的半导体存储器103相对应的只读存储器(ROM)143中的程序。另外，CPU 142将储存在软盘上的程序载入随机存储器(RAM)144中；从卫星122或网络131传输来，由通信部分148所接收的程序被安装到硬盘102上；或者从被装入驱动149的软盘111、CD-ROM 112、磁光盘113、DVD 114和磁盘115，以及半导体存储器116中读取的程序被安装到硬盘102上；并执行。根据需要，CPU 142将处理结果通过输入输出接口145输出到由液晶显示器构成的显示部分146。
根据本发明，前景从图像的每一屏中被提取出来，并得到用来预测每一屏的前景的预测系数。预测系数和前后累积图像被输出为每一屏的前景的编码结果。因此，前景可以被高效编码。
另外，根据本发明，在编码数据中，预测系数和前后累积图像被分开，而后每一屏的前景的预测值从图像和预测系数中得到。因此，被高效编码的前景可以被解码。
而且，根据本发明，前景从图像的每一屏中被提取出来，并从前后累积图像中得到用来预测每一屏的前景的预测系数。预测系数和前后累积图像被输出为编码数据，该数据为每一屏的前景的编码结果。在编码数据中，预测系数和前后累积图像被分开，并从预测系数和前后累积图像中得到每一屏的前景的预测值。因此，前景被高效编码，而后编码结果被解码。
根据本发明，在定位法应用到每一屏的背景的情况下，在空间上被置于同一位置的像素在图像中被检测到，并计算出在空间上被置于同一位置并拥有相同的像素值的像素的数量。根据这个数量，背景的像素值被确定。因此，背景被精确提取。
根据本发明，在储存在累积图像储存区中的累积图像中指定一个用来检测焦点屏的运动的检测区域，该区域包括焦点屏之前的那一屏的图像，而该图像储存区储存的是通过将定位法应用到每一屏的背景来得到的累积图像，然后计算出检测区域的重心和焦点屏的重心。根据检测区域的重心和焦点屏的重心得到一个运动矢量。根据这个运动矢量焦点屏的图像被写入累积图像储存区中。因此，摄像机运动可以轻易得到。

Claims (18)

1.一种用于处理多个连续帧的图像信号的图像处理装置，包括：
同位像素检测装置，当定位法被应用于每个帧的背景时，根据多个连续帧的图像信号检测多个连续帧中在空间上被置于同位的像素组；
像素数目检测装置，检测在空间上被置于同位的每组像素中、具有每个像素值的像素的数目；以及
背景像素值确定装置，根据像素数目来确定每组背景图像的像素值。
2.按照权利要求1的图像处理装置，其中，背景像素值确定装置确定有像素值的像素数目与每组中的像素数目的比率大于等于预定值的像素值，作为与组相对应的背景像素的像素值。
3.按照权利要求2的图像处理装置，还包括：背景延伸装置，用于根据已经由背景像素值确定装置确定了像素值的已输入像素，通过确定还未输入像素的像素值来延伸背景，该还未输入像素是一组中的背景像素，在该组中，背景像素值确定装置无法找到一个其具有像素值的像素数目与每组中的像素数目的比率大于等于预定值的像素值。
4.按照权利要求3的图像处理装置，其中，背景延伸装置根据已输入像素的像素值的持续状态确定还未输入像素的像素值。
5.按照权利要求4的图像处理装置，其中，当与还未输入像素邻近的已输入像素的像素值与从有最高像素数目的像素值到在与还未输入像素在同一组的像素中拥有预定数量的像素数目的像素值连续时，背景延伸装置根据已输入像素的像素值来确定还未输入像素的像素值。
6.按照权利要求4的图像处理装置，还包括：背景区域检测装置，在定位法应用到每一帧的背景的情况下，根据摄像机运动矢量在背景存在的地方检测背景区域。
7.按照权利要求6的图像处理装置，其中，同位像素检测装置检测在背景区域中多个被置于同位的像素集。
8.按照权利要求6的图像处理装置，还包括：用来检测摄像机运动矢量的摄像机运动矢量检测装置。
9.按照权利要求4的图像处理装置，其中，像素数目检测装置将像素值分类为多层，并检测每层中对应的像素数量。
10.一种用于处理多个连续帧的图像信号的图像处理方法，包括：
同位像素检测步骤，当定位法应用与每个帧的背景时，根据多个连续帧的图像信号来检测多个连续帧中在空间上被置于同位的像素组；
像素数目检测步骤，检测在空间上置于同位的每组像素中、具有每个像素值的像素数目；以及
背景像素值确定步骤，根据像素数目来确定每组背景图像的像素值。
11.按照权利要求10的图像处理方法，其中，在像素值确定步骤中确定有像素值的像素数目与每组中的像素数目的比率大于等于预定值，作为与组相对应的背景像素的像素值。
12.按照权利要求11的图像处理方法，还包括：背景延伸步骤，根据在像素值确定步骤中确定了像素值的已输入像素，确定还未输入像素的像素值来延伸背景，该还未输入像素是一组中的背景像素，在该组中，背景像素值确定装置无法找到一个其有像素值的像素数目与每组中的像素数目的比率大于等于预定值的像素值。
13.按照权利要求12的图像处理方法，其中，像素值确定步骤根据已输入像素的像素值的持续状态来确定还未输入像素的像素值。
14.按照权利要求13的图像处理方法中，当与还未输入像素邻近的已输入像素的像素值与从有最高像素数目的像素值到在与还未输入像素在同一组的像素中拥有预定量数像素数目的像素值连续时，背景延伸步骤根据已输入像素的像素值来确定还未输入像素的像素值。
15.按照权利要求13的图像处理方法，还包括：背景区域检测步骤，在定位法应用到每一帧的背景的情况下，根据摄像机运动矢量来在背景存在的地方检测背景区域。
16.按照权利要求15的图像处理方法，其中，同位像素检测步骤检测在背景区域中多个被置于同位的像素集。
17.按照权利要求15的图像处理方法，还包括：摄像机运动矢量检测步骤。
18.按照权利要求13的图像处理方法，其中，检测像素数目步骤将像素值分类为多层，并检测每层中对应的像素的数量。
CNB2005100689176A 1999-09-13 2000-09-13 图像处理装置及其方法 Expired - Fee Related CN100440976C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP258474/99 1999-09-13
JP258474/1999 1999-09-13
JP25847499A JP4224748B2 (ja) 1999-09-13 1999-09-13 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB001344056A Division CN1208970C (zh) 1999-09-13 2000-09-13 图像处理装置

Publications (2)

Publication Number Publication Date
CN1678076A CN1678076A (zh) 2005-10-05
CN100440976C true CN100440976C (zh) 2008-12-03

Family

ID=17320734

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005100689176A Expired - Fee Related CN100440976C (zh) 1999-09-13 2000-09-13 图像处理装置及其方法
CNB001344056A Expired - Fee Related CN1208970C (zh) 1999-09-13 2000-09-13 图像处理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB001344056A Expired - Fee Related CN1208970C (zh) 1999-09-13 2000-09-13 图像处理装置

Country Status (5)

Country Link
US (7) US6766059B1 (zh)
EP (1) EP1085762A3 (zh)
JP (1) JP4224748B2 (zh)
KR (1) KR100738241B1 (zh)
CN (2) CN100440976C (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
EP1282236B1 (en) * 2000-05-09 2012-10-03 Sony Corporation Data processing device and data processing method, and recorded medium
KR20010067992A (ko) * 2001-04-13 2001-07-13 장민근 배경화상 추출 및 삽입이 가능한 동화상 제공 이동통신단말기 및 이를 이용한 배경화상 분리 방법
JP4650654B2 (ja) * 2001-06-27 2011-03-16 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
JP4650655B2 (ja) * 2001-06-27 2011-03-16 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
BRPI0302966B1 (pt) * 2002-02-01 2018-02-14 Godo Kaisha Ip Bridge 1 Método de codificação de imagem em movimento e método de decodificação de imagem em movimento
US6941011B2 (en) * 2002-06-27 2005-09-06 Hewlett-Packard Development Company, Lp. Method and system for image processing including mixed resolution, multi-channel color compression, transmission and decompression
FR2843252A1 (fr) * 2002-07-30 2004-02-06 Thomson Licensing Sa Procede de compression de donnees numeriques d'une sequence video comportant des plans alternes
JP3702260B2 (ja) * 2002-09-19 2005-10-05 株式会社東芝 目標角速度計測装置および目標角速度計測方法
US7636481B2 (en) * 2002-10-09 2009-12-22 Sony Corporation Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels
US7535478B2 (en) * 2003-12-24 2009-05-19 Intel Corporation Method and apparatus to communicate graphics overlay information to display modules
US7720303B2 (en) * 2004-04-28 2010-05-18 Hewlett-Packard Development Company, L.P. Polynomial approximation based image filter methods, systems, and machine-readable media
KR100643230B1 (ko) * 2004-08-30 2006-11-10 삼성전자주식회사 디스플레이장치의 제어방법
US7688999B2 (en) * 2004-12-08 2010-03-30 Electronics And Telecommunications Research Institute Target detecting system and method
JP4650123B2 (ja) * 2005-06-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
GB2443581B (en) * 2005-11-07 2010-06-09 Sony Corp Recording apparatus, method, and program
JP4529874B2 (ja) 2005-11-07 2010-08-25 ソニー株式会社 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム
KR100761846B1 (ko) * 2006-05-18 2007-09-28 삼성전자주식회사 연속되는 영상에 모션이 있는가를 검출하는 모션 검출 장치및 모션 검출 방법
JP4963306B2 (ja) * 2008-09-25 2012-06-27 楽天株式会社 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法
KR101634355B1 (ko) * 2009-09-18 2016-06-28 삼성전자주식회사 동작 검출 장치 및 방법
US8892853B2 (en) * 2010-06-10 2014-11-18 Mobileye Technologies Limited Hardware to support looping code in an image processing system
JP5628083B2 (ja) * 2011-04-13 2014-11-19 株式会社日立製作所 計算機システム、及び組立アニメーション生成方法
CN102163361B (zh) * 2011-05-16 2012-10-17 公安部沈阳消防研究所 一种基于前景累积图像的图像型火灾探测方法
MY193110A (en) * 2011-06-30 2022-09-26 Sony Corp Image processing device and image processing method
CN104573132B (zh) * 2015-02-13 2017-10-31 广东欧珀移动通信有限公司 歌曲查找方法及装置
KR102579994B1 (ko) * 2016-10-24 2023-09-18 삼성에스디에스 주식회사 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치
KR20190004010A (ko) * 2017-07-03 2019-01-11 삼성에스디에스 주식회사 전경 추출 방법 및 장치
US10977810B2 (en) * 2018-12-06 2021-04-13 8th Wall Inc. Camera motion estimation
TWI733188B (zh) * 2019-09-11 2021-07-11 瑞昱半導體股份有限公司 用於獨立物件之運動估計的裝置以及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1130848A (zh) * 1994-12-29 1996-09-11 大宇电子株式会社 用于低比特率图象信号编码器中检测前景区的装置
JPH0937259A (ja) * 1995-07-21 1997-02-07 Sony Corp 画像信号処理装置および方法
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
CN1165455A (zh) * 1996-05-10 1997-11-19 大宇电子株式会社 利用目标形状编码具有一个目标的图象信号的方法和设备
CN1187731A (zh) * 1997-01-10 1998-07-15 大宇电子株式会社 对于视频信号中的目标轮廓图象进行编码的方法和装置
US5844612A (en) * 1995-11-09 1998-12-01 Utah State University Foundation Motion vector quantizing selection system
WO1999006943A1 (en) * 1997-08-01 1999-02-11 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US5881174A (en) * 1997-02-18 1999-03-09 Daewoo Electronics Co., Ltd. Method and apparatus for adaptively coding a contour of an object
US5892521A (en) * 1995-01-06 1999-04-06 Microsoft Corporation System and method for composing a display frame of multiple layered graphic sprites
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992010908A2 (en) * 1990-12-14 1992-06-25 Battelle Memorial Institute High-speed video instrumentation system
JPH0730888A (ja) * 1993-06-24 1995-01-31 Canon Inc 動画像送信装置及び動画像受信装置
JP3263749B2 (ja) * 1993-07-27 2002-03-11 ソニー株式会社 デジタル画像信号の記録装置
KR100292138B1 (ko) 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
NO933205D0 (no) * 1993-09-08 1993-09-08 Harald Martens System for representasjon av data
JPH0795598A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
JP3929492B2 (ja) * 1995-10-25 2007-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化画像符号化方法及びシステム並びにその復号化方法及びシステム
KR100197602B1 (ko) * 1996-04-29 1999-06-15 윤종용 회전 움직임 추정 방법 및 이를 이용한 영상부호화/복호화장치
US6301382B1 (en) * 1996-06-07 2001-10-09 Microsoft Corporation Extracting a matte of a foreground object from multiple backgrounds by triangulation
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
GB9623573D0 (en) * 1996-11-13 1997-01-08 Philips Electronics Nv Image segmentation
EP1042736B1 (en) * 1996-12-30 2003-09-24 Sharp Kabushiki Kaisha Sprite-based video coding system
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
JP3114668B2 (ja) * 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
DE69907672T2 (de) * 1998-06-05 2004-04-08 Innomedia Pte Ltd. Verfahren und vorrichtung zur extraktion des hintergrunds zwecks verringerung der anzahl codierter blöcke bei der videokodierung
EP0977437A3 (en) * 1998-07-28 2007-11-21 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
US6668070B2 (en) * 2000-03-29 2003-12-23 Sony Corporation Image processing device, image processing method, and storage medium
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US8272020B2 (en) * 2002-08-17 2012-09-18 Disney Enterprises, Inc. System for the delivery and dynamic presentation of large media assets over bandwidth constrained networks

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
CN1130848A (zh) * 1994-12-29 1996-09-11 大宇电子株式会社 用于低比特率图象信号编码器中检测前景区的装置
US5892521A (en) * 1995-01-06 1999-04-06 Microsoft Corporation System and method for composing a display frame of multiple layered graphic sprites
JPH0937259A (ja) * 1995-07-21 1997-02-07 Sony Corp 画像信号処理装置および方法
US5844612A (en) * 1995-11-09 1998-12-01 Utah State University Foundation Motion vector quantizing selection system
CN1165455A (zh) * 1996-05-10 1997-11-19 大宇电子株式会社 利用目标形状编码具有一个目标的图象信号的方法和设备
CN1187731A (zh) * 1997-01-10 1998-07-15 大宇电子株式会社 对于视频信号中的目标轮廓图象进行编码的方法和装置
US5881174A (en) * 1997-02-18 1999-03-09 Daewoo Electronics Co., Ltd. Method and apparatus for adaptively coding a contour of an object
WO1999006943A1 (en) * 1997-08-01 1999-02-11 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体

Also Published As

Publication number Publication date
JP2001086507A (ja) 2001-03-30
CN1293517A (zh) 2001-05-02
US7003163B2 (en) 2006-02-21
EP1085762A2 (en) 2001-03-21
US7315654B2 (en) 2008-01-01
US7315653B2 (en) 2008-01-01
US20070041650A1 (en) 2007-02-22
US20070041649A1 (en) 2007-02-22
US20040218821A1 (en) 2004-11-04
US6766059B1 (en) 2004-07-20
KR20010039885A (ko) 2001-05-15
US20070041651A1 (en) 2007-02-22
CN1678076A (zh) 2005-10-05
JP4224748B2 (ja) 2009-02-18
EP1085762A3 (en) 2008-07-30
US7245774B2 (en) 2007-07-17
KR100738241B1 (ko) 2007-07-12
US20070041641A1 (en) 2007-02-22
US7305136B2 (en) 2007-12-04
CN1208970C (zh) 2005-06-29
US20040218823A1 (en) 2004-11-04
US7133562B2 (en) 2006-11-07

Similar Documents

Publication Publication Date Title
CN100440976C (zh) 图像处理装置及其方法
Heywood et al. Building an exploratory multi-criteria modelling environment for spatial decision support
CN1307599C (zh) 图像匹配
CN1681291B (zh) 用于计算数字视频序列中的运动矢量的方法
CN100559376C (zh) 生成视频摘要的方法、系统及设备
CN102088589B (zh) 基于双向的局部和全局运动估计的帧率转换
CN107798725B (zh) 基于Android的二维住房户型识别和三维呈现方法
JPH0795592A (ja) 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム
CN106203277A (zh) 基于sift特征聚类的固定镜头实时监控视频特征提取方法
CN105989358A (zh) 一种自然场景视频识别方法
CN113538480A (zh) 图像分割处理方法、装置、计算机设备和存储介质
CN106993152B (zh) 三维监控系统及其快速部署方法
US20070229510A1 (en) Displaying of Vector Graphics, in Particular of Geographical Maps
CN116343103B (zh) 一种基于三维gis场景与视频融合的自然资源监管方法
JPH09502586A (ja) データ分析方法及び装置
CN110378916B (zh) 一种基于多任务深度学习的tbm图像出渣分割方法
CN109215047B (zh) 基于深海视频的运动目标检测方法和装置
CN116663113A (zh) 一种基于aigc技术的空间设计生成式方法
CN115908988A (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN1666234B (zh) 拓扑图像模式
EP0650293A2 (en) Conversion method of the frame frequency of a video signal from 50 Hz to 75 Hz with movement compensation and apparatus for implementing such method
CN110443248A (zh) 大幅遥感影像语义分割分块效应消除方法及系统
Reiterer A semi-automatic image-based measurement system
Huang et al. An End-to-End Network for Single Image Dedusting
Méndez Feliu et al. Reusing frames in camera animation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081203

Termination date: 20130913