CN1152242A - 图像编码装置和传送系统及其量化控制法和平均通过量算法 - Google Patents

图像编码装置和传送系统及其量化控制法和平均通过量算法 Download PDF

Info

Publication number
CN1152242A
CN1152242A CN96109972A CN96109972A CN1152242A CN 1152242 A CN1152242 A CN 1152242A CN 96109972 A CN96109972 A CN 96109972A CN 96109972 A CN96109972 A CN 96109972A CN 1152242 A CN1152242 A CN 1152242A
Authority
CN
China
Prior art keywords
frame
picture
coding
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN96109972A
Other languages
English (en)
Other versions
CN1176551C (zh
Inventor
正木彰一
黑部彰夫
筱田真由美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1152242A publication Critical patent/CN1152242A/zh
Application granted granted Critical
Publication of CN1176551C publication Critical patent/CN1176551C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Abstract

本发明揭示一种图像编码装置和相关传送系统及量化控制方法。编码装置(12)编码的图像数据在传至发送缓冲器(17)前,先存于暂存缓冲器(13);丢帧/量化控制装置(16)在暂存图像帧的信息量比预定阈值大时,放弃该暂存帧,设定量化级宽度大于暂存图像帧编码所用宽度的量化值,输出至编码装置,由此,即使被摄体急剧运动而信息量剧增,或通信状态变动,也能抑制传送时延,显示出动作流畅的活动图像。

Description

图像编码装置和传送系统 及其量化控制法和平均通过量算法
本发明涉及图像编码装置,更确切地说是涉及将活动图像编码后传送的装置。
第1已有例
向来,作为用于以低比特速率(bit rate)进行图像通信的图像压缩编码方式有国际电信联盟(ITU)建议H.261。图18是表示实现H.261建议的图像编码方式的图像编码装置结构方框图。下面对该第1已有例的各部分的结构和动作加以说明。
在图18,图像编码装置90具备:图像输入手段11、编码装置12、传送控制装置17和输出端子18。而传送控制装置17包含发送缓冲器171和传送控制手段172。
图像输入手段11由摄像机等构成,进行图像的输入。编码装置12将图像输入手段11输入的图像用H.261建议的图像编码方法进行编码。发送缓冲器171存储编码装置12编码的图像数据。传送控制手段172将发送缓冲器171内存储的编码图像数据以预先设定的传送速率通过输出端子18发送到图像接收装置1000。
图19是表示图18的编码装置12的更详细结构的方框图。在图19,编码装置12包含:图像输入端子100、编码控制手段101、开关(SW)102、扫描变换部103、差分部104、量化部105、运动矢量检测部106、运动补偿部107、帧存储器108、逆量化部109、加法部10a、多路复用部10b和编码输出端子10c。
SW102在图像输入手段11输入的图像帧编码与不编码(即是否丢帧)之间进行切换。编码控制手段101进行丢帧控制,(即控制是将图像输入手段11输入的图像帧编码传送,还是不编码丢帧),和根据运动的再现性及图像质量两方面决定最佳量化值的量化控制。扫描变换部103将图像输入端子100输入的活动图像数据扫描变换,作为由许多像素构成的数据块单元的数据输出。运动矢量检测部106检测扫描变换部103输出的数据块的运动矢量。帧存储器108存储一帧前的局部译码后的活动图像数据。运动补偿部107根据作为运动矢量检测部106的输出的运动矢量信息,从帧存储器108内的活动图像数据检索预测值输出。
差分部104计算扫描变换部103来的数据块和运动补偿部107来的预测值的差,以输出预测误差。量化部105将差分部104来的预测误差量化。逆量化部109将量化部105量化的预测误差逆量化。加法部10a将逆量化部109逆量化的预测误差和来自运动补偿部107的预测值相加,计算译码活动图像数据,存储于帧存储器108。多路复用部10b将量化部105量化的预测误差和运动矢量检测部106检测出的运动矢量多路复用。
下面对具有上述结构的已有的图像编码装置的编码动作加以说明。而编码控制手段101的丢帧控制和量化控制在后面说明。
图像输入手段11输入的活动图像帧被输入编码装置12。在编码装置12,从图像输入端子100输入的活动图像信号,经扫描变换部103扫描变换后,每一个由多个像素构成的数据块都被输入运动矢量检测部106。运动矢量检测部106将帧存储器108存储的一帧前的局部译码过的图像数据和从扫描变换部103输入的数据块加以比较,以此求运动矢量,输出到运动补偿部107和多路复用部10b。运动补偿部107以输入的运动矢量信息为基础,从帧存储器108内的图像数据找出相当的预测值,输出到差分部104和加法部10a。
差分部104计算扫描变换部103输出的数据块和运动补偿部107输出的预测值的差,从而算出预测误差,输出到量化部105。量化部105以编码控制手段101决定的量化值将该预测误差量化,输出到多路复用部10b和逆量化部109。逆量化部109将预测误差逆量化输出到加法部10a。加法部10a将逆量化的预测误差和运动补偿部107输出的预测值相加,以此将图像数据译码,存储于帧存储器108。量化的预测误差和运动矢量在多路复用部10b多路复用后,通过编码输出端子10c存储于发送缓冲器171。传送控制手段172以预先设定的传送速率将发送缓冲器171内的编码图像数据通过输出端子18发送到图像接收装置1000。
下面对编码控制手段101进行的丢帧控制加以说明。向来,丢帧控制方式有根据发送缓冲器的滞留量和判决阈值的比较结果判定要不要丢帧的方式(参阅泷岛康弘等:“一种低比特速率活动图像编码控制方式的探讨”,电子情报通信学会春期全国大会D-311,PP7-63,1990)。编码控制手段101使用该论文公开的技术进行丢帧控制。
图20是表示已有的丢帧控制方式的动作的程序图。参照图20,编码控制手段101在编码开始时发送缓冲器171的滞留量比规定的阈值小的时候,进行图像帧的编码(即将SW102的端子1-2之间加以连接),在比规定的阈值大的时候,不对该图像帧进行编码而进行丢帧(即将SW102的端子1-3之间加以连接)。在图20,第2帧和第4帧开始编码时(T1、T3),发送缓冲器171的滞留量超过阈值,因此,对第2帧和第4帧进行丢帧。
下面对编码控制手段101进行的量化控制进行说明。以往就有人提出用过去已编码图像帧的编码率决定编码对象帧的量化值的编码控制方式(见日本专利特开平7-107482号)。编码控制手段101采用该公开公报所述的编码控制方式,在不损害运动再现性的范围内进行量化控制,使图像质量得到提高。下面对使用编码率决定编码对象帧的量化值的已有的编码控制方式进行说明。
图21表示已有的编码控制方式的编码控制例。在图21,曲线101A~101D表示编码率—量化精度特性,曲线102表示视觉上最合适的编码率的上限值,曲线103表示视觉上最合适的编码率的下限值,104A表示第1量化精度,104B表示第2量化精度,104C表示第3量化精度,黑点表示视觉上最合适的动作点,圆圈表示过渡性工作点。纵轴表示编码率,横轴表示量化精度。横轴越是右方,量化精度越低,并且显示图像在空间上的畸变也变大。纵轴越是下方,编码率越低,并且丢帧发生机率变大。也就是说,显示图像时间上的畸变变大。
这里所谓编码率是表示图像帧编码比例的值,在图18的图像输入手段11输入的图像帧全部被编码的情况下,编码率为1.0,在2帧中有1次被编码的情况下(1次丢帧),编码率为0.5。
下面对编码率—量化精度特性加以说明。在活动图像编码中,空间析像度(量化精度)和时间析像度(编码率)相互折衷,存在某些组合。该空间析像度和时间析像度组合的集这里叫做编码率—量化精度特性。编码率-量化精度特性因输入图像在时间上的运动的大小和空间上的频率成分而变化。表示编码率-量化精度特性的曲线101在图21表示的坐标上,在显示图像包含大的运动和精细的图案的时候向右下方移动,在运动少的时候向左上移动。上限曲线102是连接曲线101上的最佳编码率的上限值表示点得到的曲线,下限曲线103是连接曲线101上的最佳编码率的下限值表示点得到的曲线。也就是说,在曲线101上假定视觉上最佳的区域,连接在该区域内编码率为最大的点得到的曲线是最佳编码率的上限曲线102,连接编码率最小的点得到的曲线为最佳编码率的下限曲线103。
编码控制手段101,在以第1量化精度104A编码达到的编码率比在与第1量化精度对应的视觉特性上最佳编码率的上限值102大的情况下,以比第1量化精度高的第2量化精度104B进行后面的编码,在比下限值103小的情况下以比第1量化精度差的第3量化精度104C进行下面的量化。而以第1量化精度104A编码达到的编码率在视觉最佳区域内的情况下以第1量化精度104A进行后面的编码。下面,编码控制手段101也同样根据以某一量化精度编码的编码结果达到的编码率和对应于该量化精度的视觉特性上最佳编码率区域的大小关系,决定后面进行的编码的量化精度。
下面根据图2对被拍摄物体(简称被摄体)急剧运动的情况下的已有的编码控制加以说明。在图22,曲线2231~2233表示编码率—量化精度特性,曲线2211~2214表示视觉上最佳的编码率的范围,2221~2225表示量化精度,黑点表示视觉上最佳的工作点,圆圈表示过渡性工作点。纵轴表示编码率,横轴表示量化精度。对于横轴来说,越是右方,量化精度越低,并且显示图像的空间畸变越大。对于纵轴来说,越是下方编码率越低,并且丢帧的发生机率越大。也就是说,显示图像的时间畸变越大。
例如在以工作点A进行运转时,假如发生编码率-量化精度特性从2231变化为2232那样的、被拍摄物体的小的运动,则被拍摄物体的该帧以量化精度2221编码,工作点移到点B。这时的编码率在对于量化精度2221所对应编码率的上限和下限之间,因此后面的图像帧也以量化精度2221编码。
假如发生编码率-量化精度特性从2231变化为2233那样的、被拍摄物体的急剧的运动,则被拍摄物体的该帧以量化精度2221编码,工作点向点C移动。这时的编码率在量化精度2221所对应编码率的下限以下,因此后面的图像帧以量化精度2222编码,工作点移到点D。
以量化精度2222编码的图像帧的编码率在量化精度2222所对应编码率的下限以下,因此后面的图像帧以量化精度2223编码,工作点移到点E。以后,反复进行同样的动作直到编码率进入视觉特性上最佳的区域(即直到量化精度为2225)。
而且,在图21和图22的量化精度和量化级的大小相对应。也就是说,在量化精度高的情况下量化级宽度变小,在量化精度低的情况下量化级宽度变大。
第2已有例
下面说明图像数据长度、纠错码模式按照通信状态可变的已有图像编码装置的结构和动作。
以往就有,在通信状态良好的情况下使数据长度变长,附加纠错能力低的纠错码,反之,在通信状态恶化的情况下使图像数据长度缩短,附加纠错能力高的纠错码,这样的电视信号高效率编码装置的方案(日本专利特开平3-78383号)。图23是该公开公报叙述的、电视信号高效率编码装置的结构的方框图。在图23,高效率编码装置130具备低通滤波器131、取样电路132、预测编码电路133、缓冲器134、终端控制电路137、可变长度编码电路135和纠错编码电路136。
下面对如图23那样构成的电视信号高效率编码装置的动作加以说明。可变长度编码电路135的输出被输入纠错编码电路136。纠错编码电路136在经可变长度编码的图像数据上附加纠错码。纠错码长度由正常模式/低效运行模式选择信号切换。也就是说纠错码在正常模式时缩短(即当作纠错能力低的纠错码),在低效运行模式时放长(即当作纠错能力高的纠错码)。预测编码电路133,在正常模式时编码得图像数据长度变长(即以量化级宽度小的量化值进行量化)。而在通信状态恶化的情况下,工作模式从正常模式切换到低效运行模式。在低效运行模式下,由于图像数据比正常模式下短,可以将纠错码相应放长。借助于此,不增加总的码长(图像数据+纠错码)就能够降低差错率。
第3已有例
已有的划分编码区域,进行分层编码的图像编码装置如下所述。
也就是,对于从摄像机拍摄的图像的编码区域预先决定优先区域和非优先区域。在图像编码手段进行编码,使优先区域的量化精度比非优先区域的量化精度更好。
所述第1已有例的图像编码装置存在下面所述的4个课题。
下面叙述第1已有例的第1个课题。第1已有例的图像编码装置根据1帧前编码的发生信息量和传送速率计算编码率,用该算出的编码率决定编码对象帧的量化值,因此,在被拍摄物体急剧运动的情况下,可能要担心会有用与编码对象帧不匹配的不合适量化值进行编码的情况。其结果是,发生信息量急剧增加,到接收侧显示为止的延迟时间增加,存在接收侧显示出动作笨拙的活动图像的问题。而且,由于发生信息量增大,发生大量的丢帧,帧间的相关性减低。其结果是,存在下一编码图像帧又产生发生信息量增加的恶性循环的问题。
下面参照图24对发生信息量增大造成的延迟时间和跳帧的关系加以说明。图24表示已有的图像编码装置的延迟时间和跳帧。在被拍摄物体急剧运动的发生点P1之前被拍摄物体的运动小,因此帧之间的预测误差少。其结果是,以量化步级宽度小的量化值进行编码,延迟时间也在400毫秒以下。而在拍摄物体急剧运动的发生点P1,尽管帧之间的预测误差在增大,还是用量化级宽度小的量化值进行编码,因此,延迟时间为1275毫秒,跳帧量为42帧。而在P1点后面,对于编码的帧,跳帧量为42帧,因此帧间的相关性减低,帧间预测误差变大,发生信息量增大,延迟时间增大
下面叙述第1已有例的第2个课题。在第1已有例的图像编码装置中,被拍摄物体急剧运动的情况下,由于工作点逐级移动,在选择与编码对象帧匹配的量化值之前,用与编码对象帧不匹配的不合适量化值进行编码。结果是,在选择与编码对象帧匹配的量化值之前的时间内显示出动作笨拙,图像质量差的活动图像。
为了解决第1和第2个课题,曾经提出过如下三个装置或电路。
(1)根据帧之间的差分绝对值之和或动态范围预测发生信息量,以决定适合编码对象帧的特征的量化值的图像信号编码装置(见日本专利特开平5-336513号公报)。
(2)根据运动矢量的大小判定运动的大小,如果运动矢量大就使用量化级宽度大的量化值进行编码;如果运动矢量小,就使用量化级宽度小的量化值进行编码的图像编码装置的缓冲器控制电路(见日本专利特开平5-130587号公报)。
(3)具有多个量化部,改变量化值进行量化,由此确定视觉上良好的的量化值的图像编码装置(见日本专利特开平4-323961号公报)。
但是,上述三个装置或电路中可指出如下新的问题。即上述(1)的图像信号编码装置,预测落空的时候多,一旦预测落空,就会发生和上述第1个课题指出的相同的问题。上述(2)的缓冲器控制电路根据运动矢量的大小决定量化值,但是,如果运动矢量听从被拍摄物体的运动,可以将帧间预测误差减小,虽说是运动矢量大,然而发生信息量不一定增加。因此,运动矢量大,但是在发生信息量少的情况下也使用量化级宽度大的量化值进行编码,图像质量不必要地下降。而在上述(3)的图像编码装置,由于必须具有多个量化部,电路规模变大,成本增加。
下面叙述第1已有例的第3个课题。第1已有例的图像编码装置,不管是在图像状态良好的情况下还是在不良的情况下,都使用相同的传送速度计算出编码率,因此,恐怕有可能使用与通信状态不匹配的不合适的量化值进行编码。已有的量化控制编码率的计算式如下:
编码率=(LO/S)/RO上式中,
LO:传送速度(一定)
S:每秒钟的帧取样数
RO:以前(一帧之前)编码的帧的发生信息量由上式可知,由于通信状态的恶化而发生传送错误,发送侧的图像编码装置进行再发送,在传送通过量发生变动的情况下,会确定与通信状态不匹配的不合适量化值。
为了解决上述第3个课题,本专利申请人在日本专利特愿平6-104007号提出了,以第n帧的编码率作为计算中使用的传送速度L0,用第n帧的编码开始到下一帧的编码为止的平均通信速度进行补正的编码控制方法。
但是,根据茨木久等人在“图像电子学会志”第23卷第5号(1994)P445~P453上发表的“运动物体通信中的图像编码质量劣化防止技术的探讨”一文所述,在称为PHS(个人便携电话系统)的频带,在人的步行速度(3千米/小时)下多普勒频率为5赫兹,这时传送错误产生1位差错的次数为3.5次/秒,平均持续时间为20毫秒。总之,为了平均地捕捉在PHS发生的猝发错误,需要计测至少在300毫秒的时间内的平均值。另一方面,以低比特速率传送活动图像时的图像帧数劣化到30帧/秒以下,但是即使劣化到5帧/秒,从第n帧编码到下一帧编码为止的时间为200毫秒,如果使用该时间内的平均通信速度补正编码率,就会发生猝发错误占支配地位,补正极端过头的不合适的情况。
而且,该编码控制方法中,编码的帧由前次编码的帧的编码率决定,但是,在该情况下,通信速率变动缓慢的情况下没有问题,而在通信速率迅速下降的情况下,编码率的修正来不及,实际上,在发送缓冲器内的数据未减少时对下一帧进行了编码,招致缓冲器溢出。
又,在这里设想用退N步(Go_Back_N)的重发控制方法,作为平均通过量的计算方法,根据从第n帧编码开始的时刻到下一帧编码开始时为止送达确认的帧的比特数进行计算。
但是,用退N步的重发控制方法,在发送例如8帧后,等待接收方来的送达确认或重发要求,在有重发要求的情况下,被要求的帧以后的帧全部重发,反复进行直到收到送达确认。
退N步的重发控制方法,在传送线路的延迟时间大的情况下,等待送达确认的时间变长,传送效率极端劣化。因此,想出已有的拒选(Selective Reject)的重发控制方法,在有选择地拒绝的重发控制方法的情况下,发送方不等待送达确认即发送到例如32帧,接收方对检测出差错的帧有选择地送回拒绝。发送方在收到拒绝的情况下当即重发该帧。用有选择地拒绝的重发控制方法的情况下,不进行送达确认。
下面叙述第1已有例的第4个课题。第1已有例的图像编码装置的编码控制手段101进行的编码控制方式中,在显示图像的运动过大,或发生大量传送错误方式引起传送通过量显著下降等情况下,能够选择的折衷组合中即使是最合适的,也有可能空间析像度(量化精度)和时间析像度(编码率)同时超过容许界限,劣化到视觉上不能容许的程度。编码率-量化精度特性取决于给定的图像中具有的运动量和图案细小程度等不可压缩非冗余度,和传送编码数据的传送速度。这些因素是给定的、不能选择的。如果只将能够选择的量化精度作为参数考虑,在给定的条件下,在上限曲线102和下限曲线103之间的区域动作是最合适的。但是这里所说的最合适,只是在给定的条件下相对说来最好,而不是绝对的好。绝对地说,在上限曲线和下限曲线之间的区域中,越是往左上方量化精度、编码率都越是提高,而越是往右下方量化精度、编码率都越是低下。
下面叙述第2已有例的问题。第2已有例的电视信号高效编码装置根据瞬间的通信状态决定正常模式、低效运行模式,控制图像数据长度、纠错码长度。因此,在接收正常模式/低效运行模式选择信号时通信状态良好,接收了表示正常模式的正常模式/低效运行模式选择信号,而在实际传送时通信状态劣化的情况下,发生如下所述的不方便。即在该情况下由于选择正常模式,进行编码使图像数据长度变长,还附加短的(纠错能力低的)纠错码。即使如此,由于通信状态劣化,发生超过纠错能力的传送错误,在接收侧,译码变成不可能。
而反之,在接收正常/低效运行模式选择信号时,通信状态劣化,接收了表示低效运行模式的正常模式/低效运行模式选择信号,但是在实际传送时通信状态变好的情况下发生如下不方便的情况。即在该情况下由于选择低效运行模式,进行编码使图像数据变短,还附加长的(纠错能力高的)纠错码。因此接收侧显示的图像比正常模式的时候差。
下面叙述第3已有例的问题。第3已有例的图像编码装置中,预先决定优先区域和非优先区域,该区域的大小是一定、不变的。一旦由于被拍摄物体的运动变大而引起发生信息量增加,或由于通信线路的状态恶化而引起通信吞吐量下降,为了使发生信息量减少,就必须借助于编码控制使量化精度降低。这时,如果优先区域的大小是一定的话,在发生信息量极端增加或通信吞吐量低下的情况下非优先区域的量化精度当然要使其大为减低,优先区域的量化精度也不得不大为降低,其结果是,优先区域的图像质量大为变坏。
因此本发明的目的在于提供,在被拍摄物体急剧运动等原因引起发生信息量急剧增加或传送通过量变动的情况下也能够抑制延迟时间,在接收侧得到动作流畅的运动图像显示的图像编码装置和使用该装置的图像传送系统。
本发明的另一目的是提供,能够选择适合通信状态的最佳的量化控制、纠错码的图像编码装置和使用该装置的图像传送系统。
本发明的又一目的在于提供,对于发生信息量急剧增加后的图像帧(被拍摄物体运动大的帧),能够根据简单的计算立即决定视觉特性上最佳的量化值的图像编码装置和使用该装置的图像传送系统。
本发明的再一个目的在于提供,能够根据发生信息量和编码率(被拍摄物体的运动)控制非优先区域的分配和量化值,对优先区域决定视觉特性上最佳的量化值,经常保持稳定的图像质量的图像编码装置和量化控制方法。
为了达到所述目的,本发明具备如下特征。本发明的第1种形态是将运动图像编码传送的图像编码装置,其特征在于,该装置具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像帧的图像数据的发送缓冲器、
将发送缓冲器内的图像数据以规定的传送速率发送的传送控制手段、
配置于编码手段和发送缓冲器之间,并且将编码手段编码的图像帧的图像数据暂时存储的暂存缓冲器、
判断是否将暂存缓冲器内的图像数据存储于发送缓冲器,同时决定接着编码的图像帧的量化值的丢帧/量化控制手段,
丢帧/量化控制手段在暂存缓冲器存储的图像帧的信息量比预先设定的丢帧阈值大的情况下,进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时,设定比在将暂存缓冲器内存储的图像帧编码之际使用的量化级宽度大的量化级宽度的量化值并通知编码手段,
编码手段以丢帧/量化控制手段通知的量化值将接着编码的图像帧加以编码。
如上所述,采用第1种形态,在被拍摄物体急剧运动那样的情况下,对发生信息量急剧增加那样的图像帧进行丢帧,并且加大量化级宽度对下一图像帧编码,因此,能够抑制发生信息量,能够削减延迟时间。从而,可在接收侧显示运动流畅的运动图像。
本发明第2形态是根据本发明第1形态所述的图像编码装置,其特征在于,
传送控制手段还在发生通信错误,接收终端不能正常进行图像数据的译码的情况下,进行自动重发,同时将表示出现重发的出错信息通知丢帧/量化控制手段,
丢帧/量化控制手段还进行如下阈值控制,即一旦从传送控制手段收到出错信息的通知,就将决定是否在发送缓冲器存储暂存缓冲器内的图像数据用的丢帧阈值从设定值降低下来,如果在预定的一定时间没有接收到传送控制手段来的出错信息通知,则使该丢帧阈值回到预定的设定值。
如上所述,采用本发明的第2形态,在通信状态稳定之前,使丢帧阈值降低、进行丢帧控制,因此,可以进行考虑通信状态的丢帧控制。
本发明第3形态是根据本发明第1形态所述的图像编码装置,其特征在于,
传送控制手段还计算出预定的一定时间内的平均通过量,并通知丢帧/量化控制手段,
丢帧/量化控制手段还根据预定的最大容许延迟时间和传送控制手段计算出的平均通过量算出在最大容许延迟时间内可能发送的最大信息量,将该算出的最大信息量作为丢帧阈值使用。
如上所述,采用本发明的第3形态,从预定的最大容许延迟时间和平均通过量计算出最大容许延迟时间内可能发送的信息量,将算出的信息量作为判断是否对暂存缓冲器内的图像帧进行丢帧用的阈值使用,因此,能够进行适合通信状态的丢帧控制。
本发明第4形态是根据本发明第3形态所述的图像编码装置,其特征在于,
丢帧/量化控制手段还根据规定时间内发送的图像帧的平均发生信息量和平均通过量算出平均延迟时间,将该算出的平均延迟时间作为最大容许延迟时间使用。
如上所述,采用本发明的第4形态,从规定时间内发送的图像帧的平均发生信息量和平均通过量算出平均延迟时间,同时算出平均延迟时间内可能发送的信息量,将该算出的信息量作为丢帧控制用的阈值使用,因此能够进行适合运动图像特性、通信状态的丢帧控制。
本发明第5形态是将运动图像编码传送的图像编码装置,其特征在于具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像数据的发送缓冲器、
根据运动的重现性和图像质量确定最佳量化值的第1量化控制手段、
按照通信状态控制量化级宽度的第2量化控制手段、
将发送缓冲器内的图像数据以规定的传送速率发送,在发生通信错误,接收终端不能正常地将图像数据译码的情况下自动重发,同时将表示出现重发的出错信息通知第2量化控制手段的传送控制手段,
第2量化控制手段一旦从传送控制手段收到出错信息的通知,即设定比在第1量化控制手段确定的量化值对应的量化级宽度大的量化级宽度的量化值并通知编码手段,
在预定时间内如果没有收到传送控制手段来的出错信息的通知,则将第1量化控制手段确定的量化值原封不动地通知编码手段,编码手段接着将要编码图像帧以第2量化控制手段通知的量化值编码。
如上所述,采用本发明的第5形态,在通信状态稳定于良好状态之前,将量化级宽度加大进行编码,因此即使在图像状态不良的情况下也能够削减延迟时间,在接收侧显示动作流畅的运动图像。从而能够进行不受通信状态不稳定的影响的量化控制。
本发明第6形态是根据本发明第5形态所述的图像编码装置,其特征在于,还具备:
设置于编码手段和发送缓冲器之间,暂时存储编码手段编码的图像帧的图像数据的暂存缓冲器、
判定是否将暂存缓冲器内的图像数据存储于发送缓冲器,接着决定编码的图像帧的量化值的丢帧/量化控制手段,
传送控制手段将表示出现重发的出错信息再通知丢帧/量化控制手段,
丢帧/量化控制手段进行如下阈值控制,即一旦从传送控制手段接收到错误信息的通知,就将决定是否将暂存缓冲器内的图像数据存储于发送缓冲器用的丢帧阈值从设定值降下来,如果在预定时间内没有从传送控制手段收到出错信息的通知,就使该丢帧阈值回到预定值,
如果暂存缓冲器内的图像数据的信息量比受上述阈值控制操纵的丢帧阈值大,即进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时设定比将暂存缓冲器内存储的图像帧编码时使用的量化级宽度还大的量化级宽度的量化值并通知编码手段。
如上所述,采用第6形态,在通信状态稳定于良好状态之前,使丢帧阈值下降,进行丢帧控制,因此,能够进行考虑通信状态的丢帧控制。
本发明第7形态是根据本发明第6形态所述的图像编码装置,其特征在于,
传送控制手段还算出预定的一定时间内的平均通过量并通知丢帧/量化控制手段,
丢帧/量化控制手段还根据预先设定的最大容许延迟时间和传送控制手段算出的平均通过量,算出最大容许延迟时间内可能发送的最大信息量,将该算出的最大信息量作为丢帧阈值使用。
如上所述,采用第7形态,根据预先设定的最大容许延迟时间和平均容通过量算出最大容许延迟时间内可能发送的信息量,将算出的信息量作为用于判定是否对暂存缓冲器内的图像帧进行丢帧的阈值,因此,能够进行适合通信状态的丢帧控制。
本发明第8形态是根据本发明第7形态所述的图像编码装置,其特征在于,
丢帧/量化控制手段还根据规定时间内发送的图像帧的平均发生信息量和平均通过量算出平均延迟时间,将该算出的延迟时间作为最大容许延迟时间使用。
如上所述,采用第8形态,根据规定时间内发送的图像帧的平均发生信息量和平均通过量算出平均延迟时间,同时算出平均延迟时间内可能发送的信息量,将该算出的信息量作为丢帧控制用的阈值使用,因此,能够进行适合运动图像特性、通信状态的丢帧控制。
本发明第9形态是,在将运动图像高效率压缩编码通过低比特率的通信线路传送时,预先确定工作点,作为适应每单位时间能够传送的帧的比例(即编码率)的丢帧所决定时间上的畸变和量化值所决定空间上的畸变的折衷的图像编码装置,其特征在于,具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像数据的发送缓冲器、
决定适合通信状态的量化值的量化控制手段、
将发送缓冲器内的图像数据以规定的传送速率发送的传送控制手段,
量化控制手段算出一定时间内的平均通过量,根据算出的平均通过量和作为编码手段编码结果的每帧发生信息量算出编码率,决定对应于算出的编码率的量化值并通知编码手段,如果发送缓冲器内的数据的余留降到阈值以下,即通知编码手段进行一图像帧的编码。
如上所述,采用第9形态,用一定时间内的平均通过量算出编码率,用该编码率决定下一帧的量化值,因此能够进行适合通信状态的量化控制。
本发明第10形态是根据本发明第9形态所述的图像编码装置,其特征在于,还具备:
设置于编码手段和发送缓冲器之间,暂时存储编码手段编码的图像帧的图像数据的暂存缓冲器、
判定是否将暂存缓冲器内的图像数据存储于发送缓冲器,决定接着编码的图像帧的量化值的丢帧/量化控制手段,
丢帧/量化控制手段根据预先设定的最大容许延迟时间和量化控制手段算出的平均通过量算出最大容许延迟时间内可发送的信息量,如果暂存缓冲器存储的图像帧的信息量比最大容许延迟时间内可发送的信息量大,就进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时设定比将暂存缓冲器内存储的图像帧编码时使用的量化级宽度大的量化级宽度的量化值并通知编码手段。
如上所述,采用第10形态,从预先设定的最大容许延迟时间和平均通过量算出最大容许延迟时间内可发送的信息量,将算出的信息量作为判定是否进行暂存缓冲器内的图像帧的丢帧用的阈值使用,因此,能够进行适合通信状态的丢帧控制。
本发明第11形态是根据本发明第9形态所述的图像编码装置,其特征在于,还具备:
设置于编码手段和发送缓冲器之间,暂时存储编码手段编码的图像帧的图像数据的暂存缓冲器、
判定是否将暂存缓冲器内的图像数据存储于发送缓冲器,决定下一次编码的图像帧的量化值的丢帧/量化控制手段,
丢帧/量化控制手段根据规定时间内发送的图像帧的平均发生信息量和量化控制手段算出的平均通过量,算出平均延迟时间,
根据平均通过量和平均延迟时间算出该平均延迟时间内可发送的信息量,
如果暂存缓冲器内存储的图像帧的信息量比平均延迟时间内可发送的信息量大,则进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时设定比将暂存缓冲器内存储的图像帧编码时使用的量化级宽度还大的量化级宽度的量化值并通知编码手段。
如上所述,采用第11形态,从规定时间内发送的图像帧的平均发生信息量和平均通过量算出平均延迟时间,同时算出平均延迟时间内可能发送的信息量,将该算出的信息量作为用于丢帧控制的阈值使用,因此,能够进行适合运动图像特性、通信状态的丢帧控制。
本发明第12形态是根据第9形态所述的图像编码装置,其特征在于,
量化控制手段在算出平均通过量时,可以根据猝发错误有否发生改变平均时间。
如上所述,采用第12形态,如果缩短求平均的时间,能够迅速响应通过量的变化,进行量化控制和丢帧控制,而在猝发性错误发生的情况下,如果将求平均的时间设定得比猝发错误发生的周期长,即使对于猝发错误的发生,也能够进行稳定的量化控制和丢帧控制。
本发明第13形态是根据第9形态所述的图像编码装置,其特征在于,
将用于算出平均通过量的的预定时间定为300毫秒以上。
如上所述,采用第13形态,求平均的时间定为300毫秒以上,因而即使对于猝发错误的发生,也能够进行稳定的量化控制和丢帧控制。
本发明第14形态是将活动图像编码传送的图像编码装置,其特征在于,具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像帧的图像数据的发送缓冲器、
决定编码时使用的量化值的量化控制手段、
将发送缓冲器内的图像数据以规定的传送速率发送的传送控制手段、
存储用于判断被拍摄物体运动的大小的运动阈值的运动阈值存储手段、以及
存储视觉上不会感到不适的传送延迟的界限(即最大容许延迟时间)的最大容许延迟时间存储手段,
量化控制手段在编码手段编码结果的每帧发生信息量比运动阈值大的情况下,求将超过运动阈值的图像帧编码时使用的量化值和想预测发生信息量的量化值的比率、即量化比,根据超过运动阈值的图像帧的发生信息量和量化比预测改变量化值的情况下发生的信息量,根据该预测的发生信息量和传送速率以及最大容许延迟时间决定在最大容许延迟时间内可发送的量化值并通知编码手段,
编码手段以量化控制手段通知的量化值对图像帧编码。
如上所述,采用第14形态,在被拍摄物体运动大的情况下,利用图像帧的发送信息量大致反比于量化值的特性,在发生信息量的预测上由于使用量化值的比率,可以用简单的计算预测发生信息量,可以在被拍摄物体有大的运动后立即决定最大容许延迟时间内可发送的量化值。
本发明第15形态是根据第14形态所述的图像编码装置,其特征在于,
传送控制手段还算出预定的一定时间内的平均通过量并通知量化控制手段,
量化控制手段在编码手段编码结果的、每帧发生信息量比运动阈值大的情况下,求将超过运动阈值的图像帧编码时使用的量化值和预测发生信息量的量化值的比(即量化比),根据超过运动阈值的图像帧的发生信息量和量化比预测改变量化值的情况下发生的信息量,根据该预测的发生信息量、传送速率、平均通过量和最大容许延迟时间决定在最大容许延迟时间内可发送的量化值并通知编码手段。
如上所述,采用第15形态,在决定被拍摄物体运动大的情况下的量化值时使用平均通过量,因此能够对应于通过量的变动决定量化值。
本发明第16形态是根据第15形态所述的图像编码装置,其特征在于,
传送控制手段在算出平均通过量时能够根据猝发错误有否发生改变平均时间。
如上所述,采用第16形态,如果缩短求平均的时间,能够迅速响应通过量的变化,确定被拍摄物体运动大的情况下的量化值,而在猝发错误发生的情况下,如果将求平均的时间设定得比猝发错误发生的周期长,即使对于猝发错误的发生,也能够决定稳定的量化值。
本发明第17形态是根据第15形态所述的图像编码装置,其特征在于,将用于算出平均通过量的时间定为300毫秒以上。
如上所述,采用第17形态,将求平均的时间定为300毫秒以上,从而即使发生猝发错误也能稳定地决定被拍摄物体运动大的情况下的量化值。
本发明第18形态是将活动图像编码传送的图像编码装置,其特征在于,具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像帧的图像数据的发送缓冲器、
决定编码时使用的量化值的量化控制手段、
将发送缓冲器内的图像数据以规定的传送速率传送的传送控制手段、
存储用于判断被拍摄物体运动大还是小的运动阈值的运动阈值存储手段,以及
对作为适应单位时间能够发送的帧的比例(即编码率)的丢帧引起的时间上的畸变和量化值引起的空间上的畸变的折衷,预先确定工作点的理起曲线进行存储的理想曲线存储手段,
量化控制手段在作为编码手段编码结果的每帧发生信息量比运动阈值大的情况下,求超过运动阈值的图像帧编码时使用的量化值和期望预测发生信息量的量化值的比(即量化比),根据超过运动阈值的图像帧的发生信息量和量化比预测改变量化值的情况下发生的信息量,根据该预测的发生信息量和传送速率算出编码率,根据该算出的编码率和理想曲线决定量化值并通知编码手段,
编码手段以量化控制手段通知的量化值将图像帧加以编码。
如上所述,采用第18形态,和第14形态一样能够以简单的计算预测发生信息量,同时根据理想曲线和预测的发生信息量,能够在被拍摄物体大运动后立即决定最合适的量化值。
第19实施形态,其特征在于,第18实施形态中,
传送控制手段进一步算出预定的一定时间内的平均通过量,通知量化控制手段;
量化控制手段在编码手段编码结果的每帧发生信息量比运动阈值大的情况下,
求得超过运动阈值的图像帧编码时所用的量化值与预测期望发生信息量的量化值之比(即量化比),
根据大于运动阈值的图像帧的发生信息量与量化比,预测改变量化值时发生的信息量,
根据所述预测的发生信息量、传送速率和平均通过量,算出编码率,
根据上述算出的编码率和理想曲线,确定量化值,通知编码手段。
如上所述,按照第19实施形态,确定被摄体运动大时的量化值,通过使用平均通过量及理想曲线,就能确定考虑通过量变动的量化值。
第20实施形态,其特征在于,在第19实施形态中,
传送控制手段算出平均通过量时,根据有无发生猝发错误,使求平均的时间可变。
如上所述,按照第20实施形态,若缩短求平均的时间,则能迅速响应通过量的变化确定被摄体运动大时的量化值,在发生猝发错误的状态中,若将求平均的时间设定得比发生猝发错误的周期长,那末即使发生猝发错误也能确定稳定的量化值。
第21实施形态,其特征在于,在第19实施形态中,
用于算出平均通过量的预定时间取300毫秒以上。
如上所述,按照第21实施形态,求平均的时间取300毫秒以上,故即使发生猝发错误,也能确定被摄体运动大时的稳定量化值。
第22实施例形态,是一种将对活动图像编码后发送的图像编码装置和对接收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置算出接收到的图像数据的出错率,在所算出的出错率大于预定阈值时,向图像编码装置发送出错信号,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段构成的图像帧加以编码的编码手段,
存储编码手段编码的图像数据的发送缓冲器,
以预定传送速率对发送缓冲器内图像数据进行发送的传送控制手段,
根据运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
将不同纠错能力的纠错码加给编码手段已编码的图像数据的纠错编码手段,
确定适合通信状态的量化值,根据出错信号控制纠错编码手段的第二量化控制手段,
第二量化控制手段当接收到来自图像接收装置的出错信号时,设定比第一量化控制手段所确定量化值对应的量化级宽度大的量化级宽度的量化值,通知编码手段,同时输出选择信号指示将纠错能力高的纠错码加给纠错编码手段,
若在预定时间未接收到出错信号的通知,则将第一量化控制手段所确定的量化值照其原样通知编码手段,同时输出选择信号指示将纠错能力低的纠错码加给纠错编码手段,
编码手段根据第二量化控制手段所通知的量化值,对图像帧编码,
纠错编码手段将选择信号所指示的纠错码加给编码手段编码的图像数据。
如上所述,按照第22实施形态,在通信状态稳定于良好状态之前,先以大的量化级宽度编码,再以纠错能力高的纠错码编码,所以运转合适,不会通信状态良好,却用量化级宽度大的量化值和纠错能力高的纠错码进行编码,或反之,通信状态差,却用良化级宽度小的良化值和纠错能力低的纠错码进行编码。因此,可进行对适合通信状态的编码控制。
第23实施形态,其特征在于,在第22实施形态中,
图像接收装置算出预定时间内算出的出错率的平均值,当该算出的平均出错率大于预定阈值时,向图像编码装置发送出错信号。
如上所述,按照第23实施形态,图像接收装置算出出错率的平均值,当平均出错率大于预定阈值时,向图像编码装置发送出错信号,故在图像编码装置中,可进行不受瞬时通信状态好坏所左右的编码控制。
第24实施形态,其特征在于,在第22或23实施例形态中,
图像编码装置具备:
配置在编码手段与发送缓冲器之间,暂时存储编码手段编码后的图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
丢帧/量化控制手段进行如下阈值控制,即从图像接收装置接收到出错信号时,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器内的丢帧阈值从预定值下降,当预定时间内未接收到出错信号的通知时,使该丢帧阈值回到预定值,
若暂存缓冲器内的图像数据的信息量大于受上述阈值控制操纵的丢帧阈值,则进行丢帧控制,不将暂存缓冲器内的图像数据存入发送缓冲器内,同时设定比存入暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段。
如上所述,按照第24实施例形态,由于在通信状态稳定于良好状态之前,使丢帧阈值下降,进行丢帧控制,故能进行考虑到通信状态的丢帧控制。
第25实施形态,是一种将对活动图像编码后发送的图像编码装置和对接收的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置算出收到的图像数据的出错率,发送给图像编码装置,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段构成的图像帧加以编码的编码手段,
存储编码手段编码的图像数据的发送缓冲器,
以预定传送速率对发送缓冲器内图像数据进行发送的传送控制手段,
从运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
将不同纠错能力的纠错码加给编码手段已编码的图像数据的纠错编码手段,
确定适合通信状态的量化值,根据出错率控制纠错编码手段的第二量化控制手段,
第二量化控制手段在从图像接收装置接收到的出错率大于预定阈值时,设定比第一量化控制手段所确定量化值对应的量化级宽度大的量化级宽度的量化值,通知编码手段,同时输出选择信号指示将纠错能力高的纠错码加给纠错编码手段;
若在预定时间,出错率未大于阈值,则将第一量化控制手段确定的量化值照其原样通知编码手段,同时输出选择信号指示将纠错能力低的纠错码加给纠错编码手段,
编码手段以第二量化控制手段所通知的量化值对图像帧编码,
纠错编码手段将选择信号所指示的纠错码加给编码手段已编码的图像数据。
如上所述,采用第25实施形态,根据图像接收装置来的出错率,判定通信状态的好坏,在通信状态稳定于良好状态之前,先取大的量化级宽度编码,再用纠错能力高的纠错码编码,故能进行适合通信状态的编码控制。
第26实施形态,其特征在于,在第25实施形态中,
第二量化控制手段算出预定时间内从图像接收装置接收到的出错率的平均值,
在所算出的平均出错率大于预定阈值的情况下,设定比第一量化控制手段确定的量化值对应的量化级宽度大的量化级宽度的量化值,通知编码手段,同时输出选择信号指示将纠错能力高的纠错码加给纠错编码手段,
若平均出错率在预定时间内未大于阈值,将第一量化控制手段所确定的量化值照其原样通知编码手段,同时输出选择信号指示将纠错能力低的纠错码加给纠错编码手段。
按照上述第26实施形态,在图像编码装置中算出来自图像接收装置的出错率的平均值,根据该算出的平均出错率判定通信状态的好坏,在通信状态稳定于良好状态之前,先取大的量化级宽度编码,再用纠错能力高的的纠错码编码,故能进行适合通信状态的编码控制。
第27实施形态,其特征在于,在第26实施形态中,
图像编码装置进一步具有:
配置在编码中与发送缓冲器之间、暂时存储编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
丢帧/量化控制手段,进行如下阈值控制,即第二量化控制手段算出的平均出错率大于预定阈值时,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值下降,当平均出错率在预定时间内未大于阈值时,使丢帧阈值回到预定值,
若暂存缓冲器内图像数据的信息量大于受上述阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存入暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段。
如上所述,按照第27实施形态,算出来自图像接收装置的出错率的平均值,根据该算出的平均出错率,判定通信状态的好坏,在通信状态稳定于良好状态之前,使丢帧阈值下降,进行丢帧控制,故能进行考虑通信状态的丢帧控制。
第28实施形态,其特征在于,在第25实施形态中,
图像编码装置进一步具备:
配置在编码手段与发送缓冲器之间,暂时存储编码手段已编码的图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
丢帧/量化控制手段进行如下阈值控制,即从图像接收装置接收到的出错率大于预定阈值时,将用于确定是否将暂存缓冲器内的图像数据存入发送缓冲器的丢帧阈值从预定值下降,当预定时间内出错率未大于阈值时,使丢帧阈值回到设定值,
若暂存缓冲器内图像数据的信息量大于受上述阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存于暂存缓冲器内图像帧编码时所用量化值具有更大量化级宽度的量化值,通知编码手段。
如上所述,采用第28实施形态,根据来自图像接收装置的出错率,图像编码装置判定通信状态的好坏,在通信状态稳定于良好状态前,使丢帧阈值下降,进行丢帧控制,故能进行考虑通信状态的丢帧控制。
第29实施形态,是一种将对活动图像编码后发送的图像编码装置和对收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置求出收到的图像数据的出错率,算出预定时间内求得的出错率的平均值,将该算出的平均出错率发送给图像编码装置,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段构成的图像帧加以编码的编码手段,
存储编码手段已编码的图像数据的发送缓冲器,
以预定传送速率对发送缓冲器内图像数据进行发送的传送控制手段,
从运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
将不同纠错能力的纠错码加给编码手段已编码的图像数据的纠错编码手段,
确定适合通信状态的量化值,根据平均出错率控制纠错编码手段的第二量化控制手段,
第二量化部在图像接收装置接收到的平均出错率大于预定阈值的情况下,设定比第一量化控制手段所确定量化值对应的量化级宽度大的量化级宽度的量化值,通知编码手段,同时输出选择信号,指示将纠错能力高的纠错码加给纠错编码手段,
若在预定时间内,平均出错率未大于阈值,则将第一量化控制手段所确定的量化值照其原样通知编码手段,同时输出选择信号,指示将纠错能力低的纠错码加给纠错编码手段,
编码手段用第二量化控制手段所通知的量化值对图像帧编码,
纠错编码手段将选择信号所指示的纠错码加给编码手段已编码的图像数据。
如上所述,按照第29实施形态,用来自图像接收装置的平均出错率,判定通信状态的好坏,在通信状态稳定于良好状态之前,先用大的量化级宽度编码,再用纠错能力高的纠错码编码,故能进行不受瞬间通信状态所左右的编码控制。
第30实施形态,其特征在于,在第29实施形态中,
图像编码装置进一步具备:
配置在编码手段与发送缓冲器之间,暂时存储编码手段所编码的图像帧图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
丢帧/量化控制手段进行如下阈值控制,即图像接收装置收到的平均出错率大于预定阈值时,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值下降,当预定时间内平均出错率未大于阈值时,使丢帧阈值回到预定值,
若暂存缓冲器内图像数据的信息量大于受上述阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存储于暂存缓冲器内图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段。
如上所述,采用第30实施形态,根据来自图像接收装置的平均出错率,图像编码装置判定通信状态的好坏,在通信状态稳定于良好状态前,使丢帧阈值下降,进行丢帧控制,故能进行不受瞬间通信状态所左右的丢帧控制。
第31实施形态,是一种将对活动图像编码后发送的图像编码装置和对收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置算出收到图像数据的出错率,当该算出的出错率大于预定阈值时,将出错信号发送给图像编码装置,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段中已构成图像帧加以编码的编码手段,
存储编码手段中已编码图像数据的发送缓冲器,
按预定传送速率对发送缓冲器内图像数据进行发送的传送控制手段,
配置在编码手段与发送缓冲器之间,暂存编码手段中已编码图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
将不同纠错能力的纠错码加给暂存缓冲器内图像数据后,存入发送缓冲器的纠错编码手段,
丢帧/量化控制手段在接收到出错信号的情况下,进行阈值控制,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值下降,同时输出选择信号,指示将纠错能力高的纠错码加给纠错编码手段,
若在预定时间内未收到出错信号的通知,就进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给纠错编码手段,
若暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存入暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段,
纠错编码手段将选择信号指示的纠错码加给编码手段已编码的图像数据。
如上所述,按照第31实施形态,在通信状态稳定于良好状态之前,使丢帧阈值下降,进行丢帧控制,故能进行考虑通信状态的丢帧控制。
第32实施形态,其特征在于,在第31实施形态中,
图像接收装置算出预定时间内算出的出错率的平均值,该算出的平均出错率大于预定阈值时,将出错信号发送给图像编码装置。
如上所述,按照第32实施形态,图像接收装置算出出错率平均值,在平均出错率大于预定阈值时,向图像编码装置发送出错信号,故能在图像编码装置中进行不受瞬间通信状态好坏所左右的丢帧控制。
第33实施形态,是一种将对活动图像编码后发送的图像编码装置和对接收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置算出接收到图像数据的出错率,发送给图像编码装置,
图像编码装置具备:
由图像信号构成帧输出的图像输入手段,
对图像输入手段构成的图像帧加以编码的编码手段,
存入编码手段已编码的图像数据的发送缓冲器,
按预定传送速率对发送缓冲器内图像数据进行发送的传送控制手段,
配置在编码手段与发送缓冲器之间,暂时存储编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
将不同纠错能力的纠错码加给暂存缓冲器内图像数据后,存入发送缓冲器的纠错编码手段,
丢帧/量化控制手段在出错率大于预定阈值的情况下,进行阈值控制,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值下降,同时输出选择信号,指示将纠错能力高的纠错码加给纠错编码手段,
在预定时间内出错率未大于预定阈值时,进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给纠错编码手段,
若暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存于暂存缓冲器内图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段,
纠错编码手段将选择信号所指示的纠错码加给编码手段已编码的图像数据。
如上所述,采用第33实施形态。根据来自图像接收装置的出错率,图像编码装置判别通信状态的好坏,在通信状态稳定于良好状态之前,使丢帧阈值下降,进行丢帧控制,故能进行考虑通信状态的丢帧控制。
第34实施形态,其特征在于,在第33实施形态中,
图像编码装置进一步具备平均出错率算出部,它算出作为预定时间内从图像接收装置接收到的出错率的平均值的平均出错率,
丢帧/量化控制手段当平均出错率大于预定阈值时,进行阈值控制,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值下降,同时输出选择信号,指示将纠错能力高的纠错码加给纠错编码手段,
在预定时间内平均出错率未大于预定阈值时,进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给纠错编码手段,
若暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存入暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段,
纠错编码手段将选择信号所指示的纠错码加给编码手段已编码的图像数据。
如上所述,按照第34实施形态,算出来自图像接收装置的出错率的平均值,根据该算出的平均出错率判定通信状态的好坏,在通信状态稳定于良好状态前,使丢帧阈值下降,进行丢帧控制,故能进行考虑通信状态的丢帧控制。
第35实施形态,是一种将对活动图像编码后发送的图像编码装置和对接收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置求取收到图像数据的出错率,算出预定时间内所求出错率的平均值,将该算出的平均出错率发送给图像编码装置,
图像编码装置备有:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段已构成的图像帧加以编码的编码手段,
存储编码手段已编码的图像数据的发送缓冲器,
按预定传送速率对发送缓冲器内图像数据进行发送的传送控制手段;
配置在编码手段与发送缓冲器之间,暂时存储编码手段已编码的图像帧的图像数据的暂存缓冲器;
判定是否将暂存缓冲器内图像数据存入发送缓冲器内,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
将不同纠错能力的纠错码加给暂存缓冲器内图像数据后,存入发送缓冲器的纠错编码手段,
丢帧/量化控制手段,当平均出错率大于预定阈值时,进行阈值控制,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器内的丢帧阈值从预定值下降,同时输出选择信号,指示将纠错能力高的纠错码加给纠错编码手段,
在预定时间内平均出错率未大于预定阈值时,进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给纠错编码手段,
若暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存于暂存缓冲器内图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段,
纠错编码手段将选择信号所指示的纠错码加给编码手段已编码的图像数据。
如上所述,采用第35实施形态,根据来自图像接收装置的平均出错率,图像编码装置判定通信状态的好坏,在通信状态稳定于良好状态之前,使丢帧阈值下降,进行丢帧控制,故能进行不受瞬间通信状态左右的丢帧控制。
第36实施形态,是一种将对活动图像编码后发送的图像编码装置和对收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置对预定时间内正确接收到的数据比特进行计数,并将该比特数发送给图像编码装置,
图像编码装置备有:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段所构成的图像帧加以编码的编码手段,
存储编码手段中编码的图像数据的发送缓冲器,
确定适合通信状态的量化控制手段,
按预定传送速率对发送缓冲器内的图像数据进行发送,同时将图像接收装置收到的比特数输出给量化控制手段的传送控制手段,
量化控制手段根据从传送控制手段接收到的先前的比特数,算出一定时间内的平均通过量;
根据所算出的平均通过量和编码手段编码结果的每帧发生信息量,算出编码率,
确定对应于所算出编码率的量化值,通知编码手段。
如上所述,按照第36实施形态,在图像编码装置侧知道一定时间内正确到达对方图像接收装置的比特数,因而即使在两终端间通信路径上存有不同通过量的多个传送路由,也能对两终端间通过量进行最佳量化控制。
第37实施形态,其特征在于,在第36实施形态中,
量化控制手段在计算平均通过量时,随从传送控制手段收到的先前的比特数的变动,求平均的时间也可变。
如上所述,按照第37实施形态,若求平均的时间短,则能进行快速响应通过量变化的量化控制,在发生猝发错误情况下,若将求平均的时间设定得比发生猝发错误的周期长,即使发生猝发错误,也能进行稳定的量化控制。
第38实施形态,其特征在于,在第36实施形态中,用于算出平均通过量的预定时间取为300毫秒以上。
如上所述,按照第38实施形态,由于求平均的时间取300毫秒以上,故即使发生猝发错误,也能进行稳定的量化控制。
第39实施形态,是一种将对活动图像编码后发送的图像编码装置和对所收到图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
图像接收装置对预定时间内正确收到的数据比特进行计数,根据该比特数算出平均通过量,发送给图像编码装置,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段构成的图像帧加以编码的编码手段,
存储编码手段已编码的图像数据的发送缓冲器,
确定适合通信状态的量化值的量化控制手段,
按预定传送速率对发送缓冲器的图像数据进行发送,同时将图像接收装置接收到的平均通过量输出给量化控制手段的传送控制手段,
量化控制手段根据从传送控制手段接收到的平均通过量和编码手段编码结果的每帧发生信息量,算出编码率,
确定对应于所算出编码率的量化值,通知编码手段。
如上所述,按照第39实施形态,图像接收装置根据一定时间能正确收到的比特数,算出平均通过量,送给图像编码装置,故即使在两终端间通信路径上存在不同通过量的多个传送路由,也能对两终端间的通过量进行最佳量化控制。
第40实施形态,是一种将对活动图像编码后发送的图像编码装置和对所收到图像数据进行预定处理的图像接收装置,通过一个以上中继站连接成可通信的图像传送系统,其特征在于,
图像接收装置一旦检测到接收数据出错,就在与相邻中继站间自动进行重发,并将表示出现重发的重发出现信息发送给图像编码装置,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段构成的图像帧加以编码的编码手段,
存储编码手段已编码的图像数据的发送缓冲器,
从运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
根据通信状态控制量化级宽度的第二量化控制手段,
还备有传送控制手段,它按预定传送速率对发送缓冲器内图像数据进行发送,同时在与相邻中继站间发生通信出错的情况下,与相邻中继站间进行自动重发,在该部自身进行重发时或由图像接收装置接收重送发生信息时,将表示出现重发的出错信息通知第二量化控制手段,
第二量化控制手段一旦从传送控制手段接到出错信息的通知,就设定比第一量化控制手段确定的量化值所对应的量化级宽度大的量化级宽度的量化值,通知编码手段,
若在预定时间内未收到来自传送控制手段的出错信息通知,就将第一量化控制手段确定的量化值照其原样通知编码手段,
编码手段用第二量化控制手段所通知的量化值对下面要编码的图像帧编码。
如上所述,按照第40实施形态,在两终端间存在多个传送路由,并且不是在图像编码装置与图像接收装置间直接进行重发控制,而是在与各自相邻中继站之间进行重发控制的情况下,即使某一方发重,通信状态变坏时,也能缩短延时,在接收侧显示运动顺畅的活动图像。
第41实施形态,其特征在于,在第40实施形态中,
图像编码装置进一步具备:
配置在编码手段与发送缓冲器间,暂时存储编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
传送控制手段将表示出现重发的出错信息进一步通知丢帧/量化控制手段,
丢帧/量化控制手段进行如下阈值控制,即从传送控制手段收到出错信息通知时,将用于确定是否将暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值下降,当预定时间内未从传送控制手段收到出错信息通知时,使丢帧阈值回到预定值,
若暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存储于暂存缓冲器的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知编码手段。
如上所述,按照第41实施形态,在通信状态稳定于良好状态前,使丢帧阈值下降,进行丢帧控制,故能进行考虑通信状态的丢帧控制。
第42实施形态,是一种将对活动图像编码发送的图像编码装置和对收到图像数据进行预定处理的图像接收装置连接成可通信的传送系统,其特征在于,
图像接收装置在预定时间内对正确收到数据比特计数,并将该比特数发送给图像编码装置,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对图像输入手段已构成的图像帧加以编码的编码手段,
存储编码手段已编码图像帧的图像数据的发送缓冲器,
配置在编码手段与发送缓冲器之间,暂时存储编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
按预定传送速率对发送缓冲器内图像数据进行发送,同时根据从图像接收装置收到的比特数算出平均通过量的传送控制手段,
丢帧/量化控制手段根据预定的最大容许延时和平均通过量,算出最大容许延时内可发送的信息量,
若存储在暂存缓冲器内的图像帧的信息量大于最大容许延时内可发送的信息量,则进行丢帧控制,使暂存缓冲器内图像数据不存入发送缓冲器,同时设定比存储于暂存缓冲器内的图像帧编码时所用的量化级宽度大的量化级宽度的量化值,通知编码手段。
如上所述,按照第42实施形态,图像编码装置侧知道一定时间内正确到达对方图像接收装置的比特数,因而即使两终端间通信路径上存在不同通过量的多个传送路由,也可考虑两终端间的通过量,进行最佳丢帧控制。
第43实施形态,其特征在于,在第42实施形态中,
丢帧/量化控制手段进一步根据预定时间内已发送的图像帧的平均发生信息量和平均通过量,算出平均延时,将该算出的平均延时作为最大容许延时。
如上所述,按照第43实施形态,根据预定时间内已发送的图像帧的平均发生信息量和平均通过量算出平均延时,同时算出平均延时内可发送的信息量,将该算出的信息量作为丢帧控制的阈值使用,故能进行适合活动图像特性、通信状态的丢帧控制。
第44形态,其特征在于,在第42形态中,传送控制手段根据算出平均通过量时,根据先前比特数的变动,改变求平均时间。
如上所述,按照第44形态,若使求平均的时间变短,能进行快速响应通过量变化的丢帧控制,且在猝发错误产生时,若把求平均的时间设定得比猝发错误产生的周期长,则能进行即使有猝发错误也稳定的丢帧控制。
第45形态,其特征在于,在42形态中,使算出平均通过量用的预定时间大于300毫秒。
如上所述,按照第45形态,借助求平均时间为300毫秒以上,能进行即使有猝发错误也稳定的丢帧控制。
第46形态是将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
图像接收装置在预定时间内对正确接收的数据比特计数,由该比特数算出平均通过量发送至图像编码装置,
图像编码装置备有:由图像信号构成图像帧输出的图像输入手段、对图像输入手段构成的图像帧加以编码的编码手段、存储编码手段已编码图像帧的图像数据的发送缓冲器、配置在编码手段和发送缓冲器之间,暂时存储编码手段已编码图像帧的图像数据的暂存缓冲器、判定是否在发送缓冲器中存储暂存缓冲器内的图像数据,同时确定随后编码的图像帧的量化值的丢帧/量化控制手段、以预定传送速率对发送缓冲器内图像数据进行发送,同时向丢帧/量化控制手段输出自图像接收装置接收的平均通过量的传送控制手段,
丢帧/量化控制手段,根据预先设定的最大允许延迟时间和平均通过量,算出最大允许延迟时间内可发送的信息量,
若存储在暂存缓冲器内的图像帧的信息量比最大允许延迟时间内可发送的信息量大,则进行不在发送缓冲器中存储暂存缓冲器内的图像数据的丢帧控制,同时设定比存入暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值并通知编码手段。
如上所述,按照第46形态,图像接收装置由一定时间内能正确接收的比特数算出平均通过量并传送至图像编码装置,由此,即使在两终端间的通信路径上有通过量不同的多个传送路由,也能考虑两终端间的通过量进行最佳的丢帧控制。
第47形态是将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
图像接收装置在预定时间内对正确接收的数据比特计数,并把该比特数发送至图像编码装置,
图像编码装置备有:由图像信号构成图像帧输出的图像输入手段、对图像输入手段构成的图像帧加以编码的的编码手段、存储编码手段已编码图像帧的图像数据的发送缓冲器、确定编码时采用的量化值的量化控制手段、以预定传送速率对发送缓冲器内的图像数据进行发送,同时由自图像接收装置接收的先前比特数算出平均通过量并输出至量化控制手段的传送控制手段、存储用于判断被摄体运动大或小的运动阈值的运动阈值存储手段、存储视觉上尚无不适(违和感)的传送延迟极限(即最大允许延迟时间)的最大允许延迟时间存储手段,
量化控制手段在编码手段编码结果的每帧发生信息量比运动阈值大时,求超过运动阈值的图像帧编码时所用的量化值与预测期望发生信息量的量化值的比(即量化比),并由超过运动阈值的图像帧的发生信息量和量化比,预测量化值变动时发生的信息量,由该预测的发生信息量、平均通过量、传送速率和最大允许延迟时间,确定最大允许延迟时间内可发送的量化值并通知编码手段,
编码手段用由量化控制手段通知的量化值,编码图像帧。
如上所述,按照第47形态,图像编码装置根据被摄体运动大的图像帧的预测发生信息量和由图像接收装置接收的比特数,由平均通过量,确定最大允许延迟时间内可发送的量化值,由此,即使在两终端的通信路径上有通过量各异的多个传送路由,也能对两终端间的通过量进行最佳的量化控制。
第48形态,其特征在于,在47形态中,传送控制手段根据算出平均通过量时先前比特数的变动,改变求平均时间。
如上所述,按照第48形态,若使求平均的时间变短,能快速响应通过量变化,进行量化控制,且在有猝发错误的情况下,若设定求平均时间比猝发错误产生的周期长,则能进行即使有猝发错误也稳定的量化控制。
第49形态,其特征在于,在47形态中,使算出平均通过量用的预定时间为300毫秒以上。
如上所述,按照第49形态,使求平均的时间为300毫秒以上,由此,可进行即使有猝发错误产生也稳定的量化控制。
第50形态是将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
图像接收装置在预定时间内对正确接收的数据比特计数,由该比特数算出平均通过量并发送到图像编码装置,
图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对图像输入手段构成的图像帧加以编码的编码手段、储存编码手段已编码图像帧的图像数据的发送缓冲器、确定编码时使用的量化值的量化控制手段、以预定的传送速率对发送缓冲器内的图像数据进行发送,同时把由图像接收装置接收的平均通过量输出至量化控制手段的传送控制手段、存储用于判断被摄体运动大或小的运动阈值的运动阈值存储手段、存储视觉上尚无不适的传送延迟极限(即最大允许延迟时间)的最大允许延迟时间存储手段,
量化控制手段在编码手段编码结果的每帧发生信息量大于运动阈值时,求超过运动阈值的图像帧编码时所用的量化值与预测期望发生信息量的量化值的比(即量化比),并由超过运动阈值的图像帧发生信息量和量化比,预测量化值变动时发生的信息量,由该预测的发生信息量、平均通过量、传送速率和最大允许延迟时间,确定在最大允许延迟时间内可发送的量化值并通知编码手段,
编码手段用由量化控制手段通知的量化值,编码图像帧。
如上所述,按照第50形态,图像编码装置由被摄体运动大的图像帧的预测发生信息量和由图像接收装置接收的平均通过量,确定量化值,由此,即使两终端间的通信路径上有通过量各异的多个传送路由,也能进行对两终端间的通过量最佳的量化控制。
第51形态是将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
图像接收装置在预定时间内对正确接收的数据比特计数,把该比特数发送至图像编码装置,
图像编码装置具备有:由图像信号构成图像帧输出的图像输入手段、对图像输入手段中构成的图像帧加以编码的编码手段、存储编码手段已编码图像帧的图像数据的发送缓冲器、确定编码时所用的量化值的量化控制手段、以预定传送率对发送缓冲器内的图像数据进行发送,同时由自图像接收装置接收的先前的比特数算出平均通过量并传送至量化控制手段的传送控制手段、存储用于判断被摄体运动大或小的运动阈值的运动阈值存储手段,还具备存储理想曲线的理想曲线存储手段,该理想曲线权衡适应每单位时间能发送的帧的比例(即编码率)的丢帧所引起时间上的畸变和量化值所引起空间上的畸变,可预先确定工作点,
量化控制手段在编码手段编码结果的每帧发生信息量比运动阈值大时,求超过运动阈值的图像帧编码时所用的量化值与期望预测发生信息量时的量化值的比(即量化比),并由超过运动阈值的图像帧的发生信息量和量化比,预测量化值变化时发生的信息量,由该预测的发生信息量、传送帧和平均通过量,算出编码率,由该算出的编码率和理想曲线确定量化值并通知编码手段,
编码手段以量化控制手段通知的量化值,编码图像帧。
如上所述,根据第51形态,图像编码装置根据被摄体运动大的图像帧的预测发生信息量、基于图像接收装置所接收比特数的平均通过量和理想曲线,确定量化值,由此,即使在两终端的通信路径上有通过量不同的多个传送路由,也能进行对两终端间的通过量最佳的量化控制。
第52形态,其特征在于,在第51形态中,传送控制手段根据算出平均通过量时先前的比特数的变动,改变求平均的时间。
如上所述,根据第52形态,若使求平均的时间变短,能快速响应通过量的变化,进行量化控制。又,在产生猝发错误时,若设定求平均的时间比猝发错误发生的周期长,即使有猝发错误也能进行稳定的量化控制。
第53形态,其特征在于,在51形态中,使算出平均通过量的预定时间为300毫秒以上。
如上所述,按照第53形态,使求平均的时间为300毫秒以上,由此,即使有猝发错误也可进行稳定的量化控制。
第54形态是将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
图像接收装置在预定时间内对正确接收的数据比特计数,由该比特数算出平均通过量并发送至图像编码装置,
图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对图像输入手段中构成的图像帧加以编码的编码手段、存储编码手段已编码图像帧的图像数据的发送缓冲器、确定编码时所用的量化值的量化控制手段、以预定传送速率发送发送缓冲器内的图像数据,并把由图像接收装置接收的平均通过量输出至量化控制手段的传送控制手段、存储用于判断被摄体的运动大或小的运动阈值的运动阈值存储手段,还备有存储想曲线的理想曲线存储手段,该理想曲线相衡适应每单位时间能发送的帧的比例(即编码率)的丢帧所引起时间上的畸变和量化值所引起空间上的畸变,可预先确定工作点,
量化控制手段在编码手段编码所得的每帧发生信息量比运动阈值大时,求超过运动阈值的图像帧编码时所用的量化值和期望预测发生信息量的量化值的比,即量化比,并由超过运动阈值的图像帧的发生信息量和量化比,预测量化值变化时发生的信息量,由该预测的发生信息量、传送速率和平均通过量,算出编码率,由该算出的编码率和理想曲线,确定量化值并通知编码手段,
编码手段以量化控制手段通知的量化值,编码图像帧。
如上所述,按照第54形态,图像编码装置由被摄体运动大的图像帧的预测发生信息量和由图像接收装置接收的平均通过量,确定量化值,由此,即使在两终端间的通信路径上有通过量不同的多个传送路由,也能进行对两终端间的通过量佳的量化控制。
第55形态是将对活动图像编码后发送的图像编码装置与对接收的图像数据施加预定处理的图像接收装置,经一个以上的中继站连接成可通信的图像传送系统,其特征在于:
图像接收装置一旦检出接收数据错误,则进行与邻接中继站间的自动重发,
中继站一旦检出接收数据错误则进行与邻接中继站间的自动重发,同时将表示出现重新的重发出现信息发送至图像编码装置,
图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对图像输入手段中构成的图像帧加以编码的编码手段、存储编码手段已编码图像数据的发送缓冲器、由运动再现性和图像质量两方面来确定最佳量化值的第1量化控制手段、根据通信状态控制量化级宽度的第2量化部、以预定传送速率对发送缓冲器内的图像数据进行发送,且当与邻接的中继站间产生通信错误时,与邻接的中继站间进行自动重发,在进行自动重发送时或自图像接收装置接收重发出现信息时,把表示出现重发的出错信息通知第2量化部的传送控制手段,
第2量化控制手段一旦从传送控制手段收到出错信息通知,即设定比与第1量化控制手段所定量化值相应的量化级宽度大的量化级宽度的量化值,并通知编码手段,若在预定时间没从传送控制手段接收出错通知,则将第1量化控制手段确定的量化值按原样通知编码手段,
编码手段以第2量化控制手段通知的量化值,编码随后的编码图像帧。
如上所述,按照第55形态,中继站与邻接中继站、图像接收装置间进行自动重发,且向图像编码装置发送表示出现重发的重发出现信息,由此,能进行考虑终端间通信状态的量化控制。
第56形态是将对活动图像编码后发送的图像编码装置与对接收的图像数据施加预定处理的图像接收装置,经一个以上中继站连接成可通信的图像传送系统,其特征在于:
图像接收装置一旦检出接收数据错误,即与邻接中继站间进行自动重发,
中继站一旦检出接收数据错误,即与邻接中继站间进行自动重发,且把表示出现重发的重发出现信息发送至图像编码装置,
图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对图像输入手段构成的图像帧加以编码的编码手段、存储编码手段已编码图像帧的图像数据的发送缓冲器、以预定传送速率发送发送缓冲器内的图像数据的传送控制手段、配置在编码手段和发送缓冲器之间,暂时存储编码手段已编码图像帧的图像数据的暂存缓冲器、判定是否在发送缓冲器内存储暂存缓冲器内的图像数据并确定随后的图像帧编码量化值的丢帧/量化控制手段,
丢帧/量化控制手段进行如下阈值控制,即一旦自传送控制手段接收出错信息通知,就将用于确定是否在发送缓冲器中存储暂存缓冲器内的图像数据丢帧阈值从预先设定的值减小,若经预定时间没有自传送控制手段接收到出错信息通知,则丢帧阈值返回预先设定的值,在存于暂存缓冲器的图像帧的信息量比丢帧阈值大时,进行暂存缓冲器内的图像数据不存储在发送缓冲器内的丢帧控制,同时设定比存于暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值并通知编码手段,
编码手段以由丢帧/量化控制手段通知的量化值编码随后的编码图像帧。
如上所述,根据第56形态,中继站与邻接中继站、图像接收装置间进行自动重发,同时向图像编码装置发送表示出现重发的重发出现信息,由此,可进行考虑了终端间通信状态的编码控制。
第57形态是将活动图像编码传送的图像编码装置,备有:在应编码的图像区域中,分别以第1量化精度和第2量化精度对优先区域和非优先区域进行编码,产生图像编码比特串的图像编码手段、根据由图像编码手段编码的图像的发生信息量,确定优先区域和非优先区域并加以变换的优先区域/非优先区域变换部,传送图像编码比特串的传送控制手段。
如上所述,按照第57形态,当比非优先区域更精细地编码优先区域时,如果增加发生信息量降低通信吞吐量,则优先区域变换部缩小优先区域,因而能抑制发生信息量,使优先区域的图像质量不会很差。
第58形态是在图像编码装置中,一种用于控制图像帧编码时的量化操作的方法,该图像编码装置当将活动图像高效压缩编码并经低比特率通信线路传送时,权衡适应每单位时间能发送的帧的比例(即编码率)的丢帧所引起时间上的畸变和量化精度所引起空间上的畸变,预先确定工作点,该方法包括:
根据以某一量化精度编码全部图像帧所得的编码率和与该量化精度相应的工作点的编码率的大小关系,确定随后的编码量化精度的第1操作方式,
把应编码的图像区域分为优先区域和非优先区域,以精度相对高的第1量化精度编码优先区域,以精度相对低的第2量化精度编码非优先区域,根据以第1和第2量化精度编码所得的编码率和与该量化精度相应的工作点的编码率的关系,确定随后的编码量化精度和优先区域及非优先区域大小的第2操作方式,
在第1操作方式所确定的量化精度比预先设定的量化精度的允许下限值低时,操作方式从第1操作方式转至第2操作方式,
在第2操作方式所确定的优先区域大小为最大时,操作方式从第2操作方式转为第1操作方式。
如上所述,按照第58形态,当由于绝对量化精度误差引起的空间图像质量及与此相应的跳帧位于允许范围内时,进行以往考虑视觉特性的量化控制,在空间图像质量及跳帧已超过允许极限时,通过牺牲图像中不太重要的空间区域的图像质量,对重要的空间区域进行考虑视觉特性的量化控制,能把变化的输入图像所对应的编码参数保持在运动再现性和空间析像度的折衷处于视觉特性上最佳状态的值。
第59形态,其特征在于,在58形态中,与各量化精度对应的编码率各自确定为上限值与下限值之间区域内的点的集合,
在第1和第2操作方式中,用某一量化精度编码所得的编码率超过上限值时,提高随后的编码量化精度;用某一量化精度编码所得编码率小于下限值时,降低随后的编码量化精度;用某一量化精度编码所得编码率位于上限值与下限值之间区域时,不变换随后的编码量化精度。
如上所述,按照第59形态,通过保持在对各量化精度视觉上最佳编码率的范围内,能实现即使输入图像迅速变化也能进行稳定的编码控制。
第60形态,其特征在于,在第59形态中,第1和第2操作方式变换时量化精度最低的范围选择为空间畸变的差别超过视觉可能识别的值。
如上所述,按照第60形态,赋与每单位时间的量化精度变化变大,能快速跟踪因输入图像变化而引起的视觉上最佳工作点的变化。
第61形态,其特征在于,在第3形态中,传送控制手段相应于算出平均通知量时是否发生猝发错误,改变求平均时间。
如上所述,根据第61形态,若使求平均时间变短,能快速响应通过量变化,进行量化控制及丢帧控制,且在发生猝发错误时,若设定求平均时间比猝发错误的发生周期长,即使有猝发错误,也能进行稳定的量化控制和丢帧控制。
第62形态,其特征在于,在第3或第4形态中,使算出平均通过量用的预定时间大于300毫秒。
如上所述,按照第62形态,使求平均时间大于300毫秒,由此,即使发生猝发错误也能进行稳定的量化控制。
第63形态,其特征在于,在第7形态中,传送控制手段根据算出平均通过量时是否发生猝发错误,改变平均时间。
如上所述,按照第63形态。若使求平均的时间变短,能快速响应通过量变化,进行量化控制和丢帧控制,且在发生猝发错误时,若设定求平均时间比猝发错误的发生周期长,即使有猝发错误,也能进行稳定的量化控制和丢帧控制。
第64形态,其特征在于,在第7形态中,使算出平均通过量用的预定时间大于300毫秒。
如上所述,按照第64形态,使求平均时间大于300毫秒,由此,即使有猝发错误,也能进行稳定的量化控制和丢帧控制。
第65形态,其特征在于,在46形态中,丢帧/量化控制手段进一步根据预定时间内发送的图像帧的平均发生信息量和平均通过量,算出平均延迟时间,该算出的平均延迟时间用作最大允许延迟时间。
如上所述,根据第65形态,由预定时间内发送的图像帧的平均发生信息量和平均通过量,算出平均延迟时间,同时也算出平均延迟时间内可发送的信息量,把该算出的信息量用作丢帧控制的阈值,因而能进行适合活动图像特性、通信状态的丢帧控制。
第66形态,其特征在于,在第46形态中,图像接收装置根据算出平均通过量时,正确接收的数据比特数的变动,改变求平均的时间。
如上所述,按照第66形态,若使求平均时间变短,能快速响应通过量变化,进行丢帧控制,且在有猝发错误时,若设定求平均时间比猝发错误的发生周期长,即使有猝发错误,也能进行稳定的丢帧控制。
第67形态,其特征在于,在第46形态中,使算出平均通过量用的预定时间大于300毫秒。
如上所述,按照第67形态,使求平均时间大于300毫秒,由此,即使有猝发错误,也能进行稳定的丢帧控制。
第68形态,其特征在于,在50形态中,图像接收装置根据算出平均通过量时,正确接收的数据比特数的变动,改变求平均的时间。
如上所述,按照第68形态,若使求平均时间变短,能快速响应通过量变化,进行量化控制;且在有猝发错误时,若设定求平均时间比猝发错误的发生周期长,即使有猝发错误,也能进行稳定的量化控制。
第69形态,其特征在于,在50形态中,使算出平均通过量用的预定时间大于300毫秒。
如上所述,按照第69形态,使求平均时间大于300毫秒,由此,即使发生猝发错误也能进行稳定的量化控制。
第70形态,其特征在于,在54形态中,图像接收装置根据算出平均通过量时,正确接收的数据比特数的变动,改变求平均时间。
如上所述,按照第70形态,若使求平均时间变短,能快速响应通过量变化,进行量化控制,且在有猝发错误时,若设定求平均时间比猝发错误的发生周期长,即使有猝发错误,也能进行稳定的量化控制。
第71形态,其特征在于,在54形态中,使算出平均通过量用的预定时间大于300毫秒。
如上所述,根据第71形态,使求平均时间大于300毫秒,即使发生猝发错误,也能稳定地确定被摄体运动大时的量化值。
第72形态,其特征在于,在第10形态中,量化控制手段在算出平均通过量时,根据是否发生猝发错误而改变平均时间。
由上所述,根据72形态,若使求平均时间变短,则可进行快速响应通过量变化的量化控制和丢帧控制。且,在发生猝发错误的情况下,若把求平均时间设定得比猝发错误产生的周期长,则可进行即使发生猝发错误也能稳定的量化控制和丢帧控制。
第73形态,其特征在于,在第11形态中,量化控制手段,在算出平均通过量时,根据是否产生猝发错误而改变平均时间。
如上所述,根据第73形态,若使求平均时间变短,可进行与通过量变化尽早对应的量化控制和丢帧控制;且,在发生猝发错误时,若把求平均时间设定得比猝发错误发生的周期长,则能进行即使发生猝发错误也能稳定的量化控制和丢帧控制。
第74形态,其特征在于,在第10形态中,使用于算出平均通过量的预定的一定时间为300毫秒以上。
如上所述,根据第74形态,使求平均时间为300毫秒以上,由此,可进行即使产生猝发错误也能稳定的量化控制和丢帧控制。
第75形态,其特征在于,在第11形态中,使用于算出平均通过量的预定的一定时间为300毫秒以上。
如上所述,根据第75形态,使求平均时间为300毫秒以上,由此,可进行即使发生猝发错误也能稳定的量化控制和丢帧控制。
第76形态,其特征在于,在第4形态中,传送控制手段,在算出平均通过量时,根据是否发生猝发错误,使平均时间可变。
如上所述,根据第76形态,若使求平均时间变短,能进行与通过量变化尽早对应的量化控制和丢帧控制;又,在发生猝发错误时,若把求平均时间设定得比猝发错误产生的周期长,则能进行即使发生猝发错误也能稳定的量化控制和丢帧控制。
第77形态,其特征在于,在第4形态中,使用于算出平均通过量的预定的一定时间为300毫秒以上。
如上所述,根据第77形态,使求平均时间为300毫秒以上,由此,能进行即使发生猝发错误也能稳定的量化控制和丢帧控制。
第78形态,其特征在于,在第8形态中,传送控制手段,在算出平均通过量时,根据是否产生猝发错误,使平均时间可变。
如上所述,根据第78形态,若使求平均时间变短,则能进行与通过量变化尽早对应的量化控制和丢帧控制;且,在发生猝发错误时,若把求平均时间设定得比猝发错误发生的周期长,则能进行即使发生猝发错误也能稳定的量化控制和丢帧控制。
第79形态,其特征在于,在第8形态中,使用于算出平均通过量的预定的一定时间为300毫秒以上。
如上所述,根据第79形态,使求平均时间为300毫秒以上,由此,能进行即使发生猝发错误也能稳定的量化控制和丢帧控制。
第80形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,根据单位时间t自暂时存储已编码数据的发送缓冲器输出的数据量,算出每一定时间的平均通过量。
如上所述,根据第80形态,由于根据自发送缓冲器读出的比特数计算平均通过量,因而作为重发方法,能适应退N步也能适应拒选。
第81形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,每经过一定时间,把单位时间t输出的数据量累加一定时间而得到的每一定时间的输出数据量除以一定时间,由此每经过一定时间,算出每一定时间的平均通过量。
由上所述,根据第81形态,每某个一定时间,算出某个一定时间的比特数的累计数除以某个一定时间所得的平均值,在每某个一定时间输出,由此,能用简单的处理,算出平均通过量,且作为重发方法,能适应退N步,也能适应拒选。
第82形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,每经过单位时间t,把一定时间前至该时刻的单位时间t输出的数据量累加而得到的每一定时间输出的数据量除以一定时间,由此,每经过单位时间t,算出每一定时间的平均通过量。
由上所述,根据第82形态,每单位时间t,算出用某个一定时间除某个一定时间比特数的累计而得的平均值,并在每单位时间输出,由此,能每单位时间t更新平均通过量,可进行周密的控制。且,作为重发方法,能适应退N步,也能适应拒选。
第83形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,根据自暂时存储已编码数据的发送缓冲器,在与被编码图像的图像帧周期相同的单位时间t中输出的数据量,算出每一定时间的平均通过量。
如上所述,根据第83形态,使单位时间t与被编码图像的图像帧周期相同,由此能与编码定时同步。
第84形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79中任一形态中,每经一定时间,把与被编码图像的图像帧周期相同的单位时间t内输出的数据量累加一定时间而得到的每一定时间输出的数据量除以一定时间,由此,每经一定时间算出每一定时间的平均通过量。
由上所述,根据第84形态,使单位时间t与被编码图像的图像帧周期相同,能与编码定时同步;再者,每某个一定时间,算出某个一定时间的比特数的累计除以某个一定时间所得的平均值,并在每个某个一定时间输出,由此,能用简单处理,算出平均通过量。
第85形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,每经过与被编码图像帧周期相同的单位时间,把自一定时间前至该时刻的单位时间t输出的数据量累加而得到的每一定时间输出的数据量除以一定时间,由此,每经单位时间t,算出每一定时间的平均通过量。
如上所述,根据第85形态,使单位时间t与被编码图像的图像帧周期相同,由此,能与编码定时同步;且,每单位时间t,算出某个一定时间比特数的累计值除以某个一定时间而得的平均值并在每个单位时间t输出,由此,能在每个单位时间t更新平均通过量,可进行周密的控制。
第86形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,根据自暂时存储已编码数据的发送缓冲器,在与传送帧的1帧时间相同的单位时间t中输出的数据量,算出每一定时间的平均通过量。
如上所述,根据第86形态,使单位时间t与传送帧的1帧时间相同,由此,能容易地与传送帧的传送定时同步,且,作为重发方法,能适应退N步,也能适应拒选。
第87形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,每经过一定时间,把与传送帧的1帧时间相同的单位时间t内输出的数据量累加一定时间而得到的每一定时间输出数据量除以一定时间,由此,每经一定时间算出每一定时间的平均通过量。
如上所述,根据第87形态,使单位时间t与传送帧的1帧时间相同,由此,能容易地与传送帧的传送定时同步;且,某个一定时间算出某个一定时间的比特数的累计数除以某个一定时间而得的平均值,并在每个某个一定时间输出,由此,能用简单的处理,算出平均通过量。
第88形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,每经过与传送帧的1帧时间相同的单位时间t,把自一定时间前至该时刻的单位时间t内输出的数据量累加所得的每一定时间输出数据量除以一定时间,由此,每经单位时间t算出每一定时间的平均通过量。
如上所述,根据第88形态,使单位时间t与传送帧的1帧时间相同,由此,能容易与传送帧的传送定时同步;且,每单位时间t,算出某个一定时间比特数的累计数除以某个一定时间所得导的平均值并在每个单位时间t输出,由此,能在每单位时间t更新平均通过量,能进行周密的控制。
第89形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,根据自暂时存储已编码数据的发送缓冲器,在与被编码图像的图像帧周期与传送帧的1帧时间的最小公倍数相同的单位时间t输出的数据量,算出每一定时间的平均通过量。
如上所述,根据第89形态,若使单位时间t为传送帧时间和图像周期的最小公倍数,则容易与两者同步,且,作为重发方法,能适应退N步,也能适应拒选。
第90形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,每经一定时间,把与被编码图像的图像帧周期和传送帧的1帧时间的最小公倍数相同的单位时间t输出的数据量累加一定时间所得的每一定时间输出的数据量除以一定时间,由此,每经一定时间算出每一定时间的平均通过量。
如上所述,根据第90形态,若使单位时间t为传送帧时间与图像周期的最小公倍数,容易与两者同步;且,每某个一定时间算出某个一定时间T的比特数累计数除以某个一定时间所得的平均值,并在每个某个一定时间输出,由此,能用简单的处理,算出平均通过量。
第91形态,其特征在于,在第3、4、7至13、15至17、19至21、61至64、72至79任一形态中,每经过为被编码图像的图像帧周期和传送帧的1帧时间的最小公倍数的单位时间t,把自一定时间前至该时刻的单位时间t输出的数据量累加而得的每一定时间输出的数据量,除以一定时间,由此,每经单位时间t算出每一定时间的平均通过量。
由上所述,根据第91形态,若使单位时间t为传送帧时间和图像周期的最小公倍数,容易与两者同步;且,每单位时间t算出某个一定时间t的比特数累计除以某个一定时间所得的平均值并在每单位时间t输出,能在每单位时间t更新平均通过量,能进行周密的控制。
第92形态,其特征在于,在39形态中,图像接收装置,在算出平均通过量时,根据正确接收的数据的比特数的变动,使平均时间可变。
如上所述,根据第92形态,若使求平均时间变短,则能进行与通过量变化尽早对应的量化控制,又,在发生猝发错误时,若设定求平均时间比猝发错误发生周期长,能进行即使发生猝发错误,也能稳定的量化控制。
第93形态,其特征在于,在39形态中,使用于算出平均通过量的预定一定时间为300毫秒以上。
如上所述,根据93形态,使求平均时间为300毫秒以上,由此,能进行即使发生猝发错误也能稳定的量化控制。
第94形态,其特征在于,根据自暂时存储已编码数据的发送缓冲器在单位时间t输出的数据量,算出每一定时间T的平均通过量。
如上所述,根据第94形态,根据自发送缓冲器读出的比特数计算平均通过量,因而,作为重发方法,能适应退N步,也能适应拒选。
第95形态,其特征在于,在第94形态中,自发送缓冲器检出单位时间t输出的数据量比预定的阈值小的周期并使周期为一定时间T。
如上所述,根据第95形态,使猝发错误周期为一定时间T,由此,能算出即使猝发错误发生也稳定的平均通过量。
第96形态,其特征在于,在94形态中,每经过一定时间T,把单位时间t输出的数据量累加一定时间T而得的每一定时间T输出数据量,除以一定时间T,由此,每经一定时间T算出每一定时间T的平均通过量。
由上所述,根据第96形态,每某个一定时间T算出某个一定时间T的比特数的累计数除以某个一定时间T所得的平均值,并在每个某个一定时间T输出,由此,能用简单的处理,算出平均通过量。
第97形态,其特征在于,在96形态中,自发送缓冲器检出单位时间t输出的数据量比预定阈值小的周期并使周期为一定时间T。
如上所述,根据第97形态,使猝发错误的周期为一定时间T,由此,能算出即使发生猝发错误也能稳定的平均通过量。
第98形态,其特征在于,在第94形态中,每经单位时间t,把自一定时间T前至该时间点的单位时间t输出的数据量累加得到的每一定时间输出数据量除以一定时间T,由此,每经单位时间T,算出每一定时间T的平均通过量。
由上所述,根据第98形态,每单位时间t算出某个一定时间T的比特数的累计数除以某个一定时间T所得的平均值并在每单位时间t输出,由此,能每单位时间t更新平均通过量,可进行周密的控制。
第99形态,其特征在于,在98形态中,自发送缓冲器检出每单位时间t输出的数据量比预定阈值小的周期,使周期为一定时间T。
由上所述,根据第99形态,使猝发错误周期为一定时间T,由此,能算出即使发生猝发错误也能稳定的平均通过量。
第100形态,其特征在于,在94至99任一形态中,使单位时间t为被编码图像的图像帧周期。
如上所述,根据第100形态,使单位时间t与被编码图像的图像帧周期相同,能与编码定时同步。
第101形态,其特征在于,在94至99任一形态中,使单位时间t为传送帧的1帧时间。
如上所述,根据第101形态,单位时间t取为与传送帧的1帧时间相同,容易与传送帧的传送定时同步。
第102形态,其特征在于,在94至99任一形态中,使单位时间t为被编码图像的图像帧周期与传送帧的1帧时间的最小公倍数。
如上所述,根据第102形态,使单位时间t为传送帧时间与图像周期的最小公倍数,容易与两者同步。
第103形态,其特征在于,在第12、16、20、61、63、72、73、76、78任一形态中,自暂时存储已编码数据的缓冲器检出单位时间t输出的数据量比预定阈值小的周期,用作算出平均通过量时的平均时间。
如上所述,采用第103的形态,将猝发错误的周期作为求平均通过量的时候使用的平均时间,因此对于猝发错误的发生,能够进行稳定的量化控制和丢帧控制。
第104形态,是根据第12、16、20、61、63、72、73、76、78的任一形态所述的形态,其特征在于,从暂时存储编码数据的发送缓冲器检测出在与传送帧1帧的时间相同的单位时间t输出的数据量变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的平均时间。
如上所述,采用第104形态时,将猝发错误的周期作为求平均通过量时使用的平均时间,因此,即使发生猝发错误,也能够进行稳定的量化控制和丢帧控制。
第105形态,是根据第12、16、20、61、63、72、73、76、78的任一形态所述的形态,其特征在于,从暂时存储编码数据的发送缓冲器检测出在与编码图像的图像帧周期相同的单位时间t输出的数据变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的平均时间。
如上所述,采用第105形态时,将猝发错误的周期作为求平均通过量时使用的时间,因此即使发生猝发错误,也能够进行稳定的量化控制和丢帧控制。
第106形态,是根据第12、16、20、61、63、72、73、76、78中的任一形态所述的形态,其特征在于,从暂时存储编码数据的发送缓冲器检测出与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间输出的数据量变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的平均时间。
如上所述,采用第106形态时,将猝发错误的周期作为求平均通过量时使用的平均时间,因此即使发生猝发错误,也能够进行稳定的量化控制和丢帧控制。
第107形态,是根据第39形态所述的形态,其特征在于,图像接收装置在计算平均通过量时,可随着正确接收的数据的比特数的变动改变平均时间。
如上所述,采用第107形态时,如果将平均时间缩短,可以进行与通过量的变化迅速对应的量化控制,而在发生猝发错误的情况下,如果将求平均的时间设定得比猝发错误发生的周期长,即使发生猝发错误,也能够进行稳定的量化控制。
第108形态是根据第39形态所述的形态,其特征在于,用于计算平均通过量的预定的一定时间定为300毫秒以上。
如上所述,采用第108形态时,将求平均的时间定为300毫秒以上,因此,即使发生猝发错误,也能够进行稳定的量化控制。
第109形态是根据第36~38、42~44、45、47~49、51~53中的任一形态所述的形态,其特征在于,每经过一定时间,将预定的单位时间t中能够无误地接收的比特数累加一定时间得到每一定时间能够无误地接收的比特数发送到图像编码装置。
如上所述,如果采用第109形态,以简单的处理,就可以计算出每一定时间能够无错误地接收的比特数,图像编码装置能够求出每一定时间的平均通过量。
第110形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,每经过一定时间,将预定的单位时间t中能够无误地接收的比特数在一定时间内的累加得到的每一定时间能够无误地接收的比特数除以一定时间,以此将每一定时间的平均通过量发送到图像编码装置。
如上所述,采用第110形态时,以简单的处理,就可以计算出每一定时间的平均通过量,用图像编码装置能够了解每一定时间的平均通过量。
第111形态是根据第36~38、42~45、47~49、51~53中的任一形态所述的形态,其特征在于,每经过预定时间t,将从一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的每一定时间能够无误地接收的比特数发送到图像编码装置。
如上所述,采用第111形态时,在每单位时间t,将每一定时间能够无误地接收的比特数发送到图像编码装置,因此,图像编码装置可以在每单位时间t求出平均通过量,进行绵密的控制。
第112形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,每经过预定的单位时间t,将从一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的每一定时间能够无误地接收的比特数除以一定时间,以此将每一定时间的平均通过量每经单位时间t向图像编码装置发送。
如上所述,采用第112形态时,在每单位时间t,将每一定时间的平均通过量向图像编码装置发送,图像编码装置可以进行绵密的控制。
第113形态是根据第36~38、42~45、47~49、51~53中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后进行传送的功能,每经过一定时间,将与编码图像的图像帧周期相同的单位时间t中能够无误地接收的比特数在一定的时间里累加得到的、每一定时间能够无误地接收的比特数每经一定时间向图像编码装置发送。
如上所述,采用第113形态时,使单位时间t与编码图像的图像帧周期相同,因而用简单的处理能够算出每一定时间的、能够无误地接收的比特数,图像编码装置可以求出每一定时间的平均通过量。
第114形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经一定的时间,将与编码图像的图像帧周期相同的单位时间t中能够无误地接收的比特数在一定时间里累加得到的、每一定时间能够无误地接收的比特数除以一定时间,以此,每经一定时间,将每一定时间的平均通过量向图像编码装置发送。
如上所述,采用第114形态时,使单位时间与编码图像的图像帧周期相同,因此可以容易地达到与编码时间同步。而且,以简单的处理就能够算出每一定时间的平均通过量,用图像编码装置可以了解每一定时间的平均通过量。
第115形态是根据第36~38、42~45、47~49、51~53中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后进行传送的功能,每经过与编码图像的图像帧周期相同的单位时间t,将从一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数向图像编码装置发送。
如上所述,采用第115形态时,使单位时间与编码图像的图像帧周期相同,因而可以容易与编码时间取得同步,而且,每单位时间t将每一定时间能够无误地接收的比特数发送到图像编码装置,图像编码装置可以在求出每单位时间t求出平均通过量,进行绵密的控制成为可能。
第116形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经过与编码图像的图像帧周期相同的单位时间t,从一定时间前到该时刻的单位时间里能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数除以一定时间,以此将每一定时间的平均通过量每经单位时间t向图像编码装置发送。
如上所述,采用第116形态时,使单位时间t与编码图像的图像帧周期相同,因此可以容易地达到与编码时间同步。而且,每单位时间将每一定时间的平均通过量发送到图像编码装置,图像编码装置能够进行绵密的控制。
第117形态是根据第36~38、42~45、47~49、51~53中的任一形态所述的形态,其特征在于,每经过一定时间,将与传送帧1帧的时间相同的单位时间t中能够无误地接收的比特数在一定时间内累加得到的、每一定时间能够无误地接收的比特数向图像编码装置发送。
如上所述,采用第117形态时,使单位时间t与传送帧1帧的时间相同,因而可以容易与传送帧的传送时间取得同步,而且,以简单的处理就能够算出每一定时间能够无误地接收的比特数,图像编码装置可以求出每一定时间的平均通过量。
第118形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,每经过一定时间,将与传送帧1帧的时间相同的单位时间t里能够无误地接收的比特数在一定时间内累加得到的、每一定时间能够无误地接收的比特数除以一定时间,以此将每一定时间的平均通过量每经单位时间t向图像编码装置发送。
如上所述,采用第118形态时,使单位时间t与传送帧1帧的时间相同,因此可以容易地达到与传送帧的传送时间同步。而且,以简单的处理就能够算出每一定时间的平均通过量,图像编码装置能够了解每一定时间的平均通过量。
第119形态是根据第36~38、42~45、47~49、51~53中的任一形态所述的形态,其特征在于,每经与传送帧1帧相同的时间,将从一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数每经单位时间t向图像编码装置发送。
如上所述,采用第119形态时,使单位时间t与传送帧1帧的时间相同,因而可以容易地与传送帧的传送时间取得同步,而且,每单位时间t将每一定时间能够无误地接收的比特数向图像编码装置发送,图像编码装置能够每单位时间求出平均通过量,有可能进行绵密的控制。
第120形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,每经过与传送帧1帧的时间相同的单位时间t,从一定时间前到该时刻的单位时间t里能够无误地接收的比特数累加得到的每一定时间能够无误地接收的比特数除以一定时间,以此将每一定时间的平均通过量每经单位时间t向图像编码装置发送。
如上所述,采用第120形态时,使单位时间t与传送帧1帧的时间相同,因此可以容易地达到与传送帧的传送时间同步。而且,每单位时间t将一定时间的平均通过量发送到图像编码装置,图像编码装置能够进行绵密的控制。
第121形态是根据第36~38、42~45、47~49、51~53中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经过一定时间,将与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t里能够无误地接收的比特数在一定时间里累加得到的、每一定时间能够无误地接收的比特数每经一定时间向图像编码装置发送。
如上所述,采用第121形态时,使单位时间t为传送帧1帧的时间和图像的周期的最小公倍数,就容易与双方取得同步,而且,以简单的处理就能够计算出每一定时间能够无误地接收的比特数,图像编码装置能够求出每一定时间的平均通过量。
第122形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经过一定时间,将与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t里能够无误地接收的比特数在一定时间里累加得到的、每一定时间能够无误地接收的比特数除以一定时间,以此将每一定时间的平均通过量每经过一定时间向图像编码装置发送。
如上所述,采用第122形态时,使单位时间t为传送帧的时间和图像的周期的最小公倍数,就容易与双方取得同步,而且,以简单的处理就能够计算出每一定时间的平均通过量,图像编码装置能够求出每一定时间的平均通过量。
第1 23形态是根据第36~38、42~45、47~49、51~53中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经过与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t,将从一定时间前到该时刻的单位时间t里能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数每经单位时间t向图像编码装置发送。
如上所述,采用第123形态时,使单位时间t为传送帧时间和图像的周期的最小公倍数,就容易与双方取得同步,而且,每单位时间t将每一定时间能够无误地接收的比特数向图像编码装置发送,图像编码装置能够每单位时间t求出平均通过量,绵密控制成为可能。
第124形态是根据第39、46、50、54、65~71、107、108中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经过与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t,从一定时间前到该时刻的单位时间t里能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数除以一定时间,以此将每一定时间的平均通过量每经过一定时间向图像编码装置发送。
如上所述,采用第124形态时,使单位时间t为传送帧的时间和图像的周期的最小公倍数,就容易与双方取得同步,而且,每单位时间t将每一定时间的平均通过量发送到图像编码装置,图像编码装置能够进行绵密的控制。
第125形态是将数据编码发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中算出平均通过量的方法,其特征在于,所述接收装置每经过预定的一定时间T,将预定的单位时间t里能够无误地接收的比特数在所述一定时间T里累加得到的所述每一定时间T能够无误地接收的比特数每经过所述一定时间T发送到所述编码装置,所述编码装置根据从所述接收装置接收的比特数计算出所述每一定时间T的平均通过量。
如上所述,采用第125形态时,以简单的处理就能够计算出每一定时间能够无误地接收的比特数,编码装置能够求出一定时间T的平均通过量。
第126形态是将数据编码发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中算出平均通过量的方法,其特征在于,所述接收装置每经过预定的一定时间T,将预定的单位时间t里能够无误地接收的比特数在所述一定时间T里累加得到的所述每一定时间T能够无误地接收的比特数除以所述一定时间T,以此,每经所述一定时间T将所述每一定时间T的平均通过量发送到所述编码装置。
如上所述,采用第126形态时,以简单的处理就能够计算出每一时间T的平均通过量。
第127形态是将数据编码发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中算出平均通过量的方法,其特征在于,所述接收装置每经过预定的单位时间t,将从预定的一定时间T前到该时刻的单位时间t里能够无误地接收的比特数累加得到的所述每一定时间T能够无误地接收的比特数每经单位时间t被发送到所述编码装置,所述编码装置根据所述接收装置接收的比特数算出每所述一定时间T的平均通过量。
如上所述,采用第127形态时,每单位时间t将每一定时间T能够无误地接收的比特数发送到编码装置,编码装置能够每单位时间t求出平均通过量。
第128形态是将进行数据编码发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中算出平均通过量的方法,其特征在于,所述接收装置每经过预定的单位时间t,将从预定的一定时间T前到该时刻的单位时间t里能够无误地接收的比特数累加得到的所述每一定时间T能够无误地接收的比特数除以所述一定时间T,以此,每经所述单位时间t计算出每所述一定时间T的平均通过量。
如上所述,采用第128形态时,每单位时间t能够计算出每一定时间T的平均通过量。
第129形态是根据第125~128中的任一形态所述的形态,其特征在于,以单位时间t为传送帧1帧的时间。
如上所述,采用第129形态时,使单位时间t与编码数据的数据帧周期相同,因此能够与编码时间取得同步。
第130形态是根据第125~128中的任一形态所述的形态,其特征在于,接收装置还具备与编码装置相同的、将数据编码后传送的功能,以单位时间t作为编码数据的数据帧周期。
如上所述,采用第130形态时,以单位时间t与传送帧1帧的时间相同,容易与传送帧的传送时间取得同步。
第131形态是根据第125~128中的任一形态所述的形态,其特征在于,接收装置还具备与编码装置相同的、将数据编码后传送的功能,以单位时间t作为编码数据的数据帧周期和传送帧1帧的时间的最小公倍数。
如上所述,采用第131形态时,如果以单位时间t作为传送帧时间和图像的周期的最小公倍数,容易与双方取得同步。
第132形态是根据第39形态所述的形态,其特征在于,图像接收装置在计算平均通过量时可以根据猝发错误有否发生而改变平均时间。
如上所述,采用第132形态时,如果缩短求平均的时间,能够进行与通过量的变化迅速对应的量化控制,而且,在猝发错误发生的情况下,如果将求平均的时间设定得比猝发错误发生的周期还长,即使发生猝发错误也能够进行稳定的量化控制。
第133形态是根据第46形态所述的形态,其特征在于,图像接收装置在计算平均通过量时可以根据猝发错误有否发生而改变平均时间。
如上所述,采用第133形态时,如果缩短求平均的时间,能够进行与通过量的变化迅速对应的丢帧控制,而且在猝发错误发生的情况下,如果将求平均的时间设定得比猝发错误发生的周期还长,即使发生猝发错误也能够进行稳定的丢帧控制。
第134形态是根据第50形态所述的形态,其特征在于,图像接收装置在计算平均通过量时可以根据猝发错误有否发生而改变平均时间。
如上所述,采用第134形态时,如果缩短求平均的时间,能够进行与通过量的变化迅速对应的量化控制和丢帧控制,而且,在猝发错误发生的情况下,如果将求平均的时间设定得比猝发错误发生的周期还长,即使发生猝发错误也能够进行稳定的量化控制和丢帧控制。
第135形态是根据第54形态所述的形态,其特征在于,图像接收装置在计算平均通过量时可以根据猝发错误有否发生而改变平均时间。
如上所述,采用第135形态时,如果缩短求平均的时间,能够进行与通过量的变化迅速对应的量化控制和丢帧控制,而且,在猝发错误发生的情况下,如果将求平均的时间设定得比猝发错误发生的周期还长,即使发生猝发错误也能够进行稳定的量化控制和丢帧控制。
第136形态是根据第132~135中的任一形态所述的形态,其特征在于,检测在预定的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的平均时间。
如上所述,采用第136形态时,将猝发错误的周期作为求平均通过量时使用的平均时间,即使发生猝发错误,也能够进行稳定的量化控制和丢帧控制。
第137形态是根据第132~135中的任一形态所述的形态,其特征在于,检测在与传送帧1帧的时间相同的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的平均时间。
如上所述,采用第137形态时,将猝发错误的周期作为求平均通过量时使用的平均时间,即使发生猝发错误,也能够进行稳定的量化控制和丢帧控制。
第138形态是根据第132~135中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,检测在与编码图像的图像帧周期相同的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的平均时间。
如上所述,采用第138形态时,将猝发错误的周期作为求平均通过量时使用的平均时间,即使发生猝发错误,也能够进行稳定的量化控制和丢帧控制。
第139形态是根据第132~135中的任一形态所述的形态,其特征在于,图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,检测在与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的平均时间。
如上所述,采用第139形态时,将猝发错误的周期作为求平均通过量时使用的平均时间,即使发生猝发错误,也能够进行稳定的量化控制和丢帧控制。
图1是表示本发明第1实施例所涉及的图像编码装置构成的框图。
图2是表示在本发明第1实施例中,延迟时间和发送帧间隔的测定结果的图。
图3是表示本发明第1实施例中,丢帧/量化控制装置其它构成例子的框图。
图4是表示本发明的第2实施例所涉及的图像编码装置构成的框图。
图5是表示在本发明的第2实施例中形态迁移定时的时序图。
图6是表示本发明第3实施例所涉及的图像编码装置构成的框图。
图7是表示本发明第4实施例所涉及的图像编码装置构成的框图。
图8是表示本发明第4实施例中,丢帧/量化控制装置其它构成例子的框图。
图9是表示本发明第5实施例所涉及的图像传送系统构成的框图。
图10是表示本发明第6实施例所涉及的图像传送系统构成的框图。
图11是表示本发明第7实施例所涉及的图像编码装置构成的框图。
图12是本发明第8实施例中,发生信息量相对于量化值的曲线图。
图13是表示本发明第9实施例所涉及的图像编码装置构成的框图。
图14是在本发明的第9实施例中,使优先区域大小按两级变化时的图像帧划分例子。
图15是在本发明第9实施例中,使优先区域大小变化时的处理流程。
图16是本发明第10实施例中优先区域、非优先区域的区域控制和量化控制的说明图。
图17是在本发明第10实施例中,优先区域、非优先区域的区域控制和量化控制流程图。
图18是表示已有技术的图像编码装置的一个构成例的框图。
图19是表示图18中的编码装置一个构成例的框图。
图20是用于说明作为已有技术的丢帧控制的顺序图。
图21是已有技术图像编码装置的量化控制说明图。
图22是在已有技术的图像编码装置中,被摄体产生急剧运动时,量化控制的说明图。
图23是表示已有技术电视信号的高效编码装置一个构成例的框图。
图24是表示已有技术的图像编码装置中,延迟时间和发送帧间隔的测定结果的图。
下面,结合附图叙述本发明的实施例。
第1实施例
图1是表示本发明第1实施例所涉及的图像编码装置的框图。图1中,图像编码装置10备有:图像输入手段11、编码装置12、暂存缓冲器13、第1SW(开关)14、发生信息量算出手段16、丢帧/量化控制装置16、传送控制装置17、输出端子18。丢帧/量化控制装置16又包括:丢帧/量化控制手段161、阈值存储手段162、第1量化控制手段163。传送控制装置17还包括:发送缓冲器171、传送控制手段172。
编码装置12进行与上述第1已有例的编码装置12同样的编码处理,同时,向第1量化控制手段163输出目前已编码的图像帧中使用的量化值、暂存缓冲器13是缓冲器,用于暂时存储由编码装置12编码的图像数据。发生信息量算出手段15由图像数据存储前的暂存缓冲器存储指针和图像数据存储后的暂存缓冲器存储指针,算出图像数据的信息量。又,所谓暂存缓冲器存储指针是表示图像数据写入暂存缓冲器13的位置的地址。丢帧控制手段161比较预定的阈值与发生信息量算出部15算出的图像数据的信息量,若阈值小,则进行暂存缓冲器13内的图像数据的丢帧处理。阈值存贮部162例如由存储器构成,存储确定是否进行暂存缓冲器13内的图像数据丢帧的阈值。第1量化控制手段163根据来自丢帧控制手段161的丢帧信息,控制量化值。
又,图像输入手段11及传送控制装置17具有与图18所示的第1已有技术例中对应的部分同样的构成和功能,因此在此省略其说明。
然后,对示于图1的图像编码装置的丢帧控制动作、量化控制动作作说明。但,编码动作和信息量急剧增加场合以外的丢帧控制动作以及量化控制动作,与第1已有技术例相同,因而仅限于说明信息量急剧增加时的丢帧控制动作及量化控制动作。
从图像输入手段11输入的图像帧,由编码装置12编码并存储在暂存缓冲器13中。编码装置12向第1量化控制手段163输出暂存缓冲器13所存图像帧进行量化时使用的量化值。发生信息量算出部15,根据图像数据存贮前的暂存缓冲器存储指针和图像数据存储后的暂存缓冲器存储指针,算出暂存缓冲器13内的图像数据发生信息量,输出至丢帧控制手段161。
丢帧控制手段161比较由发生信息量算出部15算出的暂存缓冲器13内的图像数据发生信息量和存储在阈值存储手段162中的预定阈值,若阈值大,则把第1SW14的连接形态切换为连接端子1-3的形态。若阈值小,即,信息量急剧增加的情况下,丢帧控制手段161把第1SW14的连接形态切换为连接端子1-2间的形态,使暂存缓冲器13内的图像数据不传送。且,丢帧控制手段161,在阈值小时,向第1量化部163输出表示暂存缓冲器13内的图像数据进行丢帧处理的丢帧信号。
第1量化控制手段163自丢帧控制手段161接收到丢帧信号,就设定量化级宽度比进行丢帧的图像帧(暂存缓冲器13内的图像帧)编码时所用量化值(自编码装置12输出的量化值)的量化级宽度大的量化值,并输出至编码装置12。编码装置12以第1量化控制手段163所赋予的量化值量化随后的编码图像帧。
然后,参照图2,对延迟时间和跳帧的变动进行说明。图2表示以第1实施例的图像编码装置10,进行丢帧控制、量化控制时的延迟时间和发送帧间隔的测定结果,尤其表示由于被摄体等的急剧运动使产生信息量急剧增加时,延迟时间和跳帧的关系。图2中,纵轴表示延迟时间,横轴表示传送的帧数。在点P2的时刻,首先图像帧用量化值“2”进行量化,由于产生信息量超过阈值,所以进行丢帧控制,随后的编码图像帧用量化值“12”量化。结果,延迟时间变为257毫秒,丢帧控制后,至下一编码图像帧出现为止的跳帧数为7帧。由此,延迟时间、跳帧数,与示于图18的以往的图像编码装置相比,均约为后者的1/5。
由上述,若根据第1实施例,在产生信息量超过预定的阈值时,放弃该图像帧,而且采用量化级宽度比该图像帧编码时所用量化值的量化级宽度大的量化值,编码随后的图像帧,因而能把延迟时间、跳帧数均减少至以往图像编码装置的约1/5。由此,可在接收侧显示延迟、跳帧少而动作顺畅的活动图像。
又,虽然在上述第1实施例中,其构成是丢帧/量化控制装置16,根据暂存缓冲器13内的图像数据的信息量,进行丢帧、量化控制,但也可以做得如示于图3的丢帧/量化控制装置16′那样,新增加存储暂存缓冲器13内的图像数据的信息量的发生信息量存储手段32和取暂存缓冲器13内的图像数据和发生信息量存储手段32所存储的信息量的差的差分部31,若上一编码图像帧的发生信息量与目前要传送的图像帧的发生信息量的差比阈值大,则进行丢帧、量化控制。
也可以在丢帧/量化控制装置16中,把图像帧分成要表示被摄体的优先区域和要表示背景的非优先区域,在每个区域新设置设定量化值的功能,若发生丢帧,则使随后的图像帧的非优先区域的量化值为量化级宽度比第1量化控制手段163所确定量化值的量化级宽度大的量化值并通知编码装置12。再者,还可以在该场合中,若发生丢帧,则对非优先区域,控制编码装置12使之不进行编码操作及传送操作,或由前置滤波器滤波输入图像的高频成分,或仅编码DCT系数的低频成分。
第2实施例
图4是表示本发明第2实施例所涉及的图像编码装置构成的框图。图4中,图像编码装置40备有:图像输入手段11、编码装置12、暂存缓冲器13、第1SW14、发生信息量算出部15、量化控制装置14、丢帧/量化控制装置42、传送控制装置43、输出端子18。又,量化控制装置41包含:第2量化控制手段411、第3量化控制手段412、模式选择部413。丢帧/量化控制装置42包括:丢帧/量化控制手段161、阈值切换部421、第2SW422、第1阈值存储手段423、第2阈值存储手段424、第1量化控制手段163。传送控制装置43包含:发送缓冲器171、重发缓冲器431、传送控制手段432。
编码装置12虽然进行与上述第1已有例所记载的同样的操作,但在图像帧编码时,采用量化控制装置41或丢帧/量化控制装置42所确定的量化值进行编码,这一点与已有技术例不同。又,量化值优先用丢帧/量化控制装置42所确定的量化值。
第2量化控制装置411进行与上述第1已有技术例所述同样的量化控制(参照图21)。第3量化控制手段412,根据通信形态更改在第2量化控制手段411中所设定的量化值的量化级宽度,并输出至编码装置12。模式选择部413,根据通信形态确定无错模式和出错模式。所谓无错模式意指在预定的一段时间,在传送控制装置43中不进行由于通信错误而引起的重发。所谓出错模式意指在预定的一段时间进行重发。
阈值切换部421根据通信形态,确定无错模式和出错模式并切换第2SW422的连接形态。第1阈值存储手段423由存储器构成,在无错模式时,存储确定暂存缓冲器13内的图像数据是否存入发送缓冲器171的阈值。第2阈值存储手段424由存储器构成,存储在出错模式时,确定暂存缓冲器13内的图像数据是否存入发送缓冲器171的阈值。第1阈值存储手段423中所存的阈值比第2阈值存储手段424所存阈值大。
重发缓冲器431是存储传送中的图像数据的缓冲器。传送控制手段432以预先设定的传送速率输出发送缓冲器171内的图像数据,同时把传送中的图像数据存入重发缓冲器431中。又,若接收到来自图像接收装置1000的重发要求,则重发缓冲器431内的图像数据输出至图像接收装置1000。再者,指示进行重发的出错通知送往模式选择部413及阈值切换部421。
对重发的顺序作简单说明,图像接收装置1000在由于通信出错等原因,接收的图像数据不能解码时,输出重发要求。传送控制手段432响应所接收的重发要求,把重发缓冲器431内的图像数据发送至图像接收装置1000。
又,图像输入手段11及发送缓冲器171与示于图18的以往图像编码装置的对应部分具有相同功能,因而在这里省略说明。且暂存缓冲器13、第1SW14、发生信息量算出部15、丢帧控制手段161及第1量化控制手段163具有与第1实施例对应部分相同的功能,这里省略说明。
图5是时序图,它表示模式选择部413及阈值切换部421根据来自传送控制手段432的出错通知把动作模式切换至出错模式或无错模式的定时。图5的标号(a)表示时间轴,图5的标号(b)表示出错通知送往模式选择部413及阈值切换部421的定时。即,它表示:产生通信错误,图像接收装置1000不能解码已接收的图像数据,提出重发要求,响应该要求,传送控制手段432进行重发。图5的标号(c)表示出错模式中形态迁移的定时。图5的标号(d)表示无错模式中形态迁移定时。
下面,说明在图5的时点A-F的量化控制装置41的量化控制动作、丢帧/量化控制装置42的阈值控制动作。又,编码装置12的编码动作和第2量化控制手段411的量化控制动作与上述第1已有例相同,故省略其说明。
(图5时点A的动作)。
若产生通信错误,图像接收装置1000发送重发要求至图像编码装置40,传送控制手段432向模式选择部413及阈值切换部421输出出错通知。
模式选择部413一旦收到上述出错通知,就向第3量化控制手段412输出表示出错模式的识别信号。据此,第3量化控制手段412设定量化级宽度比第2量化控制手段411所确定量化值的量化级宽度大的量化值,送往编码装置12。然后,第3量化控制手段412以出错模式进行工作直到从模式选择部413收到表示无错模式的识别信号。编码装置12采用第3量化控制手段412设定的量化值,量化图像帧。
另一方面,阈值切换部421若收到上述出错通知,则把第2SW422的连接形态从连接端子1-3间的形态,切换为连接端子2-3间的形态。然后,第2SW422维持这时的连接形态直至由阈值切换部421切换止。丢帧控制手段161比较存贮在第2阈值存贮部424中的阈值和存储在暂存缓冲器13内的图像数据的信息量,进行与第1实施例同样的丢帧控制和量化控制。
(图5时点B、C的动作)
与时点A的情况同样,传送控制手段432若收到重发要求,则向模式选择部413及阈值切换部421送出错通知。
由于时点A-B间的范围及时点B-C间的范围没有超地一定时间T,模式选择部413向第3量化控制手段412输出表示是出错模式的识别信号。因而,第3量化控制手段412进行与上述时点A同样的动作。且,丢帧/量化控制装置42也进行与时点A同样的动作。
(图5时点D的动作)
由于模式选择部413从时点C收到出错通知起经一定时间T后,一直没有收到出错通知,所以向第3量化控制手段412输出表示无错模式的识别信号。据此,第3量化控制手段412把第2量化控制411确定的量化值,按原样送往编码装置12。然后,第3量化控制手段412以无错模式进行工作直至从模式选择部413收到表示出错模式的识别信号。因而,编码装置12采用第2量化控制手段411设定的量化值,量化图像帧。
另一方面,由于阈值切换部421从时点C收到出错通知起经一定时间T后,一直没有收到出错通知,所以把第2SW422的连接形态,从连接端子2-3间的形态切换为连接端子1-3间的形态。因而,丢帧控制手段161比较存贮在第1阈值存储手段423中的阈值和存贮在暂存缓冲器13中的图像数据的信息量,进行与第1实施例同样的丢帧控制和量化控制。
(图5时点E的动作)
产生通信错误,图像接收装置1000向图像编码装置40发送重发要求。传送控制手段432一旦收到该要求,就向模式选择部413及阈值切换部421输出出错通知。
与图5的时点A同样,模式选择部413第3量化控制手段412输出表示出错模式的识别信号。据此,第3量化控制手段412设定量化级宽度比第2量化控制手段411所确定量化值的量化级宽度大的量化值,并向编码装置12输出。
另一方面,与图5的时点同样,阈值切换部421使第2SW422的连接形态从连接端子1-3间的形态切换为端子2-3间连接的形态。因而,丢帧控制手段161进行与第1实施例同样的丢帧控制和量化控制。
(图5时点F的动作)
模式选择部413由于时点E-F的范围没有超过一定时间T,向第3量化控制手段412输出表示是出错模式的识别信号。第3量化控制手段412进行与图5中的时点E同样的动作。丢帧/量化控制装置42也进行与图5中的时点E同样的动作。
如上所述,在第2实施例中,对量化控制装置41输出表示已进行重发的出错通知。量化控制装置41若在无错模式动作中收到出错通知,则进行出错模式动作,若出错通知间隔大于定时T,则进行无错模式动作。由此,量化控制装置能容易地进行适合通信形态的量化控制。
又,采用第2实施例,根据表示传送控制手段432进行重发的出错通知和出错通知间隔,丢帧/量化控制装置42切换用于确定暂存缓冲器13内的图像数据是否存入发送缓冲器171内的阈值,因而可进行适合通信形态的丢帧控制和量化控制。
又,也可以在量化控制装置41中,重新设置下述功能:图像帧分成要显示被摄体的优先区域和要显示背景的非优先区域,各区域中分别设定量化值;使在出错模式中,非优先区域的量化值为量化级宽度比第3量化控制手段412所确定量化值的量化级宽度大的量化值,并通知编码装置12。再者,也可以出错模式中控制编码装置12使对非优先区域不进行编码操作和传送操作,并通过前置滤波器滤除输入图像的高频成分,仅编码DCT系数的低频成分。
又,也可以在丢帧/量化控制装置42中,重新设置下述功能:图像帧分为优先区域和非优先区域,在各区域分别设定量化值;若产生丢帧,则使随后的图像帧的非优先区域的量化值为量化级宽度比第1量化控制手段163所确定量化值的量化级宽度大的量化值,通知编码装置12。再者,也可以若发生丢帧,控制编码装置12对非优先区域不进行编码操作及传送操作;也可以通过前置滤波器滤除输入图像的高频成分,仅编码DCT系数的低频成分。
又,也可以在图像帧分为优先区域和非优先区域的情况下,产生丢帧时,丢帧/量化控制装置42进行扩展非优先区域范围的控制。
又,也可以在图像帧分为优先区域和非优先区域的情况下,产生丢帧时,丢帧/量化控制装置42使非优先区域的量化值为量化级宽度比丢帧的图像帧非优先区域编码时所用量化值的量化级宽度大的量化值,并通知编码装置12。
又,也可以在图像帧分为优先区域和非优先区域的情况下,产生丢帧时,对于非优先区域,丢帧/量化控制装置42控制编码装置12使之不进行编码操作和传送操作,或通过前置滤波器滤除输入图像的高频成分,或仅编码DCT系数的低频成分。
第3实施例
图6是表示本发明第3实施例所涉及的图像编码装置构成的框图。图6中,图像编码装置60备有:图像输入手段11、编码装置12、暂存缓冲器13、第1SW14、发生信息量算出部15、传送控制装置17、量化控制装置41、丢帧/量化控制装置42、纠错编码装置61。又,纠错编码装置61包含:第1纠错编码手段611、第2纠错编码手段612、第2SW613。且,传送控制装置17包含:发送缓冲器171、传送控制手段172。
传送控制手段172一旦自图像接收装置1000收到出错信号,就向量化控制装置41及丢帧/量化控制装置42输出表示接收出错信号的出错通知。第1纠错编码手段611把纠错能力低的纠错码加给编码装置12已编码的图像数据,并将其存储于暂存缓冲器13中。第2纠错编码手段612把比第1纠错编码手段611所加纠错码具有更高的纠错能力的纠错码加给已编码图像数据,并将其存储在暂存缓冲器13中。第3SW613由量化控制装置41切换连接形态。量化控制装置41与第2实施例(参照图4)中的量化控制装置41同样,也包含:第2量化控制手段411、第3量化控制手段412、模式选择部413。模式选择部413具有根据无错模式、出错模式,切换第3SW613的连接形态的功能。
又,图像输入手段11及发送缓冲器171具有与图18所示的第1已有例中对应框同样的构成和功能,因而这里省略其说明。编码装置12、暂存缓冲器13、第1SW14、发生信息量算出部15、丢帧/量化控制装置42具有与第2实施例的对应部分相同的构成和功能,因此这里省略其说明。
然后,说明示于图6的图像编码装置60的动作。但,量化控制装置41的量化控制动作及丢帧/量化控制装置42中的阈值控制动作,与第2实施例相同,故这里省略其说明。又,编码装置中的编码动作与第1已有例相同,故省略说明。因而,下文仅对图像编码装置60接收出错信号时的动作作说明。
用无线或有线与图像编码装置60连接的图像接收装置1000,具有算出接收的图像数据的出错率的功能,还具有若算出的出错率比预定阈值大,则向图像发送终端通报出错信号的功能。在下文动作说明中,假定图像数据出错率比预定的阈值大这种情况。
上述情况下,图像接收装置1000向图像编码装置60输出出错信号。图像编码装置60中的传送控制手段172,若接收出错信号,则向量化控制装置41及丢帧/量化控制装置42输出表示收到出错信号的出错通知。量化控制装置41一旦收到出错通知,形态就自无错模式迁移至出错模式,进行与第2实施例中的出错模式同样的量化控制。又,量化控制装置41把第3SW613的连接形态切换至端子1-3间相连的形态。因而,自图像输入手段11输入的图像帧,以比无错模式时大的量化级宽度的量化值进行量化,且由第2纠错编码手段612加纠错能力高的纠错码后,输出至图像接收装置1000。
传送控制手段172在超过预定时间没有自图像接收装置1000收到出错信号时,即传送控制手段172超过预定时间没有通知量化控制装置41出错时,量化控制装置41由出错模式形态迁移至无错模式形态,进行与第2实施例中无错模式时同样的量化控制。又,量化控制装置41把第3SW613的连接形态切换至端子1-2间相连接的形态。因而,自图像输入手段11输入的图像帧,用量化级宽度比出错模式时小的量化值量化,且由第1纠错编码手段611加纠错能力低的纠错代码后,输出至图像接收装置1000。
如上所述,根据第3实施例,量化控制装置41在无错模式中,进行通常的量化控制,同时进行编码控制,以加上纠错能力低的纠错代码;在出错模式中,设定量化级宽度比无错模式所设定量化值的量化级宽度大的量化值(图像数据量变少),而且进行编码控制,以加上纠错能力高的纠错码(纠错码变多)。由此,能容易地实现适合通信形态的编码控制,而且即使通信形态恶化,也能使在图像接收装置1000显示出活动图像为止的延迟时间变少。
又,在第3实施例中,虽然是在图像接收装置1000中,根据出错率,判定通信形态良好或恶化,但也可以自图像接收装置1000向图像编码装置60发送出错率(以代替出错信号),并在图像编码装置60中,根据接收的出错率的大小,确定出错模式或无错模式。又,也可以图像编码装置60算出自图像接收装置接收的平均出错率,根据该算出的平均出错率,确定出错模式或无错模式。
又,也可以在图像接收装置1000中,算出在预定的时间内计算的出错率的平均值,当该算出的平均出错率超过预定的阈值时,向图像编码装置60发送出错信号,并在图像编码装置60中,根据接收的出错信号,进行与上述第3实施例同样的动作。
又,也可以在图像接收装置1000中,向图像编码装置60发送已算出的平均出错率,并在图像编码装置60中,根据接收的平均出错率的大小进行与第3实施例同样的动作。
又,也可以在量化控制装置41中重新设置下述功能:把图像帧分为要显示被摄体的优先区域和要显示背景的非优先区域,在各区域分别设定量化值;在出错模式中,使非优先区域的量化值为量化级宽度比第3量化控制手段412所确定量化值的量化级宽度大的量化值,并通知编码装置12。进而,也可以在出错模式中,对非优先区域,控制编码装置12使之不进行编码操作和传送操作,或通过前置滤波器滤除输入图像的高频成分,或仅编码DCT系数的低频成分。
又,也可以在丢帧/量化控制装置42中重新设置把图像帧分成优先区域和非优先区域并在各区域设定量化值的功能,一旦发生丢帧,就使随后的图像帧的非优先区域的量化值为量化级宽度比第1量化控制手段163所确定量化值的量化级宽度大的量化值并通知编码装置12。进而,也可以若产生丢帧,则对于非优先区域,控制编码装置12使之不进行编码操作和传送操作,或通过前置滤波器滤除输入图像的高频成分,或仅编码DCT系数的低频成分。
又,也可以在图像帧分成优先区域和非优先区域的情况下,产生丢帧时,丢帧/量化控制装置42进行扩宽非优先区域的控制。
又,也可以在图像帧分为优先区域和非优先区域的情况下,产生丢帧时,丢帧/量化控制装置42使非优先区域的量化值为量化级宽度比丢帧的图像帧非优先区域编码时所用量化值的量化级宽度大的量化值并通知编码装置12。
又,也可以在图像帧分为优先区域和非优先区域的情况下,出现丢帧时,对于非优先区域,丢帧/量化控制装置42控制编码装置12使之不进行编码操作及传送操作,或通过前置滤波器滤除输入图像的高频成分,或仅编码DCT系数的低频成分。
第4实施例
图7为表示本发明第4实施例涉及的图像编码装置结构的方框图。图7中,图像编码装置70备有:图像输入手段11、编码装置12、暂存缓冲器13、第1SW(开关)14、发生信息量算出部15、量化控制装置71、丢帧/量化控制装置72、传送控制装置43和输出端子18。其中,量化控制装置71包含:平均通过量算出部711、编码率算出部712、第4量化控制手段713。丢帧/量化控制装置72包含:容许延时存储手段721,可发送信息量算出部722、丢帧控制手段161、第1量化控制手段163。传送控制装置43含有:发送缓冲器171、重发缓冲器431和传送控制手段432。
编码装置12的工作与上述第1已有技术例中记载的相同,但不同点在于,对图像帧编码时,是用由量化控制装置71或丢帧/量化控制装置72所确定的量化值进行编码的,和根据量化控制装置71来的通知,确定要编码的图像帧,对量化值而言,丢帧/量化控制装置72所确定的量化值优先。
平均通过量算出部711从传送控制手段432接收预定单位时间t内从发送缓冲器171读出的比特,算出某一定时间T内的通过量,作为平均通过量。这里的平均通过量的算出方法,可用下面要叙述的第11实施例中所示方法。编码率算出部712;根据平均通过量和每帧的发生信息量,算出单位时间可发送帧的比例(即编码率)。第4量化控制手段713,除了确定下一图像帧量化值时使用由平均通过量算出的编码率以外,其余进行与第1已有技术例相同的量化控制(参看图21)。发送缓冲器171内数据的剩余量一旦达某个阈值以下,就通知编码装置12进行一图像帧的编码。接受到通知的编码装置12,用由量化控制装置71或丢帧/量化控制装置72确定的量化值,对此时输入图像进行编码,再有,量化装置71,在接受到发送缓冲器171内数据的剩余量达某个阈值以下的通知之前进行丢帧。
容许延时存储手段721存有图像接收装置1000显示活动图像时,图像和声音偏差等方面上许可的最大延时。可发送信息量算出部722,算出存储在容许延时存储手段721中最大容许延时内可发送的比特数。丢帧控制手段161对可发送信息量算出部722算出的比特数和发生信息量算出部15算出的图像数据的信息量进行比较,若可发送信息量算出部722算出的比特数大,则对暂存缓冲器13内的图像数据进行丢帧。传送控制手段432,除了将预定单位时间t内从发送缓冲器读出的比特数输出给量化控制装置71外,其余工作与第2实施例中传送控制手段432相同。
图像输入手段11和发送缓冲器171都有与图18所示第1已有技术例中对应部分相同的构成和功能,故这里省略其说明。暂存缓冲器13、第1SW14,发生信息量算出部15、丢帧控制手段161、第一量化控制手段163和重发缓冲器431都有与第2实施例对应部分相同构成及功能,故这里也省略其说明。
说明量化控制装置71的动作。发生信息量算出部15算出存储于暂存缓冲器13中的图像数据的信息量,输出给编码率算出部712及丢帧控制手段161。传送控制手段432算出预定单位时间t内从发送缓冲器171读出的比特数,输出给平均通过量算出部711。平均通过量算出部711,根据传送控制手段432输出的比特数算出一定时间T内的平均通过量,输送给编码率算出部712及可发送信息量算出部722。
编码率算出部712,根据平均通过量和暂存缓冲器13中的信息量,用下式(1)算出编码率,输给第4量化控制手段713。
编码率=(LN/S)/RN                                   ……(1)
上式(1)中,各量表示如下:
LN:平均通过量;S:每秒帧抽样数;RN:暂存缓冲器13内的信息量。
第4量化控制手段713,用算出的编码率进行与第一已有技术例相同的量化控制(参照图21),确定的量化值输出给编码装置12。此时,若将测量平均通过量LN的时间设定在300毫秒以上,则能很好地将PHS的猝发错误平均。其中,涉及进行编码帧的确定方法与第一已有技术例不同,它是根据发送缓冲器171内数据的剩余量确定的。
下面,说明丢帧/量化控制装置72中的动作。可发送信息量算出部722,根据平均通过量算出部711算出的一定时间T内的平均通过量和容许延时存储手段721内的最大容许延时,算出最大容许延时内可发送的信息量,输出给丢帧控制手段161。丢帧控制手段161对可发送信息量和暂存缓冲器13内的图像数据进行比较,若可发送信息量大,则使第1SW14的接通形态成为端子1-3间接通的形态。因此,暂存缓冲器13内的图像数据被存入发送缓冲器171内,由传送控制手段432将其发送。
另一方面,在可发送信息量比暂存缓冲器13内的图像数据少的情况下,也即在最大容许延时内,暂存缓冲器13内的图像数据不可能在在图像接收装置1000中显示时,则丢帧控制手段161使第1SW14的接通形态成为端子1-2间接通的形态,对暂存缓冲器13内的图像数据进行丢帧。进而,丢帧控制手段161将表示暂存缓冲器13内的图像数据进行丢帧的丢帧信号输出给第一量化部163。第一量化控制手段163,一旦从丢帧控制手段161接到丢帧信号,就和第一实施例一样,设定比进行丢帧的图像帧(暂存缓冲器13内的图像帧)编码时所用量化值有更大量化级宽度的量化值,并输出给编码装置12。且通知编码装置12立即对下面的图像帧进行编码。
如上所述,按照第4实施例,由于用预定时间的平均通过量求得的编码率确定下一编码的量化值,故即使因重发等引起通过量变化时,也能确定适合通信形态的最佳量化值。
根据预先设定的容许延时和平均通过量算出容许延时内可发送的信息量,并将该算出的信息量用作是否对暂存缓冲器13内的图像数据进行丢帧的阈值,故能进行对应于通信形态的丢帧控制。
由于根据从发送缓冲器171读出的比特数计算平均通过量,作为重发方法,故也能适应退N步(Go_back_N),适应拒选(Selective Reject),由于合用缓冲器控制,故在传送速率变动的过渡状态中,也能实现不会失控的稳定的编码控制。
这里,量化控制装置71和丢帧/量化控制装置72,可分别单独与图7所示其它装置组合使用。作为量化控制装置71内第4量化控制手段713中的理想曲线,可用帧速率不变的曲线,也可用量化值不变的曲线。作为量化控制装置71内第4量化控制手段713的控制算法,也可用编码率和量化值的组合表确定量化值,也可用以发送缓冲器171内数据剩余量或编码率为基础的计算式,按照帧速率不变、工作于理想曲线来确定量化值。
第4实施例中的丢帧/量化控制装置72,虽预设最大容许延时,但也可如图8中丢帧/量化控制装置81所示,设有根据预定时间内发送的图像帧的平均发生信息量和此时的平均通过量算出平均延时的平均延时算出部811,并用平均延时算出部811算出的平均延时替代最大容许延时,这样也能对上述暂存缓冲器14内的图像帧进行丢帧控制。
可在量化控制装置71中,将图像帧分成要显示被摄体的优先区和要显示背景的非优先区,重新设置设定各区量化值的功能。此时,一旦编码率超过预定阈值,对非优先区,可控制编码装置12使之不进行编码操作及传送操作,也可用前置滤波器滤掉输入图像中高频成分,还可只对DCT系数中低频成分进行编码。
可在丢帧/量化控制装置72中,将图像帧分成优先区和非优先区,重新设置设定各区量化值的功能,若发生丢帧,则对下一图像帧非优先区的量化值取比第一量化控制手段163所确定量化值有更大量化级宽度的量化值,并通知编码装置12。发生丢帧时,对非优先区,可控制编码装置12使之不进行编码操作及传送操作,可通过前置滤波器滤掉输入图像中高频成分,即使只对DCT系数中低频成分进行编码也没关系。
也可在图像帧分成优先区和非优先区情况下,发生丢帧时,使丢帧/量化控制装置42进行扩宽非优先区范围的控制。
第4实施例中虽是算出预定时间T中的平均通过量,但也可根据通信线路中出错状况将求取平均的时间T作成可变。若求取平均的时间T短,则迅速响应通过量的变化,进行量化控制及丢帧控制。然而,在通信线路上产生周期性猝发错误的状况下,若用太短的平均时间进行控制,则产生猝发错误时平均通过量大为下降,而不产生猝发错误时平均通过量值变大,控制不稳定。根据对移动通信中防止图像编码质量下降技术的研究(茨木久等,图像电子学会杂志,第23卷,第5号(1994)P445-454),多谱勒频率不变时,猝发错误以多谱勒频率的0.35倍的周期周期产生。此时,将单位时间t内从发送缓冲器171读出的比特数比某个阈值小的区间作为猝发错误区间,通过计测该猝发错误区间的发生间隔检测周期,若以该周期作为求取平均时间T求取平均值,则对于发生的猝发错误不会不稳定,能进行稳定的量化控制及丢帧控制。此时,若将多个猝发错误区间的发生间隔平均求取周期,则工作更稳定。若猝发错误区间的发生间隔超过某一定长度,则判断为没有猝发错误,若求取平均时间T短,就能快速响应通过量的变化。
在第四实施例中,表明平均通过量算出部711包含在量化控制装置71中的结构,在结构上,该算出部711也可包含在传送控制装置43中。将单位时间t设置得与求取平均的时间T相同,也可不必在平均通过量算出部711中计算平均。
从传送控制手段432经输出端18输出的图像数据,可采用与声音或其它数据复合传送给图像接收装置1000的形态,此时,传送控制手段432输出的图像数据的传送速率根据复合比例而变动。即,图像数据的通过量,不仅根据出错发生状态而且还根据复合中的声音或其它数据有无发生而变动。此时,若已知从发送缓冲器432读出的数据量,就能知道图像数据的通过量,故本发明能发挥同样的效果。
第5实施例
图9为表示本发明第5实施例图像传送系统的构成框图。图9中,图像编码装置150及图像解码装置151分别通过无线电波与基站152及153相连。基站152与153之间用有线线路连接。考虑的是分别在无线区间A(图像编码装置150及基站152间)、B(基站153及图像解码装置151间)进行第二实施例中说明的重发控制。
图像编码装置150的构成与第4实施例中图像编码装置70(参照图7)大致相同。基站152备有:出错控制手段156。基站153备有重发缓冲器157和传送控制手段158。图像解码装置151备有:出错控制手段151a、比特计数部151b、解码装置151c和图像显示部151d。
图像解码装置150将已编码的数据传送给基站152,同时将传送中的数据存入重发缓冲器431。基站152的出错控制手段156对从图像编码装置150接收到的数据块进行出错检测,当检测到出错时,对图像编码装置150进行出错数据块重发要求。图像编码装置150中的传送控制手段432,在有来自基站152的重发要求时,对重发缓冲器431内的相应数据进行重发。
基站153的传送控制手段158将从基站152接收到的数据传送给图像解码装置151,同时将传送中的数据块存入重发缓冲器157。图像解码装置151中的出错控制手段151a对从基站153接收到的数据块进行出错检测,一旦检测到出错,就向基站153发送重发出错数据块的要求。当有来自图像解码装置151的重发要求时,基站153的传送控制手段158对重发缓冲器157内的相应数据块进行重发。图像解码装置151用解码装置151c对正确接收到的数据解码,并用图像显示部151d显示。图像解码装置151中比特计数部151b对预定时间T内接收到的未出错数据比特进行计数,并通过返回路径(无线区间B→基站153→基站152→无线区间A)传送给图像编码装置150。
图像编码装置150的传送控制手段432接收来自图像解码装置151的上述比特数信息,将其输出给量化控制装置71。
图像编码装置150在与图像解码装置151之间直接进行重发控制的情况下,能在图像解码装置151中获知正确接收到的比特数。然而,在图像编码装置150与图像解码装置151之间存在多个重发控制区间(如图9)的情况下,图像编码装置150根据自身进行的重发控制,只能获知基站152中正确接收到的比特数,也即只能获知无线区间A中的通过量。无线区间A与B的通过量未必相同,若无线区间B的通过量比有线区间或无线区间A的低,则图像编码装置150及图像解码装置151间的通信通过量受无线区间B通过量的制约。
因此,图像解码装置151对无错接收的数据比特计数,并通过返回路径传送给图像编码装置150,从而图像编码装置150能获知两装置150、151间的通信通过量。于是,图像编码装置150,根据该已知的通信通过量,可进行正确的量化控制或丢帧控制。这种可无出错接收的图像数据的比特数计算方法,也可用第12实施例所示方法。
还可使基站153对预定时间T对图像解码装置151中正确接收到的比特计数,并通过返回路径将认计数值传送给图像编码装置150。
也可使基站153根据预定时间T内图像解码装置151中正确接收到的比特数,算出平均通过量,并通过返回路径将其传送给图像编码装置150。
可在量化控制装置71中,将图像帧分成要显示被摄物的优先区和要显示背景的非优先区,各区域重新设置设定量化值的功能。此时,若编码率超过预定的阈值,则对非优先区,可控制编码装置12使之不编码及不传送,可通过前置滤波器滤掉输入图像中高频成分,即使只对DCT系数的低频成分进行编码也没有关系。
可在丢帧/量化控制装置72中,将图像帧分离成优先区和非优先区,重新设置设定各区量化值的功能,当发生丢帧时,可以将下一图像帧非优先区的量化值设定为比第一量化控制手段163确定的量化值具有更大量化级宽度的量化值,并通知编码装置12。对非优先区,当发生丢帧时,可控制编码装置12使之不进行编码操作及传送操作,可通过前置滤波器滤掉输入图像中高频成分,也可只对DCT系数的低频成分进行编码。
还可在图像帧成优先区和非优先区的情况下,发生丢帧时,使丢帧/量化控制装置42进行扩宽非优先区范围的控制。
在上述第5实施例中,虽在结构上作成,将预定时间T内无错接收的数据比特数从图像解码装置151传送给图像编码装置150。在其中算出平均通过量,但也可作成,在图像解码装置151中计算出平均通过量,并通过返回路径将其传送给图像编码装置150。这里,平均通过量的算出方法,如下面第13实施例中所述。
上述实施第5实施例算出预定不变时间T内的平均通过量,但也可根据通信线路中出错形况改变求取平均的时间T。若求取平均的时间短,则能迅速响应通过量的变动,进行量化控制和丢帧控制。但是,在通信线路上发生周期性猝发错误状况下,若用太短的时间求平均的话,发生猝发错误时,平均通过量会大为下降,而不发生猝发错误时,平均通过量变大,因而控制不稳定。根据对移动通信中防止图像编码质量下降技术的研究(茨木久等,图像电子学会杂志,第23卷,第5号(1 994)P445-453),多谱勒频率不变时,猝发错误以多谱勒频率的0.35倍的周期周期发生。此时,将单位时间t内从图像编码装置150无出错接收到的比特数小于某个阈值的区间作为猝发错误区间,通过计测该猝发错误区间的发生间隔检测周期,若以该周期为求取平均的时间T求取平均值,则可进行发生猝发错误也不会起伏波动的,稳定量化控制及丢帧控制。此时,若对多个猝发错误区间的发生间隔平均来求取周期,就能使工作更稳定。若猝发错误区间的发生间隔超过某一定长度时,就判断为无猝发错误,若求取平均的时间T短,就能快速响应通过量的变动。
传送控制手段432输出的图像数据,可采用与声音或其它数据复合传送给图像解码装置151的形态,此时,传送控制手段432输出的图像数据的传送速率根据复合比例而变。即,图像数据的通过量不仅根据出错发生状况,而且还根据复合声音或其它数据发生的有无而变化。此时,若知道无出错可接收到的图像数据的比特数,本发明因知道图像数据的通过量而能发挥同样的效果。
第6实施例
图10为表示本发明第6实施例图像传送系统的构成框图。图10中,图像编码装置163及图像解码装置164,分别经无线电波与基站152及153连接。基站152及153间用有线线路连接。与第五实施例一样,考虑的是在各自的无线区间A(图像编码装置163及基站152间)及B(基站153及图像解码装置164间),进行重发控制。
图像编码装置163的结构与第二实施例中图像编码装置40(参看图4)大致相同。基站152及153的结构与第5实施例中的(参见图9)相同。图像解码装置164的结构与第5实施例中图像解码装置151基本相同,但出错控制手段164a检测出接收数据中出错进行重发时,则通过返回路径(无线区间B→基站153→基站152→无线区间A)将重发出现信息传送给图像编码装置163。
图像编码装置163的传送控制手段432,从图像解码装置164接收上述重发出现信息,并在自身进行重发或接收重发出现信息时,输出出错通知。
图像编码装置163在与图像解码装置164之间直接进行重发控制时,根据自身是否进行重发获知与图像解码装置164之间的出错发生状况。但是,在图像编码装置163与图像解码装置164之间存在多个重发控制区间情况下,如图10所示,图像编码装置163不能获知无线区间B发生出错的状况。
因此,在进行重发时,图像解码装置164通过返回路径将重发出现信息传送给图像编码装置163,图像编码装置163能获知它和图像解码装置164间发生出错的状况。于是,图像编码装置163根据该已知出错发生状况,能进行正确的量化控制或丢帧控制。
再者,可在量化控制装置41中将图像帧分成要显示被摄体的优先区和要显示背景的非优先区,重新设置设定各区量化值的功能,而且在出错模式中,将非优先区的量化值设定为比第三量化控制手段412所确定量化值有更大的量化级宽度的量化值,并通知编码装置12。在出错模式中,对非优先区,可由量化控制装置41控制编码装置12使之不进行编码操作和传送操作,可用前置滤波器滤掉输入图像中高频分量,也可仅对DCT系数的低频分量进行编码。
可在丢帧/量化控制装置42中,将图像帧分成优先区和非优先区,新设置设定各区量化值的功能,当发生丢帧时,将下一图像帧的非优先区中量化值设定为比第一量化控制手段163所确定量化值具有更大量化级宽度的量化值,并通知编码装置12。进而在发生丢帧情况下,对非优先区,可控制编码装置12使之不进行编码操作及传送操作,可用前置滤波器滤掉输入图像中高频分量,也可仅对DCT系数的低频分量进行编码。
也可在图像帧分成优先区与非优先区的情况下,发生丢帧时,使丢帧/量化控制装置42进行扩宽非优先区范围的控制。
还可在图像帧被分成优先区与非优先区的情况下,发生丢帧时,用丢帧/量化控制装置42将非优先区的量化值设定为比已作丢帧处理的图像帧非优先区编码时所用量化值有更大量化级宽度的量化值,并通知编码装置12。
又可在图像帧分成优先区与非优先区的情况下,发生丢帧时,对非优先区,用丢帧/量化控制装置42控制编码装置12使之不进行编码操作及传送操作,也可用前置滤波器滤掉输入图像中高频分量,即使仅对DCT系数的低频分量进行编码也没关系。
上述第6实施例,在出现重发时,通过返回路径将重发出现信息从图像解码装置164传送给图像编码装置163。但也可作成,出现重发时,将重发出现信息从基站153(进行重发的终端)传送给图像编码装置163。
第7实施例
图11为表示本发明第7实施例涉及的图像编码装置的构成框图。图11中,图像编码装置110备有:图像输入手段11、编码装置12、暂存缓冲器13、第1SW14(开关14)、发生信息量算出部15、传送控制装置17、丢帧/量化控制装置111和纠错编码装置61。其中,纠错编码装置61包含:第一纠错编码手段611、第二纠错编码手段612和第2SW613。传送控制装置17包含:发送缓冲器171和传送控制手段172。
传送控制手段172按照预定的传送速率将图像数据传送给图像接收装置1000,并图像接收装置1000接收到出错信号时,将表示收到出错信号的出错通知输出给丢帧/量化控制装置111。第一纠错编码手段611将纠错能力低的纠错码加到经编码装置12编码的图像数据上,并存入暂存缓冲器13。第二纠错编码手段612将比第一纠错编码手段611所加纠错码具有更高纠错能力的纠错码加到编码的图像数据上,并存入暂存缓冲器13。第3SW,借助丢帧/量化控制装置111切换其接续形态。丢帧/量化控制装置111与图4所示第2实施例中的丢帧/量化控制装置42相同,包含:丢帧控制手段161、第1量化控制手段163、阈值切换部421、第2SW422和第二阈值切换部424。其中,丢帧控制手段161具有根据第二实施例中的无错模式和出错模式,切换第三SW613接续形态的功能。
图像输入手段11、编码装置12和发送缓冲器171,具有与图18第一已有技术例中相应部分相同的结构和功能,故这里省略其说明。暂存缓冲器13、第一SW14和发生信息量算出部15具有与第二实施例(图4)对应部分相同的结构和功能,故这里也省略其说明。而第一纠错编码装置611和第二纠错编码装置612具有与第3实施例(图7)对应部相同的结构及功能,故这里也省略其说明。
下面,说明图11所示图像编码装置110的动作。其中,编码装置12的编码动作与图18第一已有技术例的相同,故省略其说明。下面,仅说明图像编码装置110接收到出错信号时的动作。
这里,与图像编码装置110无线或有线连接的图像接收装置1000,具有算出收到图像数据的出错率的功能,又具有算出的出错率大于预定的阈值时,将出错信号通知图像接收装置的功能。下面的动作说明中,假定图像数据的出错率大于预定阈值的情况。
在上述情况下,图像接收装置1000将出错信号输出给图像编码装置60。图像编码装置110的传送控制手段172接收到出错信号时,便将表示收到出错信号的出错通知输出给丢帧/量化控制装置111。该装置111一旦收到出错通知,便从无错模式转移到出错模式,进行与第2实施例中出错模式时相同的丢帧、量化控制。进而,丢帧/量化控制装置111将第三SW613的接续形态切换为端子1-3间呈连接形态。因此,从图像输入手段11输入的图像帧,由第二纠错编码手段61 2加上纠错能力高的纠错码后,输出给图像接收装置1000。
传送控制手段172未从图像接收装置1000接收到出错信号超过预定时间时,也即它(172)未将出错通知传告丢帧/量化控制装置111超过一定时间时,丢帧/量化控制装置111就从出错模式转移到无错模式,并进行与第2实施例中无错模式时相同的丢帧、量化控制。进而,丢帧/量化控制装置111将第三SW613的连接形态切换成端子1-2间呈连接的形态。因此,图像输入手段11输入的图像帧,由第一纠错编码手段611加上纠错能力低的纠错码后,输出给图像接收装置1000。
如上所述,在第7实施例中,丢帧/量化控制装置111,在无错模式下,控制编码以便附加纠错能力低的纠错码;在出错模式下,控制编码以便附加纠错能力高的纠错码(纠错码多)。又在因被摄体的运动等而发生信息量增加,并出现丢帧时,控制编码装置12,使之用比出现丢帧的图像帧编码时所用量化值有更宽量化级宽度的量化值进行编码。因此,容易实现适合通信形态的编码控制,即使通信形态变坏,也能减少在图像接收装置1000能显示活动图像。
第7实施例在图像接收装置1000中,根据出错率判定通信形态的好坏,但也可做成图像接收装置1000将出错率(替代出错信号)发送给图像编码装置110,该装置110根据收到的出错率大小确定出错模式或无错模式。还可使图像编码装置110算出从图像接收装置1000接收到的出错率,并根据该算出的平均出错率确定出错模式或无错模式。
此外,可在图像接收装置1000中算出预定时间内的平均出错率,当该算出的平均出错率超过预定阈值时,将出错信号发送给图像编码装置110,该装置110根据收到的出错信号,进行与本实施例上文所述同样的动作。
可做成图像接收装置1000将算出的平均出错率发送给图像编码装置110,该装置110根据平均出错率的大小,进行与本实施例上文所述同样的动作。
也可在丢帧/量化控制装置111中,将图像帧分成优先区和非优先区,新设置设定各区量化值的功能,一旦发生丢帧时,就将下一图像帧非优先区的量化值设定得比第一量化控制装置部163所确定量化值具有更大量化级宽度的量化值,并通知编码装置12。对于非优先区,一旦发生丢帧,可控制编码装置12使之不进行编码操作及传送操作,又可用前置滤波器滤掉输入图像中高频分量,即使仅对DCT系数的低频分量进行编码也没关系。
第8实施例
用图12说明第1-第7实施形态中第1量化控制手段163的量化值确定方法。
图12为表示改变量化值对被摄体运动大的图像帧编码时,量化值与发生信息量之间关系的曲线。图12中,纵轴表示发生信息量,横轴表示量化值。图12中在测试图像中采用电视会议用评价图像,即“乒乓球(table-tennis)”、“苏西(Susis)”、“克莱尔(Clare)”等图案,按照被摄体运动大的要求,加大丢帧范围进行模拟。
如图12所示,对于被摄体运动大的图像帧,即对于传送延时超过视觉上无不适的量大延时(500毫秒)的图像帧,显然发生信息量具有与量化值的比率大致反比的特性。
因此,第1-第3、第6及第7实施例中的第1量化控制手段163,用下式(2)确定下一图像帧的量化值。
Next_Q=(Now_Q*Bits)
         /(Max_Delay_Time*Rate)    ……(2)
上式(2)中,诸量如下。
Next_Q:用于下一图像帧编码的量化值
Now_Q:用于被摄体运动大的图像帧编码时的量化值
Bits:对被摄体运动大的图像帧编码后所得的发生信息量
Max_Delay_Time:最大容许延时(视觉上无不适的传送延时:500毫秒)
Rate:传送速率
第四及第五实施例中第一量化控制手段163,用下式(3)预测改变量化值时的发生信息量,根据预测的发生信息量,传送速率及平均通过量,用第4实施例中的式(1)算出编码率,编码率确定在图21中视觉上最佳编码率上限102和视觉上最佳编码率下限103之间包含的量化值。
Pred_Bits=(Quant/Parameter)*Bits                  ……(3)
上式(3)中,诸量如下。
Pred_Bits:推定发生信息量
Quant:用于对被摄体运动大的图像帧编码的量化值
Parameter:待测发生信息量的量化值
Bits:被摄体运动大的图像帧编码后所得的发生信息量
根据以上所述,即使因被摄体大的运动引起编码率一量化精度特性发生大的变化,通过简单计算就能立即确定适合已变化编码率—量化精度特性的最佳量化值。
在第1-第3,第6及第7实施例中,图像帧分成要显示被摄体的优先区和要显示背景的非优先区的情况下,第一量化控制装置163也可用下式(4)确定非优先区的量化值。
Next_BG_Q=(New_BG_Q*BG_Bits)
           /(Max_Delay_Time*Rate_Clear_Bits)    ……(4)
上式(4)中,诸量如下。
Next_BG_Q:用于下一非优先区编码的量化值
Now_BG_Q:被摄体运动大的图像帧中非优先区编码时所用的量化值
BG_Bits:对被摄体运动大的图像帧中非优先区编码后所得的发生信息量
Max_Delay_Time:最大容许延时(视觉上无不适的传送延时:500msec)
Rate:传送速率
Clear_Bits:对被摄体运动大的图像帧中优先区编码后所得的发生信息量
在第4及第5实施例中,图像被分成优先区和非优先区的情况下,第4实施例中图像编码装置70(图7)及第5实施例中图像编码装置150(图9),也可用下面的结构。即,图像编码装置70及150存储图21所示的将图像帧分成优先区和非优先区时的视觉最佳编码率上限和视觉景佳编码率下限,根据下式(5)及(6)算出量化值变化时优先区的预测发生信息量,和非优先区的预测发生信息量,根据各区量化值的预测发生信息量,和将图像帧分成优先区和非优先区时的编码率上限和下限,确定各区中最佳量化值。
Clear_Pred_Bits
     =(Clear_Quant/Parameter)
     *Clear_Bits                              (5)
BG_Pred_Bits=(BG_Quant/Parameter)
            *BG_Bits                          (6)
上式(5)中,诸量如下。
Clear_Pred_Bits:优先区推定发生信息量
Clear_Quant:被摄体运动大的图像帧中优先区编码用的量化值
Parameter:待测发生信息量的量化值
Clear_Bits:对被摄体运动大的图像帧中优先区编码后所得的发生信息量
上式(6)中,诸量如下。
BG_Pred_Bits:非优先区的推定发生信息量
BG_Quant:被摄体运动大的图像帧中非优先区编码用的量化值
Parameter:待测发生信息量的量化值
BG_Bits:对被摄体运动大的图像帧中非优先区编码后所得的发生信息量
如下式(7)所示,上述式(2)、(3)、(4)中传送速率Rate取实际传送速率中附带考虑平均通过速率的值,因而也可确定适合于通过量的量化值。
Rate=传送速率*平均通过速率                              (7)
第9实施例
图13为表示本发明第9实施例涉及的图像编码装置的结构框图。图13中,本实施例图像编码装置备有:图像输入手段11、图像编码装置12、优先区/非优先变换部1301和传送控制手段172。
编码装置12,按照ITU建议H.261对图像输入手段11取入的QCIF规模的活动图像进行编码,生成编码比特串。QCIF编码图像分为优先区和非优先区,各区用不同的量化精度编码。优先区/非优先区变换部1301,根据前一编码帧的发生信号量,确定QCIF(176×144点)编码图像的优先区、非优先区。传送控制手段172传送该编码比特串,同时监视通信通过量。
作为举例,用图15的流程图说明优先区大小按2级变化时的动作。
优先区的初始值,为图14(a)所示QCIF图像中部的范围(112×112)。对一帧编码的结果(步骤S105),若发生信息量超过某个阈值“1”(步骤S101),则优先区缩小(步骤S102)到如图14(b)中所示图像中央部的范围(80×80点),使发生信息量减少。反之,若发生信息量比某个阈值“2”低(步骤S103),则再次将优先区扩大图14(a)图像中央部的范围(112×112点)(步骤S104),明显地扩宽了区域。然后,以不同的量化精度对各区编码(步骤105)。
在上述第9实施例中,优先区及非优先区是按2级变化的,但也可进一步按多级变化。
在上述第9实施例中,虽是根据前一编码帧的发生信息量确定优先区及非优先区,但也可根据传送控制手段中监视的通信通过量,或如第四实施例中所述那样,根据由发生信息量和通信通过量计算出的编码率,使优先区及非优先区变化。此时,当编码率超过预定阈值时,对非优先区,可控制图像编码装置12使之不进行编码操作及传送操作,又可用前置滤波器滤除输入图像中高频分量,即使只对DCT系数的低频分量进行编码也没关系。
在上述第9实施例中,虽然用不同于优先区的量化精度对非优先区编码,但也可不对非优先区编码,还可用前置滤波器滤掉输入图像中高频分量,即使只对DCT系数的低频分量编码也没关系。此时,按照发生信息量或通信通过量改变编码范围。
在前一编码帧发生信息量超过预定阈值的情况下,对非优先区,可停止编码及传送,也可用前置滤波器滤除输入图像中高频分量,又可只对DCT系数的低频分量进行编码。
按照上述第9实施例,即使发生信息量极度增加,或通信通过量下降,也不会使优先区中图像质量有明显下降。
第10实施例
下面,参照附图说明本发明第10实施例。
图16为说明本发明第10实施例中编码控制方法的原理图。图16中,曲线101表示编码率—量化精度特性Ss(q)=L/R(q),它随输入图像在时间上的运动大小或空间上的频率分量而变,当包含大的运动和细腻图形等时向右下移动,运动小时向左上移动。对于编码率-量化精度特性和本发明的目的,在已有技术部分有详细说明,故这里省略。图16中,由于设定了量化精度的下限值,与已有技术说明中相比,虽然编码率-量化精度特性曲线101A-101D向左上移动,但工作原理与已有技术相同。
102为视觉上最佳的编码率上限值,103为视觉上最佳的编码率下限值。目标函数可设定为编码率105和量化精度104的组合在视觉上形成最佳点的集合,但实际上,该集合是人们主观感觉获得的值,会随观察画面的距离、角度和个人爱好等因素而变。因此,在图像质量折衷函数方面设定量佳区,在该区内,汇集编码率最大点的部分是视觉上最佳编码率的上限值102,汇集编码率最小点的部分是视觉上最佳编码率的下限值103。且,这里新设定量化精度的下限值104c。总之,目的在于将工作点设置在由视觉上最佳的编码率的上限值、下限值和量化精度的下限值所包围的区域中。
图17为表示本发明第10实施例中编码控制方法步骤的流程图。下面,用图16及图17说明本发明第10实施例中编码控制方法。
现在,假定在步骤S201中以例如第1量化精度104A进行编码。此时,输入图像的编码率一量化精度特性为图16中101A或101B的情况,其工作点A或B在视觉最佳区内,编码率既不超过视觉最佳的编码率的上限(步骤S202中判断为“NO”)也不下落到视觉最佳的编码率的下限以下(步骤S203的判断为“NO”)。因此,最佳精度为104A不变。接着进行适合发生代码量的丢帧(步骤S204),然后进行下面的编码(步骤S201)。
在重复上述步骤S201-S204的处理中,若输入图像的编码率一量化精度特性变为例如101C,则工作点移动到过渡工作点C。工作点C的编码率由于超过相对于量化精度104A的视觉最佳的编码率的上限值(步骤S202的判断为“YES”的情况),故提高量化精度使之成为例如104B(步骤S205)。然后,进行适合发生代码量的丢帧(步骤S204),再用量化精度104B进行编码(步骤S201)。若输入图像的编码率一量化精度特性维持101C不变,则下面工作点变为工作点D,又进入视觉最佳区。
同样,在工作点B工作,输入图像的编码率—量化精度特性变成101D时,工作点移至过渡工作点E。此时的编码率低于视觉最佳编码率的下限值(步骤S203的判断为“YES”),故量化精度下落到如104C(步骤S206)。接着进行适合发生代码量的丢帧(步骤S204)后,进行下面的编码(步骤S201)。因此,工作点变成视觉最佳工作点F。
工作在工作点F,输入图像的编码率—量化精度特性变成101E时,工作点变成过渡工作点G。此时,按照已有技术的算法,编码率低于视觉最佳编码率的下限值103,故下面编码的量化精度成为104D,工作点为H。与此相反,在第10实施例中,量化精度值104D低于量化精度下限值104C,故在步骤S207中,是否可使量化精度下降的判断为“否(NO)”。此时,设定优先区,对优先区量化,使量化精度不下降,而对非优先区用比优先区低的量化精度进行量化(步骤S208)。由此,用量化精度104C量化的区域小,故减少了发生信息量,编码率-量化精度特性变成101F。其结果,工作点移至I点,进入由视觉最佳的编码率上限值、下限值和量化精度下限值所包围的区域内。
但是,在一次设定优先区,工作点未达到视觉最佳编码率的下限值情况下,后续编码中进一步缩小优先区(步骤S208)。而在工作点超过视觉最佳编码率上限时(步骤S202的判断为“YES”),扩大优先区(步骤S210)。但在上述优先区已不能再扩大时(步骤S209的判断为“NO”),则量化精度移动到104A。
如上所述,按照上述第10实施例,通过简单控制,能实现一种编码方法,使运动再现性、空间上的分辩率和噪声三者的折衷在视觉特性方面最佳。
且,量化精度的单位控制宽度越细腻,越能精细地集中到视觉最佳的工作区。可是,此时对输入图像的变化,跟踪速度慢,若不能跟踪输入图像变化的速度,可能会使控制分散。另一方面,量化精度的单位控制宽度大,虽能增大对输入图像变化的跟踪速度,但会增大工作区,使控制精度变坏,因此,最好将量化精度的单位控制宽度设定在使控制精度在视觉特性识别界限附近。
优先区的设定方法虽未详细涉及,但该区可设定在人物脸部映照的范围内,也可设定在画面三等分的当中。
关于非优先区的编码,在上述实施例中,虽对降低该区量化精度进行了说明,但也可不发送全部信息,还可用前置滤波器滤除输入图像中高频分量,只对DCT系数的低频分量进行编码也没关系。
另外,也可以用通信通过量校正编码率,当编码率大于预定阈值时,对非优先区也可不进行编码操作及传送操作。
第11实施例
图7中,传送控制手段432,以一定速度,如在PHS情况下,以32kbps输出数据。未发生传送出错,从接收侧未回送拒绝期间,从发送缓冲器171读出的数据全部编为帧输出。然而,发生传送出错,对于接收侧回送拒绝的帧,为了从重发缓冲器431读出该帧输出,故不从发送缓冲器读出。传送控制手段432将单位时间t从发送缓冲器读出的数据比特数通知平均通量算出部711。单位时间t,在帧为固定长度情况下,为传送1帧的时间,如对于80字节(bite)的帧,为20ms,这样,能容易进行同步。若与图像输入手段11的图像周期同步,则也能与编码时间(timing)同步,若取单位时间t为传送帧时间和图像周期的最小公倍数,则可与两者同步。平均通过量算出部711,每当从传送控制手段432收到单位时间t,根据从发送缓冲器读出的比特数算出某一定时间T的通过量的平均值。作为一种简单的算出方法,采用用某一定时间T除一定时间T的比特数的累计数,算出时间T的平均值,并每隔一定时间T输出的方法。该方法虽处理非常简单,但由于比较粗略,在发生猝发错误的PHS等情况下,发生猝发错误区间的平均通过量下降会影响一定时间T间被编码的整个图像,故必须将一定时间T取得足够长。第2种算出方法,用某一时间T除一定时间T内累计的比特数,算出每单位时间t的平均值,并每隔单位时间t输出。此时,虽处理复杂,但由于每隔单位时间t更新平均通过量,故能进行更连续精密的控制。
第12实施例
图9中,假定传送控制手段432以一定速度,如在PHS情况下,以32kbps输出数据。图像接收装置151,算出单位时间t间可无出错接收的图像数据的比特数。作为单位时间t,若取帧为固定长度情况下接收1帧的时间,如80字节(bite)的帧,取20ms,则容易进行同步。若图像接收装置151像图像编码装置150那样具有对图像编码传送的功能,并若与图像的抽样周期同步,则能与编码时间(timing)同步,而且,若取单位时间t为从图像编码装置150接收到的传送帧时间和图像抽样周期的最小公倍数,则可与两者都同步。
一定时间T内可无出错接收的图像数据比特数的发送方法,可采用如下两种。
首先,第一种方法,比特数计数部151b,根据从图像编码装置150可无出错接收到的每单位时间t内的图像数据的比特数,算出一定时间T内可无出错接收到的图像数据的比特数,并于每隔一定时间T发送给图像编码装置150。使用该方法,虽处理非常简单,但因粗略,在猝发错误发生的PHS等情况下,会因发生猝发错误的区间的平均通过量下降而影响一定时间T内被编码的整个图像,故必须将一定时间T取得足够长。
在该方法中,若使单位时间t与一定时间T相同,则能使处理更简单。
第二种方法,每单位时间t算出某一定时间T的bit数的累计数,并每隔单位时间t将其输出。此时,虽处理复杂,但由于在图像编码装置150中每隔单位时间t更新平均通过量,故能进行更连续精确的控制。
第13实施例
图9中,假定传送控制手段432以一定速度,如PHS情况下,以32kbps输出数据。图像接收装置151算出单位时间t内可无出错接收到的图像数据的比特数。单位时间t,若在帧为固定长度情况下取接收1帧的时间,例如,帧为80字节情况下取为20ms,这样就容易进行同步。若图像接收装置151具备像图像编码装置150那样对图像编码传送的功能,并与图像抽样周期同步,则能够与编码时间同步,若将单位时间t取为从图像编码装置150接收的传送帧时间和图像抽样周期的最小公倍数,则能对两者同步。
每一定时间平均通过量的算出方法,可考虑下面两种。
首先,第一种方法,根据从图像编码装置150可无出错接收到的每单位时间t的图像数据比特数,比特数计数部151b计算出某一定时间T内可无出错接收到的图像数据的比特数,每隔一定时间T算出用一定时间T除一定时间T内累计比特数的平均值,并每隔一定时间T输出。该方法虽处理极简单,但粗略,故在发生猝发错误的PHS等情况下,会由于发生猝发错误区间的平均通过量下降而影响一定时间T内被编码的整个图像,故必须将一定时间T取得足够长。
在上述方法中,若将单位时间t取得与一定时间T相同,则能进一步简化处理。
第二种方法,每隔单位时间t算出用某一定时间T除一定时间T内累计比特数的平均值,并每隔单位时间t输出。此时,虽处理复杂,但在图像编码装置150中每隔单位时间t更新平均通过量,故能进行更连续精确的控制。

Claims (139)

1.一种将运动图像编码传送的图像编码装置,其特征在于,该装置具备:
由图像信号构成图像帧输出的图像输入手段、
将所述图像输入手段构成的图像帧加以编码的编码手段、
存储所述编码手段编码的图像帧的图像数据的发送缓冲器、
将所述发送缓冲器内的图像数据以规定的传送速率发送的传送控制手段、
配置于所述编码手段和发送缓冲器之间,并且将所述编码手段编码的图像帧的图像数据暂时存储的暂存缓冲器、以及
判断是否将暂存缓冲器内的图像数据存储于所述发送缓冲器,同时决定接着编码的图像帧的量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段在暂存缓冲器存储的图像帧的信息量比预先设定的丢帧阈值大的情况下,进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时设定比在将暂存缓冲器内存储的图像帧编码之际使用的量化级宽度大的量化级宽度的量化值并通知编码手段,
所述编码手段以丢帧/量化控制手段通知的量化值将接着编码的图像帧加以编码。
2.如权利要求1所述的图像编码装置,其特征在于,
所述传送控制手段还在发生通信错误,接收终端不能正常进行图像数据的译码的情况下,进行自动重发,同时将表示出现重发的出错信息通知丢帧/量化控制手段,
所述丢帧/量化控制手段还进行如下阈值控制,即一旦从传送控制手段收到出错信息的通知,就将决定是否在发送缓冲器存储暂存缓冲器内的图像数据用的丢帧阈值从设定值降低下来,如果在预定的一定时间没有接收到传送控制手段来的出错信息通知,则使该丢帧阈值回到预定的设定值。
3.如权利要求1所述的图像编码装置,其特征在于,
所述传送控制手段还计算出在预定的时间内的平均通过量,并通知丢帧/量化控制手段,
所述丢帧/量化控制手段还根据预定的最大容许延迟时间和传送控制手段计算出的平均通过量算出在最大容许延迟时间内可能发送的最大信息量,将该算出的最大信息量作为丢帧阈值使用。
4.如权利要求3所述的图像编码装置,其特征在于,
所述丢帧/量化控制手段还根据规定时间内发送的图像帧的平均发生信息量和平均通过量算出平均延迟时间,将该算出的平均延迟时间作为最大容许延迟时间使用。
5.一种将运动图像编码传送的图像编码装置,其特征在于具备:
由图像信号构成图像帧输出的图像输入手段、
将所述图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像数据的发送缓冲器、
根据运动的重现性和图像质量确定最佳量化值的第1量化控制手段、
按照通信状态控制量化级宽度的第2量化控制手段、以及
将发送缓冲器内的图像数据以规定的传送速率发送,在发生通信错误,接收终端不能正常地将图像数据译码的情况下自动重发,同时将表示出现重发的出错信息通知第2量化控制手段的传送控制手段,
所述第2量化控制手段一旦从传送控制手段收到出错信息的通知,即设定比在第1量化控制手段确定的量化值对应的量化步级宽度大的量化级宽度的量化值并通知编码手段,
在预定时间内如果没有收到传送控制手段来的出错信息的通知,则将第1量化控制手段确定的量化值原封不动地通知编码手段,所述编码手段接着将要编码图像帧以第2量化控制手段通知的量化值编码。
6.如权利要求5所述的图像编码装置,其特征在于,还具备:
设置于编码手段和发送缓冲器之间,暂时存储编码手段编码的图像帧的图像数据的暂存缓冲器、以及
判定是否将暂存缓冲器内的图像数据存储于发送缓冲器,接着决定编码的图像帧的量化值的丢帧/量化控制手段,
所述传送控制手段表示出现重发的出错信息再通知丢帧/量化控制手段,
所述丢帧/量化控制手段进行如下阈值控制,即一旦从传送控制手段接收到出错信息的通知,就将决定是否将暂存缓冲器内的图像数据存储于发送缓冲器用的丢帧阈值从设定值降下来,如果在预定时间内没有从传送控制手段收到出错信息的通知,就使该丢帧阈值回到预定值,
如果暂存缓冲器内的图像数据的信息量比受上述阈值控制操纵的丢帧阈值大,即进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时设定比将暂存缓冲器内存储的图像帧编码时使用的量化级宽度还大的量化级宽度的量化值并通知编码手段。
7.如权利要求6所述的图像编码装置,其特征在于,
所述传送控制手段还算出预定时间内的平均通过量并通知丢帧/量化控制手段,
丢帧/量化控制手段还根据预先设定的最大容许延迟时间和传送控制手段算出的平均通过量,算出最大容许延迟时间内可能发送的最大信息量,将该算出的最大信息量作为丢帧阈值使用。
8.如权利要求7所述的图像编码装置,其特征在于,
所述丢帧/量化控制手段还根据规定时间内发送的图像帧的平均发生信息量和平均通过量算出平均延迟时间,将该算出的平均延迟时间作为最大容许延迟时间使用。
9.一种在将运动图像高效率压缩编码通过低比特率的通信线路传送时,预先确定工作点,作为适应每单位时间能够传送的帧的比例(即编码率)的丢帧所决定时间上的畸变和量化值所决定空间上的畸变的折衷的图像编码装置,其特征在于,具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像数据的发送缓冲器、
决定适合通信状态的量化值的量化控制手段、以及
将发送缓冲器内的图像数据以规定的传送速率发送的传送控制手段,
所述量化控制手段算出一定时间内的平均通过量,根据算出的平均通过量和作为所述编码手段编码结果的每帧发生信息量算出编码率,决定对应于算出的编码率的量化值并通知所述编码手段,
一旦所述发送缓冲器内的数据余留量低于阈值,即通知所述编码手段进行一图像帧的编码。
10.如权利要求9所述的图像编码装置,其特征在于,还具备:
设置于编码手段和发送缓冲器之间,暂时存储编码手段编码的图像帧的图像数据的暂存缓冲器、以及
判定是否将暂存缓冲器内的图像数据存储于发送缓冲器,决定接着编码的图像帧的量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段根据预先设定的最大容许延迟时间和量化控制手段算出的平均通过量算出最大容许延迟时间内可发送的信息量,如果暂存缓冲器存储的图像帧的信息量比最大容许延迟时间内可能发送的信息量大,就进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时设定比将暂存缓冲器内存储的图像帧编码时使用的量化级宽度大的量化级宽度的量化值并通知编码手段。
11.如权利要求9所述的图像编码装置,其特征在于,还具备:
设置于所述编码手段和发送缓冲器之间,暂时存储编码手段编码的图像帧的图像数据的暂存缓冲器、以及
判定是否将暂存缓冲器内的图像数据存储于发送缓冲器,决定下一次编码的图像帧的量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段根据规定时间内发送的图像帧的平均发生信息量和量化控制手段算出的平均通过量,算出平均延迟时间,
根据平均通过量和平均延迟时间算出该平均延迟时间内可发送的信息量,
如果暂存缓冲器内存储的图像帧的信息量比平均延迟时间内可发送的信息量大,则进行不将暂存缓冲器内的图像数据存储于发送缓冲器的丢帧控制,同时设定比将暂存缓冲器内存储的图像帧编码时使用的量化级宽度还大的量化级宽度的量化值并通知编码手段。
12.如权利要求9中所述的图像编码装置,其特征在于,
所述量化控制手段在算出平均通过量时,根据猝发错误有否发生,可以改变平均时间。
13.如权利要求9至11中任一所述的图像编码装置,其特征在于,
将用于算出平均通过量的的预定时间定为300毫秒以上。
14.一种将活动图像编码传送的图像编码装置,其特征在于,具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像帧的图像数据的发送缓冲器、
决定编码时使用的量化值的量化控制手段、
将发送缓冲器内的图像数据以规定的传送速率发送的传送控制手段、
存储用于判断被拍摄物体运动的大小的运动阈值的运动阈值存储部、以及
存储视觉上不会感到不适的传送延迟的界限(即最大容许延迟时间)的最大容许延迟时间存储部,
所述量化控制手段在作为编码手段编码结果的每帧发生信息量比运动阈值大的情况下,求将超过运动阈值的图像帧编码时使用的量化值和期望预测发生信息量的量化值的比(即量化比率),根据超过运动阈值的图像帧的发生信息量和量化比预测改变量化值的情况下发生的信息量,根据该预测的发生信息量和传送速率以及最大容许延迟时间决定在最大容许延迟时间内可发送的量化值并通知编码手段,
编码手段以量化控制手段通知的量化值对图像帧编码。
15.如权利要求14所述的图像编码装置,其特征在于,
所述传送控制手段还算出预定时间内的平均通过量并通知所述量化控制手段,
所述量化控制手段在作为编码手段编码结果的、每帧发生信息量比运动阈值大的情况下,求将超过运动阈值的图像帧编码时使用的量化值和期望预测发生信息量的量化值的比(即量化比率),根据超过运动阈值的图像帧的发生信息量和量化比预测改变量化值的情况下发生的信息量,根据该预测的发生信息量、传送速率、平均通过量和最大容许延迟时间决定在最大容许延迟时间内可发送的量化值并通知编码手段。
16.如权利要求15所述的图像编码装置,其特征在于,
所述传送控制手段在算出平均通过量时能够根据猝发错误有否发生改变平均时间。
17.如权利要求15所述的图像编码装置,其特征在于,将用于算出平均通过量的预定时间定为300毫秒以上。
18.一种将活动图像编码传送的图像编码装置,其特征在于,具备:
由图像信号构成图像帧输出的图像输入手段、
将图像输入手段构成的图像帧加以编码的编码手段、
存储编码手段编码的图像帧的图像数据的发送缓冲器、
决定编码时使用的量化值的量化控制手段、
将发送缓冲器内的图像数据以规定的传送速率传送的传送控制手段、
存储用于判断被摄物体运动大还是小的运动阈值的运动阈值存储手段,以及
对作为与单位时间能够发送的帧的比例(即编码率)对应的丢帧所引起的时间上的畸变和量化值所引起的空间上的畸变的折衷,预先确定工作点的理想曲线进行存储的理想曲线存储手段,
所述量化控制手段在编码手段作为编码结果的每帧发生信息量比运动阈值大的情况下,求超过运动阈值的图像帧编码时使用的量化值和期望预测发生信息量的量化值的比(即量化比),根据超过运动阈值的图像帧的发生信息量和所述量化比预测改变量化值的情况下发生的信息量,根据该预测的发生信息量和所述传送速率算出编码率,根据该算出的编码率和理想曲线决定量化值并通知编码手段,
所述编码手段以量化控制手段通知的量化值将图像帧加以编码。
19.如权利要求18所述图像编码装置,其特征在于,
所述传送控制手段,进一步算出平均通过量,通知所述量化控制手段;
所述量化控制手段,在所述编码手段编码结果的每帧发生信息量比所述运动阈值大的情况下,
求得超过所述运动阈值的图像帧编码时所用的量化值与预测期望发生信息量的量化值之比(即量化比),
根据大于所述运动阈值的图像帧的发生信息量与所述量化比,预测改变量化值时发生的信息量,
根据所述预测的发生信息量、所述传送速率和所述平均通过量,算出所述编码率,
根据上述算出的编码率和所述理想曲线,确定量化值,通知所述编码手段。
20.如权利要求19所述图像编码装置,其特征在于,
所述传送控制手段,在算出所述平均通过量时,按照有无发生猝发错误,使取平均的时间可变。
21.如权利要求19所述图像编码装置,其特征在于,
用于算出所述平均通过量的所述预定时间取300毫秒以上。
22.一种将对活动图像编码后发送的图像编码装置和对接收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置算出接收到的图像数据的出错率,在所算出的出错率大于预定阈值时,向所述图像编码装置发送出错信号,
所述图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段构成的图像帧加以编码的编码手段,
存储所述编码手段编码的图像数据的发送缓冲器,
以预定传送速率发送所述发送缓冲器内图像数据的传送控制手段,
根据运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
将不同纠错能力的纠错码加给所述编码手段已编码的图像数据的纠错编码手段,
确定适合通信状态的量化值,根据所述出错信号控制所述纠错编码手段的第二量化控制手段,
所述第二量化控制手段当接收到来自所述图像接收装置的所述出错信号时,设定比所述第一量化控制手段确定量化值对应的量化级宽度大的量化级宽度的量化值,通知所述编码手段,同时输出选择信号指示将纠错能力高的纠错码加给所述纠错编码手段,
若在预定时间未接收到所述出错信号的通知,则将所述第一量化控制手段所确定的量化值照其原样通知所述编码手段,同时输出选择信号指示将纠错能力低的纠错码加给所述纠错编码手段,
所述编码手段根据所述第二量化控制手段所通知的量化值,对图像帧编码,
所述纠错编码手段将所述选择信号所指示的纠错码加给所述编码手段编码的图像数据。
23.如权利要求22所述图像编码装置,其特征在于,
所述图像接收装置算出预定时间内算出的所述出错率的平均值,当该算出的平均出错率大于预定阈值时,向所述图像编码装置发送所述出错信号。
24.如权利要求22或23所述的系统,其特征在于,
所述图像编码装置具备:
配置在所述编码手段与所述发送缓冲器之间,暂时存储所述编码手段编码后的图像帧的图像数据的暂存缓冲器,
判定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段进行如下阈值控制,即从所述图像接收装置接收到出错信号时,将用于确定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器内的丢帧阈值从预定值下降,当在预定时间内未接收到所述出错信号的通知时,使该丢帧阈值回到预定值,
若所述暂存缓冲器内的图像数据的信息量大于受所述阈值控制操纵的丢帧阈值,则进行丢帧控制,不将所述暂存缓冲器内的图像数据存入所述发送缓冲器内,同时设定比存入所述暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段。
25.一种将对活动图像编码后发送的图像编码装置和对接收的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置算出收到的图像数据的出错率,发送给所述图像编码装置,
所述图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段构成的图像帧加以编码的编码手段,
存储所述编码手段编码的图像数据的发送缓冲器,
以预定传送速率发送所述发送缓冲器内图像数据的传送控制手段,
从运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
将不同纠错能力的纠错码加给所述编码手段已编码的图像数据的纠错编码手段,
确定适合通信状态的量化值,根据所述出错率控制所述纠错编码手段的第二量化控制手段,
所述第二量化控制手段在从所述图像接收装置接收到的出错率大于预定阈值时,设定比第一量化控制手段所确定量化值对应的量化级宽度大的量化级宽度的量化值,通知所述编码手段,同时输出选择信号指示将纠错能力高的纠错码加给纠错编码手段;
若在预定时间,所述出错率未大于阈值,则将所述第一量化控制手段确定的量化值照其原样通知编码手段,同时输出选择信号指示将纠错能力低的纠错码加给所述纠错编码手段,
所述编码手段以所述第二量化控制手段所通知的量化值对图像帧编码,
所述纠错编码手段将选择信号所指示的纠错码加给所述编码手段已编码的图像数据。
26.如权利要求25所述系统,其特征在于,
所述第二量化控制手段算出预定时间内从所述图像接收装置接收到的出错率的平均值,
在所算出的平均出错率大于预定阈值的情况下,设定比所述第一量化控制手段所确定量化值对应的量化级宽度大的量化级宽度的量化值,通知所述编码手段,同时输出选择信号指示将纠错能力高的纠错码加给所述纠错编码手段,
若所述平均出错率在预定时间内未大于阈值,将第一量化控制手段所确定的量化值照其原样通知原来的所述编码手段,同时输出选择信号指示将纠错能力低的纠错码加给所述纠错编码手段。
27.如权利要求26所述的系统,其特征在于,
所述图像编码装置进一步具有:
配置在所述编码手段与所述发送缓冲器之间、暂时存储所述编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段,进行如下阈值控制,即第二量化控制手段算出的平均出错率大于预定阈值时,将用于确定是否将所述暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值下降,当平均出错率在预定时间内未大于阈值时,使丢帧阈值回到预定值,
若所述暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存入所述暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段。
28.如权利要求25所述的系统,其特征在于,
所述图像编码装置进一步具备:
配置在所述编码手段与所述发送缓冲器之间,暂时存储所述编码手段已编码的图像帧的图像数据的暂存缓冲器,
判定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段进行如下阈值控制,即从所述图像接收装置接收到的出错率大于预定阈值时,将用于确定是否将所述暂存缓冲器内的图像数据存入所述发送缓冲器的丢帧阈值从预定值下降,当预定时间内所述出错率未大于阈值时,使丢帧阈值回到设定值,
若所述暂存缓冲器内图像数据的信息量大于受上述阈值控制操纵的丢帧阈值,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存于所述暂存缓冲器内图像帧编码时所用量化值具有更大量化级宽度的量化值,通知所述编码手段。
29.一种将对活动图像编码后发送的图像编码装置和对收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置求出收到的图像数据的出错率,算出预定时间内求得的所述出错率的平均值,将该算出的平均出错率发送给所述图像编码装置,
所述图像编码装置具备:
由所述图像信号构成图像帧输出的图像输入手段,
对图像输入手段构成的图像帧加以编码的编码手段,
存储所述编码手段已编码的图像数据的发送缓冲器,
以预定传送速率发送所述发送缓冲器内图像数据的传送控制手段,
从运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
将不同纠错能力的纠错码加给所述编码手段已编码的图像数据的纠错编码手段,
确定适合通信状态的量化值,根据平均出错率控制所述纠错编码手段的第二量化控制手段,
所述第二量化控制手段在所述图像接收装置接收到的平均出错率大于预定阈值的情况下,设定比所述第一量化控制手段所确定量化值对应量化级宽度大的量化级宽度的量化值,通知所述编码手段,同时输出选择信号,指示将纠错能力高的纠错码加给所述纠错编码手段,
若在预定时间内,所述平均出错率未大于阈值,则将所述第一量化控制手段所确定的量化值照其原样通知所述编码手段,同时输出选择信号,指示将纠错能力低的纠错码加给所述纠错编码手段,
所述编码手段用所述第二量化控制手段所通知的量化值对图像帧编码,
所述纠错编码手段将选择信号所指示的纠错码加给所述编码手段已编码的图像数据。
30.如权利要求29所述系统,其特征在于,
所述图像编码装置可一步具备:
配置在所述编码手段与所述发送缓冲器之间,暂时存储所述编码手段所编码的图像帧图像数据的暂存缓冲器,
判定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段进行如下阈值控制,即所述图像接收装置收到的平均出错率大于预定阈值时,使用于确定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器的丢帧阈值,从预定值下降,当预定时间内所述平均出错率未大于阈值时,使丢帧阈值回到预定值,
若所述暂存缓冲器内图像数据的信息量大于受上述阈值控制操纵的丢帧阈值,则进行丢帧控制使暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存储于所述暂存缓冲器内图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段。
31.一种将对活动图像编码后发送的图像编码装置和对收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置算出收到图像数据的出错率,当该算出的出错率大于预定阈值时,将出错信号发送给所述图像编码装置,
所述图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段中已构成图像帧加以编码的编码手段,
存储所述编码手段中已编码图像数据的发送缓冲器,
按预定传送速率发送所述发送缓冲器内图像数据的传送控制手段,
配置在所述编码手段与所述发送缓冲器之间,且暂存所述编码手段中已编码图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入发送缓冲器,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
将不同纠错能力的纠错码加给所述暂存缓冲器内图像数据后,存入所述发送缓冲器的纠错编码手段,
所述丢帧/量化控制手段在接收到出错信号的情况下,进行阈值控制,将用于确定是否将所述暂存缓冲器内图像数据存入发送缓冲器的丢帧阈值从预定值上降,同时输出选择信号,指示将纠错能力高的纠错码加给所述纠错编码手段,
若在预定时间内未收到所述出错信号的通知,就进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给所述纠错编码手段,
若所述暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存入所述暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段,
所述纠错编码手段将由选择信号指示的纠错码加给编码手段已编码的图像数据。
32.如权利要求31所述的系统,其特征在于,
所述图像接收装置算出预定时间内算出的出错率的平均值,该算出的平均出错率大于预定阈值时,将出错信号发送给所述图像编码装置。
33.一种将对活动图像编码后发送的图像编码装置和对接收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置算出接收到图像数据的出错率,发送给所述图像编码装置,
所述图像编码装置具备:
由图像信号构成帧输出的图像输入手段,
对所述图像输入手段构成的图像帧加以编码的编码手段,
存入编码手段已编码的图像数据的发送缓冲器,
按预定传送速率发送所述发送缓冲器内图像数据的传送控制手段,
配置在所述编码手段与所述发送缓冲器之间,暂时存储所述编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
将不同纠错能力的纠错码加给所述暂存缓冲器内图像数据后,存入所述发送缓冲器的纠错编码手段,
所述丢帧/量化控制手段在出错率大于预定阈值的情况下,进行阈值控制,将用于确定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器的丢帧阈值从预定值下降,同时输出选择信号,指示将纠错能力高的纠错码加给所述纠错编码手段,
在预定时间内出错率未大于预定阈值时,进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给所述纠错编码手段,
若所述暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存于所述暂存缓冲器内图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段,
所述纠错编码手段将由选择信号所指示的纠错码加给所述编码手段已编码的图像数据。
34.如权利要求33所述系统,其特征在于,
所述图像编码装置进一步具备平均出错率算出手段,它算出作为预定时间内从图像接收装置接收到的出错率的平均值的平均出错率,
所述丢帧/量化控制手段当平均出错率大于预定阈值时,进行阈值控制,将用于确定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器的丢帧阈值从预定值下降,同时输出选择信号,指示将纠错能力高的纠错码加给所述纠错编码手段,
在预定时间内平均出错率未大于预定阈值时,进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给所述纠错编码手段,
若所述暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存入所述暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段,
纠错编码手段将选择信号所指示的纠错码加给所述编码手段已编码的图像数据。
35.一种将对活动图像编码后发送的图像编码装置和对接收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置求取收到图像数据的出错率,算出预定时间内所求出错率的平均值,将该算出的平均出错率发送给所述图像编码装置,
所述图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段已构成的图像帧加以编码的编码手段,
存储所述编码手段已编码的图像数据的发送缓冲器,
按预定传送速率发送所述缓冲器内图像数据的传送控制手段;
配置在所述编码手段与所述发送缓冲器之间,暂时存储所述编码手段已编码的图像帧的图像数据的暂存缓冲器;
判定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器内,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
将不同纠错能力的纠错码加给所述暂存缓冲器内图像数据后,存入所述发送缓冲器的纠错编码手段,
所述丢帧/量化控制手段,当平均出错率大于预定阈值时,进行阈值控制,将用于确定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器内的丢帧阈值从预定值下降,同时输出选择信号,指示将纠错能力高的纠错码加给所述纠错编码手段,
在预定时间内平均出错率未大于预定阈值时,进行阈值控制,使丢帧阈值回到预定值,同时输出选择信号,指示将纠错能力低的纠错码加给纠错编码手段,
若所述暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存于所述暂存缓冲器内图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段,
所述纠错编码手段将选择信号所指示的纠错码加给所述编码手段已编码的图像数据。
36.一种将对活动图像编码后发送的图像编码装置和对收到的图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置对预定时间内正确接收到的数据比特进行计数,并将该比特数发送给所述图像编码装置,
所述图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段所构成的图像帧加以编码的编码手段,
存储所述编码手段中编码的图像数据的发送缓冲器,
确定适合通信状态的量化控制手段,
按预定传送速率发送所述缓冲器内的图像数据,同时将所述图像接收装置收到的所述比特数输出给所述量化控制手段的传送控制手段,
所述量化控制手段根据从传送控制手段接收到的比特数,算出一定时间内的平均通过量;
根据所算出的平均通过量和编码手段编码结果的每帧发生信息量,算出编码率,
确定对应于所算出编码率的量化值,通知所述编码手段。
37.如权利要求36所述的系统,其特征在于,
所述量化控制手段在计算平均通过量时,随所述比特数的变动,求平均的时间也可变。
38.如权利要求36所述的系统,其特征在于,用于算出平均通过量的预定时间取为300毫秒以上。
39.一种将对活动图像编码后发送的图像编码装置和对所收到图像数据进行预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于,
所述图像接收装置对预定时间内正确收到的数据比特进行计数,根据该比特数算出平均通过量,发送给所述图像编码装置,
所述图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段构成的图像帧加以编码的编码手段,
存储所述编码手段已编码的图像数据的发送缓冲器,
确定适合通信状态的所述量化值的量化控制手段,
按预定传送速率发送所述发送缓冲器的图像数据,同时将所述图像接收装置接收到的平均通过量输出给所述量化控制手段的传送控制手段,
所述量化控制手段根据从所述传送控制手段接收到的平均通过量和编码手段编码结果的每帧发生信息量,算出编码率,
确定对应于所算出编码率的量化值,通知所述编码手段。
40,一种将对活动图像编码后发送的图像编码装置和对所收到图像数据进行预定处理的图像接收装置,通过一个以上中继站连接成可通信的图像传送系统,其特征在于,
所述图像接收装置一旦检测到接收数据出错,就在与相邻所述中继站间自动进行重发,并将表示出现重发的重送出现信息发送给所述图像编码装置,
图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段构成的图像帧加以编码的编码手段,
存储所述编码手段已编码的图像数据的发送缓冲器,
从运动再现性和图像质量两方面确定最佳量化值的第一量化控制手段,
根据通信状态控制量化级宽度的第二量化控制手段,
还具备传送控制手段,它按预定传送速率发送所述发送缓冲器内图像数据,同时在与相邻所述中继站间发生通信出错的情况下,与相邻所述中继站间进行自动重发,在该手段自身进行重发时或由所述图像接收装置接收重送发生信息时,将表示出现重发的出错信息通知所述第二量化控制手段,
所述第二量化控制手段一旦从所述传送控制手段接到出错信息的通知,就设定比所述第一量化控制手段确定的量化值所对应的量化级宽度大的量化级宽度的量化值,通知编码手段,
若在预定时间内未收到来自所述传送控制手段的出错信息通知,就将所述第一量化控制手段确定的量化值照其原样通知所述编码手段,
所述编码手段用所述第二量化控制手段所通知的量化值对下面要编码的图像帧编码。
41.如权利要求40所述的系统,其特征在于,
所述图像编码装置可进一步具备:
配置在所述编码手段与所述发送缓冲器间,暂时存储编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器,确定下面要编码图像帧的量化值的丢帧/量化控制手段,
所述传送控制手段将表示出现重发的出错信息进一步通知所述丢帧/量化控制手段,
所述丢帧/量化控制手段进行如下阈值控制,即从传送控制手段收到出错信息通知时,将用于确定是否将所述暂存缓冲器内图像数据存入所述发送缓冲器的丢帧阈值从预定值下降,当预定时间内未从所述传送控制手段收到出错信息通知时,使丢帧阈值回到预定值,
若所述暂存缓冲器内图像数据的信息量大于受阈值控制操纵的丢帧阈值,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存储于所述暂存缓冲器的图像帧编码时所用量化级宽度大的量化级宽度的量化值,通知所述编码手段。
42.一种将对活动图像编码发送的图像编码装置和对收到图像数据进行预定处理的图像接收装置连接成可通信的传送系统,其特征在于,
所述图像接收装置在预定时间内对正确收到数据比特计数,并将该比特数发送给图像编码装置,
所述图像编码装置具备:
由图像信号构成图像帧输出的图像输入手段,
对所述图像输入手段已构成的图像帧加以编码的编码手段,
存储所述编码手段已编码图像帧的图像数据的发送缓冲器,
配置在所述编码手段与所述发送缓冲器之间,暂存所述存储编码手段已编码图像帧的图像数据的暂存缓冲器,
判定是否将暂存缓冲器内图像数据存入所述发送缓冲器,同时确定下面要编码图像帧的量化值的丢帧/量化控制手段,
按预定传送速率发送所述发送缓冲器内图像数据,同时根据从所述图像接收装置收到的比特数算出平均通过量的传送控制手段,
所述丢帧/量化控制手段根据预定的最大容许延时和平均通过量,算出最大容许延时内可发送的信息量,
若存储在所述暂存缓冲器内的图像帧的信息量大于最大容许延时内可发送的信息量,则进行丢帧控制,使所述暂存缓冲器内图像数据不存入所述发送缓冲器,同时设定比存储于所述暂存缓冲器内的图像帧编码时所用的量化级宽度大的量化级宽度的量化值,通知所述编码手段。
43.如权利要求42所述的系统,其特征在于,
所述丢帧/量化控制手段进一步根据预定时间内已发送的图像帧的平均发生信息量和平均通过量,算出平均延时,将该算出的平均延时作为最大容许延时。
44.如权利要求42所述的图像传送系统,其特征在于,所述传送控制手段根据算出平均通过量时,所述比特数的变动,改变求平均时间。
45.如权利要求42所述图像传送系统,其特征在于,使算出所述平均通过量用的预定时间大于300毫秒。
46.一种将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
所述图像接收装置在预定时间内对正确接收的数据比特计数,由该比特数算出平均通过量发送至图像编码装置,
所述图像编码装置备有:由图像信号构成图像帧输出的图像输入手段、对在所述图像输入手段构成的图像帧加以编码的编码手段、存储在所述编码手段编码的图像帧的图像数据的发送缓冲器、配置在所述编码手段和所述发送缓冲器之间,暂时存储所述编码手段编码的图像帧的图像数据的暂存缓冲器、判定是否在所述发送缓冲器中存储所述暂存缓冲器内的图像数据,同时确定随后编码的图像帧的量化值的丢帧/量化控制手段、以预定传送速率发送所述发送缓冲器内的图像数据,同时向所述丢帧/量化控制手段输出自所述图像接收装置接收的所述平均通过量的传送控制手段,
所述丢帧/量化控制手段,根据预先设定的最大允许延迟时间和所述平均通过量,算出最大允许延迟时间内可发送的信息量,
若存储在所述暂存缓冲器内的图像帧的信息量比最大允许延迟时间内可发送的信息量大,则进行不在所述发送缓冲器中存储所述暂存缓冲器内的图像数据的丢帧控制,同时设定比存入所述暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值并通知编码手段。
47.一种将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
所述图像接收装置在预定时间内对正确接收的数据比特计数,并把该比特数发送至所述图像编码装置,
所述图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对在所述图像输入手段构成的图像帧加以编码的编码手段、存储在所述编码手段编码的图像帧的图像数据的发送缓冲器、确定编码时采用的量化值的量化控制手段、以预定传送速率发送所述发送缓冲器内的图像数据,同时由所述图像接收装置接收的比特数算出平均通过量并输出至所述量化控制手段的传送控制手段、存储用于判断被摄体运动大或小的运动阈值的运动阈值存储手段、存储视觉上尚无不适的传送延迟极限,即最大允许延迟时间的最大允许延迟时间存储手段,
所述量化控制手段在所述编码手段编码结果的每帧发生信息量比运动阈值大时,求超过运动阈值的图像帧编码时所用的量化值与预测发生信息量的量化值的比即量化比,并由超过运动阈值的图像帧的发生信息量和量化比,预测量化值变动时发生的信息量,由该预测的发生信息量、所述平均通过量、所述传送速率和所述最大允许延迟时间,确定所述最大允许延迟时间内可发送的量化值并通知所述编码手段,
所述编码手段用由所述量化控制手段通知的量化值,编码图像帧。
48.如权利要求47所述的图像传送系统,其特征在于,所述传送控制手段根据算出所述平均通过量时所述比特数的变动,改变求平均时间。
49.如权利要求47所述的图像传送系统,其特征在于,使算出所述平均通过量用的预定时间为300毫秒以上。
50.一种将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
所述图像接收装置在预定时间内对正确接收的数据比特计数,由该比特数算出平均通过量并发送到所述图像编码装置,
所述图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对所述图像输入手段构成的图像帧加以编码的编码手段、储存编码手段已编码图像帧的图像数据的发送缓冲器、确定编码时使用的量化值的量化控制手段、以预定的传送速率发送所述发送缓冲器内的图像数据,同时把由所述图像接收装置接收的所述平均通过量输出至所述量化控制手段的传送控制手段,存储用于判断被摄体运动大或小的运动阈值的运动阈值存储手段、存储视觉上尚无不适的传送延迟极限,即最大允许延迟时间的最大允许延迟时间存储手段,
所述量化控制手段在所述编码手段编码结果的每帧发生信息量大于运动阈值时,求超过所述运动阈值的图像帧编码时所用的量化值与预测期望发生信息量的量化值的比即量化比,并由超过所述运动阈值的图像帧的发生信息量和所述量化比,预测量化值变动时发生的信息量,由该预测的发生信息量、所述平均通过量、所述传送速率和最大允许延迟时间,确定在所述最大允许延迟时间内可发送的量化值并通知所述编码手段,
所述编码手段用由所述量化控制手段通知的量化值,编码图像帧。
51.一种将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
所述图像接收装置对在预定时间内正确接收的数据比特计数,把该比特数发送至所述图像编码装置,
所述图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对所述图像输入手段中构成的图像帧加以编码的编码手段、存储所述编码手段已编码图像帧的图像数据的发送缓冲器、确定编码时所用的量化值的量化控制手段、以预定传送率发送所述发送缓冲器内的图像数据,同时由自所述图像接收装置接收的所述比特数算出平均通过量并传送至所述量化控制手段的传送控制手段、存储用于判断被摄体运动大或小的运动阈值的运动阈值存储手段,还具备存储理想曲线的理想曲线存储手段,该理想曲线权衡适应每单位时间能发送的帧的比例即编码率的丢帧所引起时间上的畸变和量化值所引起空间上的畸变,可预先确定工作点,
所述量化控制手段在编码手段编码结果的每帧发生信息量比运动阈值大时,求超过所述运动阈值的图像帧编码时所用的量化值与期望预测发生信息量时的量化值的比即量化比,并由超过所述运动阈值的图像帧的发生信息量和所述量化比,预测量化值变化时发生的信息量,由该预测的发生信息量、所述传送帧和所述平均通过量,算出编码率,由该算出的编码率和所述理想曲线确定量化值并通知所述编码手段,
所述编码手段以所述量化控制手段通知的量化值,编码图像帧。
52.如权利要求51所述的图像传送系统,其特征在于,所述传送控制手段根据算出所述平均通过量时所述比特数的变动,改变求平均的时间。
53.如权利要求51所述的图像传送系统,其特征在于,使算出所述平均通过量的预定时间为300毫秒以上。
54.一种将对活动图像编码后发送的图像编码装置和对接收的图像数据施加预定处理的图像接收装置连接成可通信的图像传送系统,其特征在于:
所述图像接收装置在预定时间内对正确接收的数据比特计数,由该比特数算出平均通过量并发送至所述图像编码装置,
所述图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对图像输入手段中构成的图像帧加以编码的编码手段、存储在所述编码手段已编码图像帧的图像数据的发送缓冲器、确定编码时所用的量化值的量化控制手段、以预定传送速率发送所述发送缓冲器内的图像数据,并把由所述图像接收装置接收的所述平均通过量输出至所述量化控制手段的传送控制手段、存储用于判断被摄体的运动大或小的运动阈值的运动阈值存储手段,还备有存储理想曲线的理想曲线存储手段,该理想曲线权衡适应每单位时间能发送的帧的比例即编码率的丢帧所引起时间上的畸变和量化值所引起空间上的畸变,可预先确定工作点,
所述量化控制手段在所述编码手段编码所得的每帧发生信息量比所述运动阈值大时,求超过所述运动阈值的图像帧编码时所用的量化值和期望预测发生信息量的量化值的比即量化比,并由超过所述运动阈值的图像帧的发生信息量和所述量化比,预测量化值变化时发生的信息量,由该预测的发生信息量、所述传送速率和所述平均通过量,算出所述编码率,由该算出的编码率和所述理想曲线,确定量化值并通知所述编码手段,
所述编码手段以所述量化控制手段通知的量化值,编码图像帧。
55.一种将对活动图像编码后发送的图像编码装置与对接收的图像数据施加预定处理的图像接收装置,经一个以上的中继站连接成可通信的图像传送系统,其特征在于:
所述图像接收装置一旦检出接收数据错误,则进行与邻接中继站间的自动重发,
所述中继站一旦检出接收数据错误则进行与邻接中继站间的自动重发,同时将表示出现重发的重发出现信息发送至所述图像编码装置,
所述图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对所述图像输入手段中构成的图像帧加以编码的编码手段、存储所述编码手段已编码图像数据的发送缓冲器、由运动再现性和图像质量两方面来确定最佳量化值的第1量化控制手段、根据通信状态控制量化级宽度的第2量化手段、以预定传送速率发送所述发送缓冲器内的图像数据,且当与邻接的中继站间产生通信错误时,与邻接的中继站间进行自动重发,在进行自动重发送时或自所述图像接收装置接收重发出现信息时,把表示出现重发的出错信息通知所述第2量化手段的传送控制手段,
所述第2量化控制手段一旦自所述传送控制手段收到出错信息通知,即设定比与由所述第1量化控制手段所定量化值相应的量化级宽度大的量化级宽度的量化值,并通知所述编码手段,若在预定时间没从所述传送控制手段接收所述出错通知,则将所述第1量化控制手段确定的量化值接原样通知编码手段,
所述编码手段以所述第2量化控制手段通知的量化值,编码随后的编码图像帧。
56.一种将对活动图像编码后发送的图像编码装置与对接收的图像数据施加预定处理的图像接收装置,经一个以上中继站连接成可通信的图像传送系统,其特征在于:
所述图像接收装置一旦检出接收数据错误,即与邻接中继站间进行自动重发,
所述中继站一旦检出接收数据错误,即与邻接中继站间进行自动重发,且把表示出现重发的重发出现信息发送至所述图像编码装置,
所述图像编码装置具备:由图像信号构成图像帧输出的图像输入手段、对所述图像输入手段构成的图像帧加以编码的编码手段、存储所述编码手段已编码图像帧的图像数据的发送缓冲器、以预定传送速率发送所述发送缓冲器内的图像数据的传送控制手段、配置在所述编码手段和发送缓冲器之间,暂时存储所述编码手段已编码图像帧的图像数据的暂存缓冲器、判定是否在所述发送缓冲器内存储所述暂存缓冲器内的图像数据并确定随后的图像帧编码量化值的丢帧/量化控制手段,
所述丢帧/量化控制手段进行如下阈值控制,即一旦自传送控制手段接收出错信息通知,就将用于确定是否在所述发送缓冲器中存储所述暂存缓冲器内的图像数据丢帧阈值从预先设定的值减小,若经预定时间没有自传送控制手段接收到出错信息通知,则所述丢帧阈值返回预先设定的值,在存于所述暂存缓冲器的图像帧的信息量比所述丢帧阈值大时,进行所述暂存缓冲器内的图像数据不存储在所述发送缓冲器内的丢帧控制,同时设定比存于所述暂存缓冲器内的图像帧编码时所用量化级宽度大的量化级宽度的量化值并通知所述编码手段,
所述编码手段以由所述丢帧/量化控制手段通知的量化值编码随后的编码图像帧。
57.一种将活动图像编码传送的图像编码装置,其特征在于,该装置具备:在应编码的图像区域中,分别以第1量化精度和第2量化精度对优先区域和非优先区域进行编码,产生图像编码比特串的图像编码手段、根据由图像编码手段编码的图像的发生信息量,确定优先区域和非优先区域并加以变换的优先区域/非优先区域变换手段,传送图像编码比特串的传送控制手段。
58.一种在图像编码装置中,用于控制图像帧编码时的量化操作的量化控制方法,该图像编码装置当将活动图像高效压缩编码并经低比特率通信线路传送时,权衡适应每单位时间能发送的帧的比例即编码率的丢帧所引起时间上的畸变和量化精度所引起空间上的畸变,预先确定工作点;其特征在于,该方法包括:
根据以某一量化精度编码全部图像帧所得的编码率和与该量化精度相应的动作点的编码率的大小关系,确定随后的编码量化精度的第1操作方式,
把应编码的图像区域分为优先区域和非优先区域,以精度相对高的第1量化精度编码优先区域,以精度相对低的第2量化精度编码非优先区域,根据以第1和第2量化精度编码所得的编码率和与该量化精度相应的动作点的编码率的关系,确定随后的编码量化精度和优先区域及非优先区域大小的第2操作方式,
在所述第1操作方式所确定的量化精度比预先设定的量化精度的允许下限值低时,操作方式从所述第1操作方式转至所述第2操作方式,
在所述第2操作方式所确定的优先区域大小为最大时,操作方式从所述第2操作方式转为所述第1操作方式。
59.如权利要求58所述的量化控制方法,其特征在于,与各量化精度对应的编码率各自确定为上限值与下限值之间区域内的点的集合,
在所述第1和第2操作方式中,用某一量化精度编码所得的编码率超过上限值时,提高随后编码时的量化精度;用某一量化精度编码所得编码率小于下限值时,降低随后编码时的量化精度;用某一量化精度编码所得编码率位于上限值与下限值之间区域时,不变换随后的编码量化精度。
60.如权利要求59所述的量化控制方法,其特征在于,在所述第1和第2操作方式变换时,量化精度的最低范围选择为空间畸变的差别超过视觉可能识别的值。
61.如权利要求3所述的图像编码装置,其特征在于,所述传送控制手段根据算出平均通知量时是否产生猝发错误,改变求平均时间。
62.如权利要求3所述的图像编码装置,其特征在于,使算出平均通过量用的预定时间大于300毫秒。
63.如权利要求7所述的图像编码装置,其特征在于,所述传送控制手段根据算出平均通过量时是否产生猝发错误,改变平均时间。
64.如权利要求7所述的图像编码装置,其特征在于,使算出平均通过量用的预定时间大于300毫秒。
65.如权利要求46所述的图像传送系统,其特征在于,所述丢帧/量化控制手段进一步根据预定时间内发送的图像帧的平均发生信息量和所述平均通过量,算出平均延迟时间,该算出的平均延迟时间用作最大允许延迟时间。
66.如权利要求46所述的图像传送系统,其特征在于,所述图像接收装置根据算出所述平均通过量时,正确接收的数据比特数的变动,改变求平均的时间。
67.如权利要求46所述的图像传送系统,其特征在于,使算出平均通过量用的预定时间大于300毫秒。
68.如权利要求50所述的图像传送系统,其特征在于,所述图像接收装置根据算出所述平均通过量时,正确接收的数据比特数的变动,改变求平均的时间。
69.如权利要求50所述的图像传送系统,其特征在于,使算出平均通过量用的预定时间大于300毫秒。
70.如权利要求54所述的图像传送系统,其特征在于,所述图像接收装置根据算出平均通过量时,正确接收的数据比特数的变动,改变求平均时间。
71.如权利要求54所述的图像传送系统,其特征在于,使算出所述平均通过量用的预定时间大于300毫秒。
72.如权利要求10所述的图像编码装置,其特征在于,所述量化控制手段在算出所述平均通过量时,根据是否发生猝发错误而改变平均时间。
73.如权利要求11所述的图像编码装置,其特征在于,所述量化控制手段,在算出平均通过量时,根据是否产生猝发错误而改变平均时间。
74.如权利要求10所述的图像编码装置,其特征在于,使用于算出平均通过量的预定的一定时间为300毫秒以上。
75.如权利要求11所述的图像编码装置,其特征在于,使用于算出平均通过量的预定的一定时间为300毫秒以上。
76.如权利要求4所述的图像编码装置,其特征在于,所述传送控制手段,在算出平均通过量时,根据是否发生猝发错误,使平均时间可变。
77.如权利要求4所述的图像编码装置,其特征在于,使用于算出平均通过量的预定的一定时间为300毫秒以上。
78.如权利要求8所述的图像编码装置,其特征在于,所述传送控制手段,在算出所述平均通过量时,根据是否产生猝发错误,使平均时间可变。
79.如权利要求8所述的图像编码装置,其特征在于,使用于算出所述平均通过量的所述预定的一定时间为300毫秒以上。
80.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,根据单位时间t自暂时存储已编码数据的所述发送缓冲器输出的数据量,算出每一定时间的平均通过量。
81.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一中所述的图像编码装置,其特征在于,每经过所述一定时间,把单位时间t输出的数据量累加所述一定时间而得到的每所述一定时间的输出数据量除以所述一定时间,由此每经过所述一定时间,算出每所述一定时间的平均通过量。
82.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一中所述的图像编码装置,其特征在于,每经过单位时间t,把累加所述一定时间前至该时刻的所述单位时间t输出的数据量而得到的每所述一定时间输出的数据量除以所述一定时间,由此,每经过所述单位时间t,算出每所述一定时间的平均通过量。
83.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,根据自暂时存储已编码数据的所述发送缓冲器,在与被编码图像的图像帧周期相同的单位时间t中输出的数据量,算出所述每一定时间的平均通过量。
84.如权利要求3、4、7至13、15至17、19至21、61至64、72至79中任一所述的图像编码装置,其特征在于,每经所述一定时间,把与被编码图像的图像帧周期相同的单位时间t内输出的数据量累加所述一定时间而得到的每所述一定时间输出的数据量除以所述一定时间,由此,每经所述一定时间算出每一定时间的平均通过量。
85.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,每经过与被编码图像帧周期相同的单位时间t,把自所述一定时间前至该时刻的所述单位时间t输出的数据量累加而得到的每所述一定时间输出的数据量除以所述一定时间,由此,每经所述单位时间t,算出每所述一定时间的平均通过量。
86.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,根据自暂时存储已编码数据的所述发送缓冲器,在与传送帧的1帧时间相同的单位时间t中输出的数据量,算出每所述一定时间的平均通过量。
87.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,每经过所述一定时间,把与传送帧的1帧时间相同的单位时间t内输出的数据量累加所述一定时间而得到的每所述一定时间输出数据量除以所述一定时间,由此,每经所述一定时间算出每所述一定时间的平均通过量。
88.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,每经过与传送帧的1帧时间相同的单位时间t,把自所述一定时间前至该时刻的所述单位时间t内输出的数据量累加所得的每所述一定时间输出数据量除以所述一定时间,由此,每经所述单位时间t算出每所述一定时间的平均通过量。
89.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,根据自暂时存储已编码数据的所述发送缓冲器,在与被编码图像的图像帧周期与传送帧的1帧时间的最小公倍数相同的单位时间t输出的数据量,算出每所述一定时间的平均通过量。
90.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一所述的图像编码装置,其特征在于,每经所述一定时间,把与被编码图像的图像帧周期和传送帧的1帧时间的最小公倍数相同的单位时间t输出的数据量累加所述一定时间所得的每所述一定时间输出的数据量除以所述一定时间,由此,每经一定时间算出每所述一定时间的平均通过量。
91.如权利要求3、4、7至13、15至17、19至21、61至64、72至79任一中所述的图像编码装置,其特征在于,每经过为被编码图像的图像帧周期和传送帧的1帧时间的最小公倍数的单位时间t,把自所述一定时间前至该时刻的所述单位时间t输出的数据量累加而得的每所述一定时间输出的数据量,除以所述一定时间,由此,每经所述单位时间t算出每所述一定时间的平均通过量。
92.如权利要求39所述的图像传送系统,其特征在于,所述图像接收装置,在算出平均通过量时,根据正确接收的数据的比特数的变动,使平均时间可变。
93.如权利要求39所述的图像传送系统,其特征在于,使用于算出所述平均通过量的预定一定时间为300毫秒以上。
94.一种平均通过量算出方法,其特征在于,根据自暂时存储已编码数据的发送缓冲器在单位时间t输出的数据量,算出每一定时间T的平均通过量。
95.如权利要求94所述的平均通过量算出方法,其特征在于,自所述发送缓冲器检出所述单位时间t输出的数据量比预定的阈值小的周期并使所述周期为一定时间T。
96.如权利要求94所述的平均通过量算出方法,其特征在于,每经过所述一定时间T,把所述单位时间t输出的数据量累加所述一定时间T而得的每所述一定时间T输出数据量,除以所述一定时间T,由此,每经所述一定时间T算出每所述一定时间T的平均通过量。
97.如权利要求96所述的平均通过量算出方法,其特征在于,自所述发送缓冲器检出所述单位时间t输出的数据量比预定阈值小的周期并使所述周期为一定时间T。
98.如权利要求94所述的平均通过量算出方法,其特征在于,每经所述单位时间t,把自所述一定时间T前至该时间点的所述单位时间t输出的数据量累加得到的每所述一定时间输出数据量除以所述一定时间T,由此,每经所述单位时间T,算出每所述一定时间T的平均通过量。
99.如权利要求98所述的平均通过量算出方法,其特征在于,自所述发送缓冲器检出每所述单位时间t输出的数据量比预定阈值小的周期,使所述周期为一定时间T。
100.如权利要求94至98中任一所述的平均通过量算出方法,其特征在于,使所述单位时间t为被编码图像的图像帧周期。
101.如权利要求94至98中任一所述的平均通过量算出方法,其特征在于,使所述单位时间t为传送帧的1帧时间。
102.如权利要求94至98中任一所述的平均通过量算出方法,其特征在于,使所述单位时间t为被编码图像的图像帧周期与传送帧的1帧时间的最小公倍数。
103.如权利要求12、16、20、61、63、72、73、76、78任一所述的图像编码装置,其特征在于,自暂时存储已编码数据的所述缓冲器检出单位时间t输出的数据量比预定阈值小的周期,把该周期用作算出平均通过量时的所述平均时间。
104.如权利要求12、16、20、61、63、72、73、76、78的任一所述的图像编码装置,其特征在于,从暂时存储编码数据的发送缓冲存储器检测出在与传送帧1帧的时间相同的单位时间t输出的数据量变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的所述平均时间。
105.如权利要求12、16、20、61、63、72、73、76、78的任一所述的图像编码装置,其特征在于,从暂时存储编码数据的发送缓冲存储器检测出在与编码图像的图像帧周期相同的单位时间t输出的数据量变得比预定的阈值还小的周期,将所述周期作为计算平均通过量时使用的所述平均时间。
106.如权利要求12、16、20、61、63、72、73、76、78中的任一所述的图像编码装置,其特征在于,从暂时存储编码数据的发送缓冲存储器检测出与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t输出的数据量变得比预定的阈值还小的周期,将所述周期作为计算平均通过量时使用的所述平均时间。
107.如权利要求39所述的图像传送系统,其特征在于,所述图像接收装置在计算所述平均通过量时,可随着正确接收的数据的比特数的变动而改变平均时间。
108.如权利要求39所述的图像传送系统,其特征在于,用于计算所述平均通过量的所述预定的一定时间定为300毫秒以上。
109.如权利要求36至38、42至45、47至49、51至53中的任一所述的图像传送系统,其特征在于,每经所述一定时间,将预定的单位时间t中能够无误地接收的比特数累加所述一定时间得到、每所述一定时间能够无误地接收的比特数,发送到图像编码装置。
110.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,每经所述一定时间,将预定的单位时间t中能够无误地接收的比特数在所述一定时间内的累加得到的、所述每一定时间能够无误地接收的比特数除以一定时间,以此将所述每一定时间的平均通过量每经所述一定时间向图像编码装置发送。
111.如权利要求36至38、42至45、47至49、51至53中的任一所述的图像传送系统,其特征在于,每经过预定时间t,将从所述一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数每经所述单位时间t向图像编码装置发送。
112.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,每经过预定的单位时间t,将从所述一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的、所述每一定时间能够无误地接收的比特数除以一定时间,以此将所述每一定时间的平均通过量每经单位时间t向图像编码装置发送。
113.如权利要求36至38、42至45、47至49、51至53中的任一所述的状态图像传送系统,其特征在于,所述图像接收装置还具备与图像编码装置相同的、将图像编码后进行传送的功能,每经所述一定时间,将与编码图像的图像帧周期相同的单位时间t中能够无误地接收的比特数在一定的时间里累加得到的、所述每一定时间能够无误地接收的比特数每经一定时间向图像编码装置发送。
114.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经所述一定的时间,将与编码图像的图像帧周期相同的单位时间t中能够无误地接收的比特数在所述一定时间里累加得到的、每所述一定时间能够无误地接收的比特数除以所述一定时间,以此,每经所述一定时间,将所述每一定时间的平均通过量向图像编码装置发送。
115.如权利要求36至38、42至45、47至49、51至53中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与图像编码装置相同的、将图像编码后进行传送的功能,每经过与编码图像的图像帧周期相同的单位时间t,将从所述一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数,每经单位时间向图像编码装置发送。
116.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与图像编码装置相同的、将图像编码后传送的功能,每经与编码图像的图像帧周期相同的单位时间t,将从所述一定时间前到该时刻的所述单位时间t里能够无误地接收的比特数累加得到的、所述每一定时间能够无误地接收的比特数除以所述一定时间,以此将所述每一定时间的平均通过量每经所述单位时间t向图像编码装置发送。
117.如权利要求36至38、42至45、47至49、51至53中的任一所述的图像传送系统,其特征在于,每经所述一定时间,将与传送帧1帧的时间相同的单位时间t中能够无误地接收的比特数在一定时间内累加得到的、所述每一定时间能够无误地接收的比特数,每经所述一定时间向图像编码装置发送。
118.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,每经所述一定时间,将与传送帧1帧的时间相同的单位时间t里能够无误地接收的比特数在所述一定时间内累加得到的、所述每一定时间能够无误地接收的比特数除以所述一定时间,以此将所述每一定时间的平均通过量每经所述一定时间向图像编码装置发送。
119.如权利要求36至38、42至45、47至49、51至53中的任一所述的图像传送系统,其特征在于,每经与传送帧1帧的时间相同的单位时间t,将从所述一定时间前到该时刻的单位时间t中能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数每经所述单位时间t向图像编码装置发送。
120.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,每经过与传送帧1帧的时间相同的单位时间t,从一所述定时间前到该时刻的单位时间t里能够无误地接收的比特数累加得到的、所述每一定时间能够无误地接收的比特数除以所述一定时间,以此将所述每一定时间的平均通过量每经所述单位时间t向图像编码装置发送。
121.如权利要求36至38、42至45、47至49、51至53中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与所述图像编码装置相同的、将图像编码后传送的功能,每经所述一定时间,将与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t里能够无误地接收的比特数在一定时间里累加得到的、所述每一定时间能够无误地接收的比特数每经所述一定时间向图像编码装置发送。
122.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与所述图像编码装置相同的、将图像编码后传送的功能,每经所述一定时间,将与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t里能够无误地接收的比特数在一定时间里累加得到的、所述每一定时间能够无误地接收的比特数除以所述一定时间,以此将所述每一定时间的平均通过量每经所述一定时间向图像编码装置发送。
123.如权利要求36至38、42至45、47至49、51至53中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与所述图像编码装置相同的、将图像编码后传送的功能,每经过与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t,将从所述一定时间前到该时刻的单位时间t里能够无误地接收的比特数累加得到的、每一定时间能够无误地接收的比特数每经所述单位时间t向图像编码装置发送。
124.如权利要求39、46、50、54、65至71、107、108中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与所述图像编码装置相同的、将图像编码后传送的功能,每经过与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t,从所述一定时间前到该时刻的单位时间t里能够无误地接收的比特数累加得到的、所述每一定时间能够无误地接收的比特数除以一定时间,以此将所述每一定时间的平均通过量每经所述时间t向图像编码装置发送。
125.一种在把将数据编码发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中计算平均通过量的方法,其特征在于,所述接收装置每经过预定的一定时间T,将预定的单位时间t里能够无误地接收的比特数在所述一定时间T里累加得到的所述每一定时间T能够无误地接收的比特数每经过所述一定时间T发送到所述编码装置,所述编码装置根据从所述接收装置接收的比特数计算出所述每一定时间T的平均通过量。
126.一种在把将数据编码传发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中计算平均通过量的方法,其特征在于,所述接收装置每经过预定的一定时间T,将预定的单位时间t里能够无误地接收的比特数在所述一定时间T里累加得到的所述每一定时间T能够无误地接收的比特数除以所述一定时间T,以此,每经所述一定时间T将所述每一定时间T的平均通过量计算出来。
127.一种在把将数据编码发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中计算平均通过量的方法,其特征在于,所述接收装置每经过预定的单位时间t,将从预定的一定时间T前到该时刻的单位时间t里能够无误地接收的比特数累加得到的、所述每一定时间T能够无误地接收的比特数每经单位时间t向所述编码装置发送,所述编码装置根据所述接收装置接收的比特数算出每所述一定时间T的平均通过量。
128.一种在把将进行数据编码发送的编码装置和对接收的数据进行预定的处理的接收装置加以连接并使其能够通信的数据传送系统中计算平均通过量的方法,其特征在于,所述接收装置每经过预定的单位时间t,将从预定的一定时间T前到该时刻的单位时间t里能够无误地接收的比特数累加得到的、所述每一定时间T能够无误地接收的比特数除以所述一定时间T,以此,每经所述单位时间t计算出每所述一定时间T的平均通过量。
129.如权利要求125至128中的任一所述的计算平均通过量的方法,其特征在于,以所述单位时间t作为传送帧1帧的时间。
130.如权利要求125至128中的任一所述的计算平均通过量的方法,其特征在于,所述接收装置还具备与编码装置相同的、将数据编码后传送的功能,以所述单位时间t作为编码数据的数据帧周期。
131.如权利要求125至128中的任一所述的计算平均通过量的方法,其特征在于,所述接收装置还具备与所述编码装置相同的、将数据编码后传送的功能,以单位时间t作为编码数据的数据帧周期和传送帧1帧的时间的最小公倍数。
132.如权利要求39所述的图像传送系统,其特征在于,所述图像接收装置在计算所述平均通过量时可以根据猝发错误有否发生而改变平均时间。
133.如权利要求46所述的图像传送系统,其特征在于,所述图像接收装置在计算所述平均通过量时可以根据猝发错误有否发生而改变平均时间。
134.如权利要求50所述图像传送系统,其特征在于,所述图像接收装置在计算所述平均通过量时可以根据猝发错误有否发生而改变平均时间。
135.如权利要求54所述的图像传送系统,其特征在于,所述图像接收装置在计算所述平均通过量时可以根据猝发错误有否发生而改变平均时间。
136.如权利要求132至135中的任一所述的图像传送系统,其特征在于,检测在预定的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的所述平均时间。
137.如权利要求132至135中的任一所述的图像传送系统,其特征在于,检测在与传送帧1帧的时间相同的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的所述平均时间。
138.如权利要求132至135中的任一向所述的图像传送系统,其特征在于,所述图像接收装置还具备与所述图像编码装置相同的、将图像编码后传送的功能,检测在与编码图像的图像帧周期相同的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的所述平均时间。
139.如权利要求132至135中的任一所述的图像传送系统,其特征在于,所述图像接收装置还具备与所述图像编码装置相同的、将图像编码后传送的功能,检测在与编码图像的图像帧周期和传送帧1帧的时间的最小公倍数相同的单位时间t里能够无误地接收的比特数变得比预定的阈值还小的周期,将该周期作为计算平均通过量时使用的所述平均时间。
CNB961099720A 1995-08-02 1996-08-02 图像编码装置和使用该编码装置的图像传送系统 Expired - Fee Related CN1176551C (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP197734/1995 1995-08-02
JP19773495 1995-08-02
JP197734/95 1995-08-02
JP28088695 1995-10-27
JP280886/95 1995-10-27
JP280886/1995 1995-10-27
JP116764/96 1996-05-10
JP11676496 1996-05-10
JP116764/1996 1996-05-10

Publications (2)

Publication Number Publication Date
CN1152242A true CN1152242A (zh) 1997-06-18
CN1176551C CN1176551C (zh) 2004-11-17

Family

ID=27313225

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB961099720A Expired - Fee Related CN1176551C (zh) 1995-08-02 1996-08-02 图像编码装置和使用该编码装置的图像传送系统

Country Status (5)

Country Link
US (1) US6356309B1 (zh)
EP (2) EP0757490A3 (zh)
KR (1) KR100255229B1 (zh)
CN (1) CN1176551C (zh)
SG (2) SG74565A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100515068C (zh) * 2006-05-23 2009-07-15 中国科学院声学研究所 视频播放中的静态丢帧方法
CN102026009A (zh) * 2009-09-16 2011-04-20 美国博通公司 用于视频编码的方法和系统
CN102244773A (zh) * 2011-06-21 2011-11-16 浙江万里学院 一种基于窄变带宽网络的实时视频流传输方法
US8682112B2 (en) 2006-03-14 2014-03-25 Canon Kabushiki Kaisha Storage apparatus and method for processing the same
CN101411198B (zh) * 2006-04-04 2015-07-01 高通股份有限公司 接收器及解码视频帧的方法
CN106412584A (zh) * 2015-07-27 2017-02-15 三星显示有限公司 传输显示数据的系统和方法

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7707600B1 (en) 1998-08-21 2010-04-27 Intel Corporation Confirming video transmissions
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
KR100418875B1 (ko) * 1998-10-10 2004-04-17 엘지전자 주식회사 영상데이터재전송방법
JP3907875B2 (ja) 1998-10-23 2007-04-18 パイオニア株式会社 符号化レート制御装置及び情報符号化装置
US7143434B1 (en) * 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
WO2000040031A1 (en) * 1998-12-29 2000-07-06 Koninklijke Philips Electronics N.V. Method and device for encoding a video signal
JP3324556B2 (ja) * 1999-04-13 2002-09-17 日本電気株式会社 映像記録方式
JP3403683B2 (ja) * 1999-11-26 2003-05-06 沖電気工業株式会社 画像符号化装置および方法
US7254120B2 (en) * 1999-12-09 2007-08-07 Broadcom Corporation Data rate controller
EP1146745B1 (en) * 2000-03-08 2019-09-04 Mitsubishi Denki Kabushiki Kaisha Coding device and coding method
US8127326B2 (en) * 2000-11-14 2012-02-28 Claussen Paul J Proximity detection using wireless connectivity in a communications system
WO2002047388A2 (en) 2000-11-14 2002-06-13 Scientific-Atlanta, Inc. Networked subscriber television distribution
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
US7412004B2 (en) * 2001-06-29 2008-08-12 Agere Systems Inc. Method and apparatus for controlling buffer overflow in a communication system
US7230975B2 (en) * 2001-08-07 2007-06-12 Qualcomm Incorporated Adaptive pilot filter for a wireless communication system
WO2003041413A1 (en) * 2001-11-05 2003-05-15 Pa Consulting Services Limited Error control to video encoder
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
US20030192047A1 (en) * 2002-03-22 2003-10-09 Gaul Michael A. Exporting data from a digital home communication terminal to a client device
CN100366077C (zh) * 2002-04-26 2008-01-30 纽约市哥伦比亚大学托管会 基于实用函数描述的最优视频解码的方法和系统
AU2003231102A1 (en) * 2002-04-26 2003-11-10 Electronics And Telecommunications Research Institute Method and system for optimal video transcoding based on utility function descriptors
KR20040007818A (ko) * 2002-07-11 2004-01-28 삼성전자주식회사 동영상 부호화를 위한 dct연산량 조절 방법 및 그 장치
US7516470B2 (en) 2002-08-02 2009-04-07 Cisco Technology, Inc. Locally-updated interactive program guide
US7908625B2 (en) * 2002-10-02 2011-03-15 Robertson Neil C Networked multimedia system
US20040068752A1 (en) * 2002-10-02 2004-04-08 Parker Leslie T. Systems and methods for providing television signals to multiple televisions located at a customer premises
US20040068754A1 (en) * 2002-10-02 2004-04-08 Russ Samuel H. Expandable tuning capability
US7360235B2 (en) * 2002-10-04 2008-04-15 Scientific-Atlanta, Inc. Systems and methods for operating a peripheral record/playback device in a networked multimedia system
US20040133911A1 (en) * 2002-10-04 2004-07-08 Russ Samuel H. Subscriber network in a satellite system
US8046806B2 (en) * 2002-10-04 2011-10-25 Wall William E Multiroom point of deployment module
US20040068739A1 (en) * 2002-10-04 2004-04-08 Russ Samuel H. Networked multimedia system having a multi-room interactive network guide
US20050155052A1 (en) * 2002-10-04 2005-07-14 Barbara Ostrowska Parental control for a networked multiroom system
US8094640B2 (en) * 2003-01-15 2012-01-10 Robertson Neil C Full duplex wideband communications system for a local coaxial network
JP4168269B2 (ja) * 2003-08-01 2008-10-22 日本電気株式会社 携帯電話端末および携帯電話端末の同期制御方法
KR100505699B1 (ko) * 2003-08-12 2005-08-03 삼성전자주식회사 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법
US7177474B2 (en) * 2003-11-10 2007-02-13 Mobixell Networks Inc. Video to animation conversion with file size constraint
DE102004043683B4 (de) * 2004-09-09 2008-04-17 Infineon Technologies Ag Verfahren und Vorrichtung zur Datenübertragung in einem Paket basierten Übertragungsnetz sowie entsprechend ausgestaltetes Netzelement
US20060117354A1 (en) * 2004-11-29 2006-06-01 Mark Schutte Consolidating video-on-demand (VOD) services with multi-room personal video recording (MR-PVR) services
WO2006096612A2 (en) * 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US20060224745A1 (en) * 2005-04-01 2006-10-05 Sharpe Randall B Error recovery mechanism and network element comprising same
US20060225105A1 (en) * 2005-04-05 2006-10-05 Scientific-Atlanta, Inc. Networked multi-room system ad insertion
US7876998B2 (en) 2005-10-05 2011-01-25 Wall William E DVD playback over multi-room by copying to HDD
US8355452B2 (en) * 2006-02-27 2013-01-15 Sharp Laboratories Of America, Inc. Selective frame dropping for initial buffer delay reduction
US8875217B2 (en) * 2006-11-06 2014-10-28 Panasonic Corporation Receiver
KR101418950B1 (ko) 2006-12-12 2014-07-17 밴트릭스 코오퍼레이션 비디오 코딩 표준에 대한 개선된 비디오율 제어
CN101637025B (zh) 2007-03-14 2016-03-23 日本电信电话株式会社 量化控制方法和量化控制装置
BRPI0808567A2 (pt) 2007-03-14 2014-09-02 Nippon Telegraph & Telephone Método e aparelho de pesquisa de vetor de movimento, programa para o mesmo, e meio de armazenamento, que armazena o programa
CN101682772B (zh) 2007-03-14 2012-03-21 日本电信电话株式会社 码量推定方法、装置、其程序和记录介质
JP5008718B2 (ja) 2007-03-14 2012-08-22 日本電信電話株式会社 符号化ビットレート制御方法及び装置、そのプログラム並びにプログラムを記録した記録媒体
US7465241B2 (en) * 2007-03-23 2008-12-16 Acushnet Company Functionalized, crosslinked, rubber nanoparticles for use in golf ball castable thermoset layers
CA2688249C (en) * 2007-06-19 2015-07-07 Vantrix Corporation A buffer-based rate control exploiting frame complexity, buffer level and position of intra frames in video coding
US20090052551A1 (en) * 2007-08-23 2009-02-26 Shinji Kitamura Method and apparatus for coding moving image and imaging system
US8665281B2 (en) * 2008-02-07 2014-03-04 Microsoft Corporation Buffer management for real-time streaming
WO2009126785A2 (en) * 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
JP5079594B2 (ja) * 2008-05-16 2012-11-21 株式会社ジャパンディスプレイウェスト 電気光学装置、電子機器および接触検出方法
WO2009155281A1 (en) * 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8139543B2 (en) * 2008-10-14 2012-03-20 Symbol Technologies, Inc. Coverage-hole detection and self healing
US8904459B2 (en) 2008-11-24 2014-12-02 At&T Intellectual Property I, Lp Apparatus and method for managing media content for mobile devices
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
JP5843631B2 (ja) * 2012-01-26 2016-01-13 日本電信電話株式会社 フレームレート制御方法,フレームレート制御装置およびフレームレート制御プログラム
TWI507022B (zh) * 2012-12-05 2015-11-01 Ind Tech Res Inst 多媒體串流的緩存輸出方法以及多媒體串流緩存模組
EP2830285A1 (en) * 2013-07-25 2015-01-28 Thomson Licensing Method for caching of data items in a cloud based data processing system and corresponding device
US9525892B2 (en) * 2014-05-27 2016-12-20 Nextdrive Inc. Video image distribution method
WO2015184410A1 (en) 2014-05-30 2015-12-03 Highfive Technologies, Inc. Domain trusted video network
US20150350604A1 (en) * 2014-05-30 2015-12-03 Highfive Technologies, Inc. Method and system for multiparty video conferencing
US9432556B2 (en) * 2015-01-05 2016-08-30 Qualcomm Incorporated Devices and methods for facilitating frame dropping in remote display applications
CN110622113B (zh) * 2017-05-12 2023-04-04 雷蛇(亚太)私人有限公司 提供用户输入给计算装置的指向装置和方法
US11232686B2 (en) 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring
CN113891155B (zh) * 2021-09-29 2024-04-05 百果园技术(新加坡)有限公司 视频播放档位确定方法、视频播放方法及相关装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0378383A (ja) 1989-08-22 1991-04-03 Sony Corp テレビ信号の高能率符号化装置
US5164828A (en) 1990-02-26 1992-11-17 Sony Corporation Video signal transmission and method and apparatus for coding video signal used in this
JP3109854B2 (ja) 1991-04-23 2000-11-20 キヤノン株式会社 画像符号化方法及び装置
JPH0595540A (ja) * 1991-09-30 1993-04-16 Sony Corp 動画像符号化装置
JPH05130587A (ja) 1991-10-31 1993-05-25 Nec Corp 画像符号化装置のバツフアメモリ制御回路
US5231484A (en) 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
JP3013602B2 (ja) 1992-05-29 2000-02-28 三菱電機株式会社 映像信号符号化装置
JP2871316B2 (ja) * 1992-07-10 1999-03-17 日本ビクター株式会社 動画像符号化装置
US5592225A (en) * 1993-09-30 1997-01-07 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
JPH07107482A (ja) 1993-09-30 1995-04-21 Matsushita Electric Ind Co Ltd 符号化制御方式
JPH07312753A (ja) 1994-05-18 1995-11-28 Matsushita Electric Ind Co Ltd 符号化制御方法
US5758076A (en) * 1995-07-19 1998-05-26 International Business Machines Corporation Multimedia server system having rate adjustable data retrieval based on buffer capacity
US5805228A (en) * 1996-08-09 1998-09-08 U.S. Robotics Access Corp. Video encoder/decoder system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682112B2 (en) 2006-03-14 2014-03-25 Canon Kabushiki Kaisha Storage apparatus and method for processing the same
CN101411198B (zh) * 2006-04-04 2015-07-01 高通股份有限公司 接收器及解码视频帧的方法
CN100515068C (zh) * 2006-05-23 2009-07-15 中国科学院声学研究所 视频播放中的静态丢帧方法
CN102026009A (zh) * 2009-09-16 2011-04-20 美国博通公司 用于视频编码的方法和系统
US8913503B2 (en) 2009-09-16 2014-12-16 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
CN102244773A (zh) * 2011-06-21 2011-11-16 浙江万里学院 一种基于窄变带宽网络的实时视频流传输方法
CN106412584A (zh) * 2015-07-27 2017-02-15 三星显示有限公司 传输显示数据的系统和方法
CN106412584B (zh) * 2015-07-27 2022-01-14 三星显示有限公司 传输显示数据的系统和方法

Also Published As

Publication number Publication date
EP1357758A2 (en) 2003-10-29
EP1357758A3 (en) 2004-10-27
US6356309B1 (en) 2002-03-12
EP0757490A3 (en) 1999-01-13
KR100255229B1 (ko) 2000-05-01
SG74565A1 (en) 2000-08-22
EP0757490A2 (en) 1997-02-05
CN1176551C (zh) 2004-11-17
KR19980014247A (ko) 1998-05-25
SG116529A1 (zh) 2005-11-28

Similar Documents

Publication Publication Date Title
CN1176551C (zh) 图像编码装置和使用该编码装置的图像传送系统
CN1278527C (zh) 无线局域网设备
CN1272967C (zh) 视频编码方法和装置
CN1206864C (zh) 结合率失真优化的码率控制的方法及其装置
CN1663282A (zh) 运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置
CN100338958C (zh) 运动图像编码设备
CN1297148C (zh) 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
CN1170285A (zh) 多路传输方法和系统及其中采用的声音跳动吸收方法
CN1335724A (zh) 编码装置和编码方法
CN1596547A (zh) 移动图像编码设备、移动图像解码设备、移动图像编码方法、移动图像解码方法、程序和存储程序的计算机可读记录媒介
CN1213935A (zh) 分层图像编码解码、数字广播信号记录及图像音频的解码
CN1767649A (zh) 图象解码装置和图象解码方法
CN1339922A (zh) 编码信号的分离和合并装置、方法及计算机程序产品
CN1513268A (zh) 编码方法、译码方法、编码装置、译码装置、图象处理系统、编码程序和译码程序
CN1714577A (zh) 视频传输
CN1650561A (zh) 音频数据编码转换发送方法以及编码转换接收方法、设备、系统和程序
CN1110963C (zh) 图象解码装置
CN1578468A (zh) 视频解码设备
CN1182518A (zh) 编码装置、译码装置和编码、译码方法以及图象处理装置
CN1754385A (zh) 图像数据发布控制方法及装置、系统以及程序
CN1620147A (zh) 编码信号分离装置、合成装置、分离合成系统及其方法
CN1288641A (zh) 视频信号编码方法、视频信号编码装置及程序记录媒体
CN1993891A (zh) 信号解码装置
CN1170437C (zh) 图像信号混洗装置和方法
CN1642277A (zh) 图像及信息处理的装置和方法、程序、记录媒体及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee