CN1340967A

CN1340967A - 视频信号编码方法和视频信号编码器

Info

Publication number: CN1340967A
Application number: CN01122847A
Authority: CN
Inventors: 伊木信弥; 加藤元树
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-14
Filing date: 2001-07-10
Publication date: 2002-03-20
Anticipated expiration: 2021-07-10
Also published as: US20020021753A1; US7006570B2; KR100813763B1; KR20020008016A; JP2002034039A; US7593463B2; US20050276334A1; JP4710108B2; CN1165169C

Abstract

对输入视频信号用1次通过型编码系统高效地编码。编码难度计算单元33确定输入运动图像信号的编码难度d并发送到分配的位数量计算电路/控制器34,在此根据编码难度d确定分配的编码位的数量的基准值,当将该基准值转换为分配的编码位的实际数量bx时,预先存储一定时间周期的每一单位时间分配的位数量的和部分作为虚拟缓冲器,并通过将该每一单位时间分配的编码位的数量和减去存储为虚拟缓冲器的部分再除以一定时间周期,获得分配的编码位的数量的实际基准值。

Description

视频信号编码方法和视频信号编码器

发明领域

本发明涉及在发送侧能够高效率并有效地编码数字信号的视频信号编码方法和视频信号编码器。更具体地说，本发明涉及当编码运动图像信号时，适于控制在单通路上以可变位率进行编码操作的视频信号编码方法和视频信号编码器。

背景技术

由于数字视频信号包括大量的数据，所以使用能够高压缩率编码数字视频信号的高效编码手段是必不可少的，特别是当在具有小存储容量的小记录介质上记录信号时。利用视频信号的相关性的高效编码方法已经作为满足该需求的解决方案提出。该解决方案的一种是使用MPEG系统。MPEG(运动图像编码专家组)系统是作为在ISO-IEC/JTC1/SC2/WG11中讨论的结果提出的标准系统。它是一种通过合成运动补偿预测编码和离散余弦变换(DCT)实现的混合系统。对于MPEG系统，首先通过确定视频信号的帧间差去除时基上的冗余，接着借助离散余弦变换去除空间基准上的冗余，以有效地编码视频信号。

通常，视频信号不会保持不变，并且每一图像的信息数量随时间而变化。因此公知的是，如果使用相同的编码数量，则借助可变位率编码而不借助恒定位率编码可以实现高图像质量。

例如，2次通过型可变位率编码一般用于在DVD视频上记录的视频信号。2次通过型涉及两次编码操作，包括用于确定编码数量的一次、和根据确定的编码数量可变地控制位率进行的一次。尽管该技术提供有效地开发能够使用的编码位率的数量的优点，但是伴随对于该处理操作需要大于运动图像序列的持续期两倍的时间段的缺点，所以该技术不适宜实时处理操作。

日本专利申请公开第7-311418和9-113141的说明书和附图披露了1次通过型可变位率编码方法，试图减少处理时间。

附图的图1示意性地说明通过应用该公知的1次通过型可变位率编码方法实现的、用于运动图像的编码器的结构，图2示出使用该1次通过型可变位率编码方法的处理操作的流程图。

参照示出公知运动图像编码器的方框图的图1，施加到输入端子200的输入运动图像信号被发送到编码难度计算电路201和延迟电路203。然后，编码难度计算电路201的输出发送到分配的位数量计算电路202，计算每一单位时间的分配的位数量，并且分配的位数量计算电路202的输出发送到运动图像编码电路204。运动图像编码电路204将延迟电路203的输出信号相应于分配的位数量计算电路202输出的分配的位数量编码，并从端子205输出编码信号作为编码的位流。

现在参照图2的流程图描述图1的运动图像编码器的操作。

参照图2，在步骤S401，馈送到端子200的运动图像信号输入到编码难度计算电路201，确定每一单位时间输入图像的编码难度d，典型的单位时间为0.5秒。编码难度计算单元201的计算操作通常通过编码输入运动图像、固定量化步长、以及计算预定时间周期内生成的代码的数量来执行。

接着，在步骤S402，分配的位数量计算电路202计算确定与通过编码难度计算电路201获得的编码难度d相关的分配的位数量b。对于该操作，当基准运动图像序列以预定的平均位率经历可变位率编码时，事先为每一单位时间获取编码难度d和可行的分配的位数量b之间的关系。保持用于基准运动图像序列的每一单位时间的分配的位数量，使其少于用于信号记录的、正在使用的记录介质的存储容量。图3示出表明编码难度d和分配的位数量b之间的关系图。

参照图3，该图的水平轴代表编码难度d，该图的垂直轴代表在基准运动图像序列中编码难度d的出现概率h(d)。对于任何给定的编码难度，分配的位数量是基于函数b(d)计算的。该函数通过以预定平均位率进行编码许多运动图像序列(比如，电影)、并评估每一序列的图像质量的大量实验，基于尝试和误差成分从经验上获取。换句话说，它代表这个世界上可观测到的任何运动图像序列可用的一般关系。日本专利申请公开第7-311418的说明书和附图公开了一种获取该函数的方法。由此，分配的位数量计算电路202根据图3中所示的关系，针对通过端子200输入的图像的每一单位时间的编码难度d，确定分配的位数量b。

由于对单位时间的输入图像的编码难度计算电路201和分配的位数量计算电路202的处理操作是在该单位时间内完成的，所以在1次通过型运动图像编码器中提供延迟电路203，以延迟输入到运动图像编码电路204的图像信号一个单位时间。

接着，在步骤403，运动图像编码电路204编码每一单位时间的输入运动图像，以便表示为由分配的位数量计算电路202给定的、用于该运动图像的分配的位数量。换句话说，运动图像编码电路204使用根据分配的位数量限定的量化步长大小，编码每一单位时间的输入运动图像。

利用该1次通过型方法，可以以相应于实际信号的编码难度的最佳的分配位数量、实时地对输入视频信号执行可变位率编码的操作。

然而，尽管图3的关系适用于几乎所有的运动图像序列，但是并不适用于其中运动图像编码电路204生成的总位数量超出可用总位数量的某些特殊序列，从而运动图像序列不能记录在所倾向的记录介质上。

传统的2次通过型方法不能用于实时地以可变位率对具有预定时间长度的运动图像序列进行编码，并在具有特定存储容量水平的记录介质上记录。另一方面，尽管传统的1次通过型方法能够实时地以可变位率对几乎所有的运动图像序列编码，并在具有特定存储容量水平的记录介质上存储具有预定时间长度的序列，但是，它不适用于编码的总位数量超出可用的总位数量的某些特殊序列，从而具有预定时间长度的序列不能记录在记录介质上。

鉴于该问题，已经提出以当编码具有适宜记录在记录介质上的时间长度的信号时、使生成的位数量少于在记录介质上记录该信号可以使用的位数量的方式，通过控制实际分配的位数量，保证具有预定时间长度的信号能够记录在具有特定存储容量水平的记录介质上的技术。

更具体地说，假定使用预定的分配的位数量b_av编码每一单位时间的输入信号，比较到当前时间为止分配的位数量的和B_av与到当前时间为止实际生成编码位的数量和B_gen，如果(B_av-B_gen)的值为正，则允许给出多于用于保证的b_av的分配位的数量。

每一单位时间预定的分配位数量b_av由下式确定：

b_av＝T_unit time×B_V/T_SEQ其中B_V：在信号记录介质中记录运动图像的可用的位数量；

T_SEQ：可以在信号记录介质中记录的运动图像序列的时间长度；和

T_unit time：单位时间长度。

根据当将分配的编码位数量的基准值转换到分配的编码位数量的实际值时获得的信息对输入信号预滤波，然后编码所获得的信号，以使由于编码信号的劣化不明显。更具体地说，当分配的编码位数量的实际值小于分配的编码位数量的基准值时，通过令输入图像通过一低通滤波器，使由于编码信号的劣变不明显。

当编码信号和在记录介质上记录编码的信号的操作分成顺序执行的操作段时，上述的(B_av-B_gen)或相应的值存储在记录介质中。因此，当将信号存储在记录介质的空存储区时，从记录介质中读出上述(B_av-B_gen)或相应的值，并根据读出值计算每一单位时间分配给信号的位数量，以便能够有效和高效地利用记录介质的存储容量。

当输入信号属于运动图像时，每隔一预定时间周期，根据有关输入图像的图像特征的信息确定编码难度，并使用有关图像特征的信息，根据反映人类特征的分配的编码位数量编码该信号。

图4示出通过应用保证具有预定长度的信号记录在具有存储容量特定水平的记录介质上的1次通过型可变位率编码方法实现的、用于运动图像的编码器的方框图。

参照图4，输入到端子101的运动图像信号S1发送到运动向量计算电路102。运动向量计算电路102输出关于输入运动图像的运动向量(运动向量和预测误差)的信息。然后将运动图像信号和运动向量信息输入到编码难度计算电路103。编码难度计算电路103计算每一单位时间输入运动图像S1的编码难度d。接着，将获得的编码难度d输入到分配的位数量计算电路104，计算每一单位时间分配的位数量。更具体地说，分配的位数量计算电路104计算每一单位时间用于编码输入图像的分配的位数量的基准值b。然后将分配的位数量的基准值b输入到控制器105。控制器105将分配的位数量的基准值b转换为分配的位数量的实际值b_x并将其输出。控制器105还输出关于预滤波器107的处理操作的信息S4。延迟电路106将输入到预滤波器107的具有单位时间长度的输入运动图像信号S1延迟该单位时间，或者一直到分配的位数量计算电路104的处理操作和控制器105的处理操作完成为止。由延迟电路106延迟的输入运动图像信号S2由预滤波器107根据处理信息S4处理，并且预滤波器107输出处理的信号S3。预滤波器107根据处理信息S4自适应地改变其滤波特性，以便当输入运动图像复杂并需要每一单位时间分配给它较大的位数量时，防止在编码时通过使信号通过一低通滤波器而导致输入运动图像信号劣变的可能。运动图像编码电路108编码处理的图像信号S3，以便使其占用该每一单位时间分配的位数量b_x。然后运动图像编码电路108输出编码的位流S5、以及每一单位时间生成的位数量b_gen，其中编码的位流S5从端子109输出。

使用该1次通过型方法，分配的位数量的实际值可以这样控制，根据实时信号的编码难度、以及当编码具有允许记录在记录介质上的信号的时间长度少于用于在记录介质上记录该信号的可用位数量的信号时、获得的生成的位数量的总和，使用最佳分配的位数量，以可变位率编码输入运动图像。

但是，上述根据编码难度确定分配的位数量的方法伴随如下问题，当输入运动图像信号在起始阶段表现出较大的编码难度时，(B_av-B_gen)将不会为正值，由此不可能改善图像质量，这是因为如果图像信号的后面部分表现出较小的编码难度，则不可能每一单位时间为表现出较大的起始编码难度的图像信号部分分配足够的位数量。

另外，伴随上述方法存在另外一个问题。当(B_av-B_gen)变为正值以便能够每一单位时间分配大于普通程度的位数量时，输入运动图像信号连续表现出较大的编码难度，从而实际分配大于普通程度的每一单位时间的位数量，但是随后(B_av-B_gen)突然变为负值，每一单位时间分配的位数量猛然下降。

另一方面，当输入运动图像信号连续表现出较小的编码难度时，也提出一个问题，即小于普通程度的每一单位时间的位数量的分配继续下去，则记录的图像的质量将降低到低于以固定编码率编码图像时获得的图像质量的程度，尽管(B_av-B_gen)为正值、并且每一单位时间分配的每一位数量大于普通程度。

此外，还存在一个问题，即由于在实际操作中没有限定最大分配的位数量和最小分配的位数量，所以在编码操作之后会出现分配的位数量极大的部分和分配的位数量极小的部分，并由此不能以较好的协调方式为输入图像分配位。

最后，如果以相同率分配位，则对于人类的视觉而言，尽管一些部分的图像的图像质量可能显现出被降低，而其他部分则不会，对于该问题还没有提出满意的手段。

发明内容

鉴于上述情况，由此本发明的目的是提供一种视频信号编码方法和视频信号编码器，能够分配足够的位并跟随编码难度的任何变化，从而当其能够以高于普通速率的速率分配位、并且输入视频信号连续表现出较大的编码难度时，以及当输入视频信号连续表现出较低的编码难度时，即使输入视频信号在起始阶段集中表现出较大的编码难度，也能有效和高效率地编码输入视频信号。

在本发明的一个方面，上述目的通过提供一种视频信号编码方法实现，该方法包括：

确定每一单位时间的输入视频信号的编码难度d的步骤；

根据预先与每一单位时间所述输入视频信号的编码难度d相关的每一单位时间分配的编码位数量b的函数b(d)，确定用于分配编码位的基准值的步骤；

根据该基准值确定分配的编码位的实际数量b_x的步骤；以及

根据所述分配的编码位的实际数量b_x，通过编码每一单位时间的输入视频信号生成编码数据的步骤。

为了将分配的编码位的数量的基准值转换为分配的编码位的数量的实际值，当根据上述基准值获取分配的编码位的实际数量时，预先将每一单位时间分配的编码位的数量的和的部分存储为用于一定时间周期的虚拟缓冲器，并通过将每一单位时间分配的编码位的数量的和减去存储为虚拟缓冲器的部分再除以所述一定时间周期，确定分配的编码位的数量的实际基准值。结果，如果在持续所述一时间周期的编码操作的起始状态中，输入运动图像信号连续表现出较大的编码难度，则可以以高于每一单位时间分配的位数量的基准值的速率分配位。

更具体地说，当将分配的编码位的数量的基准值转换为分配的编码位的数量的实际值时，预先将用于一定时间周期T_vbr的每一单位时间分配的位数量b_av的和部分B_av或B_av＝b_av×T_vbr存储为虚拟缓冲器V_vbr，分配的编码位数量的实际基准值b_real通过下式获得：

b_real＝(B_av-V_vbr)/T_vbr以便只要V_vbr＞0，即给出不小于b_real的分配的位数量，否则，给出小于b_real的数量。

结果，当根据可变位率控制编码操作时，能够保证所述一定时间周期T_vbr生成的位的和小于B_av。

当将输入图像的编码难度与每一单位时间分配的位数量相关时，通过采用前一单位时间的编码难度、分配的编码位的数量、实际生成的位数量之间的关系、以及前一单位时间的编码难度和当前单位时间的编码难度之间的关系，确定基准值。结果，当输入视频信号连续地表现出较大编码难度或较小编码难度一段时间，从而导致分配的位数量突然下降的情形时，通过考虑前一单位时间的编码难度和分配的位数量确定分配的位数量。此外，如果可能，当输入视频信号的编码难度较低时，可以分配较大的位数量。

另外，根据本发明，当每一单位时间以大于或小于基准值分配位时，通过预先限定作为基准值的函数的、每一单位时间所分配的位数量的上限和下限，可以以较好的协调方式分配位。那么，可以有效地避免局部分配极大或极小量的位的情形。

此外，当由于编码难度较低而分配少于基准值的位数量时，可以将下限限定为由于编码引起的劣变非常明显的部分的比例函数，以便于通过考虑输入视频信号的视觉特性，防止明显降低图像质量的编码操作发生。

如上所指出的，根据本发明，当根据从与编码难度的关系获得的分配的编码位的数量、确定基准值(用于分配的编码位的数量)、以及根据该基准确定实际分配的编码位的数量时，每一单位时间分配的编码位的数量和的部分预先存储，作为一定时间周期的虚拟缓冲器，并且通过将每一单位时间分配的编码位的数量的和减去存储为虚拟缓冲器的部分再除以所述一定时间周期，确定分配的编码位数量的实际基准值。结果，如果在持续所述一定时间周期的编码操作的起始状态中、输入运动图像连续地表现出较大的编码难度，则可以以高于每一单位时间分配的位数量的基准值的速率分配位。

此外，根据本发明，可以将下限限定为由于编码引起的劣变非常明显的部分的比例函数，以便于通过考虑输入视频信号的视觉特性，防止明显降低图像质量的编码操作发生。

因此，根据本发明，可以保证具有预定时间长度的输入视频信号存储在具有特定存储容量的记录介质中，以有效利用记录介质的存储容量，使用作为输入视频信号的编码难度的函数的可变位率，自适应地控制编码操作。

附图说明

图1为通过应用传统概念的1次通过型可变位率编码方法实现的公知运动图像编码器的示意方框图；

图2为传统的1次通过型可变位率编码方法的流程图；

图3为说明在基准运动图像序列中编码难度d每一单位时间长度出现的概率h(d)和用于预定平均位率的分配的位数量b之间的关系的函数b(d)的图形；

图4为通过应用传统概念的1次通过型可变位率编码方法实现的公知运动图像编码器的示意方框图；

图5为通过应用依据本发明的视频信号编码方法实现的运动图像编码器的一个实施例的示意方框图；

图6为说明图5的每一单位时间分配的位数量计算电路和控制器24的算法的流程图；

图7为在图6的步骤S56中校正编码难度的操作的流程图；

图8为在图6的步骤S58中从视觉上校正分配的位数量的操作的流程图；

图9为在图6的步骤S59中校正分配的位数量的操作的流程图；

图10为在图6的步骤S60中校正用于绝对编码难度的分配的位数量的操作的流程图；

图11为在图6的步骤S62中处理场景变化的操作的流程图；

图12为在图6的步骤S63中处理虚拟缓冲器的操作的流程图；

图13为虚拟缓冲器的概念的示意说明；和

图14为应用依据本发明的编码器的一个实施例的信号记录/再现装置的示意方框图。

具体实施方式

现在，将参照说明具体依照编码运动图像的本发明的优选实施例的附图，描述根据本发明的视频信号编码方法和视频信号编码器。

图5为应用依据本发明的视频信号编码方法实现的运动图像编码器的一个实施例的示意方框图。

参照图5，输入到端子31的运动图像信号S1发送到运动向量计算电路32、编码难度计算电路33、视觉特征估量电路35和延迟电路36。

视觉特征估量电路35估量输入运动图像信号S1的视觉特征，并将获得的关于视觉特征的信息R_visual发送给分配的位数量计算电路/控制器34。运动向量计算电路32输出获得的关于输入运动图像的运动向量(运动向量和预测误差)的信息。关于运动向量的信息和运动图像信号S1一起发送到编码难度计算电路33。

编码难度计算电路33根据运动向量计算电路32发送的关于运动向量的信息、从下文将描述的运动图像编码电路38馈送的有关生成的位数量b_gen的信息、Q比例q_scale、和亮度值活动率的偏差，为每一单位时间计算编码难度d。然后，将编码难度d输入到分配的位数量计算电路/控制器34。尽管可以将依据MPEG的1个GOP(图像组)用作本发明目的的典型单位时间，但是本发明并不仅限于此。

分配的位数量计算电路/控制器34根据输入其中的编码难度d、从端子30输入的分配的位的平均数量b_av、从视觉特征估量电路35馈送的视觉特征R_visual，计算编码输入运动图像时每一单位时间的分配的位数量b_x。然后，将所获得的分配的位数量b_x输出到运动图像编码电路38。分配的位数量计算电路/控制器34还输出处理信息S4到预滤波器37。

延迟电路36延迟输入到预滤波器37的输入运动图像信号S1一个单位时间，直到编码难度计算电路33和分配的位数量计算电路/控制器34的处理操作完成为止。然后，延迟电路36延迟的运动图像信号S2由预滤波器37根据处理信息S4进行处理，接着输出处理信息S3到运动图像编码电路38。

运动图像编码电路38以表现出上述分配的位数量b_x的方式编码每一单位时间的处理过的视频信号S3。运动图像编码电路38输出编码的位流S5、每一单位时间的生成的位数量b_gen、亮度值活动率的偏差、以及分配的Q比例q_scale。编码的位流S5从端子39输出。

利用上述的配置，编码难度计算电路33和分配的位数量计算电路/控制器34根据从与编码难度的关系获得的分配的编码位数量、确定一个基准值(比如，用于分配的编码位数量的基准值)，并预先存储用于一定时间周期的每一单位时间的分配的位数量的和的部分、作为虚拟缓冲器，以便通过将该为每一单位时间分配的编码位的数量和减去存储为虚拟缓冲器的部分再除以所述一定时间周期，确定分配的编码位的数量的实际基准值。

更具体地说，当确定与每一单位时间的编码难度d相关的分配的编码位的数量的基准值、以及将该分配的编码位的数量的基准值转换为分配的编码位的数量的实际值b_s时，将用于一定时间周期T_vbr的每一单位时间分配的位数量的和部分B_av、或者B_av＝b_av×T_vbr预先存储为虚拟缓冲器V_vbr，分配的编码位数量的实际基准值b_real通过下式获得：

b_real＝(Bav-V_vbr)/T_vbr以便只要V_vbr＞0，即给出不小于b_real的分配的位数量，否则，给出小于b_real的数量。尽管时间周期T_vbr可以为大约1分钟，但是本发明并不仅限于此。

通过采用前一单位时间的编码难度、分配的编码位的数量、实际生成的位数量之间的关系、以及前一单位时间的编码难度和当前单位时间的编码难度之间的关系，确定基准值。

预先确定当分配的位数量超出上述b_real时，相应于每一单位时间的分配的位数量b_av的上限数量，以及预先确定当分配的位数量少于上述b_real时，相应于每一单位时间的分配的位数量b_av的下限数量。

此外，考虑人类的视觉特性，为由于编码可能导致显著劣变的图像的视频信号、提供相应于劣变程度的分配的位数量下限。

如果在所述时间周期T_vbr中的编码操作结束时，在该时间周期实际生成的位数量的和B_gen和在该时间周期可用的位数量的和B_av之间的差(B_av-B_gen)为正值，则将该差值延续并添加到下一时间周期的可用位数量的和中。如果作为延续该差值的结果，可用的位数量的和超出作为延续该差值的结果的起始和B_av、R_total倍，则作为该比例的函数增加每一单位时间实际分配的位的基准值b_real。

现在将参照图6至12的流程图描述用于确定图5的编码难度计算电路33和分配的位数量计算电路/控制器34的分配的位数量的算法。

首先参照图6，用于确定分配的位数量的处理操作从步骤S50开始，然后在步骤S51，编码难度计算电路33输入运动图像，并在步骤S52中使用初始值d_Default初始化编码难度d_Avg的基准值。

接着，在步骤S53，使用下式根据图5的端子30输入的每一单位时间的分配的位的平均数量b_av，确定当控制可变位率时的基准位率b_real：

b_real＝b_av×R_vbr[Mbps]应该注意当控制可变位率时的基准位率的比例或R_vbr限定为0＜R_vbr＜1。例如，可以使用R_vbr＝0.9。根据MPEG的1个GOP(图像组)的时间周期可以用作典型的单位时间。

在步骤S54，使用下式在用于时间周期T_vbr的可变位率控制开始时，保护用于控制可变位率的虚拟缓冲器V_vbr。如果当时前一编码操作在V_vbr中具有任何残余，则将该残余延续到随后的时间周期T_vbr。

V_vbr＝V_vbr+(1-R_vbr)×T_vbr×b_av[Mbit]通过使用虚拟缓冲器V_vbr，将大于b_real的信息数量分配给表现出较大编码难度的图像，将小于b_real的信息数量分配给表现出较低编码难度的图像。

现在参照图13描述虚拟缓冲器的概念。在图13中，获得的时间周期T_vbr的每一单位时间分配的位数量的和部分(B_av＝b_av×T_vbr)预先存储为虚拟缓冲器V_vbr。如果该虚拟缓冲器的每一单位时间的位数量是v_vbr，则V_vbr＝v_vbr×T_vbr。另外，每单位时间实际分配的位数量的实际基准值b_real表达为b_real＝(B_av-V_vbr)/T_vbr。对于时间周期T_vbr，可以使用典型值T_vbr＝1[min]。

在步骤S55中，对于每一单位时间将用于当前正在编码的图像信号的单位时间的编码难度d、以及视觉特征R_visual输入到分配的位数量计算电路/控制器34。

能够用于估计每一单位时间的编码难度d的参数可以包括上述单位时间之前的单位时间的预测误差ME_error、运动向量MV、表示亮度值活动率(activity)的偏差的索引、生成的信息数量b_gen、以及Q比例q_scale。

编码难度计算电路33使用下式估计编码难度d。

　　d＝ME_error×W_ME+MV×W_MV+activity×W_AC+b_gen×

　　W_GEN+q_scale×W_Q

其中：

W_ME：运动预测误差的权重；

W_MV：运动向量的权重；

W_AC：亮度值偏差的权重；

W_GEN：生成位的数量的权重；

W_Q：Q比例的权重。

在步骤S56中，校正输入编码难度d。该步骤为借助上限值d_Max和下限值d_Min用于限制编码难度d的处理操作。图7为说明该操作的详细流程图。

参照图7，该校正编码难度d的操作从步骤S70开始，并且如果在步骤S71中发现估计的编码难度超出编码难度的上限值d_Max，则在步骤S73中将该单位时间的编码难度确定为等于d_Max。另一方面，如果在步骤S72中发现估计的编码难度小于编码难度的下限值d_Min，则在步骤S74中将该单位时间的编码难度确定为等于d_Min。换句话说，即

　　if(d＞d_Max)，d＝d_Max；

　　if(d＜d_Min)，d＝d_Min。

在步骤S72、S73和S74之后，在步骤S75结束该校正编码难度的操作。

现在回到图6，在步骤S57中通过使用分配的位数量的基准值b_real、编码难度d、以及编码难度的基准值d_Avg，确定分配的位数量b_x。换句话说，即

b_x＝b_real×d/d_Avg[Mbps]

在步骤S58中，根据视觉特征R_visual调整或校正分配的位数量的下限b_Min，这是因为由编码操作引起的图像质量的可察觉劣变会根据输入图像的视觉特征而变化。图8示出步骤S58的操作流程图。

参照图8，该校正视觉特征值的操作从步骤S80开始，并且如果在步骤S81中发现输入图像的视觉特征值R_visual大于预定值Th_visual，则在步骤S82中使用下式校正分配的位数量的下限b_Min，即

　　if(R_visual＞Th_visual)

　　b_Min＝b_Min×(1-Th_visual+R_visual)。

如果在步骤S83中发现该校正的分配位的数量的下限值b_Min超出分配的位数量的上限值b_Max，则在步骤S84中使下限值b_Min等于分配的位数量的上限值b_Max。换句话说，即

if(b_Min＞b_Max)，b_Min＝b_Max。在此使用的视觉特征值可以指输入图像中皮肤颜色或中间色调的比例，并可以表达为0＜Th_visual＜1和0＜R_visual＜1。由于Th_visual代表一个恒定值，所以使其等于典型值0.5。在步骤S81和S84之后，在步骤S85结束校正视觉特征值的操作。

再回到图6，在步骤S59中，通过参照预定的分配的位数量的上限值b_Max和下限值b_Min，校正在步骤S57中确定的每一单位时间的分配的位数量。图9为该校正分配的位数量的操作的详细流程图。

参照图9，该校正分配的位数量的操作从步骤S90开始，并且如果在步骤S91中发现分配的位数量b_x超出分配的位数量的上限值b_Max，则在步骤S93中使该分配的位数量等于b_Max。另一方面，如果在步骤S92中发现分配的位数量b_x少于分配的位数量的下限值b_Min，则在步骤S94中使该分配的位数量等于b_Min。换句话说，即

　　if(b_x＞b_Max)，b_x＝b_Max；

　　if(b_x＜b_Min)，b_x＝b_Min。

下面的典型值可以分别用作分配的位数量的上限值b_Max和分配的位数量的下限值b_Min，

b_Max＝2.0b_real b_Min＝0.5b_real。在步骤S92、S93和S94之后，在步骤S95结束该校正分配的位数量的操作。

现在回到图6，在步骤S60中，根据用于编码难度的预定的绝对定值(rating)，校正分配的位数量。图10是校正该绝对位数量的操作的详细流程图。

参照图10，该校正绝对位数量的操作从步骤100开始，接着，如果在步骤S101中确定估计的编码难度d超出编码难度的绝对值的上限d_High、并且分配的位数量b_x降为分配的位数量的绝对值的下限b_Low之下，则在步骤S103中使分配的位数量等于b_Low。另一方面，如果在步骤S102中确定估计的编码难度d降为编码难度的绝对值的下限d_Low之下、并且分配的位数量b_x超出分配的位数量的绝对值的上限b_High，则在步骤S104中使分配的位数量等于b_High。换句话说，即

　　if(d＞d_High&amp;&amp;b_x＜b_low)

　　b_x＝b_Low；
				
				<dp n="d13"/>
　　if(d＜d_Low&amp;&amp;b_x＞b_High)

　　b_x＝b_High。

下面的典型值可以分别用作分配的位数量的绝对值的下限b_Low和分配的位数量的绝对值的上限b_High，

b_Low＝1.2b_real b_High＝0.8b_real。在步骤S102、S103和S104之后，在步骤S105中结束校正分配的位数量的操作。

再参照图6，在步骤S61，使用当前单位时间的编码难度d，根据反应速度Reactor更新编码难度的基准值d_Avg。换句话说，即

d_Avg＝(d_Avg×(1-Reactor)+d×Reactor)其中反应速度Reactor为0＜Reactor＜1，并且典型值为0.5。

在步骤S62中，如果存在场景变化，则进行场景变化的处理操作。图11示出处理场景变化的操作的详细流程图。

参照图11，处理场景变化的操作从步骤S110开始，并且如果在步骤S111中检测到场景变化，则将编码难度的基准值d_Avg用初始值d_Default初始化。如果在步骤S113中发现用于虚拟缓冲器所需的信息数量V_vbr还有剩余，则在步骤S114中根据紧跟场景变化之后分配的位率的比例R_SC，校正分配的位率。该处理操作可以表示如下：

　　if(scene_change){

　　   d_Avg＝d_Default)；

　　   if(V_vbr＞(R_SC-1)×b_vbr×0.5){

　　   b_x＝b_av×R_SC；

　　  }

　　 }

其中分配的位率的比例R_SC1为≤R_SC，并且典型值可以为R_SC＝1.5。在步骤S111、S113、S114之后，在步骤S115结束处理场景变化的操作。

接着，在图6的步骤S63中，执行与虚拟缓冲器V_vbr有关的处理操作。图12示出处理虚拟缓冲器的操作的详细流程图。

参照图12，处理虚拟缓冲器的操作从步骤S120开始，并且如果在步骤S121中发现虚拟缓冲器V_vbr的残余小于0、以及分配的位数量b_x少于分配的位数量的基准值b_real，则操作前进到步骤S125，在此使分配的位数量b_x等于分配的位数量的基准值b_real。换句话说，即

　　if(V_vbr＜0&amp;&amp;b_x＞b_real)

　　b_x＝b_real。

接着，如果在步骤S122中发现虚拟缓冲器V_vbr超出虚拟缓冲器的预定上限值V_Max，则在步骤S123中使用下式校正分配的位数量b_x。

　　if(V_vbr＞V_Max){

　　   b_x＝V_vbr/V_Max×b_x；

　　}

虚拟缓冲器的上限值V_Max可以典型地表达为：

V_Max＝2.0V_vbr。

接着，在步骤S124中，将分配的位数量b_x和分配的位数量的基准值b_real之间的差值从虚拟缓冲器V_vbr的残余中减去，以更新虚拟缓冲器V_vbr的残余，在步骤S125、S124之后，在步骤S126结束处理虚拟缓冲器的操作。

再次参照图6，如果在步骤S64中发现用于正在对(GOP)进行的处理操作的单位时间是时间周期T_vbr的最后一个单位时间，则操作前进到步骤S63。否则，操作返回到步骤S55，开始下一个单位时间的处理操作。如果在步骤S65中发现该单位时间是用于处理序列的最后一个，则操作前进到步骤S66，结束处理操作。否则，操作返回到步骤S55，增补虚拟缓冲器V_vbr，并开始下一时间周期T_vbr的处理操作。

现在将参照图14详细描述可以应用本实施例的信号记录/再现装置。图14的装置适用于使用硬盘作为记录介质。

参照图14，通常借助天线接收的电视广播信号通过输入端子101，发送到可以为地面波调谐器的调谐器1。然后调谐器1的视频输出和音频输出馈送到输入切换开关电路2。类似地，分别通过输入端子102和输入端子103，来自外部信号源的复合视频信号和音频信号也馈送到输入切换开关电路2。输入切换开关电路2根据来自系统控制器16的指令选择所期望的信号。复合视频信号输出到Y/C分离电路3，而音频信号输出到A/D转换器10。

系统控制器16控制该装置的所有部件块，将在下文中描述。另外，如果需要，系统控制器16访问并控制ROM(只读存储器)17和/或RAM(随机存取存储器)18。

Y/C分离电路3从其收到的复合视频信号中分离Y(亮度)信号和C(色度)信号，生成图像的基本流(ES)并馈送到输入切换开关4。输入切换开关4选择来自外部S视频输入端子104的信号或者Y/C分离电路3的输出，并将所选择的信号馈送到NTSC解码器5。

输入到NTSC解码器5的视频信号经历A/D转换、色度编码和其他操作，并被转换为数字成分视频信号(在下文中称作视频数据)，然后将视频数据馈送到预处理(预视频信号处理)电路7。另外，NTSC解码器5将参照输入视频信号的水平同步信号生成的时钟、以及通过同步分离获取的垂直同步信号和场区分信号提供给同步控制电路6。

同步控制电路6生成时钟和适用于下文中将要描述的各块所需的定时的同步信号，并将它们提供给各个块。

预处理(预视频信号处理)电路7对输入视频数据执行各种视频信号处理操作，比如预滤波和噪声抑制，并将该处理的信号提供给MPEG(运动图形专家组)编码器8和后处理(后视频信号处理)电路20。

视频编码器8对来自预处理电路7的视频数据执行比如块检测(离散余弦变换)的各种编码操作，生成图像的基本流(ES)并将编码的信号提供给多路复用器/多路分解器9。尽管在本实施例中使用MPEG压缩系统，但是处于本发明的目的，也可以替换使用其他的压缩系统。此外，信号也可能无需压缩。

另一方面，输入切换开关电路2所选择的音频信号由A/D转换器10转换成数字音频信号，并接着馈送到可以是典型的MPEG音频编码器的音频编码器11。然后，根据MPEG格式由MPEG音频编码器将该信号压缩，接着生成ES，从而将该信号和ES提供给多路复用器/多路分解器9，如与视频信号的情况下一样。对于音频信号，尽管在本实施例中使用MPEG压缩系统，但是处于本发明的目的，也可以替换使用其他的压缩系统。此外，信号也可能无需压缩。

对于记录操作，多路复用器/多路分解器9将视频ES(基本流)、音频ES和各种控制信号多路复用。对于再现操作，它将传送流(TS)分离。多路复用器/多路分解器9将MPEG视频ES(基本流)、MPEG音频ES和各种控制信号多路复用，并生成典型的MPEG系统的TS。然后，将它们馈送到缓冲器控制电路14。

缓冲器控制电路14控制将连续输入的TS间歇地发送到下游硬盘驱动器(HDD)15的操作。例如，由于当HDD(硬盘驱动器)15搜寻数据时不能用于写入TS，所以该TS信号临时存储在缓冲器中。另一方面，当HDD15适宜用于写入TS信号时，则以高于TS信号的输入速率的速率将其写入，从而能够没有遗漏地将连续输入的TS信号记录。

在系统控制器16的控制下，HDD15将TS信号记录在预定的地址中。

尽管在本实施例中将IDE(智能驱动器电子电路)作为用于缓冲器控制电路14和HDD15的协议，但是本发明并不仅限于此。类似地，尽管本实施例是参照HDD作为记录介质描述的，但是也可以用光盘、磁光盘或固态存储器替代，不会有任何问题。

现在将描述本实施例的信号再现操作。

HDD15在系统控制器16的控制下搜寻预定的地址，以读出TS(传送流)信号，并将其提供给缓冲器控制电路14。缓冲器控制电路14控制缓冲器，以便将间歇输入的信号恢复为连续的信号，并将TS信号馈送到多路复用器/多路分解器9。多路复用器/多路分解器9从时间标记中提取PES(分组的基本流)，并将其馈送到AV(音频/视频)解码器19，典型的为MPEGAV解码器。

MPEGAV解码器19分离输入PES的视频ES和音频ES，并分别将它们馈送到用于解码的视频MPEG解码器和音频MPEG解码器。作为该处理操作的结果，获得基带的视频数据和音频数据，并馈送到后处理(后视频信号处理)电路20和切换开关23。

后处理电路执行比如选择来自前处理(前视频信号处理)电路7的视频数据、合成地组合信号、和/或滤波信号的操作，并将获得的视频数据提供给OSD(屏幕显示)电路21。

OSD电路21生成将在显示屏幕上显示的图形，并执行其他的比如将它们叠加到视频数据或在部分屏幕上显示它们的操作。然后，将获得的视频数据馈送到NTSC编码器22。

NTSC编码器22将输入视频数据(数字成分信号)转换成YC(亮度、色度信号)，然后YC信号经历D/A转换，以生成模拟的复合视频信号和S视频信号，其中分别借助输出端子106和输出端子107，将复合视频信号和S视频信号输出到外部。

另外，切换开关23选择从MPEG AV解码器19输入的音频数据或者自A/D转换器10输入的音频数据，如此选择的信号由音频A/D转换器24转换为模拟音频信号。来自音频A/D转换器24的模拟音频信号然后借助输出端子108输出到外部。

现在将描述借助数字输入/输出端子105输出和馈送的数字信号。例如，当记录借助比如遵循IEEE1394的数字接口、从外部IRD(集成接收器解码器)输入的信号时，该数字信号输入到数字接口电路12。

数字接口电路12执行比如使信号符合当前系统的格式转换的处理操作，并生成TS，然后将该TS馈送到多路复用器/多路分解器9。多路复用器/多路分解器9分析并生成伴随其他信号的控制信号，并将TS转换成符合当前系统的信号，然后将其馈送到下游装置。所有的顺序处理操作与在上面描述的视频数据和音频数据的操作相同。与此同时，多路复用器/多路分解器9分离数字信号的成分并将获得的PES提供给MPEG AV解码器19，以获取模拟视频信号和模拟音频信号。

下面将描述数字接口电路12的信号再现操作。到多路复用器/多路分解器9的操作与上面描述的相同，因此将不再详细描述。

一旦接收到TS信号，并且如果有必要，多路复用器/多路分解器9分析并生成控制信号，并将其提供给数字接口电路12。数字接口电路12执行与其执行的用于记录的操作相反的转换操作，以生成符合外部IRD的数字信号，然后借助数字输入/输出端子105将该数字信号输出。与此同时，多路复用器/多路分解器9执行分离的处理操作，并将PES提供给MPEG AV解码器19，以生成模拟视频信号和模拟音频信号。尽管本实施例是关于连接到IRD描述的，但是也可以替换连接到比如电视机或个人计算机的AV装置。

尽管上面描述的图14的信号记录介质是硬盘，但是也可以用任何适当的信号记录介质替换，比如光盘、软盘、诸如磁带的磁记录介质、诸如IC卡的半导体记录介质、或一些其他的存储器，用于记录本实施例编码的信号。可以用于依据本发明的编码器的光盘包括那些适于逐位记录信号的光盘、随同相变型光盘及有机染料物质型光盘的磁光盘、适于使用紫外线激光束记录的光盘、以及具有多层记录膜的光盘。

Claims

1.一种视频信号编码方法，包括下列步骤：

确定每一单位时间的输入视频信号的编码难度d；

根据预先与每一单位时间所述输入视频信号的编码难度d相关的每一单位时间分配的编码位数量b的函数b(d)，确定用于分配编码位的基准值；

根据该基准值确定分配的编码位的实际数量b_x；以及

根据所述分配的编码位的实际数量b_x，通过编码每一单位时间的输入视频信号生成编码数据。

2.根据权利要求1的视频信号编码方法，其中通过采用当时的前一单位时间的编码难度、分配的编码位的数量、实际生成的位数量之间的关系、以及当时的前一单位时间的编码难度和当前单位时间的编码难度之间的关系，确定所述基准值。

3.根据权利要求1的视频信号编码方法，其中所述根据该基准值确定实际数量编码位的步骤，是通过控制分配的位的实际数量实现的，以便在编码一定时间周期T_vbr的输入视频信号时获得的生成位的和、不超出在记录介质上用于记录具有该时间周期T_vbr长度的信号的可用位数量。

4.根据权利要求1的视频信号编码方法，其中预先将用于一定时间周期T_vbr的每一单位时间分配的位数量b_av的和部分B_av或B_av＝b_av×T_vbr存储为虚拟缓冲器V_vbr，分配的编码位数量的实际基准值b_real通过下式获得：

b_real＝(B_av-V_vbr)/T_vbr以便在根据所述基准值确定分配的编码位实际数量的所述步骤中，只要V_vbr＞0，即给出不小于b_real的分配的位数量，否则，给出小于b_real的数量。

5.根据权利要求4的视频信号编码方法，其中当给定分配的位数量超出所述b_real时，根据分配的位数量b_av，预先提供一上限。

6.根据权利要求4的视频信号编码方法，其中当给定分配的位数量小于所述b_real时，根据分配的位数量b_av，预先提供一下限。

7.根据权利要求4的视频信号编码方法，其中当给定分配的位数量小于所述b_real时，通过考虑输入图像的视觉特性，根据作为编码结果明显劣变的场景的比例提供该上限。

8.根据权利要求4的视频信号编码方法，其中在所述时间周期T_vbr的编码操作结束时，当在该时间周期实际生成的位数量的和B_gen和在该时间周期可用的位数量的和B_av之间的差(B_av-B_gen)为正值时，将该差值延续并添加到下一时间周期的可用位数量的和中。

9.根据权利要求4的视频信号编码方法，其中当可用的位数量的和超出作为延续该差值的结果的起始和B_av、R_total倍时，根据该比例增加每一单位时间实际分配的位的基准值b_real。

10.一种视频信号编码器，包括：

用于确定每一单位时间的输入视频信号的编码难度d的装置；

根据预先与每一单位时间所述输入视频信号的编码难度d相关的每一单位时间分配的编码位数量b的函数b(d)，确定用于分配编码位的基准值的装置；

用于根据该基准值确定分配的编码位的实际数量b_x的装置；以及

用于根据所述分配的编码位的实际数量b_x，通过编码每一单位时间的输入视频信号生成编码数据的装置。

11.根据权利要求10的视频信号编码器，其中通过采用当时的前一单位时间的编码难度、分配的编码位的数量、实际生成的位数量之间的关系、以及当时的前一单位时间的编码难度和当前单位时间的编码难度之间的关系，确定所述基准值。

12.根据权利要求10的视频信号编码器，其中所述根据该基准值确定实际数量编码位的装置，以如下方式控制分配的位的实际数量，即在编码一定时间周期T_vbr的输入视频信号时获得的生成位的和、不超出在记录介质上用于记录具有该时间周期T_vbr长度的信号的可用位数量。

13.根据权利要求10的视频信号编码器，其中预先将用于一定时间周期T_vbr的每一单位时间分配的位数量b_av的和部分B_av或B_av＝b_av×T_vbr存储为虚拟缓冲器V_vbr，分配的编码位数量的实际基准值b_real通过下式获得：

14.根据权利要求13的视频信号编码器，其中当给定分配的位数量超出所述b_real时，根据分配的位数量b_av，预先提供一上限。

15.根据权利要求13的视频信号编码器，其中当给定分配的位数量小于所述b_real时，根据分配的位数量b_av，预先提供一下限。

16.根据权利要求13的视频信号编码器，其中当给定分配的位数量小于所述b_real时，通过考虑输入图像的视觉特性，根据作为编码结果明显劣变的场景的比例提供该上限。

17.根据权利要求13的视频信号编码器，其中在所述时间周期T_vbr的编码操作结束时，当在该时间周期实际生成的位数量的和B_gen和在该时间周期可用的位数量的和B_av之间的差(B_av-B_gen)为正值时，将该差值延续并添加到下一时间周期的可用位数量的和中。

18.根据权利要求13的视频信号编码器，其中当可用的位数量的和超出作为延续该差值的结果的起始和B_av、R_total倍时，根据该比例增加每一单位时间实际分配的位的基准值b_real。