CN1246243A - 利用再压缩技术的用于存储器管理系统的图象元素处理器 - Google Patents

Abstract

一种电视接收机包括MPEG解码器/解压缩器(62—66),用于提供解码/解压缩象素块。解码/解压缩象素在存储于帧存储器(14)之前被再压缩。在再压缩处理时,按照象素块参数的函数形式压缩参考第一象素。当对象素块的其余象素在其显示之前进行重构时在预测网络中采用了重构的参考象素值。第一象素处理器准确地压缩参考象素,这避免在重构象素块中出现传播预测误差的问题。

Description

利用再压缩技术的用于存储器 管理系统的图象元素处理器

本发明涉及数字视频处理器。具体地说，本发明涉及用于在以块为基的图象处理器内编码和解码代表图象的图象元素(象素或象点)的系统。

存储器管理和存储空间缩减是图象处理器设计和操作的过程中需要考虑的重要方面。例如，诸如电视系统的消费产品可以利用包括MPEG-2信号处理在内的图象处理器。MPEG(运动图象专家组)信号压缩标准(ISO/IEC13181-2，1994年5月10日)是广为接受的图象处理标准，它特别适用于采用高清晰度电视(HDTV)处理以及其它形式图象处理的卫星、有线和地面广播系统。采用高清晰度显示的产品需要96兆比特或更多的存储空间，以便在显示之前暂时存储经过解码的MPEG帧。MPEG处理器需要这些帧进行运动估计和补偿以便重构显示用的准确图象。

根据解码的MPEG信息重构图象的系统通常采用差值脉冲编码调制(DPCM)。在通常于MPEG解码器内使用的DPCM处理中，处理器产生预估下一象素值的预测值。求和网络从实际的象素值中减去该预测值，得到一个差值。该差值被称为预测误差，它通常小于原始象素或预测值，这样对差值而不是原始象素值的量化和存储就节约了存储空间。Ang等人发表与1991年10月IEEE Spectrum上的文章“VideoCompress Makes Big Gains”描述了MPEG编码器和解码器。

在解码的过程中，解量化器根据原先解码的象素基本上再生相同的预测值。仅需一个差值和该预测值就可以解码和重构当前象素。预测值通常是部分或完全依据前一象素的，而该前一象素也是根据其前面的象素解码和重构的。对于这类预测器和其操作的详尽描述参见Jain，A.所著的Prentice-Hall，Inc.出版的“Fundamentals ofDigital Image Processing”第484页；以及Gonzalez等人所著的Addison-Wesley Publishing company，Inc.出版的“Digital ImageProcessing”第358-368页(1992年)。

在图象块压缩期间精确表示图象块中第一个象素可以避免在整个象素块中传播预测误差。在平滑区(例如色彩或对象等等有细微变化的显示区)，噪声对第一象素的污染可能产生被观看者认为不能接受的赝象。因此，处理后的第一象素应当由当存储到存储器中时能够确保图象重构精确可靠的充足数量的比特表示。

本发明认识到提供关于硬件和软件要求都有所降低的数据缩减系统的迫切性，这种系统将节省存储空间而不会将噪声引入重构数据之中。根据本发明的系统满足了这些目的。

根据本发明的原理，“第一象素”处理器按照象素块参数的函数形式压缩象素块的预定象素。

在披露的一个本发明实施例中，电视接收机包括MPEG解码器。MPEG解码信号被提供给数据缩减网络，该网络在将数据存储在存储器中之前对其进行量化。网络采用所谓的第一象素处理器，该处理器按照象素块最小值函数的形式压缩(量化)象素块的参考象素。在解压缩之后，参考象素的重构数值基本上等于其在被第一象素处理器编码之前的数值。这样，参考象素可以被利用于预测网络中，重构图象数据块中其它的量化象素，而不会有在重构象素块中传播明显误差问题的发生。

图1是包括根据本发明设备的象素块处理器的框图。

图2是图1系统的在存储于存储器中之前的编码器部分的详细图。

图3是参考象素编码过程的流程图。

图4是描绘的是图1系统在存储于存储器中之后的解码器部分。

图5是参考象素解码处理的流程图。

图6是采用本发明的MPEG兼容的电视系统的框图。

在图1中，MPEG解码器向压缩器12提供一个MPEG解码象素数据块。压缩器12包括预测器18、量化器20和组合器22。预测器18可以例如是Jain，A.所著的Prentice-Hall，Inc.出版的“Fundamentals of Digital Image Processing”第484页中描述的预测器类型。

量化器20将象素块数值量化并且向存储器14提供数据缩减的象素块。当显示处理器(未图示)访问存储器14内存储的缩减数据块以便作图象显示的时候，解压缩器16重构原始象素块。解压缩器16包括预测器24和解量化器26，以便从存储器14中检取缩减的数据，并且重构该缩减的数据块。量化器20和解量化器26是根据下文将予以讨论的本发明原理安排的。预测器24与预测器18属相同类型。

压缩器12的输入端10接收来自MPEG解码器的象素块，该解码器将结合图6予以讨论。象素块处于空间域，并且包括例如8×8的图象象素块。输入端10将象素块数据提供给组合器22的同相输入端和量化器20。预测器18的输出端将象素预测数据提供给组合器22的反相输入端和量化器20。组合器22将来自其反相和同相输入端的信号组合起来，把差值提供给量化器20。量化器20将量化的象素值输出到预测器18。量化器20还输出量化象素差值，以存储到存储器14中。

图2示意了量化器20的细节。相同的参考标号指代了图1和图2的共同的元件。具体地说，量化器20包括第一象素编码器30、多路复用器32和量化处理器28。输入端10向第一象素编码器30提供块象素数据，该编码器基于象素块的预定参考象素展开工作。术语“第一象素”并不具体表示任何优选的特定象素位置。“第一象素”指的是象素块中被初始采用于预测器中重构该象素块的那个象素。因此该象素成为采用预测器的压缩网络的所有随后重构象素的参考象素。

第一象素编码器30有两个主要功能。最重要的功能是量化参考象素。第二个功能是提供减少表示参考象素的量化值所需要的比特数而减少帧存储器14的存储要求。这些功能稍后予以讨论。如果对参考象素的量化是无损的或接近无损的，那么该象素可以由存储器14检取，以很少误差或无误差的方式重构，并用作为量化块的剩余象素的预测值。在预测过程中初始采用准确的预测数值可以避免预测偏差在整个重构象素块中传递。

减少存储量化参考象素所需要的比特数也就减少了存储器14的尺寸和成本。编码器30在此例子中减少表示量化参考象素所需要的比特数达1到5个比特。尽管该数量与可能包含多于32600个8×8象素块的高清晰度电视图象帧相比而言可能看起来不重要，但是所节约的每个比都会导致存储器的明显的节省。这些节省在乘以制造商制造的电视接收机的数量之后会变得更为明显。

在准确表示参考象素值和以尽可能少的比特数表示包括参考象素的所有象素之间可能存在冲突。如果存储空间缩减了50％，这可以换算成八比特象素字被压缩成四比特的情况，那么存储空间会获得明显的节省。利用四个比特表示参考象素可能在预测处理过程中引入明显的错误。由于准确的参考象素表示对于开始预测处理过程来说是重要的，因此在需要的时候利用较多的比特而不是表示剩余象素所采用的平均比特数是值得的。因此对于参考象素而言存储器缩减与精确度相比是第二位的。

对于块中的其余象素，存储器的缩减比任何一个象素的精确度更重要。编码器30可能将处理后的每个象素表示为包含3到7比特的字。确定实际用于存储任何给定广播信号图象帧的帧存储器的容量的任何企图都是不可行的，这是因为其中牵涉到一定的随机性。因此存储器应当包容编码器30在处理所有象素的情况下处理每个象素所需要的最大字长(7个比特)。

第一象素编码器30从量化处理器28接收最小块象素值。量化器28从组合器22和预测器18接收象素差数据，并将量化数据传送到预测器18。量化器28和编码器30均将量化数据传送到多路复用器32。多路复用器32将序列化的量化数据传送到存储器14(图1)，接下来将对此予以讨论。

图3是编码器30执行的第一象素编码处理的流程图。在步骤31，编码器30处理从输入端10来的原始第一象素值(X₀)，以及来自单元28的量化最小象素块值(Q_min)，以产生量化的第一象素值(QX₀)。步骤31根据下列方程工作：

          QX₀＝(X₀-Q_min)/2          (1)在输入端10(图1)从MPEG解码器接收的象素值是整数。因此，量化处理器20和第一象素编码器30接收和输出表示整数的数据，包括QX₀。利用整数的优势是在元件之间数据传送更快，处理器内的处理更快，硬件和软件不再那么复杂。由于X₀在被第一象素编码器30从MPEG解码信号接收的时候以整数开始，因此数据损失仅仅在X₀-Q_min为奇数时发生。奇数除以2总是有小数部分0.5。如果系统仅仅存储该整数部分，那么该小数部分被丢弃，而不能用于重构图象。

第一象素编码器30除以2是因为除数2立即将表示结果的整数部分所需要的象素数目减少了1。利用较大的除数可以节约更多的比特，但引入的误差也更多。已经观察到除以2所带来的显示图象明显未受上述压缩技术影响。

对第一象素编码在步骤33将8比特的原始象素减少了1到5比特。确定究竟有多少比特用于表示编码的第一象素，应取决于量化范围的数值，QR。量化器28(图2)利用下列表示式计算QR：

QR＝Q_max-Q_min+1                        (2)这里Q_max表示象素块中量化的最大值。量化范围QR被选择为用于设定分配来表示编码第一象素的数值的比特数的指示器，这是因为表示经编码的第一象素的数值所需要的比特数少于表示量化范围数值所需要的比特数，下文对此予以解释。

量化处理器28产生小于原始象素块最小值的量化最小值，和大于原始象素块最大值的量化最大值。因此，下列关系成立：

     Q_min＜＝X₀＜＝Q_max                     (3)这里X₀表示当前被处理的象素块内任何象素值。方程(3)可以在结合方程(2)之后重新表达如下：

     Q_min＜＝X₀＜＝Q_min+QR-1                (4)从方程(4)的所有三个部分中扣除Q_min得到下式：

     0＜＝X₀-Q_min＜＝QR-1                   (5)由于编码的第一象素QX₀是X₀-Q_min(方程1)的一半，将QX₀存储在存储器14(在二进制系统)所需要的存储空间比量化范围QR所要求的存储空间少1个比特。因此量化器28在确定表示和存储经编码的第一象素值所需要的字大小时分配比表示QR所需要的少一个比特。

继续参看图3，在步骤31第一象素编码器30初始时将QX₀构造为一个8比特字。在步骤33，编码器30针对当前范围掩蔽QX₀的适当数目的比特，并将所想要的比特传送给多路复用器32。在步骤33被掩蔽掉的QX₀的比特被送往多路复用器32，该多路复用器3保持QX₀，直至它被传送给存储器14。这一操作的控制和时序结合图6讨论。

图4包含了第一象素解码器38、多路分解器34和解量化器处理器36在解量化器26内的排列情况。多路分解器34将来自存储器14的数据传送给第一象素解码器38和解量化器处理器36。第一象素解码器38接收来自多路分解器34的经编码的第一象素值，并接收来自解量化处理器36的最小块象素值。第一象素解码器38解码第一象素，使之和施加在输入端10(图1)的MPEG解码信号的量化值一样。重构的第一象素值与来自解量化器36的象素块的其余重构象素一起被送往数据总线上的利用电路。

解量化器36接收来自预测器24(图1)的预测数据，和来自多路分离器34的其它量化象素值。解量化器36重构剩余象素块值，以和提供在输入端10(图1)处的每象素大小的原始比特一致，并且输出重构的数值。来自本地微控制器的时序控制使来自第一象素解码器38的解码参考象素和来自解量化器36的重构象素数据，在显示处理器所需要的适当时间出现在数据总线上。这将在图6看到。

在任何DPCM预测网络内，由预测器比如预测器24所采用的第一数据点的精确度对于一个数据块的其后被预测网络产生的所有数据精确度来说是至关重要的。该数据块内的每个数据点是由预测网络基于先前的数据点建立的。解量化的数据表示先前数据点和当前数据点之间的差。在重构期间，该差值被加到先前重构的数据点上，以获得当前数据点。因此，在第一数据点引入的任何误差将作为预测误差对于同一块内的后续数据点传播。

图5是第一象素解码过程的流程图。在步骤35，解码器38根据下式执行解码操作：

       RX₀＝2QX₀+Q_min                      (6)这里RX₀表示解码的第一象素值。QX₀和Q_min与方程1中的相同。

方程(6)表示方程(1)所表示操作的逆过程。方程(1)是除2操作，而方程(6)是乘2操作。由于第一象素解码器38在解码期间对编码的第一象素乘以2，故此在重构的第一象素值中的最大误差数值上比第一象素的原始值小一。这仅仅在X₀-Q_min是奇数的情况下才发生，因为第一象素编码器30在其编码过程中仅保留象素值的整数部分。如果X₀-Q_min是一偶数值，解码的第一象素值便等于原始第一象素值。

在第一象素解码器38于步骤35计算了解码的第一象素值RX₀之后，RX₀于步骤37被在前面填充零，以达到显示处理器所要求的象素字大小。一般而言，这是8个比特。在步骤37，第一象素解码器38在RX0的最高有效位的左侧添零，直到它为8比特字为止。在该操作期间所添加的所有比特都是零(0)，以便不会在数值中引入误差。重构的第一象素值RX0输出到显示处理器。

因为压缩器12和解压缩器16执行的是逆操作，所以相同的结构和构造均被简化。同样，步骤31中的编码器30和步骤35中的解码器38执行逆操作，这些逆操作可以利用公知的移位技术作简单的比特移动而实现。

再次参看图1，存储器14存储编码的第一象素值，直到它不再为象素重构和显示所需。在编码的第一象素驻留于存储器14的期间，它可以由后续的显示处理器经解压缩器16访问和解码。压缩器12和解压缩器16驻留在同一个集成电路中。存储器14可以有利地存在于集成电路之外，以允许存储器14的大小可以根据需要选择，从而满足具体系统的信号处理要求。这会节约制造成本，例如在成本降低的消费电视接收机利用清晰度降低的显示器从而对于MPEG解码器要求较少的帧存储器的情况下便是如此。

图6示意了电视接收机中实际数字信号处理系统包括如前讨论的根据本发明设备的部分。图6的数字电视系统是经过简化的，以便不因过多的细节而使该图复杂化。例如图中未表示与各种元件有关的FIFO输入和输出缓冲存储器，读/写控制，时钟发生器网络，和与外部存储器接口的控制信号，所述外部存储器可以是扩充数据输出型(EDO)或同步型(SDRAM)。

图1和图6中的共同元件采用了同样的指代标号。信号处理器72中的各元件除补偿器70外，均对应于由SGS-ThomsonMicroelectronics出售的STi 3500A MPEG-2/CCIR 600视频解码器集成电路内的元件。运动补偿单元70可以采用同一制造商出售的STi3220运动估计处理集成电路。

简略地说，图6的系统包括微处理器40、总线接口单元42和与内部控制总线46耦合的控制器44。在该例子中，微处理器40设置在包含MPEG解码器72的集成电路之外。192比特宽的内部存储器总线48是数据进出压缩器、类似解压缩器16和50，以及外部帧存储器14的通道。单元12、16和50从微处理器40经控制器44接收压缩和解压缩因素控制信号，以及使能控制信号。微处理器40还将存储器14分区为帧存储区、缓冲存储区，以及屏幕上显示位图部分，用于作MPEG解码和显示处理。还包含的是局部存储器控制单元52，它接收请求输入，并提供确认输出以及存储器地址输出，读使能和写使能输出。存储器控制单元52产生实时地址和控制信号，用于控制存储器14。存储器控制单元52还根据来自本地时钟发生器(未图示)的输入时钟信号“时钟入”，提供输出时钟信号“时钟入”和“时钟出”。微处理器40将存储器14分区为比特缓存区、视频帧存储区和帧存储缓存区，用于MPEG解码、和显示处理和在屏显示映射。

显示处理器54包括根据需要用于将解压缩图象格式转换成预定通常格式，以便由图象还原显示装置56显示的水平和垂直再抽样滤波器。例如，系统可以接收和解码对应于诸如525行交织、1125行交织或720行逐行扫描之类格式的图象序列。

外部接口网络58除了传送输入压缩视频数据供MPEG解码器处理外，还在MPEG解码器和外部微处理器40之间传送控制和配置信息。MPEG解码器系统相当于微处理器40的协处理器，例如针对拟解码的每帧向MPEG解码器发布译码指令。解码器定位相关的头信息，该信息转而被微处理器40所读。针对该信息，微处理器40发布用于配置解码器的数据，比如针对帧类型、量化矩阵等等的数据，在此之后解码器发布适当的解码指令。上文提及的SGS-Thomson Sti 3500A和3220集成电路装置的技术规范资料提供了关于MPEG解码器此类操作的其它信息。

微处理器40向存储器控制器52传送由接收机制造商编程的模式控制数据，用于控制多路复用器32(图2)和多路分解器34(图4)的操作，以及用于根据需要建立单元12、16和50的压缩/解压缩因数。披露的系统在各种数字数据处理方案下可以供MPEG技术规范的所有框架和所有层次使用，比如可以与地面广播、有线和卫星传输系统相关。

图6还绘示了数字视频信号处理器72的比如可以在电视接收机中发现的用于处理输入高清晰度视频信号的一部分。信号处理器72包括由方框60、62、64、66、68和70组成的常规MPEG解码器，它带有帧存储器14。Ang等人于1991年10月发表在IEEE Spectrum上的文章“Video Compress Makes Big Gains”描述了MPEG编码器和解码器操作的一个例子。

信号处理器72从先前的输入处理器(未图示)，例如在输入信号解调之后将数据包分离的传送解码器接收MPEG编码数据的受控数据流。在该例子中，所接收的输入数据流代表美国高清晰度地面电视广播系统的Grand Alliance技术规范中规定的高清晰度图象材料(1920×1088象素)。输入数据流具有表示8×8象素的数据块的形式。数据块表示经压缩、编码的帧内和帧间信息。帧内信息包括I帧锚定(anchor)帧。一般而言，帧间信息包括表示相邻图象帧之间的图象差的预测运动编码残余信息。帧间运动编码涉及产生在被处理的当前块和先前重构图象的一块之间偏差的运动矢量。表示当前块和先前块之间最佳匹配的运动矢量被编码和传送。同样，每个经运动补偿的8×8块和先前重构块之间的差(残余值)在被传输之前进行离散余弦变换(DCT)，量化和可变长度编码(VLC)。各种出版物包括Ang等人的著作都较为详细地描述了运动补偿编码过程。

缓存器60接收被VLD62作可变长度解码之前的输入压缩象素数据块。缓存器60在主要层次、主要框架下的MPEG数据流的情况下表现出1.75Mbit的存储容量。逆量化器64和DCT66对来自VLD62的解码压缩数据解压缩。DCT66的输出数据耦合到加法器68的一个输入端。

来自缓存器60的信号控制逆量化器64的量化步长(step size)，以确保数据平滑流动。VLD62向运动补偿单元提供经解码的运动矢量，如前所述。VLD62还产生公知的帧内/帧间模式选择控制信号(因简化视图的原因而未图示)。单元62、64和66所执行的操作是位于发射机侧的编码器的相应操作的逆过程。

通过将来自单元66的残余图象数据与从单元70的输出端提供的预测图象数据相加，加法器68提供基于视频帧存储器14内容的重构象素。当信号处理器72已经处理了由象素块组成的整个帧之后，帧存储器14存储所产生的重构图象。在帧间模式，从VLD62获得的运动矢量提供了来自单元70的预测块的位置。

涉及了加法器68、存储器14和运动补偿单元70的图象重构处理由于在数据存储在帧存储器14之前利用了块压缩器12，因而表现出存储要求明显降低的有利情况。帧存储器14的大小可以得到降低，例如当采用了50％压缩因数的时候其大小可降低达50％之多。单元50执行单元12的逆过程，它类似于上面讨论的解压缩器16。压缩器12和解压缩器16和50是根据前文讨论并且在图1、2、4和5上表示出来的本发明的原理而构造的。

Claims (18)

1.由代表压缩图象的象素数据块组成的数据流的处理系统，包括：

第一解压缩器(62-66)，用于对所述象素块解压缩，以产生解压缩数据；

压缩器(12)，用于将所述解压缩数据以预定象素块参数的函数形式再压缩成再压缩数据；以及

存储所述再压缩数据的存储器(14)。

2.根据权利要求1所述的系统，其特征在于：

所述压缩器将一个数据块的一个参考象素以所述块参数的函数形式再压缩，并且其中

所述系统还包括象素预测网络(18)，该预测网络响应所述参考象素，以便利于对所述象素块的其它象素进行预测处理。

3.根据权利要求1所述的系统，其特征在于：

所述块参数是从包括最小象素值、最大象素值、参考象素值、一个象素值范围、块象素平均值和块象素中值在内的参数中至少一个参数选择的。

4.根据权利要求2所述的系统，其特征在于：

所述块参数是最小象素值。

5.根据权利要求1所述的系统，其特征在于还包括：

第二解压缩器(16)，用于以所述块参数的函数形式对来自所述存储器的再压缩数据解压缩；和

包括一个显示处理器(54)的输出网络(54，56)，用于处理由所述第二解压缩器(16)解压缩的数据。

6.根据权利要求2所述的系统，其特征在于：

所述压缩器(12)和所述第二解压缩器(16)表现出互逆的工作特性。

7.根据权利要求3所述的系统，其特征在于：

所述压缩器(12)和所述第二解压缩器(16)表现出互逆的工作特性。

8.根据权利要求5所述的系统，其特征在于还包括：

第三解压缩器(50)，用于对所述再压缩数据解压缩；以及

运动补偿系统(70)，用于响应来自所述第三解压缩器的解压缩数据提供运动补偿数据。

9.在包括构成图象帧的MPEG压缩象素块在内的图象信息数据流的处理系统中，所述象素块各自有一个块参数，一个处理器包括：

第一解压缩器(62-66)，用于对所述象素块解压缩，以产生解压缩的象素块数据；

压缩网络(12)，用于将所述解压缩数据以所述块参数的函数形式再压缩成再压缩数据；

象素预测网络(18)，该预测网络响应一个参考象素，以便利于对所述数据块的其它象素进行预测处理以及

存储所述再压缩数据的帧存储器(14)。

10.根据权利要求9所述的系统，其特征在于所述压缩网络(12)还包括：

第一数据缩减网络(30)，用于处理所述参考象素；以及

第二数据缩减网络(28)，用于处理象素块的其它象素。

11.根据权利要求10所述的系统，其特征在于：

所述第一数据缩减网络(30)和第二数据缩减网络(28)是量化器。

12.根据权利要求9所述的系统，其特征在于还包括：

第二解压缩器(16)，用于以所述块参数的函数形式对来自所述存储器(14)的再压缩数据解压缩；和

包括一个显示处理器(54)的输出网络(54，56)，用于处理由所述第二解压缩器(16)解压缩的数据。

13.根据权利要求12所述的系统，其特征在于：

所述第二解压缩器(16)将一个数据块的一个参考象素以所述块参数的函数形式解压缩，并且其中所述系统还包括

第二象素预测网络(24)，该预测网络响应所述参考象素，以便利于在解压缩期间对所述数据块的其它象素进行预测处理。

14.根据权利要求13所述的系统，其特征在于所述第二解压缩器(16)还包括：

第一数据重构网络(38)，用于处理所述参考象素；以及

第二数据重构网络(36)，用于处理象素块的其它象素。

15.根据权利要求11所述的系统，其特征在于：

所述压缩器(12)和所述第二解压缩器(16)表现出互逆的工作特性。

16.根据权利要求9所述的系统，其特征在于：

所述块参数是最小象素值。

17.根据权利要求10所述的系统，其特征在于：

所述块参数是从包括最小象素值、最大象素值、参考象素值、一个象素值范围、块象素平均值和块象素中值在内的参数中至少一个参数选择的。

18.根据权利要求12所述的系统，其特征在于还包括：

第三解压缩器(50)，用于对所述再压缩数据解压缩；以及

运动补偿系统(70)，用于响应来自所述第三解压缩器的解压缩数据提供运动补偿数据。

Images