CN1145360C - 利用与像素块分类信息对应的映射系数的图像编码和解码 - Google Patents

Abstract

可从分层次编码操作期间获得的最下层次数据中产生具有高图像质量的解码图像。在稀化单元中使等同于原始图像的第一层次的图像逐渐被稀化，从而形成第二层次的图像和第三层次的图像。然后，在最佳校正数据计算单元中，校正第二层次的图像，从获得的的校正数据中预测第一层次图像的预测值，以及产生第二层次图像的校正数据以减小预测值的预测误差使低于预选阈值。在另一个最佳校正数据计算单元中，同样地获得第三层次图像的校正数据。

Description

利用与像素块分类信息对应的映射系数的图像编码和解码

本发明涉及图像编码装置和方法、图像解码装置、记录媒体、图像处理装置以及图像传输方法，具体来说，涉及一种能够以解码得到的图像与源图像几乎相同这种方式对图像进行稀化(二次取样)和压缩编码的图像编码装置和方法、图像解码装置、记录媒体、图像处理装置以及图像传输方法。

作为压缩图像的方法，以往提出过有多种。一种方法将原始图像数据(即所要编码的图像)作为“第一层次”(最高层次)图像。通过减少像素数目(即逐级降低分辨率)形成第二和第三层次图像。

按照典型的分层编码系统，从发送设备向接收设备传送的多个层次的图像。接收设备可以响应每一幅这种多个层次图像(在例如监视器上)显示相应层次的图像。

按照典型的分层解码系统，除其他较高层次图像之外，还对最低层次图像(即最低分辨率的图像)的数据进行校正处理运算。结果，碰巧有差错发生时，就无法对非最低层次的其他层次图像进行校正。所以，不论何种差错状况就只能获得最低层次的图像数据并对此校正。比最低层次高的各个层次图像不具有误码恢复数据，因而只可以通过在接收端对最低层次图像的数据进行例如插补处理运算来获得。所以，按照分层编码系统可以改善相对于误码的坚韧性。

图36示意一例执行上述分层编码运算的典型图像编码装置。要编码的图像数据作为第一层次(最高层次)数据送至稀化(即二次取样)单元11和信号处理单元501。

稀化单元11中使第一层次图像数据的像素数量变得稀疏，以形成第二层次(比第一层次低一个层次)图像数据，所形成的图像数据送至稀化单元12和信号处理单元501。稀化单元12中使第二层次图像数据的像素数量变得稀疏，以形成第三层次(比第二层次低一个层次)图像数据，此图像数据送至信号处理单元501。

信号处理单元501中对第一层次、第二层次和第三层次的图像数据进行校正处理和其他所需的信号处理运算。此后，对经信号处理的图像数据进行多路复用，经多路复用的图像数据作为编码数据输出。应注意，在信号处理单元501中是通过执行比其他层次数据所执行的更强的校正来处理第三层次图像数据的。

图37示意对图36中图像编码装置所输出的编码数据分层解码的典型图像解码装置的实例。

信号处理单元601中将编码数据分离为第一层次、第二层次和第三层次编码图像数据。另外，信号处理单元601中对分离的图像数据进行校正处理和其他所需的处理运算。第一层次图像数据作为第一层次解码图像直接输出。第二层次图像数据则送至插补单元602。该插补单元602对第二层次图像数据执行插补处理，以生成其像素数目与第一层次(比第二层次高一个层次)图像数据的像素数目相同的图像数据。然后，此生成图像数据作为第一层次解码图像输出。第三层次的图像数据送至另一插补单元603。该插补单元603对第三层次图像数据执行插补处理运算，从而生成其像素数目与第二层次(比第三层次高一个层次)图像数据的像素数目相同的图像数据，即第二层次解码图像。此第二层次解码图像输出至另一插补单元604。该插补单元604对插补单元603的输出执行与插补单元602所执行的相似的插补处理，从而生成其像素数目与第一层次(比第二层次还要高一个层次)图像数据的像素数目相同的图像数据，然后将此图像数据作为第一层次解码图像输出。

因而，即便由于某些原因而无法获得第一层次图像数据时，也可以根据图像解码装置中第二层次图像数据获得第一层次解码图像。同样，即便因某些原因而无法获得第一层次图像数据和第二层次图像数据时，也可以根据第三层次图像数据获得第一层次和第二层次解码图像。

但经解码的较高层次图像其图像质量由于是根据低层次图像插补得到的，因而变得相当差。

故而希望提供一种即便是只能根据最低层次编码数据来获得的情况下也能够到高图像质量的解码图像的系统。

按照本发明一实施例的图像编码装置和/或方法，对第二层次图像数据进行校正，以输出校正数据。根据该校正数据预测第一层次图像数据预测值。相对于第一层次图像数据计算预测值的预测误差，根据该预测误差判定校正装置输出的校正数据的正确性。因而，解码一侧可以根据判定正确的校正数据，获得高图像质量的解码图像。

按照本发明其他实施例的图像编码装置和方法，第一层次图像数据是一预定的数据块，该预定块按其属性归类为预定分类，利用构成该预定块的像素的像素数值执行预定运算计算出其像素数目小于第一层次图像数据像素数目的第二层次图像数据。确定与该预定块的分类相对应的映射系数。因而，解码一侧可以根据第二层次图像数据生成高图像质量的解码图像。

本发明还包括一其上记录如此编码的数据的记录媒体。例如，按照本发明一实施例的记录媒体，其上记录的编码数据至少包含其像素数目小于第一层次图像数据像素数目的第二层次图像数据。编码数据是通过校正第二层次图像数据，输出校正数据生成的。根据校正数据预测第一层次图像数据预测值。相对于第一层次图像数据计算预测值的预测误差，根据该预测误差判定校正装置输出的校正数据的正确性。因而，可以根据该编码数据生成高图像质量的解码图像。

按照本发明一实施例的图像解码装置和/或方法，根据至少包含这样一种校正数据在内的编码数码对第一层次图像进行解码，该校正数据是通过校正其像素数目小于第一层次图像数据像素数目的第二层次图像数据，并依据由该校正数据所预测的第一层次图像数据预测值的预测误差判定为正确数据生成的。

本发明上述和其他方面将在参照下面的说明以及附图进行考虑时变得清楚。

图1是示意本发明实施例图像处理系统配置的框图。

图2是示意第一实施例图1中发送装置配置的框图(图中，抽出第二层次预测系数将该预测系数与第三层次编码数据相加)。

图3是图2中稀化单元11和12处理运算的说明图。

图4是图2中稀化单元11和12处理运算的说明图。

图5是示意图2中最佳校正数据运算单元13(14)结构例的框图。

图6是说明图5中最佳校正数据运算单元13处理运算的流程图。

图7是示意图5中校正单元21结构例的框图。

图8是说明图7中校正单元21运算的流程图。

图9是示意图5中本机解码单元22结构例的框图。

图10是图9中分类块形成单元41处理运算的说明图。

图11是分类处理运算的说明图。

图12是ADRC处理运算的说明图。

图13是说明图9中本机解码单元22运算的流程图。

图14是示意图5中误差计算单元23结构例的框图。

图15是说明图14中误差计算单元23运算的流程图。

图16是示意图5中判定单元24结构例的框图。

图17是说明图16中判定单元24运作的流程图。

图18是示意图1中接收装置4配置的框图。

图19是示意图18中预测单元72结构例的框图。

图20是示意图18中预测单元73结构例的框图。

图21是示意图5中本机解码单元22另一结构例的框图。

图22是示意一实施例图像处理单元对图21中预测系数ROM88所存储的预测系数进行运算的配置的框图。

图23是示意图19中解码单元80另一结构例的框图。

图24是示意第二实施例图1中发送装置1配置的框图。

图25是示意图24中最佳校正数据计算单元101(102)结构例的框图。

图26是说明图25中最佳校正数据计算单元101运算的流程图。

图27是示意第一实施例图像处理装置执行学习运算以获得映射系数的配置的框图。

图28是说明图27中图像处理装置运作的流程图。

图29是示意第二实施例图像处理装置执行学习运算以获得映射系数的配置的框图。

图30是说明图29中图像处理装置运作的流程图。

图31是本发明对第一层次进行解码的方法的说明图。

图32是本发明对第二层次进行解码的方法的说明图。

图33是第三实施例图1中发送装置布置的示意图。

图34是示意图33中最佳校正数据计算单元201结构例的框图。

图35是说明图34中最佳校正数据计算单元201运算的流程图。

图36是示意执行分层编码运算的常规图像编码装置一结构例的框图。

图37是示意执行分层解码运算的常规图像解码装置一结构例的框图。

图38是示意最佳校正数据计算单元替代实施例的框图。

图39是说明图38中最佳校正数据计算单元运行的流程图。

图40是示意最佳校正数据计算单元另一替代实施例的框图。

图41是说明图40中最佳校正数据计算单元运算的流程图。

图42是示意本机解码单元替代实施例的框图。

图43是说明图42中本机解码单元运算的流程图。

图44是确定单元24的框图。

图45是说明确定单元24运作的流程图。

图46是预测单元替代实施例的框图。

图47是最佳校正数据计算单元替代实施例的框图。

图48是说明图47中最佳校正数据计算单元运算的流程图。

为明确这里说明的种种实施例中各个装置之间的对应关系，先参照附图简要说明本发明的某些特征。要理解，术语“单元”应在最广泛的意义上解释，包含固化布线单元、装有合适软件的大型计算机、经过编程的微处理器或微控制器及其组合。

图1示意本发明实施例图像处理系统。数字图像数据送至发送装置1。发送装置1对该输入图像数据送至发送装置1。发送装置1对该输入图像数据分层编码以获得经编码的图像数据，在例如光盘、磁光盘、磁带等记录媒体2上记录这种编码数据。不然(或另外)，该编码数据经诸如地面波、卫星线路、电话线路、CATV网等传输路径3发送。

接收装置4中，对记录在记录媒体2上的编码数据进行重放，或接收经传输路径3发送的编码数据，对该编码数据分层解码，以获得解码的图像，送至显示器(未图示)。

还应注意，上述图像处理系统可以应用于图像记录/重放装置，例如光盘装置，磁光盘装置和磁带装置等。另一方面，图像处理系统还可以应用于图像传送装置，例如电视电话装置，电视广播系统和CATV系统等。从发送装置1输出的编码数据其数据量相对较小，因而图1的图像处理系统还可应用于例如便携电话等移动终端。

图2示出上述发送装置1的一例配置。

所要编码的图像数据(即第一层次或最高层次图像数据)作为第一层次解码数据直接送至信号处理单元15。第一层次图像数据还送至稀化单元11和最佳校正数据计算单元13。在稀化单元11中，使第一层次图像数据的像素数目变得稀疏，从而形成第二层次图像数据(比第一层次图像数据低一个层次)。具体来说，例如如图3所示，在稀化单元11中将第一层次图像数据(图中用空心圆圈符号“ O”表示的部分)简单稀疏(例如二次取样)至1/9(横向和纵向均稀疏至1/3)。从而形成第二层次图像(图中用符号“Δ”表示的部分)。该第二层次图像数据送至稀化单元12和最佳校正数据计算单元13。

稀化单元12中使第二层次图像数据的像素数目变得稀疏，从而形成比第二层次图像数据还低一层次的第三层次图像数据。具体来说，在稀化单元12中，例如与稀化单元11的情形相同，使第二层次图像数据简单稀化至1/9，从而形成在图3中由符号“X”表示的第三层次图像数据。该第三层次图像数据送至另一最佳校正数据计算单元14。

如图4所示，上述方式中稀化单元11和12均是根据第一层次图像数据(即原始图像数据)形成第二层次图像数据和第三层次图像数据的。

最佳校正数据计算单元13计算适宜从第二层次图像数据获得第一层次解码图像的最佳校正数据(这里称为“第二层次最佳校正数据”)。这样计算出的最佳校正数据作为第二层次编码数据输出至信号处理单元15。最佳校正数据计算单元14计算适宜获得最佳校正数据计算单元13所输出最佳校正数据的另一最佳校正数据(这里称为“第三层次最佳校正数据”)。该最佳校正数据作为第三层次编码数据送至信号处理单元15。

在此例中，第三层次最佳校正数据适宜于获得第二层次最佳校正数据，而第二层次最佳校正数据适宜于获得第一层次解码图像，因而第三层次最佳校正数据与第二层次最佳校正数据同样可适宜于获得第一层次解码图像。

信号处理单元15中得到的是预测系数(下面述及的第一层次预测系数)，第二层次编码数据包括第一层次预测系数。另外，第三层次编码数据包括第二层次预测系数。接着，信号处理单元15对于第一至第三层次的编码数据执行误码校正处理和其他所需信号处理运算。然后，对经信号处理的编码数据进行多路复用，经多路复用的数据作为最终编码数据输出。应理解，对第三层次(最低层次)编码数据而言，所进行的误码校正处理比其他层次编码数据所进行的要强。

以上述方式由信号处理单元15输出的编码数据记录在记录媒体2上和/或通过传输路径3发送。

如上所述，在稀化单元11和12中稀化运算均按相同比率进行。但并不要求稀化单元11的稀化比率与稀化单元12的相同。

图5示出图3中最佳校正数据计算单元13配置的实施例。应指出，最佳校正数据计算单元14具有相似配置，故省略其说明。

由稀化单元11得到的第二层次图像数据送至校正单元21，而第一层次图像数据则送至本机解码单元22。而且，第一层次图像数据还送至误差计算单元23。

校正单元21响应判定单元24送来的控制信号对第二层次图像数据进行校正。由校正单元21通过校正运算得到的校正数据送至本机解码单元22和判定单元24。

本机解码单元22根据校正单元21输出的校正数据，即第二层次图像数据的校正结果预测第一层次(比第二层次高一个层次)的预测值。术语“预测值”意味着包括多个像素值，而每个像素数值对应第二层次图像数据的一个像素。预测值送至误差计算单元23。

如说明书后面将要述及的，本机解码单元22执行处理运算时通过用第一层次图像数据与校正数据进行线性耦合，以获得用来计算第一层次预测值的第一分类的预测系数。本机解码单元22根据这些预测系数执行自适应处理运算，以获得第一层次预测值。所生成的第一分类的预测系数还送至判定单元24。

误差计算单元23计算本机解码单元22得到的预测值相对于第一层次图像数据(原始图像)的预测误差。该预测误差作为误差信息送至判定单元24。

判定单元24根据误差计算单元23得到的误差信息判定校正单元21输出的校正数据是否与原始图像编码结果(本例中即第一层次图像)基本相等。当判定单元24判定校正单元21输出的校正数据与原始图像编码结果基本不相等时，判定单元24控制校正单元21进一步对第二层次图像数据进行校正，从而从这种校正单元21输出重新得到的校正数据。而当判定单元24判定校正单元21输出的校正数据与原始图像编码结果基本相等时，由校正单元21提供的校正数据作为最佳校正数据(第二层次最佳校正数据)送至多路复用单元25。另外，本机解码单元22提供的预测系数送至多路复用单元25。

多种复用单元25对来自判定单元24的最佳校正数据和每一分类预测系数进行多路复用，接着将经多路复用的结果作为第二层次编码数据输出。

现参见图6流程图说明最佳校正数据计算单元13的运算。第二层次图像数据送至校正单元21时，校正单元21先直接将第二层次图像数据输出至本机解码单元22和判定单元24。在步骤S2，本机解码单元22直接对从校正单元21得到的校正数据即前面所述的第二层次图像数据进行本地解码。

具体来说，在步骤S2，对第一层次图像数据进行自适应处理运算以获得第一分类预测系数，利用校正数据通过与校正单元21来的校正数据进行线性耦合计算第一层次(比第二层次高一个层次)预测值。根据预测系数获得预测值，接着将此预测值送至误差计算单元23。

当误差计算单元23从本机解码单元22接收第一层次预测值时，在步骤S3误差计算单元23计算从本机解码单元22得出的预测值相对于第一层次图像数据的预测误差，将预测误差作为误差信息送至判定单元24。从误差计算单元23接收到误差信息时，在步骤S4判定单元24对校正单元21输出的校正数据与第一层次图像编码结果是否基本相等进行判定。

具体来说，在步骤S4，对误差信息是否小于规定阈值“ε”进行判定。在步骤S4，当判定误差信息不小于规定阈值“ε”时，就认定校正单元21输出的校正数据与第一层次图像编码数据基本不相等。接下来，处理运算进行到步骤S5，判定单元24控制校正单元21对第二层次图像数据进行修正。校正单元21在判定单元24控制之下改变修正量(即下面将述及的修正值“Δ”)，对第二层次图像数据进行修正。所生成的校正数据输出至本机解码单元22和判定单元24。接下来，处理返回先前步骤S2，重复同样处理运算。

而在步骤S4判定误差信息小于规定阈值“ε”时，就表明校正单元21输出的校正数据与第一层次图像编码结果基本相等。误差信息小于或等于规定值“ε”时，判定单元24便将校正数据作为最佳校正数据与第一分类预测系数相组合输出至多路复用单元25。在步骤S6，多路复用单元25对每一分类预测系数与从判定单元24得到的最佳校正数据多路复用，并将多路复用结果作为第二层次编码数据输出。接下来结束此处理运算。

如前文所述，由于是将对误差信息小于预选阈值“ε”条件下的第二层次图像数据进行校正所生成的校正数据当作第一层次图像的，因而接收装置4一侧可以根据校正数据(即最佳校正数据)从第二层次编码图像数据获得与原始图像数据(第一层次图像数据)基本相同的图像。

应指出的是，如上文所述，是在最佳校正数据计算单元13中用第一层次图像数据进行这样一种处理运算，通过与校正数据线性耦合来获得用于计算第一层次(比第二层次高一个层次)预测值的每一分类预测系数，而用最佳校正数据计算单元13输出的最佳校正数据进行自适应处理运算。另一方面，最佳校正数据计算单元14可以对稀化单元11输出的第二层次图像数据执行自适应处理运算。

图7示出图5中校正单元21的配置例。

第二层次图像数据送至校正单元32。校正单元32响应判定单元24(图5)提供的控制信号，将地址送至修正值ROM33，以便可从ROM33读出修正值“Δ”。接下来，校正单元32通过例如将修正值ROM33读出的修正值Δ与第二层次图像数据相加生成校正数据，接着将所生成的校正数据送至本机解码单元22和判定单元24。修正ROM33存储有修正值Δ的各种组合(例如用于修正一帧第二层次图像数据的修正值组合)，以修正第二层次图像数据。从修正值ROM33读出的与校正单元32提供的地址相对应的修正值Δ组合送至校正单元32。

现参照图8说明图7中示出的校正单元21的运算。

例如当一帧第二层次图像数据送至校正单元32时，校正单元32在步骤11接收这个第二层次图像数据，并在步骤S12判定是否接收到判定单元24(图5)的控制信号。在步骤S12判定未接收到控制信号时，处理运算便跳过步骤S13和S14，校正单元32接下来在步骤S15将第二层次图像数据作为校正数据直接输出给本机解码单元22和判定单元24。接着处理返回先前步骤S12。

具体来说，如上所述，判定单元24根据误差信息来控制校正单元21(校正单元32)。由于校正单元32接收到第二层次图像数据之后尚未立即得到误差信号(因为误差计算单元23未输出误差信息)，所以判定单元24没有控制信号输出。因而，当接收到第二层次图像数据之后，校正单元32不对第二层次图像数据进行修正，而是将该图像数据作为校正数据直接输出给本机解码单元22和判定单元24。

而在步骤S12判定接收到判定单元24来的控制信号时，校正单元32便在步骤S13将按照控制信号确定的地址输出给修正值ROM33。因而在步骤S13从修正值ROM33读出存储于该地址的修正值Δ组合(集合)，随后送给校正单元32。一旦接收到从修正值ROM33读出的修正值Δ组合，校正单元32就将相应修正值Δ与一帧相应的第二层次图像数据相加，从而在步骤S14计算得到通过修正第二层次图像数据生成的校正数据。此后，处理运算进行到步骤S15，在该步骤从校正单元32将校正数据输出给本机解码单元22和判定单元24，处理返回至步骤S12。

如前文所述，校正单元21重复输出在判定单元24控制之下通过将第二层次图像数据修正为各种数值得到的校正数据。

应注意，当对于一帧图像的编码运算结束时，判定单元24便向校正单元21提供一表明编码运算结束的控制信号。在步骤S12一接收到该控制信号，校正单元21便结束对当前帧图像的处理运算，对下一帧图像执行由图8流程图确定的处理运算。

图9示出图5所示本机解码单元22一配置实施例。

校正单元21得到的校正数据送至分类块形成单元41和预测值计算块形成单元42。分类块形成单元41根据其属性形成以标注校正数据为中心用于使校正数据归类为预选分类的分类块。

现假定，例如由符号“O”表示的像素构成第一层次图像，由符号“●”表示的另一种像素构成第二层次图像(校正数据)，从上端起第i位和从左端起第j位这一位置的校正数据(要不就是像素)表示为“X_ij”，分类块形成单元41将生成一分类块，共计包括9个像素，具体来说就是受关注像素“X_ij”和下述分别位于左上方、上方、右上方、左边、右边、左下方、下方、右下方与受关注像素相邻的8个像素：X_(i-1)(j-1)、X_(i-1)j、X_(i-1)(j+1)、X_i(j-1)、X_i(j+1)、X_(i+1)(j-1)、X_(i+1)j、X_(j+1)(j+1)。该分类块送至分类自适应处理单元43。

应注意，本例中分类块是具有3×3像素的规则正方形块，但分类块的形状并不要求为这种规则正方形。作为替代，可以用其他形状，例如长方形、十字形等其他任意形状。构成分类块的像素总数不限于9个像素(＝3×3个像素)。

预测值计算块形成单元42对校正数据处理形成一以标注校正数据为中心用来计算第一层次图像预测值的预测值计算块。具体来说，在图10中现假定，原始图像数据(本例中为第一层次图像数据)中9个像素(＝3×3)的像素值在对校正数据X_ij(图10中由符号“●”标注部分)定位时，从左至右、从上至下由Y_ij(1)、Y_ij(2)、Y_ij(3)、Y_ij(4)、Y_ij(5)、Y_ij(6)、Y_ij(7)、Y_ij(8)、Y_ij(9)来表示，预测值计算块形成单元42构成一正方形预测值计算块，以计算像素Y_ij(1)至Y_ij(9)的预测值。这种预测值计算块则由例如下述25个(5×5)像素配置而成(将像素X_ij设为中心时)：X_(i-2)(j-2)、X_(i-2)(j-1)、X_(i-2)j、X_(i-2)(j+1)、X_(i-2)(j+2)、X_(i-1)(j-2)、X_(i-1)(j-1)、X_(i-1)j、X_(i-1)(j+1)、X_(i-1)(j+2)、X_i(j-2)、X_i(j-1)、X_ij、X_i(j+1)、X_i(j+2)、X_(i+1)(j-2)、X_(i+1)(j-1)、X_(i+1)j、X_(i+1)(j+1)、X_(i+1)(j+2)、X_(i+2)(j-2)、X_(i+2)(j-1)、X_(i+2)j、X_(i+2)(j+1)、X_(i+2)(j+2)。

参见利用图10的实例，要计算为矩形框包围的第一层次图像数据中九个像素Y33(1)至Y33(9)的预测值，由下述校正数据构成预测值计算块：X₁₁、X₁₂、X₁₃、X₁₄、X₁₅、X₂₁、X₂₂、X₂₃、X₂₄、X₂₅、X₃₁、X₃₂、X₃₃、X₃₄、X₃₅、X₄₁、X₄₂、X₄₃、X₄₄、X₄₅、X₅₁、X₅₂、X₅₃、X₅₄、X₅₅。

预测值计算块形成单元42得到的预测值计算块送至分类自适应处理单元43。

与分类块例子相同，对预测值计算块而言，像素数目和形状不限于上述例子。但应注意，预测值计算块中像素总数最好大于分类块中像素总数。

进行上述块形成处理(与除块形成以外的处理运算相同)时，在图像数据图框附近没有相对应像素。在本例中，例如可以假定与构成图框的那些像素相同的像素位于该图框的外面来执行这种处理运算。

分类自适应处理单元43包括ADRC(自适应动态范围编码)处理单元44，分类单元45以及自适应处理单元46，执行分类自适应处理运算。

通过分类自适应处理运算，意味着根据其特性将输入信号归类为几个分类，对于每一这些分类的输入信号执行适宜于每一这些分类的自适应处理运算。粗略来说，分类自适应处理运算分成分类处理运算和自适应处理运算。

现说明分类处理运算和自适应处理运算。

首先说明分类处理运算。为便于说明，假定由2×2个像素组成的分类块如图11A所示，包括一受关注像素和相邻的三个像素，这些像素的每一个由1位数字(要么为“0”要么为“1”)表达。本例中，如图11B所示，具有4个像素(2×2)的块根据各自像素的数字位分布可以归类成16(＝(21)4)种。这种模式分类与分类单元45执行的分类处理相对应。

应注意，这种分类处理运算最好考虑图像的特性例如块范围内图像的多样性和图像的变化强度。

在本例中，通常分配给每个像素例如8位或更多。本实施例中如前文所述，还用9个像素(＝3×3)组成分类块。所以，对这样一种分类块执行分类处理运算时，这种分类块将分成(2⁸)⁹这样一天文数字的分类。

因而，按照本实施例，在ADRC处理单元44中对分类块进行ADRC处理运算。因而，可以通过减少分类块中像素数目来减少分类数目。

例如为便于简要说明，如图12A所示，考虑4个像素排列为一根直线构成的块，ADRC处理运算中检测此像素数值的最大值“MAX”和最小值“MIN”。随后假定DR＝MAX-MIN用作块的局部动态范围，构成块的像素的像素数值根据此动态范围DR重新量化为K位。

具体来说，从块中每一像素数值减去最小值MIN，随后该减法值除以DR/2^K。因而，所得到的数值变换为与商值相对应的代码(ADRC码)。就具体例而言，如图12所示若K＝2，便判定该商值是否属于通过对动态范围DR进行四等分(＝22)所得到的这种范围中的任意一个。在商值属于最低级别范围，第二最低级别范围，第三最低级别范围或最高级别范围的情形，每个商值编码为代表此级别范围的2位，例如00B、01B、10B和11B(符号“B”表示二进制数)。接着，在解码侧将ADRC码00B、01B、10B和11B分别变换成最低级别范围的中心值L00、第二最低级别范围的中心值L01、第三最低级别范围的中心值L10或最高级别范围的中心值L11。接着，最小值MIN这些值的每一个相加进行解码运算。

本例中，这样一种ADRC处理运算称为“无边缘匹配”。如图12C所示，与该无边缘匹配不同，还有另一种称为改进无边缘匹配的ADRC处理技术。在改进的无边缘匹配ADRC处理运算中，不论是ADRC码00B还是ADRC码11B，分别变换成属于四等分动态范围DR得到的最低级别范围或最高级别范围的像素的平均值MIN’或MAX’。而且，ADRC码01B和10B变换成对MAX’-MIN’确定的动态范围DR’三等分时得到的值，这样对ADRC解码。

应注意，在例如本申请受让人先前申请、于1991公开的日本专利公报特开平3-53778中揭示有对于ADRC处理运算的详细说明。

如前文所述，通过执行ADRC处理运算，按位数小于分配给构成块的像素的位数进行量化，可以减少分类数目。在ADRC处理单元44中进行这样一种ADRC处理运算。

本实施例中，根据分类单元45中ADRC处理单元44所输出的ADRC码进行分类处理运算。作为替代，可以对利用其他处理运算，例如DPCM(预测编码)、BTC(块截断编码)、VQ(向量量子化)、DCT(离散余弦变换)以及Hadamard变换所处理的这种数据执行分类处理运算。

现说明自适应处理运算。

例如现考虑通过线性一次耦合模型计算第一层次图像数据像素数值“y”的预测值。由该像素数值(本例中为对第二层次图像数据进行修正得到的校正数据，根据需要此后称为“学习数据”)周围的几个像素的像素数值X₁、X₂、……，并对预选预测系数W₁、W₂、……进行线性耦合来定义该线性一次耦合模型。本例中，预测值可以由下面公式表达：

预测值＝W₁X₁+W₂X₂+……                                  (1)

因此，归纳这个公式，当一组预测系数W组成的矩阵W、一组学习数据组成的矩阵X和一组预测值组成的矩阵Y’定义如下时：

$X=\left[\begin{array}{c}{X}_{11}{X}_{12}\·\·\·\·\·\·X_{1n}\\ X_{21}{X}_{22}\·\·\·\·\·\·X_{2n}\\ X_{m1}{X}_{m2}\·\·\·\·\·\·X_{\mathrm{mn}}\end{array}\right]$

$W=\left[\begin{array}{c}{W}_1\\ W_2\\ \·\·\·\\ W_n\end{array}\right],Y^{\′}=\left[\begin{array}{c}E\left[Y_1\right]\\ E\left[Y_2\right]\\ \·\·\·\\ E\left[Y_n\right]\end{array}\right]$

可以如下简化式成立：

XW＝Y′                                                 (2)

通过对该简化式用最小二乘法来得到与第一层次图像数据的像素数值y接近的预测值。本例中，当一组第一层次图像数据(此后根据需要称为“示教数据”)的像素数值组成的矩阵Y，一组相对于第一层次图像数据的像素数值y的预测值余项所组成的一矩阵E如下定义时，

$E=\left[\begin{array}{c}{e}_1\\ e_2\\ \·\·\·\\ e_m\end{array}\right],Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ \·\·\·\\ Y_n\end{array}\right]$

则根据式(2)有下述剩余方程成立：

XW＝Y+E                                                 (3)

本例中，可以通过使下述方差为最小，计算第一层次预测系数W_i，以计算接近第一层次图像数据像素数值y的预测值。

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i^2$

所以，以预测系数对上述方差微分，方差设为0。能够满足以下公式的预测系数W_i成为计算接近第一层次图像数据像素数值“y”的预测值的最佳数值。

$e_1\frac{{\∂e}_1}{\∂w}+e_2\frac{{\∂e}_2}{\∂w}+\·\·\·+\frac{{\∂e}_m}{\∂w}=0(i=\mathrm{1,2},\·\·\·n)----\left(4\right)$

由于以第一层次预测系数W_i对公式(3)微分，因而可满足下式公式：

$\frac{\∂e_1}{\∂w_i}=x_{i1},\frac{\∂e_i}{\∂w_2}=x_{i2}\·\·\·,\frac{\∂e_i}{\∂w_n}=x_{\mathrm{in}},(i=\mathrm{1,2},\·\·\·,m)----\left(5\right)$

由公式(4)，(5)和(6)可以得到

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i1}=0,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i2}=0,\·\·\·\underset{=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{\mathrm{in}}=0----\left(6\right)$

考虑学习数据“L”、预测系数“W”，示教数据“y”和公式(3)定义的剩余方程中所含的余项“e”之间的关系，可以由公式(6)得到下列正规方程：

                                                          (7)

公式(7)中定义的正规方程数目与所要计算的预测系数W的数目相同。因而，可以通过求解方程式(7)得到预测系数W。应注意，解此方程式(7)的一种方法是用消去法(Gauss-Jordan消去法)。

如前文所述，利用这种预测系数W根据公式(1)计算每一分类第一层次最佳预测系数W，进而计算接近第一层次图像数据像素数值y的预测值，这样在自适应处理单元46中进行自适应处理运算。

应注意，自适应处理运算不同于插补处理运算。具体来说，自适应处理运算中再现的是原始图像数据(本例中为第一层次图像数据)包含但稀化图像(本例中为第二层次图像数据)并不包含的部分。换言之，若仅仅考虑公式(1)，自适应处理运算与利用所谓“插补滤波器”的插补处理运算相同。但由于利用示教数据“y”即“学习系统”来计算与插补滤波器分支系数相对应的预测系数W，因而可以再现原始图像数据中所含的成分。鉴于此项技术点，这种自适应处理运算可以称为具有图像形成效果的处理运算。

现参照图13流程图说明图9中本机解码单元22的处理运算。

本机解码单元22先在步骤S21对校正单元21得到的数据进行处理以形成块。具体来说，分类块形成单元41将校正数据分成以受关注校正数据为中心的3×3个像素的分类块，随后将它送至分类自适应处理单元43。预测值计算块形成单元42中将校正数据分成以受关注校正数据为中心由5×5个像素所组成的预测值计算块，随后将它送至分类自适应处理单元43。

如前文所述，除了分类块和预测值计算块，还将第一层次图像数据送至分类自适应处理单元43。分类块送至ADRC处理单元44，而预测值计算块和第一层次图像数据送至自适应处理单元46。

ADRC处理单元44一接收到分类块，就在步骤S22对该分类块执行例如1位的ADRC处理运算(按1位执行再量化的ADRC)。结果，校正数据变换为1位(即被编码)，输出至分类单元45。分类单元45在步骤S23对于经ADRC处理的分类块执行分类处理运算(即检测块中各个像素量级的分布状态)，并判定该分类块属于哪一分类。分类判定结果作为分类信息送至自适应处理单元46。

应理解，本实施例中由于对进行过1位ADRC处理运算、由9个像素(3×3)所组成的分类块，进行分类处理运算，因而每个分类块归类为512种分类(＝(2¹)⁹)中任意一种。

接着，处理运算进行到步骤S24，在该步骤根据自适应处理单元46中分类单元45提供的分类信息对每一分类进行自适应处理运算。从而，计算出第一层次的每一分类预测系数和一帧预测值两者。

具体来说，按照本实施例，就某一校正数据而言，根据校正数据和第一层次图像数据，第一分类计算得到25×9个预测系数。另外，与校正数据相对应像素位于预测值计算块中心场合，通过用5×5像素的预测值计算块，执行自适应处理运算，计算得到共计9个像素的预测值，即与所关注的这种校正数据相对应的第一层次图像数据的像素以及与之相邻的8个像素。

现以由分类单元45输出，并与具有3×3校正数据X22、X23、X24、X32、X33、X34、X42、X43、X44这种分类有关的分类信息C为例，这里图10中示出的校正数据X33位于中心位置。此外，假定这为预测值计算块，由预测值计算块形成单元42输出与分类块相对应的预测值计算块。此预测值计算块由X₁₁、X₁₂、X₁₃、X₁₄、X₁₅、X₂₁、X₂₂、X₂₃、X₂₄、X₂₅、X₃₁、X₃₂、X₃₃、X₃₄、X₃₅、X₄₁、X₄₂、X₄₃、X₄₄、X₄₅、X₅₁、X₅₂、X₅₃、X₅₄、X₅₅组成，其中校正数据X₃₃位于中心位置。先将预测值计算块的校正数据设定为学习数据，而将第一层次图像数据中校正数据X₃₃位于中心位置的3×3像素(为图10中矩形框所包围部分)中像素数值Y₃₃(1)至Y₃₃(9)设定为示教数据时，可以有公式(7)所表示的正规方程成立。

而且，对于归类于分类信息C的其他分类块相对应的其他预测值计算块而言，同样有例如一帧的正规方程式成立。当成立正规方程式时，可以由此计算预测系数W₁(k)至W₂₅(k)，以计算像素数值Y₃₃(k)(k＝1，2，…，9)的预测值，求解这些正规方程式，从而计算得到最佳预测系数W₁(k)至W₅(k)，适宜于就分类信息C计算像素数值Y₃₃(k)的预测值。上述预测系数W₁(k)至W₂₅(k)需要25，这是因为本实施例中需要用25个学习数据以获得一个预测值。还在步骤S24执行建立正规方程式的处理运算，直到达到上述正规方程式数目为止。对于每一分类进行处理，对于每一分类计算25×9个预测系数。接下来根据公式(1)相对应的下述方程式，用分类信息C对应的25×9个预测系数和预测值计算块中的25个校正数据，求得预测值。

＝w₁(k)x₁₁+w₂(k)x₁₂+w₃(k)x₁₃

          +w₄(k)x₁₄+w₅(k)x₁₅+w₆(k)x₂₁

          +w₇(k)x₂₂+w₈(k)x₂₃+w₉(k)x₂₄

          +w₁₀(k)x₂₅+w₁₁(k)x₃₁

          +w₁₂(k)x₃₂+w₁₃(k)x₃₃

          +w₁₄(k)x₃₄+w₁₅(k)x₃₅

          +w₁₆(k)x₄₁+w₁₇(k)x₄₂

          +w₁₈(k)x₄₃+w₁₉(k)x₄₄

          +w₂₀(k)x₄₅+w₂₁(k)x₅₁

          +w₂₂(k)x₅₂+w₂₃(k)x₅₃

          +w₂₄(k)x₅₄+w₂₅(k)x₅₅

计算出每一分类25×9个预测系数之后，在步骤S23以受关注校正数据为中心的3×3像素为单位计算3×3个预测值。然后，在步骤S24将每一分类25×9个预测值系数提供给判定单元24，并提供预测值，对每个3×3像素进行误差计算。然后处理返回至步骤S21，对下一帧重复处理。

接着，图14给出图5中误差计算单元23的一个实施例。

将原始图像数据(即第一层次的图像数据)提供给块产生单元51。在这种情况中，块产生单元51对输入图像数据进行处理，产生9个由局部解码单元22输出的第一层次预测值相对应的块。由3×3像素构成的图像块从块产生单元51提供到平方误差计算单元52。如上所述，除了从块产生单元51提供的块以外，由局部解码单元22导出的第一层次的预测值以9个像素块单元(3×3像素的块单元)提供给平方误差计算单元52。平方误差计算单元52计算平方误差，作为这一预测值相对第一层次的图像数据的预测误差，然后将计算的该平方误差提供给乘法单元55。

平方误差计算单元52包括计算器53和54。计算器53从块产生单元51的每个经块处理的图像数据输出中减去相应的预测值，然后将相减的结果提供给计算器54。计算器54对计算器53的输出进行平方，将平方后的值提供给乘法单元55。

根据平方误差计算单元52的平方误差，乘法单元55读出存储器56的存储值，将这一存储值加到平方误差上，再将所加值提供给存储器56，存储在存储器56中。然后，乘法单元55重复上述操作，产生平方误差(误差分布)被乘值。此外，用乘法单元55完成平方误差的预选量(例如，一帧)的相乘时，乘法单元55将存储器56的被乘值作为误差信息提供给判断单元24。每次对每帧进行处理，清除存储器56中的值，将乘法单元55的输出值存储到存储器56中。

现在参考图15的流程图，介绍误差计算单元23的工作。首先，在步骤S31中，在误差计算单元23中，清除存储器56的存储值(例如，为“0”)。然后，处理继续到步骤S32，由块产生单元51对第一层次图像数据进行块处理。产生的块提供给平方误差计算单元52。在步骤S33，平方误差计算单元52计算第一层次图像的图像数据(它构成块产生单元51提供的块)与局部解码单元22提供的第一层次的预测值之间的误差平方。

换句话说，在步骤S33，在计算器53中，从(已经经块产生单元51进行块处理和提供的)第一层次的每个图像数据减去相应的预测值，然后将相减值提供给计算器54。此外，在步骤S33，计算器54对计算器平方误差计算单元52的输出进行平方。并将平方值提供给乘法单元55。

根据平方误差计算单元52提供的平方误差，在步骤S34，乘法单元55读出存储器56的存储值，通过将存储器中读出的值加到平方误差中，计算平方误差的被乘值。将乘法单元55中计算的平方误差的被乘值提供给存储器56，在这里，该平方误差的被乘值改写以前的存储值。

在步骤S35，在乘法单元55中，针对平方误差的倍数是否是预选量(例如，完成一帧数据)作出判断。在步骤S35，当判断为未完成一帧数据的平方误差的倍乘时，流程返回到步骤S32。另一方面，当在步骤S35判断为完成了一帧数据的平方误差的倍乘时，流程前进到步骤S36。在步骤S36，乘法单元55从存储器56读出一帧数据的平方误差的被乘值，然后作为误差信息将这一被乘值输出到判断单元24。然后，流程返回到步骤S31。

因此，在误差计算单元23中，现在假设，第一层次的图像数据是Y_ij(k)，从局部解码单元22校正数据处理的第一层次的预测值为，根据下列公式，通过进行计算可计算误差信息Q：

Q＝∑(Y_ij(k)-2

式中，符号“∑”指一帧数据的求和。

接着，图16表明图5中判断单元24的一个实施例。

预测系数存储器61中存储了局部解码单元22提供的每一类别别的预测系数。校正数据存储器62中存储了校正单元21提供的校正数据。

应当注意：当对第二层次的图像数据进行新的校正时，因此在校正单元21中提供新的校正数据，校正数据存储器62中存储新的校正数据取代以前作存储的校正数据(即以前的校正数据)。此外，在用新的校正数据替代了以前的校正数据后，从局部解码单元22输出一组新的与新的校正数据相对应的每一个类的预测系数。此外，当将新的每一类别的预测系数提供给预测系数存储器61时，每一类别的新的预测系数取代以前存储的预测系数(即每一类别的先前的预测系数)被存储起来。

误差信息存储器63中存储误差计算单元23所提供误差信息。也应当注意，除了当前提供的误差信息(当前误差信息)外，误差信息存储器63中存储着在先前情况中由误差计算单元23所提供的误差信息(先前误差信息)。就是说，即使提供新的误差信息，以前存储的误差信息仍然保存着直至提供更新的误差信息。此外，每一次对新的一帧进行处理(例如在新的一帧处理开始时)，清除误差信息存储器63的内容。

比较单元64对预定阈值“ε”与存储在误差信息存储器63中的当前提供的误差信息进行比较，如果需要的话，再对当前提供的误差信息与以前提供的误差信息进行比较。从比较单元64获得的比较结果提供给控制单元65。

控制单元65根据比较单元64获得的比较结果，判断存储在校正数据存储器62中的校正数据是否基本上(最好是)与图像的编码结果相等。当判断为校正数据基本上不等于编码结果时，控制单元65将请求输出新的校正数据的控制信号提供给校正单元21(图5)。另一方面，当控制单元65识别为存储在校正数据存储器62中校正数据基本上等于图像的编码结果时，读出存储在预测系数存储器61中的每个类别的预测系数，输出到多路复用单元25，还读出存储在校正数据存储器62中的校正数据，作为最佳校正数据输出到多路复用单元25。此外，在这种情况中，控制单元65将控制信号输出到校正单元21，该控制信号表示，一帧图像的编码操作已经完成。结果，如前所述，控制单元65引起校正单元21开始下一帧的过程操作。

接着，参考图17，介绍判断单元24的操作。在第一步骤S41，在判断单元24中，比较单元64判断是否从误差计算单元23接收了误差信息。当比较单元64判断为未接收误差信息时，过程返回到步骤S41。另一方面，当比较单元64判断为接收了误差信息，即当误差信息存储在误差信息存储器63中时，过程前进到步骤S42。在步骤S42，比较单元64对预定阈值“ε”与当前存储的误差信息(当前误差信息)进行比较，判断当前误差信息是否小于预定阈值。

在步骤S42，当判断为当前误差信息不小于预定阈值“ε”是，比较单元64读出误差信息存储器63中存储的先前误差信息。然后，在步骤S43，比较单元64将先前误差信息与当前误差信息进行比较，判断先前误差信息是否大于当前误差信息。

在过程开始时，首先提供误差信息，因为先前误差信息未存储到误差信息存储器63中，在这种情况中，在判断单元24中将不进行步骤S43后定义的过程操作。控制单元65输出控制信号，控制校正单元32(图7)，输出预定的初始地址。

当在步骤S43判断为当前误差信息小于或等于先前误差信息时，就是当校正第二层次图像数据，因而减小误差信息时，过程前进到步骤S44。在步骤S44，控制单元65输出一个以类似于先前情况的方式改变校正值的指令控制信号到校正单元32。然后，过程返回到步骤S41。另一方面，当在步骤S43判断为当前误差信息大于先前误差信息(即误差信息被第二层次图像数据校正而增加)时，过程进到步骤S45。在步骤S45，控制单元65给校正单元32输出一个以与先前情况相反的方式改变校正值Δ的指令控制信号。然后，过程继续到步骤S41。

也应当注意，当以一定的定时增大连续减小的误差信息时，控制单元65输出一个指令控制信号，使校正值Δ降低，例如，降低到1/2，以与先前情况相反的方式改变校正值。

由于重复步骤S41至步骤S45的过程，因此减小误差信息。结果，在步骤S42判断为当前误差信息小于预定阈值“ε”的情况中，过程操作进到步骤S46。在步骤S46，控制单元64读出每一类别的预测系数，存储到预测系数存储器61中，还读出存储在校正数据存储器62中的一帧的校正数据。然后，将每一类别的预测系数和校正数据提供给多路复用单元25。过程结束。

此后，根据图17流程，重复过程操作，等待提供下一帧的误差信息。

应当注意，在校正单元32中，针对第二层次的图像数据的校正，或是可以校正一帧的所有图像数据，或是仅可以校正一帧的一部分图像数据。当仅校正一帧的一部分第二层次的图像数据(例如，当控制单元65探测到对误差信息影响很大的像素)时，可以仅校正这部分的数据(例如，能够产生影响大的像素)。现在讨论可以对误差信息影响大的像素进行探测的一个方式。首先，直接利用第二层次的图像数据进行过程操作，因此获取误差信息。然后，从控制单元65给校正单元32提供控制信号，通过给每个像素相同的校正值Δ，执行校正第二层次图像数据的过程。将产生的误差信息与直接利用第二层次图像数据时获得的误差信息进行比较。然后，可以探测比较之差大于或等于预定值的有关误差信息的像素，作为对误差信息影响大的像素。

如前所述，重复第二层次图像数据的校正操作，直至误差信息减小或降低到小于预定阈值“ε”为止。在误差信息小于预定阈值“ε”时获得的校正数据作为图像的编码结果而输出。于是，在接收装置4(图1)中，从校正数据(最佳校正数据)中，有可能产生与原始图像数据等同的(或者基本上等同的)解码图像，这里，为了恢复原始图像数据，采用经稀化的图像数据的像素值作为最合适的值。

由于以稀化过程操作、以及ADRC过程操作和分类自适应过程操作的手段对图像进行压缩，能够获得具有非常高压缩率的编码数据。应当注意，在发射装置1中执行的上述编码过程可以看作是“组合编码过程操作”，由于稀化操作的压缩过程操作与分类自适应过程操作有机地组合，因而实现高效率的压缩。

图18示出图1所示接收装置4的配置的一个例子。

记录在记录媒体2上的编码数据在信号处理单元71中重现，此外，接收通过传输路径3发送的编码数据，提供给信号处理单元71。在信号处理单元71中，编码数据被分离为第一层次、第二层次和第三层次的编码数据。此外，由信号处理单元71进行误差校正过程操作和其他的过程操作。信号处理单元71从第三层次的编码数据复制第一层次的每一类别的预测系数，用于对第二层次的编码数据的编码。此后，信号处理单元71输出第一层次的编码数据至第三层次的编码数据。

第一层次的编码数据直接作为第一层次的解码图像数据输出。此外，第二层次和第三的编码数据分别输出到预测单元72和预测单元73。

根据第二层次的编码数据，在预测单元72中计算第一层次的图像的预测值，然后作为第一层次的解码图像输出。此外，在预测单元72中，根据第三层次的解码图像数据计算第一层次的预测值输出。

图19示出预测单元72的一个实施例。

从信号处理单元71导出的第二层次的编码数据提供给分离单元81，分离单元分离出第二层次的最佳校正数据和第一层次的每一类别的预测系数。将第二层次的最佳校正数据和第一层次的每一类别的预测系数提供给解码单元80。

解码单元80包括分类用的块产生单元82、预测值计算用的块产生单元83、ADRC处理单元84、分类单元85、以及预测单元86。解码单元80的这些各个单元的排列方式与分类用的块产生单元41、用于预测值计算的块产生单元42、ADRC处理单元44和分类单元45的排列分别是相似的。因此，在这些块中以相似的方式操作。

从分离单元81提供的最佳校正数据输入到分类块产生单元82和预测值计算的块产生单元83，而第一层次的每一类别的预测系数输入到预测单元86，然后存储在存储器(未示出)中。

将预测值计算的块产生单元83输出的预测值计算块提供给预测单元86。由ADRC处理单元84对分类单元85输出的分类信息进行ADRC处理。经ADRC处理的分类信息还提供给预测单元86。

在预测单元86中，根据公式(1)，采用存储在存储器(未示出)的第一层次的每一类别的预测系数中与分类信息相对应的第一层次25×9预测系数，计算第一层次的3×3预测值，也采用由预测值计算的块产生单元83提供的预测值计算块的5×5最佳校正数据计算。将计算的第一层次的预测值作为第一层次的解码图像从解码单元80输出。

如上所说，采用第二层次的最佳校正数据在预测单元86中执行预测，因此，使第一层次的预测值与第一层次的图像数据之间的误差小于阈值“ε”。因此，根据第二层次的最佳校正数据，有可能获得具有高分辨率的第一层次的解码图像数据。

图20示出图18中预测单元73的一个实施例。

将信号处理单元71产生的第三层次的编码数据提供给分离单元221，分解单元221将第三层次的编码数据分离成第三层次最佳校正数据、第二层次每一类别的预测系数、和第一层次每一类别的预测系数。第三层次最佳校正数据和第二层次每一类别的预测系数都提供到解码单元222，而第一层次每一类别的预测系数提供到另一个解码单元223。

解码单元222的排列与图19所示解码单元80的排列相似。因此，与上述情况类似，在解码单元222中，从第三层次的最佳校正数据和第二层次每一类别的预测系数计算第二层次图像校正数据的预测值，然后，将计算的预测值提供给解码单元223。解码单元223的排列也与解码单元80类似。因此，从第二层次的预测值和第一层次的预测系数计算第一层次的预测值，然后，将计算的预测值作为第一层次的解码图像输出。

为了获得作为第二层次的最佳校正数据的最佳数据，在图2的最佳校正数据计算单元14中计算第二层次每一类别别预测系数。如上所说，由于根据第二层次的最佳校正数据，能够获得具有高分辨率的第一层次的解码图像数据，根据第三层次的编码数据，也能够获得具有高分辨率的第一层次的解码图像数据。

如前所述，当由于某些原因丢失了一部分甚至全部的第一层次编码数据和第二层次编码数据时，从第三层次(最低层次)编码数据能够获得具有高分辨率的解码图像，就是说，第一层次的最佳校正数据与第一层次和第二层次的每一类别的预测系数相组合。

例如，在仅能够接收第三层次编码数据(即第三层次的最佳校正数据、第一和第二层次的每一类别的预测系数)接收装置的情况中，能够对具有高分辨率的解码图像进行解码。此外，在仅能够接收第二层次编码数据和第三层次编码数据(即第二层次的最佳校正数据、第一和第二层次的每一类别的预测系数)接收装置的情况中，能够对具有高分辨率的解码图像进行解码。

当然，在所述的实施例中，第二层次的最佳校正数据包含在第二层次的编码数据中。另一方面，与第二层次的最佳校正数据相反，第二层次的图像数据本身可以包含在第二层次的编码数据中。

此外，第一层次的编码数据、第二层次的编码数据、和第三层次的编码数据被包含在信号处理单元15输出的编码数据中。如前所述，由于仅从第三层次的编码数据(第三层次的最佳校正数据、第一和第二层次的每一类别的最佳预测系数)就能产生具有高象质的编码图像，因此，可以另外采纳仅将第三层次的编码数据包含在信息处理单元15输出的编码数据中。

再说，如图2所示，将最佳校正数据计算单元13输出的第二层次的最佳校正数据提供给最佳校正数据计算单元14，为了获得第二层次的最佳校正数据计算每一类别的最佳预测系数。另一方面，代替第二层次的最佳校正数据，将第二层次的图像数据本身提供给最佳校正数据计算单元14，为获得第二层次的图像数据，可以获得每一类别的最佳预测系数。

在上述情况中，在图9的局部解码单元22中获得第一层次的每一类别的预测系数(和构成最佳校正数据计算单元14的局部解码单元22中第二层次的每一类别的预测系数)，然后，利用第一层次的每一类别的预测系数，计算第一层次的预测值。另一方面，不用获得局部解码单元22中的每一类别的预测系数可以计算第一层次的各个预测值。

就是说，图21示出局部解码单元22的另一个实施例。当然，用于表示相应部分的参考数与图9所示的参考数是相同的。具体讲，在图21的局部解码单元22中采用一个预测系数ROM88和预测单元89，代替自适应处理单元46，其他单元的排列与图9的类似。

在图38中示出包括图21的局部解码单元22的最佳校正数据计算单元13。图38的最佳校正数据计算单元13与图5的最佳校正数据计算单元13是相似的，差别只是不将第一层次的图像数据(第二层次的最佳校正数据)提供给图38最佳校正数据计算单元的局部解码单元22。正如下面详细讨论的，图21的局部解码单元的实施例不需要第一层次的图像数据(第二层次的最佳校正数据)。

现在参考图21，在预测系数ROM88中存储了相对于类别的预测系数，这些预测系数是以学习的手段(以后具体描述)获得的。根据分类单元44的分类信息输出，从预测系数ROM88中读出存储在与这一分类信息相对应地址上的预测系数，并提供给预测单元89。

在预测单元89中，采用从块产生单元42以及预测系数ROM88得到的预测值计算块作为预测值计算，进行公式(1)(公式(8)示出公式(1)的具体应用)所示线性方程的计算。结果，不用各层次的原始图像，可计算原始图像的预测值。

因此，按照图21的分类自适应处理单元43，不用各层次的原始图像，可计算预测值。将存储在预测系数ROM81中的每一类别25×9个预测系数以类似于前面所述的方式输出到确定单元24。

图39是表明图21局部解码单元22′工作过程的流程图。图21局部解码单元22′的工作过程的流程在某种意义上与图13所示过程是相似的。例如，步骤S21-步骤S23是一样的。然而，在步骤S23A，从预测系数ROM88读出分类的预测系数。在步骤S23B，在预测单元89中执行计算预测值的自适应过程。同时，在步骤S23C，预测系数ROM将分类的预测系数提供判断单元。

接着，图22示出为获得存储在图21所示预测系数ROM88中预测系数，执行学习工作的图像处理装置的一个实施例。

把学习目的用的图像数据提供给学习用块产生单元91和教师用块产生单元92。如下所述，利用这些图像数据获得可应用于任何图像的预测系数。应当注意，当获得第一层次的每一类别的预测系数时，第一层次的图像数据作为学习图像提供给学习块产生单元91和教师块产生单元92。此外，当获得第二层次的每一类别的预测系数时，第二层次的图像数据作为学习图像提供给学习块产生单元91和教师块产生单元92。

例如，学习块产生单元91从输入的图像数据提取图10中以符号“●”表示位置关系的以标注的像素为中心的25个像素(5×5个像素)，此后以具有这25个像素的块作为学习块提供给ADRC处理单元93和学习数据存储器96。

此外，例如在教师块产生单元92中，从输入图像数据产生一个由9个像素(3×3个像素)构成的块，然后将具有这9个像素的块作为教师块提供给教师数据存储器98。

也应注意，例如，在学习块产生单元91中，当学习块是由位于图10所示符号“●”表示位置关系的以标注的像素为中心的25个像素构成时，从教师块产生单元92产生图10所示矩形围绕的3×3个像素构成的教师块。

ADRC处理单元93从25个像素中提取中心9个像素(3×3像素)，构成学习块，然后以类似于图21的ADRC处理单元93的方式相对这9个像素构成的块执行1比特的ADRC处理工作。由ADRC处理工作处理过的3×3像素块提供给分类单元94。在分类单元94中，对来自ADRC处理单元93的块进行分类，以获得分类信息。通过开关95的终端“a”，将这一分类信息提供给学习数据存储器96和教师数据存储器98。

在学习数据存储器96中，或者在教师数据存储器98中，从学习块产生单元91输出的学习块，或者从教师块产生单元92输出的教师块被存储在与此处提供分类信息相对应的地址上。

结果，现在假设，图10中具有符号“●”表示的5×5个像素的块作为学习块存储在学习数据块96的特定地址上，图中所示的以矩形围绕的3×3个像素构成的块作为教师块存储在与上述地址相同的地址上。

接下来，对于所有的准备的学习图像，重复类似的过程，使学习块和教师块存储在学习数据存储器96和教师数据存储器98中的相同地址上。教师块以9个像素排列，在这之中，通过采用与学习块25个像素校正数据具有相同位置关系的25个校正数据构成的预测值计算块，在局部解码单元22中计算预测值。

由于许多信息存储在学习数据存储器96和教师数据存储器98中的相同地址上，能够在相同的地址上存储许多学习块和许多教师块。

当所有学习图像的学习块和教师块存储到学习数据存储器96和教师数据存储器98中时，已经选择到端“a”的开关95将选择改变到端“b”，使计数器97的输出作为一个地址提供给学习数据存储器96和教师数据存储器98。计数器97将预定时钟计数，输出顺序计数的值，而在学习数据存储器96或教师数据存储器98中，读出与这一计数值相对应地址上存储的或是学习块或是教师块，提供给计算单元99。

结果，把类别的一组学习块和一组教师块提供给计算单元99，提供对应于计数器97的计数值。

根据特定类的一组学习块和教师块，计算单元99利用这些块组，用最小二乘方的方法，计算能够使误差减至最小的预测系数。

换句话说，现在假设，构成学习块的像素的像素值是X₁、X₂、X₃，…，所需的预测系数是w₁、w₂、w₃，…。为了以这些值的线性方程方法获得构成教师块的一个特定像素值“y”，预测系数w₁、w₂、w₃，…必须满足下列公式：

y＝w₁x₁+w₂x₂+w₃x₃+…

因此，以建立和解上述公式(7)所示正规方程的方式，在计算单元99中，可计算预测系数w₁、w₂、w₃、…，而这些预测系数使预测值w₁x₁+w₂x₂+w₃x₃+…相对同一类中学习块和相应教师块真值“y”的平方误差减至最小。因此，对每一类别进行上述过程，计算每一类别的25×9个预测系数。

在计算单元99中计算的相对各个类的预测系数提供给存储器100。除了从计算单元99得到的预测系数外，还把计数值从计数器97提供到存储器100。结果，在存储器100中，从计算单元99得到的预测系数被存储在与计数器97输出的计数值相对应的地址上。

如上所述，用于预测一个类中3×3个像素块的25×9个最佳预测系数存储在存储器100中与各个类相对应的地址上。

以上述方式存储在存储器100中的每一类别的预测系数被存储在图21的预测系数ROM88中。

当然，预测系数不存储在预测系数ROM88中与各个类相对应的地址上。然而，可以存储教师块像素值的平均值。在这种情况中，当提供分类信息时，输出与该类别相对应的相素值。于是，在图21的局部解码单元22中，既不给块产生单元42提供预测值计算，也不给预测单元89提供。

利用图21所示局部解码单元的结果，无论是图19所示的预测单元72还是图20所示的预测单元73，可以不采用分离单元81或分离单元221。此外，图19的解码单元80(类似于图20的解码单元222和223)的排列如图23所示。换句话说，在这种情况中，解码单元80可以包括分类块产生单元41、预测值计算块产生单元42、ADRC处理单元44、分类单元45和图21所示局部解码单元22中采用的预测系数ROM88；或者解码单元80可以包括分类块产生单元141、预测值计算块产生单元142、ADRC处理单元144、分类单元145、预测系数ROM146、或与预测单元89相对应的预测单元147。

当然，正如前面参考图9所讨论的，预测系数是顺次地计算的，以获得预测值，将其称之为“顺序方法”，同样如前面参考图21所讨论的，每一类别的预测系数先存储在预测系数ROM88中，用这些所存储的每一类别的预测系数来获得预测值，将其称之为“ROM方法”。

根据本发明发射装置1的实施例3，如图40所示，提供一个最佳校正数据计算单元13与图21的局部解码单元22一起使用。参考图40，在这又一个实施例中，在发射装置1(图2)中，第一层次的图像数据不需要提供给局部解码单元22′。此外，与图5所示的最佳校正数据计算单元13不同，用图40的最佳校正数据计算单元13，每一类别的预测系数不提供给信号处理单元。此外，不需要用局部解码单元的第一层次的图像数据(或第二层次的最佳校正数据)，因此不用提供。

图41是说明用图40最佳校正数据计算单元13′进行过程的流程图。参考图41，该流程与图6的流程是相似的，差别是在图40流程中步骤S6′(与图6中步骤S6相对)，最佳校正数据是作为编码数据输出的，不输出每一类别的预测系数。

图42示出图40最佳校正数据计算单元13的局部解码单元22。除了在局部解码单元22不向外侧提供预测系数外，图42所示的局部解码单元22与图21所示的局部解码单元22是相似的。

图43示出图42所示局部解码单元22′工作的程序。图43的流程图与图13所示的说明图9局部解码单元工作的流程图是非常相似的。例如，步骤S21-步骤S23是相同的。然而，在步骤S24，从预测系数ROM88读出分类的预测系数。然后，在步骤S24A，预测单元89执行计算预测值的自适应过程。在步骤S24B，输出预测值。

图44示出图42局部解码单元的判断单元24。图44的判断单元24不同于图24的判断单元24，在图44判断单元24中不包括预测系数存储器61。同样，图44的判断单元24不向乘法单元提供预测系数。

图45是说明图42局部解码单元中图44判断单元24工作的流程图。图45的流程图与图17的流程图(说明图16判断单元的工作)是相似的，差别是在步骤S46不输出每一类别的预测系数(图44判断单元不产生)。

图46示出接收装置4中使用的第三层次的预测单元，它与上面讨论的发射装置的第三个实施例是互补的。具体说，正如从图46看到的，在解码单元222与解码单元223之间不通过每一类别的校正数据或预测系数。而是，解码单元222接收第三层次的编码数据，向解码单元223提供第二层次的预测值。从第二层次的预测值，解码单元223确定第一层次的预测值(实际上是第一层次的解码图像)。

图24示出图1所示发射装置1的实施例4。应该注意，采用图2所示的相同参考数字作为图24的相同或相类似部件的表示数字。

在图24实施例中，仅将第一层次的图像数据提供给最佳校正数据计算单元101，然后从其第一层次的图像计算第二层次的最佳校正数据。将计算出的第二层次的最佳校正数据作为第二层次的编码数据提供给信号处理单元15。仅将从稀化单元11输出的第二层次的图像数据提供给最佳校正数据计算单元102，在这里，从第二层次的图像数据计算第三层次的最佳校正数据。然后，将计算出的第三层次的最佳校正数据作为第三层次的编码数据提供给信号处理单元15。

接着，图25表示图24所示最佳校正数据计算单元101排列的一个例子。由于最佳校正数据计算单元102的排列与最佳校正数据计算单元101的相类似，因此可省略其说明。

把第一层次的图像数据(在最佳校正数据计算单元102的情况中，第二层次的图像数据)提供给块产生单元111。块产生单元111对第一层次的图像数据进行处理，产生中心在所注明像素的分类块，这就是根据其自然特征将第一层次的图像数据分类成一个预定类别的单元，因此给ADRC处理单元112和延迟单元115提供图像块。

ADRC处理单元112对来自块产生单元111的块(分类块)执行ADCR处理操作，然后将最终的由ADRC码构成的块提供给分类单元113。

分类单元113执行分类过程工作，根据其自然特性，把从ADRC处理单元112输出的块分类到一个预定类别，然后把表示这个块属于任何类别的信息，作为分类信息提供给映射系数存储器114。

正如后面将要讨论的，映射系数存储器114中存储了从学习操作(映射系数学习)每一分类信息获得的映射系数。而利用从分类单元113提供的分类信息，从存储器111读出在该地址上存储的映射系数，提供给计算单元116。

延迟单元115对从块产生单元111提供的块延迟，直至从映射系数存储器114读出与该块分类信息相对应的映射系数为止，然后把已延迟的块提供给计算单元116。

计算单元116采用构成延迟单元115提供块像素的像素值，以及由映射系数存储器114提供的与该块类别相对应的映射系数，进行预定的计算。由此计算编码数据，通过使这一图像的像素数目稀化(或缩减)，对这一图像编码，可以获得编码数据。换句话说，计算单元116计算预选函数值“f”(y₁，y₂，…，k₁，k₂，…)同时利用下列值作为自变量。即，构成从块产生单元111输出的块的各个像素的像素值是y₁，y₂，…，从映射系数存储器114输出的与这一块的类别相对应的映射系数是k₁，k₂，…。例如，计算出的函数值“f”(y₁，y₂，…，k₁，k₂，…)作为构成从块产生单元111输出的块(分类块)的各个像素中一个中心像素的像素值输出。

于是，现在假设，构成从块产生单元111输出的分类块的像素数目等于N个像素，计算单元116使图像数据稀化到1/N，将经1/N稀化的数据作为编码数据输出。

当然，从计算单元116输出的编码数据不是通过提取由N个像素排列块的中心像素而产生的，就是通过执行一种简单的稀化过程操作产生的这种数据，但是，如前所述，该编码数据等于构成该块的N个像素定义的函数值“f”(y₁，y₂，…，k₁，k₂，…)。换句话说，函数值“f”(y₁，y₂，…，k₁，k₂，…)确定一个最佳值。即，从简单稀化过程操作获得的块的中心像素的像素值被校正为能够根据位于该中心像素周围的像素值获得原始图像数据的最佳值。于是，可以把计算映射系数所获得的数据和构成块的像素看作是“最佳校正数据”。

此外，在计算单元116中执行的计算过程可以看作是把构成块产生单元111输出的分类块的各像素的像素值映射到函数值“f”(y₁，y₂，…，k₁，k₂，…)的过程操作。于是，在该过程操作中采用的系数k1，k2，…将被看作是“映射系数”。

现在参考图26的流程图，介绍过程操作的工作。

以一帧为单位，将第一层次的图像数据提供给块产生单元111。在块产生单元111中，在步骤S101，对第一层次的图像进行一帧处理，产生分类块。例如，如图10用一个矩形围绕的像素所示，块产生单元111将图像数据再划分成由9个像素构成的中心在所标像素(沿横向和纵向的3×3像素)的分类块，并顺次地将这一分类块提供给ADRC处理单元112和延迟单元115。

在这种情况中，用3×3像素构成的正方形块排列分类块。另一方面，分类块的形状不限于正方形，例如可以由矩形、十字形、以及其他任意形状构成。此外，构成分类块的像素总数不限于9个像素(即3×3像素)。再说，分类块不需要是邻接的像素，而可以以相互间位置分离像素的不同方式排列。应该注意，分类块的形状和像素数量必须与学习操作(即映射系数学习操作，后面将具体讨论)期间采用的分类块的形状和像素数量相一致。

在步骤S102，根据块产生单元111的分类块，ADRC处理单元112针对这个块执行一比特的ADRC处理操作，以一比特结果表示像素的块。经ADRC处理的分类块提供给分类单元113。

在分类单元113中，在步骤S103，由ADRC处理单元112获得的分类块分成一个类，因此，产生的分类信息作为一个地址提供给映射系数存储器114。结果，在步骤S103A，从映射系数存储器114读出与分类单元113所提供的分类信息相对应的映射系数，提供给计算单元116。

另一方面，在延迟单元115中，对块产生单元111产生的分类块进行延迟，提供经延迟的分类块，同时等待从映射系数存储器114读出与这一块的分类信息相对应的映射系数。在步骤S104，在计算器116中，根据从延迟单元115产生的构成分类块的各个像素的像素值，以及根据从映射系数存储器114读出的映射系数，计算上述的函数“f(●)”(在函数“f”中出现的符号“●”表示一组像素值y₁，y₂，…，和一组映射系数k₁，k₂，…)。因此，能够计算通过校正分类块的中心像素的像素值产生的最佳校正数据，产生一个最佳像素值。在步骤S105，这一最佳校正值作为第二层次的编码数据输出到信号处理单元15(图24)中。

然后，在步骤S106，作出是否已完成第一层次图像数据的一帧的处理的判断。在步骤S106，当判断为未完成第一层次图像数据的一帧的处理时，过程返回到步骤S102，对下一个分类块重复步骤S102之后限定的过程操作。另一方面，当在步骤S106判断为已完成第一层次图像数据的一帧的过程操作时，过程返回到步骤S101，重复步骤S102之后限定的下一帧的过程操作。

接着，图27示出用于计算映射系数存储器114(图25)中所存储映射系数的，执行学习(映射系数学习)过程操作的图像处理装置的一个结构实例。

在存储器121中，可存储多于一帧的第一层次图像数据，它适合于学习过程(此后将看作是“学习图像”)。应该注意，计算存储在构成最佳校正数据计算单元102的映射系数存储器114中的映射系数，将第二层次的图像数据存储在存储器121中。

块产生单元122读出存储在存储器121中的图像数据，产生类似于图25所示的块产生单元111输出的分类块，然后将该块提供给ADRC处理单元123和计算单元126。

ADRC处理单元123和分类单元124分别执行类似于图25中ADRC处理单元112和分类单元113的操作。结果，从分类单元124输出从块产生单元122输出的分类信息。然后，将这一分类信息作为一个地址提供给映射系数存储器131。

采用从块产生单元122提供的构成块的像素，以及从映射系数存储器131提供的映射系数，计算器126执行与图25中计算单元116同样的计算。因此，计算器126给局部解码单元127提供最终的校正数据(函数“f”(●))。(局部解码单元127可以是图9、21和42所示局部解码器件的任何一种。)

根据计算单元126提供的校正数据，局部解码单元127按照上述的ROM方法(即“顺次方法”)预测(计算)原始学习图像数据的预测值(就是说，从块产生单元122输出的构成块的像素的像素值的预测值)，然后将这一预测值提供给误差计算单元128。在采用顺次方法的情况中，从存储器12学习的图像数据提供给局部解码单元(图7)。误差计算单元128读出与局部解码单元127提供的预测值相对应学习图像数据的像素值(真值)，计算(检测)预测值相对这一学习图像数据的像素值的预测值的预测误差，然后将这一计算的预测误差作为误差信息提供给判断单元129。

判断单元129对误差计算单元128提供的误差信息与预定的阈值“ε1”进行比较，然后根据这一比较结果控制映射系数设置单元130。在判断单元129的控制下，映射系数设置单元130设定(改变)一组映射系数，其数目与分类单元124获得的类别数目是相等的，然后将改变的一组映射系数提供给映射系数存储单元131。

映射系数存储单元131中暂时存储从映射系数设置单元130提供的每一类别的映射系数。当然，映射系数存储器131具有能够存储映射系数(映射系数组)的存储区。存储区的数目等于分类单元124中分类的类数目。在每个存储区中，当从映射系数设置单元130提供的每一类别的新的映射系数时，最好存储这新的每一类别的映射系数，取代以前存储的每一类别的映射系数。

此外，映射系数存储器131读出与分类单元124提供的分类信息相对应的地址上所存储的映射系数，然后将读出的映射系数提供给计算单元126。

现在参考图28的流程图，介绍其工作。

首先，在步骤S151，映射系数设置单元130设置一组数目仅等于分类单元124中所分类数目的映射系数初始值，然后将这组初始值提供给映射系数存储器131。在映射系数存储器131中，从映射系数设置单元130获得的每一类别(初始值)的映射系数存储在相应类别的地址上。

然后，在步骤S152，块产生单元122对存储在存储器121中的所有学习图像进行处理，以类似于图25所示块产生单元111的方式产生中心在所标示像素的具有3×3个像素的块。此外，块产生单元122从存储器121读出块，并将读出的块顺次地提供给ADRC处理单元123和计算单元126。

在步骤S153，与图25的ADRC处理单元112的过程操作相类似，123对块产生单元122输出的块进行一比特的ADRC处理操作，然后将经ADRC处理的块提供给分类单元124。在步骤S154，在分类单元124中，对ADRC处理单元123提供的块的类别作出决定，将这一分类信息作为一个地址提供给映射系数存储器131。因此，在步骤S155，从映射系数存储器131的地址读出映射系数，它与分类单元124提供的分类信息是对应的，然后把读出的映射系数提供给计算单元126。

在步骤S156，当从块产生单元122接收块，以及从映射系数存储器131接收与该块的类别相对应的映射系数时，计算单元126根据映射系数和块产生单元122提供的块像素的像素值，计算上述的函数值“f(●)”。计算结果提供给局部解码单元127，通过校正从块产生单元122提供的块中心像素的像素值，作为所获的校正数据。

换句话说，例如，在图10中，假设从块产生单元122输出由矩形围绕的3×3个像素的块，通过校正图中以符号“●”标示的像素的像素值，计算单元126计算所产生的校正数据，然后将计算的这一校正数据输出到局部解码单元127。

因此，在计算单元126中，构成学习图像数据的像素的数目稀化到1/9，因此把经稀化的像素数目提供给局部解码单元127。

在步骤S156计算校正数据后，过程继续到步骤S157，针对是否已计算存储器121中存储的所有学习图像数据的校正数据，作出检查。当在步骤S157判断为还未计算所有学习图像数据的校正数据时，过程返回到前面的步骤S153。然后，重复在步骤S153-步骤S157的过程，直至计算所有学习图像数据的校正数据为止。

当在步骤S157判断为已计算所有学习图像数据的校正数据(即，通过使存储器121中存储的所有学习图像数据稀化到1/9，能够获得经稀化的图像)时，过程操作前进到步骤S158，这时，在局部解码单元127中对这一经1/9稀化的图像进行局部解码，计算原始学习图像的预测值。当然，这一经1/9稀化的图像不等于通过简单地使学习图像稀化到1/9所产生的稀化图像。而是，这一经1/9稀化的图像等于为获取像素值通过计算映射系数而获得的另一个稀化的图像数据。然后将预测值提供给误差计算单元128。

在步骤S159，在误差计算单元128中，从存储器121读出学习图像，然后计算局部解码单元127提供的预测值相对这一读出学习图像数据的预测误差。换句话说，当学习图像数据的像素值表示为“Y_ij”，从局部解码单元127输出的预测值表示为“”时，在误差计算单元128中计算下列公式表示的误差标准离差(即误差的平方和)“Q”。将这一误差标准离差作为误差信息提供给判断单元129。

Q＝(Y_ij-)²，式中符号“∑”表示对所有学习图像数据求和。

在步骤S160，根据误差计算单元128的误差信息，判断单元129在步骤S160对这一误差信息与预选的阈值“ε1”进行比较，判断这一误差信息是否大于阈值“ε1”。当在步骤S160判断为这一误差信息不小于阈值“ε1”(即，未识别出局部解码单元127中获得的预测值所构成的图像基本上等于原始学习图像数据)时，判断单元129给向映射系数设置单元130输出一个控制信号。在步骤S161根据判断单元129产生的控制信号，映射系数设置单元130改变每一类别的映射系数，使改变的每一类别的映射系数新存储到映射系数存储器131中。

然后，过程操作返回到步骤S153，这时，利用存储在映射系数存储器131中改变后的映射系数，重复步骤S153以后限定的过程操作。

当然，在映射系数设置单元130中可随机地改变映射系数。另一方面，如果当前误差信息变得小于先前的误差信息时，可以根据类似于先前趋势的趋势改变映射系数。此外，如果当前误差信息变得大于先前的误差信息时，可以根据与先前趋势相反的趋势改变映射系数。

此外，可以针对所有的类别或一部分类别，改变映射系数。当只改变一部分类别的映射系数时，例如，检测能够对误差信息产生强烈影响的类别，那么可以只改变这些映射系数。按照如下过程可检测能够对误差信息产生强烈影响的类别。首先，利用映射系数的初始值来获得其误差信息，进行过程操作。此后，用相同量的每一个类别改变映射系数，产生的误差信息与采用初始值时获得的误差信息进行比较。可以检测比较差值不小于预定值的类别，作为检测能够对误差信息产生强烈影响的类别。

此外，如果把上述的k1，k₂，…一类的多个映射系数设置为一组，那么可以只改变会对其中的误差信息产生强烈影响的映射系数。

在以上情况中，映射系数被设置为每个类。另一方面，映射系数可以相对每个块或以邻接块为单位独立地设置。

应该注意，当映射系数独立地设定每个块时，对于一个特定的类，有可能获得许多组映射系数(相反，则可能出现一个不能获得一组映射系数的类)。最后，如前所说，既然映射系数应对每个类别确定，因此当针对一个特定的类获得多组映射系数时，对多组映射系数进行一个特定的过程操作，必须确定一组映射系数。

另一方面，当在步骤S160判断为这一误差信息已经变得小于阈值“ε1”(即，识别出局部解码单元127中获得的预测值所构成的图像基本上等于原始学习图像数据)时，完成过程操作。

此时，已经存储在映射系数存储器131中的每一类别的映射系数，作为最佳映射系数设定到图25的映射系数存储器114中，该映射系数能够获得使解码图像数据(预测值)识别为基本上与原始图像数据相同图像的校正数据。

因此，根据利用这一映射系数获得的最佳校正数据，有可能获得基本上与原始图像数据相同的图像数据。

如前所说，在图27的实施例中，用块产生单元122把图像再划分成中心在所标示像素由9个像素(3×3个像素)构成的块，而在ADRC处理单元123中对图像块进行一比特的ADRC处理操作。因此，由分类单元124分类获得的类别的数目等于512(＝(2₁)₉)。于是，获得512组映射系数。

作为接收装置4的一部分，可采用图46的预测单元73，对图24发射装置产生的编码图像数据(更具体指第三层次的编码图像数据)解码。

图29示出用于计算图25映射系数存储器114中存储的映射系数，执行学习(映射系数学习)过程操作的图像处理装置的另一个结构例子。

应该注意，根据图27的图像处理装置，即使当函数“f”以线性方程，进而非线性方程，二次方程或多次方程来表示时，可以获得最佳预测系数。另一方面，在图29的图像处理装置中，只有当函数“f”以线性方程表示时，可以计算最佳预测系数。

换句话说，在下列情况中可采用图29的图像处理装置。就是，在图25中，当块产生单元111输出的由3×3个像素构成块的各像素的像素值设定为y₁，y₂，…，y₉，映射系数存储器114输出的映射系数设定为k1，k2，k3，…k9时，根据下述公式，计算单元116计算函数“f”(y₁，y₂，…，k₁，k₂，，…)，获得校正数据。

f(●)＝k₁y₁+k₂y₂+…+k₉y₉

以一帧为单位给稀化单元171提供第一层次的图像数据(作用为适合于学习目的的学习图像数据)。在稀化单元171中，使第一层次图像数据的像素数目稀化，产生第二层次的图像数据。当然，当把计算的映射系数存储在映射系数存储器114中，供以后由最佳校正计算单元102(图24)使用时，第二层次的图像数据提供给稀化单元171，形成第三层次的图像数据。

在稀化单元171中获得的第二层次的图像数据提供给最佳校正数据计算单元170。最佳校正数据计算单元170由校正单元172、局部解码单元173、误差计算单元174、和判断单元175(分别于上述的图5、图38或图40中校正单元21、局部解码单元22、误差计算单元23和判断单元24相类似)排列而成。在最佳校正数据计算单元170中，产生针对输入图像的最佳校正数据，就是第二层次的图像，并提供给闩锁单元176。在采用图5最佳校正数据计算单元的情况中，给局部解码单元提供学习的图像数据。

闩锁单元176包括存储最佳校正数据计算单元170提供的最佳校正数据的存储器170A。此外，闩锁单元176在存储在存储器176A的最佳校正数据中，读出与块产生单元177的存储器177A读出的块的中心像素相对应的最佳校正数据。应该注意，当把一帧的校正数据存储在存储器176A中时，闩锁单元176A给块产生单元177输出一个控制信号，表示这一数据的存储。

将与提供给稀化单元171图像数据相同的图像数据，即第一层次的图像数据，以一帧为单位提供给块产生单元177。块产生单元177包括一个存储所提供学习图像数据的存储器177A。根据闩锁单元176发出的控制信号，块产生单元177以类似于图25的块产生单元111的方式，将存储在存储器177A中的学习图像数据再划分成中心在所标示像素、由3×3个像素构成的块。然后，顺序地读出这个块，提供给ADRC处理单元178和存储器180。

当从包含在块产生单元177中的存储器177A读出块时，块产生单元177给闩锁单元176提供一个控制信号，表示块的位置。在闩锁单元176中，根据这一控制信号识别从存储器177A读出的3×3个像素的块，然后，如前所述，从存储器176A读出与这个块中心像素相对应的最佳校正数据。也就是，把具有3×3个像素的特定块和与这个块相对应的最佳校正数据同时提供给存储器180。

ADRC处理单元178和分类单元179分别与图25的ADRC处理单元112和分类单元113相类似。然后，把块产生单元177得到的有关块的分类信息作为地址提供给存储器180。

在存储器180中存储闩锁单元176提供的最佳校正数据和块产生单元177提供的块，建立一个与分类单元179提供的分类信息相对应的地址关系。注意：在存储器180中，在一个地址上可存储多个信息。因此，能够存储与特定分类信息相对应的多组最佳校正数据和块。

计算单元181同时读出存储在存储器1 80中的学习图像3×3个像素块的九个像素y₁，y₂，…，y₉，和与这个块相对应的最佳校正数据y′。然后，对其运用最小平方方法，把计算的每个类的映射系数k₁至k₉提供给存储器182。存储器182中在与这个类相对应的地址上存储计算单元181提供的每个类的映射系数k₁至k₉。

现在参考图30的流程图，介绍图29装置的工作。

当第一层次的图像数据作为学习图像数据输入时，这一学习图像数据存储在块产生单元177的存储器177 A中，提供给稀化单元171。在稀化单元171中，从第一层次的图像数据形成第二层次的图像数据，然后提供给最佳校正数据计算单元170。

在步骤S131，根据第二层次的图像数据，最佳校正数据计算单元170计算第二层次的最佳校正数据，将计算出的最佳校正数据提供给闩锁单元176的存储器176A，进行存储。

当在存储器176A中存储一帧的最佳校正数据时，闩锁单元176给块产生单元177输出一个控制信号。根据闩锁单元176产生的控制信号，在步骤S132，块产生单元177把存储器177A中存储的学习图像数据再划分成由3×3个像素构成的块。然后，块产生单元177读出存储器177A中存储的学习图像数据块，将读出的这个块提供给ADRC处理单元178和存储器180。

与此同时，当从存储器177A读出块时，块产生单元177给闩锁单元176提供表示该块位置的控制信号。根据控制信号，闩锁单元176识别从存储器177A读出的由3×3个像素构成的块，读出与该块中心像素相对应的最佳校正数据，然后，把读出的最佳校正数据提供给存储器180。

在步骤S133，对块产生单元177产生的块进行ADRC处理，在分类单元179中对该块进行分类。分类的结果作为地址提供给存储器180。

在步骤S134，存储器180中存储闩锁单元176提供的最佳校正数据和块产生单元177提供的块(学习数据)，在与分类单元179提供的分类信号相对应的地址上具有相对应的关系。

过程操作前进到步骤S135，这一检查存储器180中是否存储了一帧的块和最佳校正数据。当在步骤S135判断为在存储器180中还未存储一帧的块和最佳校正数据时，从块产生单元177读出下一个块，从闩锁单元176读出与这个读出块相对应的最佳校正数据。然后，过程操作返回到步骤S133，重复步骤S133以后所限定的过程操作。

另一方面，当在步骤S135判断为在存储器180中已存储一帧的块和最佳校正数据时，过程进到步骤S136，这一检查是否已经完成所有学习图像的过程。如果判断为还未完成所有学习图像的过程操作，过程返回到步骤S131，对下一个学习图像数据重复步骤S131以后的步骤。

另一方面，在步骤S136判断为已经完成所有学习图像的过程操作时，过程前进到步骤S137，在这一计算单元181读出存储在存储器180中每一类别的最佳校正数据和块，然后根据这些数据和块建立公式(7)所示的正规方程。此外，在步骤S138，计算单元181对这一正规方程求解，计算能够使每一类别的误差达到最小的映射系数。在步骤S139，将计算出的映射系数提供给存储器182存储。然后过程结束。

如果以线性方程表示函数“f”，以上述方式存储在存储器182中的映射系数被存储到图25的映射系数存储器114中，利用这些映射系数能够获得最佳校正数据。

然而，在有些情况中，不能获得足够多数目的能获得映射系数的正规方程。在有些情况中，在图25的计算单元116中，映射系数设定为缺省值，即输出k₁至k₂＝1/9，是块产生单元111输出3×3个像素块的9个像素的平均值。

实施例4和5的接收装置的结构与图18的结构类似。此外，第二层次和第三层次的预测单元的结构与图23和图46的结构类似。然而，存储在预测系数ROM中的每个类的预测系数相当于(相等于)映射系数学习装置中使用的预测系数。

首先，在图2的情况中，如图31A所示，在最佳校正数据计算单元13中计算下列最佳校正数据。通过校正第二层次的图像数据，产生这一校正数据，能够获得第一层次的预测值，使第一层次的图像数据的误差(误差信息)小于预选的阈值“ε”。此后，如图31B所示，在最佳校正数据计算单元14中计算下列最佳校正数据。通过校正第三层次的图像数据，产生这一校正数据，能够获得第二层次的预测值，使第二层次的最佳校正数据的误差(误差信息)小于预选的阈值“ε”。例如，另一方面，如图32所示，可获得对应于最下层次的第三层次的最佳校正数据。

就是说，通过校正第三层次的图像数据产生的校正数据，计算第二层次的预测值。此外，直接利用第二层次的计算出的预测值，计算第一层次的预测值。然后使第一层次的预测值的预测误差(误差信息)小于预定的阈值“ε”，采用这一校正数据作为第三层次的最佳校正数据。

图33示出以上述方式能够获得第三层次最佳校正数据的发射装置1的实施例6。应该注意，采用图2所示的相同参考数字表示图33的相应部分。

在图33的实施例中，将第一至第三层次的图像数据提供给最佳校正计算单元201。在计算单元201中，通过校正第三层次的图像数据获得的校正数据，计算第二层次的预测值。此外，直接利用计算出的第二层次的预测值，计算第一层次的预测值。当使第一层次的预测值的预测误差(误差信息)小于预定的阈值“ε”，获得校正数据时，最佳校正数据计算单元201给信号处理单元15输出计算出的该校正数据，作为第三层次的最佳校正数据和第三层次的编码数据。

在图33的实施例中，第一层次的图像数据作为第一层次的编码数据直接提供给信号处理单元15。然而，第二层次的图像数据不提供给信号处理单元15。在改进的实施例中，第二层次的图像数据可以作为第二层次的编码数据提供。

接着，图34示出图33最佳校正数据计算单元201的一个实施例。在图33中，采用与图5所示的相同参考数字表示图33的相对应的部分。此外，最佳校正数据计算单元201与图5的最佳校正数据计算单元13是类似的，区别在于局部解码单元231与图5的局部解码单元22略有不同。

在图33的实施例中，第三层次的图像数据输入到校正单元21，输出通过对第三层次图像数据进行校正而获得的校正数据。将校正单元21输出的校正数据和第二层次的图像数据提供给局部解码单元22。在局部解码单元22中，计算第二层次的预测值并输出。此外，从局部解码单元22输出的第二层次的预测值以及第一层次的图像数据输入到局部解码单元231，在这里，计算并得到第一层次的预测值。

根据本实施例，在局部解码单元22和231中，用前述的“顺序方法”计算预测值。另一方面，在局部解码单元22和231中，可用前述的“ROM方法(图21)”计算预测值。

参考图35的流程图，介绍图34最佳校正数据计算单元的过程。

在步骤S201，当把第三层次的图像数据提供给校正单元21时，校正单元21不是首先执行校正操作。而是校正单元21首先直接给局部解码单元22和判断单元24输出第三层次的图像。在步骤S202，在局部解码单元22中，对校正单元21输出的校正数据(如上所述，第一次启动过程时输出第三层次本身的图像数据)进行局部解码。

换句话说，在步骤S202，以类似于图9过程的方式，计算第二层次每一类别的预测系数。此外，根据这一预测系数，计算第二层次的预测值，并提供给局部解码单元231。

在步骤S203，在局部解码单元231中，对局部解码单元22的第二层次的预测值进行局部解码。

在步骤S203，就是类似于局部解码单元22中的过程，计算第一层次的每一类别的预测系数，进而根据这一预测系数，计算第一层次的预测值，然后提供给误差计算单元23。

接下来，步骤S204-步骤S207的过程类似于图6流程中步骤S3-步骤S6的过程。因此，能够获得第三层次的最佳校正数据，能够使第一层次的预测值减小到低于阈值“ε”。

因此，即使当以这种方式获得第三层次的最佳校正数据时，能够获得具有高象质的解码图像。

当然，在图33所示的实施例中，不提供第二层次的图像数据。另一方面，可以用局部解码单元22输出的第二层次的预测值作为第二层次的解码数据。此外，可采用图2所示的最佳校正数据计算单元13，和采用其输出的第二层次的最佳校正数据作为第二层次的编码数据。

此外，在图33的实施例的情况中，在从信号处理单元15得到的编码数据中不需要包括第一层次至第三层次的所有编码数据。例如，可以仅包括第三层次的编码数据。

由图18所示的接收装置4和图20所示的预测单元对图33所示的发射装置输出的编码数据进行解码。

根据实施例7，图33发射装置的最佳校正数据计算单元201如图47所示。图47最佳校正数据计算单元201与图34最佳校正数据计算单元非常相似，差别是用图47最佳校正数据计算单元，局部解码单元231不利用第一层次的图像数据。

图48是说明图47最佳校正数据计算单元201操作的流程图。该流程图与图35说明图34最佳校正数据计算单元操作的流程图是类似的，不同的只是图48流程图的步骤S207是从输出最佳校正数据的一(图35流程图的步骤S207包括对每一类别的最佳校正数据和预测系数进行多路复用以及输出编码数据)。

应该注意，用本发明的实施例可以对多种不同类别的图像数据(从标准格式的电视信号(例如NT步骤SC)到包含较大量数据的高分辨率电视信号)进行编码和解码。此外，在这些实施例中，尽管描述的每个过程是针对一帧进行的，但是，进行的每个过程可以针对一场或两帧或多帧。

此外，描述的块编码是一次对一帧图像进行的，在多个时间序列的帧中，通过把相同位置的像素结合起来也能够构成块。

再说，误差信息是作为误差的平方和形式描述的，但是，也能够采用误差的绝对值或误差的立方和(或更高阶方)作为误差信息。根据统计特性(例如收敛性)，能够决定作为误差信息使用的信息的类别。

另外，尽管对图像是以三层次进行编码进行描述的，但是，层次数并不限于三层次。

至于第三层次(等于最底层次)的最佳校正数据，可以计算各层次中的预测值的预测误差，并这样计算校正数据，使所有或部分预测值组合的总误差低于预选值。

Claims (66)

1.一种用于进行分层次编码的装置，其特征在于包括：

用于形成第二层次的图像数据的装置，所述数据具有数目小于第一层次图像数据的像素数目的一些像素；

用于校正第二层次数据并产生校正数据的装置；

依据校正数据预测第一层次的图像数据并产生具有多个预测像素的第一层次预测数据的装置；

用于相对于第一层次的图像数据计算第一层次预测数据预测误差的装置；

依据预测误差确定校正数据的适宜性的装置；以及

依据确定的结果输出校正数据作为第二层次图像数据的装置。

2.如权利要求1所述的装置，其特征在于所述预测装置包括：

产生用于校正数据的分类信息的装置；以及

依据分类信息产生预测像素的装置。

3.如权利要求1所述的装置，其特征在于所述预测装置包括：

用于根据校正数据产生预测像素的装置；以及

用于根据校正数据和预测系数产生第一层次预测数据的装置。

4.如权利要求1所述的装置，其特征在于所述预测装置包括：

使用校正数据的多个像素产生分类信息的装置；

使用第一层次的图像数据和校正数据产生用于每个类别的预测系数的装置；以及

使用相应于分类信息和校正数据的预测系数产生第一层次预测像素的装置。

5.如权利要求4所述的装置，其特征在于所述输出装置输出具有用于每个类别的预测系数的第二层次的图像数据。

6.如权利要求1所述的装置，其特征在于所述预测装置包括：

存储用于每个类别的预测系数的存储器；

使用多个校正数据的像素产生分类信息的装置；以及

用于从存储器中读出相应于分类信息的预测系数并使用读出的预测系数和校正数据产生第一层次预测系数的装置。

7.如权利要求6所述的装置，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

8.如权利要求7所述的装置，其特征在于所述输出装置输出具有用于每个类别的预测系数的第二层次图像数据。

9.如权利要求1所述的装置，其特征在于

所述校正装置包括用于存储校正第二层次图像数据的校正值的存储器；以及

所述校正装置使用校正值校正第二层次的图像数据。

10.如权利要求1所述的装置，其特征在于

所述确定装置通过检测预测误差是否小于规定阈值来确定校正数据的适宜性；以及

所述输出装置响应于预测误差小于规定阈值输出校正数据作为编码数据。

11.一种用于对图像的分层次编码所代表的数据进行解码的装置，其特征在于包括：

用于接收编码数据的装置，所述数据至少包括第二层次的图像数据，所述图像数据具有数目小于第一层次图像数据的像素数目的一些像素；

用于对来自第二层次图像数据的第一层次图像数据进行解码的装置。

12.如权利要求11所述的装置，其特征在于

所述解码装置包括用于产生第二层次图像数据的分类信息的装置；以及

依据分类信息预测第一层次图像数据的装置。

13.如权利要求11所述的装置，其特征在于

所述编码数据包括预测第一层次图像数据的预测系数；以及

所述解码装置包括使用预测系数和第二层次图像数据预测第一层次图像数据的装置。

14.如权利要求11所述的装置，其特征在于

所述编码数据包括预测第一层次图像数据的用于每个类别的预测系数；以及

所述解码装置包括：

使用多个第二层次图像数据的像素产生分类信息的装置；以及

使用对应于分类信息的预测系数和第二层次图像数据预测第一层次图像数据的装置。

15.如权利要求11所述的装置，其特征在于所述解码装置包括：

存储用于每个类别的预测系数的存储器；

使用多个第二层次图像数据的像素产生分类信息的装置；以及

用于从存储器中读出相应于所产生的分类信息的预测系数并使用读出的预测系数和第二层次的图像数据产生第一层次图像数据的装置。

16.如权利要求15所述的装置，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

17.一种用于进行分层次编码的装置，其特征在于包括：

用于形成第二层次的图像数据的装置，所述数据具有数目小于第一层次图像数据的像素数目的一些像素；

用于形成第三层次的图像数据的装置，所述数据具有数目小于第二层次图像数据的像素数目的一些像素；

用于校正第三层次图像数据并产生第三层次校正数据的装置；

依据第三层次的校正数据产生具有多个像素的第二层次预测数据的第一预测装置；

依据第二层次的预测值产生具有多个像素的第一层次预测值的第二预测装置；

相应于第一层次的图像数据产生第一层次预测值的预测误差的误差产生装置；

依据预测误差确定第三层次校正数据的适宜性的装置；以及

依据确定的结果输出校正数据作为第三层次图像数据的装置。

18.如权利要求17所述的装置，其特征在于所述第一预测装置包括：

产生用于第三层次校正数据的分类信息的装置；以及

依据分类信息产生第二层次预测值的装置。

19.如权利要求17所述的装置，其特征在于所述第一预测装置包括：

用于根据第三层次的校正数据产生第二层次预测系数的装置；以及

用于根据第三层次的校正数据和第二层次的预测系数产生第二层次预测数据的装置。

20.如权利要求17所述的装置，其特征在于所述第二预测装置包括：

对第二层次的预测值产生分类信息的装置；以及

依据分类信息产生第一层次预测值的装置。

21.如权利要求17所述的装置，其特征在于所述第二预测装置包括：

用于根据第二层次的预测值产生第一层次预测系数的装置；以及

用于根据第二层次的预测值和第一层次的预测系数产生第一层次预测数据的装置。

22.如权利要求17所述的装置，其特征在于所述第一预测装置包括：

使用多个第三层次校正数据的像素产生分类信息的装置；

使用第二层次的图像数据和第三层次的校正数据产生用于每个类别的预测系数；以及

使用相应于分类信息的预测系数和校正数据产生第二层次预测值的装置。

23.如权利要求22所述的装置，其特征在于所述输出装置输出具有用于每个类别的预测系数的第三层次校正数据。

24.如权利要求17所述的装置，其特征在于所述第一预测装置包括：

存储用于每个类别的预测系数的存储器；

使用多个第三层次校正数据的像素产生分类信息的装置；以及

用于从存储器中读出相应于分类信息的预测系数并使用读出的预测系数和第三层次的校正数据产生第二层次预测像素的装置。

25.如权利要求24所述的装置，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

26.如权利要求25所述的装置，其特征在于所述输出装置输出具有用于每个类别的预测系数的第三层次的校正数据。

27.如权利要求17所述的装置，其特征在于

所述校正装置包括用于存储校正第三层次图像数据的校正值的存储器；以及

所述校正装置使用校正值校正第三层次的图像数据。

28.如权利要求17所述的装置，其特征在于

所述确定装置通过检测预测误差是否小于规定阈值来确定校正数据的适宜性；以及

所述输出装置响应于预测误差小于规定阈值输出第三层次的校正数据作为编码数据。

29.如权利要求17所述的装置，其特征在于所述第二预测装置包括：

使用多个第二层次预测值的像素产生分类信息的装置；

使用第一层次的图像数据和第二层次的预测值产生用于每个类别的预测系数；以及

使用相应于分类信息的预测系数和第一层次的预测值产生第一层次预测值的装置。

30.如权利要求29所述的装置，其特征在于所述输出装置输出具有用于每个类别的预测系数的第二层次的预测值。

31.如权利要求17所述的装置，其特征在于所述第二预测装置包括：

存储用于每个类别的预测系数的存储器；

使用多个第二层次预测值的像素产生分类信息的装置；以及

用于从存储器中读出相应于分类信息的预测系数并使用读出的预测系数和第二层次的预测值产生第一层次预测值的装置。

32.如权利要求31所述的装置，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

33.如权利要求32所述的装置，其特征在于所述输出装置与输出用于每个类别的预测系数一起输出的第二层次的预测值。

34.一种进行分层次编码的方法，其特征在于包括：形成第二层次的图像数据，所述数据具有数目小于第一层次图像数据的像素数目的一些像素；

校正第二层次图像数据并产生校正数据；

依据校正数据预测第一层次的图像数据并产生具有多个预测像素的第一层次预测数据；

相对于第一层次的图像数据计算第一层次预测数据的预测误差；

依据预测误差确定校正数据的适宜性；以及

依据确定的结果输出校正数据作为第二层次图像数据。

35.如权利要求34所述的方法，其特征在于所述预测步骤包括：

产生用于校正数据的分类信息；以及

依据分类信息产生预测像素。

36.如权利要求34所述的方法，其特征在于所述预测步骤包括：

根据校正数据产生预测系数；以及

根据校正数据和预测系数产生第一层次预测数据。

37.如权利要求34所述的方法，其特征在于所述预测步骤包括：

使用校正数据的多个像素产生分类信息；

使用第一层次的图像数据和校正数据产生的预测系数；以及

使用相应于分类信息和校正数据的预测系数产生第一层次预测像素。

38.如权利要求37所述的方法，其特征在于所述输出步骤输出具有用于每个类别的预测系数的第二层次的图像数据。

39.如权利要求34所述的方法，其特征在于所述预测步骤包括：

使用校正数据的多个像素产生分类信息；以及

从存储器中读出相应于分类信息的预测系数并使用读出的预测系数和校正数据产生第一层次预测像素。

40.如权利要求39所述的方法，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

41.如权利要求40所述的方法，其特征在于所述输出步骤输出具有用于每个类别的预测系数的第二层次图像数据。

42.如权利要求34所述的方法，其特征在于

所述校正步骤使用存储在存储器中的校正值校正第二层次图像数据。

43.如权利要求34所述的方法，其特征在于

所述确定步骤通过检测预测误差是否小于规定阈值来确定校正数据的适宜性；以及

所述输出步骤响应于预测误差小于规定阈值输出校正数据作为编码数据。

44.一种对图像的分层次编码所代表的数据进行解码的方法，其特征在于包括：

接收编码数据，所述数据至少包括第二层次的图像数据，所述图像数据具有数目小于第一层次图像数据的像素数目的一些像素；

通过以下步骤对来自第二层次图像数据的第一层次图像数据进行解码：

形成第二层次的图像数据并产生校正数据；

依据校正数据预测第一层次的图像数据，并产生具有多个预测像素的第一层次的预测数据；

相对于第一层次的图像数据计算第一层次预测数据的预测误差；

依据预测误差确定校正数据的适宜性；

在必要时重复校正操作，直到校正数据变为最佳的校正数据；以及

输出最佳校正数据作为第二层次的图像数据。

45.如权利要求44所述的方法，其特征在于

所述解码步骤包括产生第二层次图像数据的分类信息的步骤；以及

依据分类信息预测第一层次图像数据。

46.如权利要求44所述的方法，其特征在于

所述编码数据包括预测第一层次图像数据的预测系数；以及

所述解码步骤包括使用预测系数和第二层次图像数据预测第一层次图像数据。

47.如权利要求44所述的方法，其特征在于

所述编码数据包括预测第一层次图像数据的用于每个类别的预测系数；以及

所述解码步骤包括：

使用多个第二层次图像数据的像素产生分类信息；以及

使用对应于分类信息的预测系数和第二层次图像数据预测第一层次图像数据。

48.如权利要求44所述的方法，其特征在于所述解码步骤包括：

使用多个第二层次图像数据的像素产生分类信息；以及

从存储器中读出相应于所产生的分类信息的预测系数并使用读出的预测系数和第二层次的图像数据产生第一层次图像数据。

49.如权利要求48所述的方法，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

50.一种进行分层次编码的方法，其特征在于包括：

形成第二层次的图像数据，所述数据具有数目小于第一层次图像数据的像素数目的一些像素；

形成第三层次的图像数据，所述数据具有数目小于第二层次图像数据的像素数目的一些像素；

校正第三层次图像数据并产生第三层次校正数据；

依据第三层次的校正数据产生具有多个像素的第二层次预测数据的第一预测步骤；

依据第二层次的预测值产生具有多个像素的第一层次预测值的第二预测步骤；

相应于第一层次的图像数据产生第一层次预测值的预测误差的误差产生步骤；

依据预测误差确定第三层次校正数据的适宜性；以及

依据确定的结果输出校正数据作为第三层次图像数据。

51.如权利要求50所述的方法，其特征在于所述第一预测步骤包括：

产生第三层次校正数据的分类信息；以及

依据分类信息产生第二层次预测值。

52.如权利要求50所述的方法，其特征在于所述第一预测步骤包括：

根据第三层次的校正数据产生第二层次预测系数；以及

根据第三层次的校正数据和第二层次的预测系数产生第二层次预测数据。

53.如权利要求50所述的方法，其特征在于所述第二预测步骤包括：

对第二层次的预测值产生分类信息；以及

依据分类信息产生第一层次预测值。

54.如权利要求50所述的方法，其特征在于所述第二预测步骤包括：

根据第二层次的预测值产生第一层次预测系数；以及

根据第二层次的预测值和第一层次的预测系数产生第一层次预测值。

55.如权利要求50所述的方法，其特征在于所述第一预测步骤包括：

使用多个第三层次校正数据的多个像素产生分类信息；

使用第二层次的图像数据和第三层次的校正数据产生用于每个类别的预测系数；以及

使用相应于分类信息的预测系数和校正数据产生第二层次预测值。

56.如权利要求55所述的方法，其特征在于所述输出步骤输出具有用于每个类别的预测系数的第三层次校正数据。

57.如权利要求50所述的方法，其特征在于所述第一预测步骤包括：

使用多个第三层次校正数据的像素产生分类信息；以及

从存储器中读出相应于分类信息的预测系数并使用读出的预测系数和第三层次的校正数据产生第二层次预测像素。

58.如权利要求57所述的方法，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

59.如权利要求58所述的方法，其特征在于所述输出步骤输出具有用于每个类别的预测系数的第三层次的校正数据。

60.如权利要求50所述的方法，其特征在于

所述校正步骤使用从存储器读得的校正值校正第三层次图像数据；以及

所述校正步骤使用校正值校正第三层次的图像数据。

61.如权利要求50所述的方法，其特征在于

所述确定步骤通过检测预测误差是否小于规定阈值来确定校正数据的适宜性；以及

所述输出步骤响应于预测误差小于规定阈值输出第三层次的校正数据作为编码数据。

62.如权利要求50所述的方法，其特征在于所述第二预测步骤包括：

使用多个第二层次预测值的像素产生分类信息；

使用第一层次的图像数据和第二层次的预测值产生用于每个类别的预测系数；以及

使用相应于分类信息的预测系数和第一层次的预测值产生第一层次预测值。

63.如权利要求62所述的方法，其特征在于所述输出步骤输出具有用于每个类别的预测系数的第二层次的预测值。

64.如权利要求50所述的方法，其特征在于所述第二预测步骤包括：

使用多个第二层次预测值的像素产生分类信息；以及

从存储器中读出相应于分类信息的预测系数并使用读出的预测系数和第二层次的校正值产生第一层次预测值。

65.如权利要求64所述的方法，其特征在于使用用于学习的图像数据产生存储在所述存储器中用于每个类别的所述预测系数。

66.如权利要求65所述的方法，其特征在于所述输出步骤与具有用于每个类别的预测系数一起输出第二层次的预测值。

Images