WO2000021301A1 - Image transform device and method, learning device and method, and recording medium - Google Patents

Image transform device and method, learning device and method, and recording medium Download PDF

Info

Publication number
WO2000021301A1
WO2000021301A1 PCT/JP1999/005495 JP9905495W WO0021301A1 WO 2000021301 A1 WO2000021301 A1 WO 2000021301A1 JP 9905495 W JP9905495 W JP 9905495W WO 0021301 A1 WO0021301 A1 WO 0021301A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
pixel
pixel value
prediction coefficient
intermediate image
Prior art date
Application number
PCT/JP1999/005495
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Naoki Kobayashi
Kenji Takahasi
Yoshinori Watanabe
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP99970242A priority Critical patent/EP1037471B1/en
Publication of WO2000021301A1 publication Critical patent/WO2000021301A1/ja
Priority to US09/585,874 priority patent/US6414717B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding

Definitions

  • Image conversion device and method learning device and method, and recording medium
  • the present invention relates to an image conversion apparatus and method, a learning apparatus and method, and a recording medium, and in particular, to an image conversion apparatus and method for generating a compressed image capable of restoring an image substantially the same as an original image, a learning apparatus and method, and To a recording medium.
  • the present inventor has proposed a technique for generating a high-resolution image using a low-resolution image. It is said that a high-resolution image almost identical to the original image can be restored using a low-resolution image obtained by reducing the original image.
  • 3 X 3 The pixel values of the pixels a to i are calculated by calculating a linear primary combination between a plurality of pixels (for example, 3 ⁇ 3 pixels A to I) of a low-resolution image located in the vicinity thereof and a predetermined prediction coefficient. And by seeking. Further, an error between the pixel value of the restored image and the pixel value of the original image is calculated, and the update of the pixel value of the low-resolution image and the prediction coefficient are repeated according to the result.
  • the above-mentioned conventional updating of the pixel value of the low-resolution image is performed under the condition that the pixel value of the neighboring pixel is fixed for each pixel. That is, as shown in FIG. 1, the pixel value of the pixel of interest I of the low-resolution image is the pixel value of the eight pixels A to H centered on the pixel of interest I, and the value of the predetermined prediction coefficient is fixed. It was updated to the optimal value under the conditions. Therefore, if the pixel value of the pixel D is updated after the pixel value of the pixel I is updated, the pixel D is the pixel whose pixel value was fixed when the pixel value of the pixel I was updated.
  • the pixel value of pixel I is not optimal for updated pixel D. Therefore, when the pixel values of the low-resolution image (upper-layer image) are sequentially updated for each pixel, the low-resolution image (upper-layer image) in which all the pixel values are finally updated does not necessarily restore the original image. There was a problem that was not the best one possible.
  • This problem can be solved by updating the pixel values of multiple adjacent pixels in the low-resolution image (upper layer image) to the optimal value at the same time, but the amount of calculation is enormous and the calculation takes a long time. At the same time, the scale of the arithmetic circuit became large, making it virtually impossible.
  • the present invention has been made in view of such circumstances, and by simultaneously updating the pixel values of a plurality of adjacent pixels, a low-resolution image capable of restoring a high-resolution image substantially the same as the original image In a short time.
  • the invention according to claim 1 is an image data conversion device for converting the first image data into second image data having a lower quality than the first image data, wherein the first image data is converted to the second image data.
  • a storage unit for storing intermediate image data
  • a block extraction unit that extracts a plurality of pixel data for each block that is a part of one screen from the intermediate image data
  • a prediction coefficient generation unit that outputs a generated or previously obtained prediction coefficient
  • the plotting is performed based on the prediction coefficient, the intermediate image data, and the first image data.
  • a pixel value updating unit that updates the pixel value of the intermediate image data extracted by the
  • a predicted image data generation unit that generates predicted image data that is substantially the same as the first image data based on the intermediate image data whose pixel values have been updated by the pixel value update unit and the prediction coefficients;
  • Image data comprising: an error detection unit that detects an error between the first image data and the predicted image data; and a control unit that determines whether to use the intermediate image data as an output image based on the error. It is a conversion device.
  • the invention according to claim 6 is an image data conversion method for converting the first image data into second image data of lower quality than the first image data, wherein the first image data is converted from the first image data to the second image data. Generating substantially homogeneous intermediate image data;
  • An image data conversion method characterized by comprising a step and a step of determining whether or not to use intermediate image data as an output image based on an error.
  • the invention according to claim 11 is characterized in that, when the first image data is converted into the second image data having lower quality than the first image data, the image of the second image data is converted.
  • An intermediate image data generation unit that generates, from the first image data, intermediate image data substantially the same as the second image data
  • a storage unit for storing intermediate image data
  • a block extraction unit that extracts a plurality of pixel data for each block that is a part of one screen from the intermediate image data
  • a prediction coefficient generation unit that outputs a generated or previously obtained prediction coefficient
  • a pixel value updating unit that updates a pixel value of the intermediate image data extracted by the block extracting unit based on the prediction coefficient, the intermediate image data, and the first image data;
  • a predicted image data generation unit that generates predicted image data that is substantially the same as the first image data based on the intermediate image data whose pixel values have been updated by the pixel value update unit and the prediction coefficients;
  • An error detection unit that detects an error between the first image data and the predicted image data, and a control unit that determines whether to use the intermediate image data as an output image based on the error
  • the pixel value updating unit is a learning device characterized by updating pixel values of intermediate image data by a least squares method using prediction coefficients as student data and corresponding first image data as teacher data.
  • the invention according to claim 12 is a learning method for learning the pixel value of the second image data when converting the first image data into the second image data having lower quality than the first image data.
  • the step of updating the pixel value is a learning method characterized by updating the pixel value of the intermediate image data by the least squares method using the prediction coefficient as student data and the corresponding first image data as teacher data. is there.
  • the invention according to claim 13 is a recording medium on which a computer-controllable program for converting image data for converting first image data into second image data of lower quality than the first image data is recorded. In the program,
  • the first Generating predicted image data having substantially the same quality as the image data of the first image data, detecting an error between the first image data and the predicted image data, and determining whether or not the intermediate image data is an output image based on the error. And a deciding step.
  • FIG. 1 is a schematic diagram showing an array of pixels for explaining the previously proposed encoder.
  • FIG. 2 is a block diagram showing an overall configuration of an image data conversion device to which the present invention is applied.
  • FIG. 3 is a block diagram showing a functional configuration example of the transmitting device in FIG.
  • FIG. 4 is a block diagram showing a configuration example of an encoder to which the present invention is applied.
  • FIG. 5 is a diagram for explaining the processing of the prediction tap acquisition circuit 3 in FIG.
  • FIG. 6 is a diagram for explaining prediction coefficient taps.
  • FIG. 7 is a diagram for explaining a lower hierarchical image.
  • FIG. 8 is a block diagram showing a configuration example of the pixel value updating circuit 5 of FIG.
  • FIG. 9 is a flowchart illustrating an outline of an optimum pixel value generation process of the encoder in FIG.
  • FIG. 10 is a flowchart illustrating an example of an optimum pixel value generation process of the encoder in FIG.
  • FIG. 11 is a flowchart illustrating another example of the optimum pixel value generation processing of the encoder in FIG.
  • FIG. 12 is a diagram showing still another example of the optimum pixel value generation processing of the encoder shown in FIG. 6 is a flowchart for explaining an example of FIG.
  • FIG. 13 is a block diagram showing a configuration example of a decoder for restoring an original image from the optimal upper-level image generated by the encoder of FIG.
  • FIG. 14 is a flowchart for explaining the original image restoration processing of the decoder in FIG.
  • FIG. 2 shows a configuration of an embodiment of an image processing apparatus to which the present invention is applied.
  • the transmitting device 101 is supplied with digitized image data.
  • the transmitting device 101 compresses the data amount by forming an average value for each of a plurality of pixels of the input image data and replacing the plurality of pixels with the average value, and converts the encoded data obtained as a result. It is recorded on a recording medium 102 such as an optical disk or a magnetic tape, or transmitted via a transmission line 103 such as a broadcasting line (such as satellite broadcasting), a telephone line, or the Internet.
  • a recording medium 102 such as an optical disk or a magnetic tape
  • a transmission line 103 such as a broadcasting line (such as satellite broadcasting), a telephone line, or the Internet.
  • the receiving device 104 reproduces the encoded data recorded on the recording medium 102, or receives the encoded data transmitted via the transmission path 103, and decodes the encoded data. . That is, the values of the thinned pixels are restored.
  • the decoded image obtained from the receiving device 104 is supplied to a display (not shown) and displayed on the display.
  • FIG. 3 shows an example of the transmission device 101.
  • the I / F (interfuse) 111 performs a process of receiving image data supplied from the outside and a process of transmitting encoded data to the transmitter Z recording device 116.
  • the ROM 112 stores an IPL (Initial Program Loading) program and the like.
  • RAMI 13 is a system program (OS (Operating System)) or application program stored in external storage device 115. Program, and data necessary for the operation of the CPU 114.
  • OS Operating System
  • the CPU 114 expands the system program and application program from the external storage device 115 to the RAMI 13 according to the IPL program stored in the ROM 112, and under the control of the system program. To run the application program. That is, encoding processing described later is performed on the image data supplied from the interface 111.
  • the external storage device 115 is, for example, a hard disk, and stores a system program, an application program, and data.
  • the transmitter storage device 116 records the encoded data supplied from the interface 111 on the recording medium 102 or transmits the encoded data via the transmission line 103.
  • the interface 111, the ROM 112, the RAM 113, the CPU 114, and the external storage device 115 are connected to each other via a bus.
  • the image data when image data is supplied to the interface 111, the image data is supplied to the CPU 114.
  • the CPU 114 encodes the image data and supplies the resulting encoded data to the interface 111.
  • the interface 1 11 1 records the encoded data on the recording medium 102 via the transmitter / recording device 1 16 or sends it out to the transmission path 103.
  • FIG. 4 shows a functional configuration of the transmitting device 101 of FIG. 3, that is, an encoder other than the transmitting device Z recording device 116.
  • Encoders can be implemented in hardware, software, or a combination of both.
  • a recording medium for providing a user with a computer program for performing the above-described processing a recording medium such as a magnetic disk, a CD-ROM, and a solid-state memory, as well as a communication medium such as a network and a satellite may be used. Can be.
  • the input original image data is configured such that the image data is supplied to an image reduction circuit 1, a prediction coefficient operation circuit 4, a pixel value update circuit 5, and an error operation circuit 7.
  • the image reduction circuit 1 divides the supplied original image (high-resolution image) into blocks of 3 ⁇ 3 pixels, for example, as shown in FIG. 1, and averages the pixel values of 9 pixels in each block.
  • An initial upper layer image is generated as a pixel value of a pixel of an upper layer image (low resolution image) located at the center of the block, and is output to the upper layer image memory 2. Therefore, the upper hierarchical image (hereinafter, referred to as the upper image) is the original image with the vertical and horizontal sizes reduced to 13.
  • the value of the pixel located at the center of each block, the intermediate value of the multiple pixel values of each block, and the multiple pixel values of each block may be used.
  • the upper layer image memory 2 stores an upper image input from the image reduction circuit 1.
  • the upper layer image memory 2 uses the pixel value input from the pixel value updating circuit 5 to update the stored pixel value of the upper image. Further, the upper layer image memory 2 outputs the stored upper image data to the frame memory 9 via the switch 8.
  • the prediction tap acquisition circuit 3 sequentially determines the pixels of the upper image stored in the upper layer image memory 2 as the pixel of interest, and calculates the pixel values of the pixel of interest and pixels in the vicinity thereof as the prediction coefficient calculation circuit 4, the pixel value Supply to update circuit 5 and matching circuit 6.
  • An updated pixel value block means a block composed of a plurality of pixels extracted for prediction.
  • the prediction coefficient tap means a group of a plurality of coefficients used for prediction.
  • X indicates a pixel to be updated, and X indicates a pixel whose pixel value is fixed.
  • c described later indicates a coefficient, Y ′ indicates a predicted value, and Y indicates a pixel value of an original image.
  • the prediction coefficient calculation circuit 4 is supplied with a prediction tap composed of 3 ⁇ 3 pixels (pixels X1 to x9) centered on the target pixel x5. Is done.
  • the pixel value updating circuit 5 includes all the prediction taps included in the 3 ⁇ 3 pixel, including any of the 3 ⁇ 3 9 pixels centered on the pixel of interest x5 (encircled by a dashed line in FIG. 5, 7 ⁇ 7 pixels centered on the target pixel X 5) are supplied.
  • the matching circuit 6 has 40 (-49-9) pixels (pixels XI) excluding 7 X 7 pixels centered on the target pixel X5 and 3 X 3 pixels centered on the target pixel x5. To X40) are supplied.
  • the prediction coefficient calculation circuit 4 uses the prediction tap (pixels xl to x9) centered on the target pixel x5 supplied from the prediction tap acquisition circuit 3 as learning data (student data), and uses the corresponding pixel of the original image as teacher data. By generating the observation equation and solving the observation equation using the least squares method, the prediction mode for 9 modes (mode 1 to mode 9) as shown in Fig. 6 is obtained. The number is calculated and supplied to the pixel value updating circuit 5 and the mapping circuit 6.
  • the prediction coefficient tap of each mode consisting of 3 ⁇ 3 prediction coefficients is a 3 ⁇ 3 pixel centered on the pixel of the lower hierarchical image (hereinafter referred to as the lower image) at the position corresponding to the target pixel. Used when predicting the pixel value of.
  • the prediction coefficient tap used when predicting pixel a is the prediction coefficient tap of mode 1
  • the prediction coefficient tap used when predicting pixel b is The prediction coefficient tap used in predicting pixel c is the prediction coefficient tap in mode 2
  • the prediction coefficient tap used in predicting pixel h is the prediction coefficient tap used in predicting pixel h.
  • the prediction coefficient tap used when predicting pixel i is the prediction coefficient tap in mode 5
  • the prediction coefficient tap used when predicting pixel d is the prediction coefficient tap in mode 6
  • the prediction coefficient tap used when predicting g is the prediction coefficient tap in mode 7
  • the prediction coefficient tap used when predicting pixel f is the prediction coefficient tap in mode 8.
  • Ru predictive coefficient taps der prediction coefficient tap mode 9 which is used to predict the pixel e.
  • FIG. 7A shows a lower image predicted from the upper image shown in FIG.
  • the prediction coefficient taps of mode 1 prediction coefficients c11 to c19
  • the pixels pixels XII, X12, X13, ⁇ 2, x3, X17 constituting the prediction tap centered on pixel x3 , ⁇ 5, ⁇ ⁇ , X 21), a pixel ( ⁇ 5 ′ in FIG. 7) adjacent to the upper left pixel
  • the pixel value of the pixel Y 1 ′) in FIG. 7 is calculated.
  • the prediction coefficient tap in Mode 9 (Prediction The numbers c 91 to c 99) are linearly and linearly combined with the pixel values of the pixels that make up the prediction tap centered on pixel x 3, and are adjacent to the lower right pixel of the lower image pixel at the position corresponding to the target pixel.
  • the pixel value of the pixel to be calculated (pixel ⁇ 9 ′ in FIG. 7) is calculated.
  • the pixel value updating circuit 5 simultaneously updates the pixel values of 3 ⁇ 3 pixels centering on the target pixel, and outputs the updated pixel values to the upper layer image memory 2 and the matching circuit 6.
  • FIG. 8 shows a detailed configuration example of the pixel value updating circuit 5.
  • the normal equation generation circuit 11 uses the prediction coefficients input from the prediction coefficient calculation circuit 4, the pixel values of the pixels forming the prediction taps input from the prediction tap acquisition circuit 3, and the corresponding pixel values of the original image. Then, a normal equation is generated from the predicted value and the true value (the pixel value of the original image) and output to the pixel value determination circuit 12.
  • the pixel value determination circuit 12 calculates a 3 ⁇ 3 pixel value (update value) centered on the target pixel of the upper image, which minimizes the error between the predicted value and the true value by the input normal equation. They are calculated at the same time. In the following, the nine pixels that are updated simultaneously are referred to as updated pixel value taps.
  • the normal equation is generated using the pixel values in the range where the updated pixel value tap and the prediction coefficient tap partially overlap. For example, when updating the pixel value of 3 ⁇ 3 pixels (pixels xl to x9) centered on pixel ⁇ 5 shown in FIG. Fix the pixel values of the pixels (pixels XI to X40) other than the updated pixel value tap and all the prediction coefficients cl 1 to c 99, and move the prediction coefficient taps within the area enclosed by the broken line. The pixel value of the lower image is predicted.
  • the center of the prediction coefficient tap is moved to a position ,
  • the prediction coefficient taps of mode 1 prediction coefficients c11 to c19
  • 3 x 3 pixels centered on pixel x3 pixels XII, X12, X13, ⁇ 2, x3, X17, ⁇ 5, ⁇ 6,
  • the pixel value (predicted value) of the pixel Y1 'on the upper left of the pixel # 5' of the lower image corresponding to the position of the pixel # 3 is calculated by a linear linear combination of the pixel value with the pixel value X21).
  • This pixel value ⁇ can be expressed by the following equation (1).
  • the pixel values Y2 ′ to ⁇ 9 ′ are also represented by linear linear combinations of the prediction coefficients and the pixel values of the upper image, and by rewriting the obtained nine equations using a matrix, The following observation equation holds.
  • Y ' is a matrix composed of a set of pixel values Y1 to ⁇ 9'
  • c is a matrix composed of a set of prediction coefficients c ll to c99
  • X is a matrix composed of a set of pixel values of the upper image. is there.
  • equation (2) the difference between the predicted value Y1 'and the corresponding pixel value Y1 of the original image is expressed by the following equation (2). .
  • Yl-Yl ' Y1-(c llXll + c 12X12 + c 13X13 + c 16X17 + c 19X21)-(c 14x2 + c 15 x 3+ c 17 x 5+ c 18 x6)
  • Equation (3) If the difference between the predicted value Yl 'and the pixel value Yl of the corresponding original image, that is, the left side of Equation (3) is the residual, and the constant term on the right side is transposed to the left side, and rearranged, The following equation (4) is obtained.
  • Equations (5) to (1 2) are obtained.
  • Equation (13) shows only the parts corresponding to Equations (4) to (12) for simplification of the notation.
  • Data equal to
  • the predicted pixel value xi for obtaining the predicted value Y, which is close to the pixel value Y of the original image is the square error
  • Equation (13) the teacher data (pixel value Y—constant term of the original image) of Equation (13) be Y, and let the relationship between the teacher data Y ′ ′, the prediction coefficient (:, the predicted pixel value ⁇ , and the residual e) be Taking this into account, the following equation (18) can be obtained from equation (17).
  • the mapping circuit 6 has the pixel values of the nine pixels of the updated pixel value tap centered on the pixel of interest supplied from the pixel value updating circuit 5 and the pixel value of the pixel supplied from the prediction tap acquiring circuit 3 as the center.
  • the pixel values of 40 pixels, excluding 3 X 3 pixels centered on the target pixel from 7 X 7 pixels, and the prediction coefficients of the prediction coefficient taps for 9 modes input from the prediction coefficient calculation circuit 4 are linear. By performing linear combination, the pixel value of the lower image is partially changed (to the extent that the pixel of the update pixel value tap is affected).
  • the pixel values of the locally decoded lower-order image are supplied to an error calculation circuit 7.
  • the error calculation circuit 7 calculates the error between the pixel value of the locally decoded lower image from the matching circuit 6 and the corresponding pixel value of the original image.
  • S / N is used as the error.
  • S / N 201 og, o (255 / e rr) (err: standard deviation of error). If the S / N is equal to or larger than the threshold, it is determined that an optimal pixel has been generated, and the switch 8 is turned on. In this case, the S / N may be evaluated for the entire image instead of evaluating the S / N for the partially locally decoded image.
  • the frame memory 9 stores a partially optimized upper image input from the upper layer image memory 2 via the switch 8 every time it is input. Therefore, after all the pixels of the upper image stored in the upper layer image memory 2 are set as the target pixels, the frame memory 9 stores the optimal upper image in which all the pixels are optimized. .
  • the optimal upper-order image stored in the frame memory 9 is output to a decoder (described later with reference to FIG. 13) at a predetermined timing together with the prediction coefficient taps for the nine modes.
  • a control unit 10 is provided for controlling the processing of the encoder described below.
  • the control unit 10 receives the output of the error calculation circuit 7 and generates a signal for controlling the switch 8.
  • various control signals are supplied to each block in order to perform processing of the encoder.
  • the CPU 114 is not limited to the one realized by the hardware having the configuration, and may be installed from the outside or executed by the CPU 114 in accordance with a software program stored in the ROM 112 in FIG. Les ,. In that case, the processing of each step is performed under the control of the CPU 114 in accordance with the software program.
  • step S1 the image reduction circuit 1 divides the supplied original image (high-resolution image) into blocks of 3 ⁇ 3 pixels, and calculates the average value of the pixel values of 9 pixels in each block as the center of the block.
  • An initial upper-level image is generated as the pixel value of the pixel of the upper-level image (low-resolution image) located in, and is stored in the upper-level image memory 2.
  • the prediction tap acquisition circuit 3 sequentially determines the pixels of the upper image stored in the upper layer image memory 2 as the pixel of interest, and the 7 ⁇ 7 pixels centered on the pixel of interest from the upper layer image memory 2 Get the value.
  • the pixel value of the 3 ⁇ 3 pixels centered on the target pixel among the obtained 49 pixel values is supplied to the prediction coefficient calculation circuit 4.
  • the pixel value updating circuit 5 is supplied with all the acquired pixel values.
  • the pixel values of 40 ( ⁇ 49 ⁇ 9) pixels excluding the 3 ⁇ 3 pixels centered on the target pixel out of the obtained 49 pixel values are supplied to the mapping circuit 6. For example, when the pixel x5 shown in FIG.
  • the pixel value of the prediction coefficient tap of 3 ⁇ 3 pixels (pixels xl to x9) centered on the pixel of interest x5 is sent to the prediction coefficient calculation circuit 4.
  • the pixel value of the supplied 7 ⁇ 7 pixel centered on the pixel of interest x5 is supplied to the pixel value update circuit 5, and the pixel value of 7 ⁇ 7 centered on the pixel of interest x5 to 3 X centered on the pixel of interest X5
  • step S2 the prediction coefficient calculation circuit 4 A prediction tap of 3 x 3 pixels centered on the pixel of interest supplied from Road 3 is used as learning data (student data), and an observation equation is generated using pixels of the corresponding original image as teacher data, and the least squares method is applied.
  • learning data student data
  • an observation equation is generated using pixels of the corresponding original image as teacher data, and the least squares method is applied.
  • the prediction coefficient taps for 9 modes are obtained and supplied to the pixel value updating circuit 5 and the matching circuit 6.
  • equations are set for all pixels in the screen.
  • step S 3 the normal equation generation circuit 11 of the pixel value update circuit 5 performs the calculation based on the prediction coefficient tap input from the prediction coefficient calculation circuit 4 and the pixel of interest supplied from the prediction tap acquisition circuit 3. Using the pixel values of the seven pixels and the corresponding pixel values of the original image, an observation equation as shown in Expression (13) is generated and output to the pixel value determination circuit 12.
  • the pixel value determination circuit 12 solves the input observation equation by applying the least square method, and outputs the obtained pixel value of the updated pixel value tap to the upper layer image memory 2 and the mapping circuit 6.
  • the upper layer image memory 2 uses the pixel value of the updated pixel value tap input from the pixel value updating circuit 5 to update the pixel value of the corresponding pixel of the upper image stored so far.
  • the mapping circuit 6 sets the pixel value of the updated pixel value tap input from the pixel value update circuit 5 and the pixel of interest from 7 X 7 pixels centered on the pixel of interest input from the prediction tap acquisition circuit 3
  • step S4 the error calculation circuit 7 determines the pixel value of the locally decoded lower image from the mapping circuit 6 and the corresponding image of the original image.
  • the S / N with the prime value is calculated, and it is determined whether the S / N is equal to or greater than a predetermined threshold. When it is determined that the S / N is not equal to or more than the predetermined threshold, the processes of steps S2 to S4 are repeated. When it is determined that the S / N is equal to or more than the predetermined threshold, the process proceeds to step S5.
  • step S5 the switch 8 is turned on under the control of the error calculation circuit 7, and the partially optimized upper image is output from the upper layer image memory 2 to the frame memory 9 via the switch 8. You.
  • the frame memory 9 stores the optimum upper image in which all the pixels are optimized. Is remembered
  • the stored optimal upper image is output to the decoder at a predetermined timing together with the prediction coefficient taps for nine modes.
  • the first method shown in the flowchart of FIG. 10 is an example in which each pixel is updated once for each update of the prediction coefficient.
  • step S21 the encoder generates a high-order image by reducing the original image. Then, the encoder updates the prediction coefficients of all pixels on the entire screen (step S22).
  • step S22 the encoder updates the prediction coefficients of all pixels on the entire screen.
  • step S24 it is determined whether or not the processing has been completed for all blocks. If not, the process returns to step S22 to repeat the processing.
  • step S24 when it is determined that the update of the pixel values of all blocks has been completed, the encoder maps (local decodes) the updated upper image to obtain an S / N indicating an error from the lower image. Is calculated (step S25).
  • step S26 the encoder determines that the S / N is greater than or equal to the threshold Is determined. If the S / N is equal to or larger than the threshold value, the updated upper image is output to the frame memory 9 and the prediction coefficient is output (step S27). If the S / N is smaller than the threshold value in step S26, the process returns to step S22, and the processing from step S22 is repeated.
  • FIG. 11 is a flowchart showing the second method.
  • the second method is to update the pixel value of only one block for one update of the prediction coefficient. Therefore, when the update of the pixel values of all the blocks has not been completed, the processing goes to the update processing of the prediction coefficients of the entire screen in step S22 instead of step S23 (update of the pixel values). Only the points are different from the professional chart of FIG.
  • FIG. 12 is a flowchart showing the third method.
  • the updated pixel value is evaluated after the prediction coefficient is updated and after the pixel value is updated.
  • step S32 after the original image is reduced (step S31), the prediction coefficients of all pixels are updated (step S32).
  • the encoder maps the updated upper image and calculates an S / N, which is an error from the lower image (step S33).
  • step S34 it is determined whether S / N is equal to or greater than a threshold. If the S / N is equal to or larger than the threshold, the encoder outputs the updated upper image to the frame memory 9 and outputs the prediction coefficient (step S35).
  • step S34 If the S / N is smaller than the threshold value in step S34, the process proceeds to step S36, and in step S36, the encoder updates the pixel value of the block.
  • step S37 it is determined whether or not the processing of all blocks has been completed, and if not, the process returns to step S36 and the processing is repeated.
  • step S37 it is determined that the updating of the pixel values of all the blocks has been completed.
  • the encoder maps the updated upper image and calculates an S / N, which is an error from the lower image (step S38).
  • step S39 it is determined whether S / N is greater than or equal to a threshold. If the S / N is equal to or larger than the threshold, the encoder outputs the updated high-order image to the frame memory 9 and outputs the prediction coefficient (step S35). If the S / N is smaller than the threshold value in step S39, the process returns to step S32, and repeats the above-described processing from step S32.
  • both the prediction coefficient and the pixel value of the upper image are optimized.
  • the prediction coefficient is generated in advance by performing the same processing as the prediction coefficient generation processing in the encoder using the digital image for coefficient determination.
  • the prediction coefficient is shared by the encoder and the decoder, it is not necessary to record or transmit on a recording medium.
  • the optimal upper image input from the encoder is stored in the optimal upper layer image memory 21, and the prediction coefficient taps for 9 modes are supplied to the mapping circuit 23. .
  • the prediction tap acquisition circuit 22 sequentially determines the pixels of the optimal upper-layer image stored in the optimal upper-layer image memory 21 as a pixel of interest, and focuses on the pixel of interest from the optimal upper-layer image memory 21.
  • a prediction tap of 3 ⁇ 3 pixels is acquired and output to the matching circuit 23.
  • the matching circuit 23 receives the prediction input from the prediction tap acquisition circuit 22.
  • the pixel of the lower image corresponding to the position of the pixel of interest is centered.
  • Predict the pixel value of 3 x 3 pixels (restore the pixels of the original image).
  • the predicted 3 ⁇ 3 pixel value of the lower image is output to the frame memory 24 and stored.
  • the pixel value of the lower image stored in the frame memory 24 is output to a display (not shown) at a predetermined timing for each frame.
  • This original image restoration processing is started after the optimal upper image generated by the encoder is stored in the optimal upper layer image memory 21 and the prediction coefficient taps for 9 modes are supplied to the matching circuit 23. .
  • step S I 1 the prediction tap acquisition circuit 22 determines one pixel of the pixels of the optimal upper image stored in the optimal upper image memory 21 as a target pixel.
  • step S 12 the prediction tap acquisition circuit 22 acquires a 3 ⁇ 3 pixel prediction tap centered on the pixel of interest from the optimal upper layer image memory 21 and outputs it to the matching circuit 23.
  • step S13 the mapping circuit 23 determines the pixel values of the nine pixels forming the prediction taps input from the prediction tap acquisition circuit 22 and the prediction coefficient taps for the nine modes supplied from the encoder. By calculating the linear primary combination of, the pixel value of 3 ⁇ 3 pixels centered on the pixel of the lower image corresponding to the position of the pixel of interest is predicted (the pixel of the original image is restored). The predicted 3 ⁇ 3 pixel value of the lower image is output to the frame memory 24 and stored.
  • step SI4 the prediction tap acquisition circuit 22 determines whether or not all the pixels of the optimal upper-layer image stored in the optimal upper-layer image memory 21 have been determined as the target pixels, and determines all pixels. The processing of steps S11 to S14 is repeated until it is determined that the pixel of interest has been determined. If it is determined that all the pixels have been determined as the target pixel, the process proceeds to step S15.
  • step S15 the pixel value of the lower image stored in the frame memory 24 is output to a display (not shown) at a predetermined timing for each frame.
  • the present invention it is possible to simultaneously optimize the pixel values of a plurality of pixels on a block basis. Thereby, the processing can be simplified and the processing time can be shortened.

Description

明 細 書
画像変換装置および方法、 学習装置および方法、 並びに記録媒体 技術分野
この発明は、 画像変換装置および方法、 学習装置および方法、 並び に記録媒体に関し、 特に、 原画像とほぼ同一の画像を復元できる圧縮 画像を生成する画像変換装置および方法、 学習装置および方法、 並び に記録媒体に関する。
背景技術
本願発明者によって、 特開平 1 0— 9 3 9 8 0号公報に開示されて いるように、 低解像度の画像を用いて、 高解像度の画像を生成する技 術が提案されており、 高解像度の原画像を縮小した低解像度画像を用 いて原画像とほぼ同一の高解像度画像を復元することができるとされ ている。 この提案においては、 例えば第 1図に示すように、 低解像度 画像 （上位階層画像） の注目画素 Iに対応する位置の高解像度画像 （ 復元画像） の画素 iを中心とする 3 X 3個の画素 a乃至 iの画素値を 、 その近傍に位置する低解像度画像の複数の画素 （例えば、 3 X 3個 の画素 A乃至 I ) と所定の予測係数との線形 1次結合等を演算するこ とにより求めている。 さらに、 その復元画像の画素値と原画像の画素 値との誤差を演算し、 その結果に対応して低解像度画像の画素値、 お よび予測係数の更新を繰り返している。
ところで、 上述した従来における低解像度画像の画素値の更新は、 1画素毎に近傍の画素の画素値を固定した条件の下で行われていた。 すなわち、 図 1に示すように、 低解像度画像の注目画素 Iの画素値は 、 注目画素 Iを中心とする 8個の画素 Aないし Hの画素値、 および所 定の予測係数の値を固定した条件下において最適な値に更新されてい た。 したがって、 画素 I の画素値を更新した後、 画素 Dの画素値を更新 した場合、 画素 Dは、 画素 Iの画素値を更新したときに画素値が固定 された画素であるので、 先ほど更新された画素 Iの画素値は、 更新さ れた画素 Dに対しては最適ではない。 よって、 低解像度画像 （上位階 層画像） の画素値を 1画素毎に順次更新した場合、 最終的に全画素値 が更新された低解像度画像 （上位階層画像） は、 必ずしも原画像を復 元できる最適なものであるとはいえない問題があった。
この問題は、 低解像度画像 （上位階層画像） の隣接する複数の画素 の画素値を、 同時に最適な値に更新すれば解決できるが、 その演算量 は膨大であって、 演算に長い時間がかかるとともに、 演算回路の規模 が大きくなり、 実質的には不可能であった。
この発明はこのような状況に鑑みてなされたものであり、 隣接する 複数の画素の画素値を同時に更新することにより、 原画像とほぼ同一 の高解像度画像を復元することが可能な低解像度画像を短時間で得る ことができるようにするものである。
発明の開示.
請求の範囲 1の発明は、 第 1の画像データを、 第 1の画像データよ り低質な第 2の画像データに変換する画像データ変換装置において、 第 1 の画像データから、 第 2の画像データとほぼ同質な中間画像デ —タを生成する中間画像データ生成部と、
中間画像データを記憶する記憶部と、
中間画像データから、 一画面中の一部であるブロック毎の複数の画 素データを抽出するプロック抽出部と、
生成され、 または予め取得された予測係数を出力する予測係数生成 部と、
予測係数と中間画像データと第 1の画像データとに基づいてプロッ ク抽出部で抽出された中間画像データの画素値を更新する画素値更新 部と、
画素値更新部で画素値が更新された中間画像データと予測係数とに 基づいて、 第 1の画像データとほぼ同質な予測画像データを生成する 予測画像データ生成部と、
第 1の画像データと予測画像データの誤差を検出する誤差検出部と 誤差に基づいて、 中間画像データを出力画像とするか否かを決定す る制御部とを備えることを特徴とする画像データ変換装置である。 請求の範囲 6の発明は、 第 1の画像データを、 第 1の画像データよ り低質な第 2の画像データに変換する画像データ変換方法において、 第 1の画像データから第 2の画像データとほぼ同質な中間画像デー タを生成するステップと、
中間画像データから、 一画面中の一部であるブロック毎の複数の画 素データを抽出するステップと、
生成され、 または予め取得された予測係数を出力するステップと、 予測係数と中間画像データと第 1の画像データとに基づいてプロッ ク抽出部で抽出された中間画像データの画素値を更新するステップと 画素値が更新された中間画像データと予測係数とに基づいて、 第 1 の画像データとほぼ同質な予測画像データを生成するステップと、 第 1の画像データと予測画像データの誤差を検出するステップと、 誤差に基づいて、 中間画像データを出力画像とするか否かを決定す るステップとを有することを特徴とする画像データ変換方法である。 請求の範囲 1 1の発明は、 第 1の画像データを、 第 1の画像データ より低質な第 2の画像データに変換する時に、 第 2の画像データの画 素値を学習する学習装置において、
第 1の画像データから、 第 2の画像データとほぼ同質な中間画像デ ータを生成する中間画像データ生成部と、
中間画像データを記憶する記憶部と、
中間画像データから、 一画面中の一部であるブロック毎の複数の画 素データを抽出するプロック抽出部と、
生成され、 または予め取得された予測係数を出力する予測係数生成 部と、
予測係数と中間画像データと第 1の画像データとに基づいてプロッ ク抽出部で抽出された中間画像データの画素値を更新する画素値更新 部と、
画素値更新部で画素値が更新された中間画像データと予測係数とに 基づいて、 第 1の画像データとほぼ同質な予測画像データを生成する 予測画像データ生成部と、
第 1の画像データと予測画像データの誤差を検出する誤差検出部と 誤差に基づいて、 中間画像データを出力画像とするか否かを決定す る制御部とを備え、
画素値更新部は、 予測係数を生徒データとし、 対応する第 1の画像 データを教師データとして、 最小二乗法によって、 中間画像データの 画素値を更新することを特徴とする学習装置である。
請求の範囲 1 2の発明は、 第 1の画像データを、 第 1の画像データ より低質な第 2の画像データに変換する時に、 第 2の画像データの画 素値を学習する学習方法において、
第 1の画像データから第 2の画像データとほぼ同質な中間画像デー タを生成するステップと、 中間画像データから、 一画面中の一部であるブロック毎の複数の画 素データを抽出するステップと、
生成され、 または予め取得された予測係数を出力するステップと、 予測係数と中間画像データと第 1の画像データとに基づいて抽出さ れた中間画像データの画素値を更新するステップと、
画素値が更新された中間画像データと予測係数とに基づいて、 第 1 の画像データとほぼ同質な予測画像データを生成するステップと、 第 1の画像データと予測画像データの誤差を検出するステップと、 誤差に基づいて、 中間画像データを出力画像とするか否かを決定す るステップとを備え、
画素値を更新するステップは、 予測係数を生徒データとし、 対応す る第 1の画像データを教師データとして、 最小二乗法によって、 中間 画像データの画素値を更新することを特徴とする学習方法である。 請求の範囲 1 3の発明は、 第 1の画像データを、 第 1の画像データ より低質な第 2の画像データに変換する画像データ変換するためのコ ンピュータ制御可能なプログラムが記録された記録媒体において、 プログラムは、
第 1の画像データから第 2の画像データとほぼ同質な中間画像デ一 タを生成するステップと、
中間画像データから、 一画面中の一部であるブロック毎の複数の画 素データを抽出するステップと、
抽出された中間画像と抽出された中間画像データに対応する位置の 第 1の画像データとに基づいて予測係数を生成するステップと、 予測係数と中間画像データと第 1の画像データとに基づいて抽出さ れた中間画像データの画素値を更新するステップと、
画素値が更新された中間画像データと予測係数とに基づいて、 第 1 の画像データとほぼ同質な予測画像データを生成するステップと、 第 1の画像データと予測画像データの誤差を検出するステップと、 誤差に基づいて、 中間画像データを出力画像とするか否かを決定す るステップとからなることを特徴とする記録媒体である。
図面の簡単な説明
第 1図は、 先に提案したェンコ一ドを説明するための画素の配列を 示す略線図である。
第 2図は、 この発明を適用した画像データ変換装置の全体的構成を 示すブロック図である。
第 3図は、 第 2図中の送信装置の機能的構成例を示すブロック図で ある。
第 4図は、 この発明を適用したエンコーダの構成例を示すプロック 図である。
第 5図は、 第 4図の予測タップ取得回路 3の処理を説明する図であ る。
第 6図は、. 予測係数タップを説明する図である。
第 7図は、 下位階層画像を説明する図である。
第 8図は、 第 4図の画素値更新回路 5の構成例を示すプロック図で ある。
第 9図は、 第 4図のエンコーダの最適画素値生成処理の概略を説明 するフローチャートである。
第 1 0図は、 第 4図のエンコーダの最適画素値生成処理の一例を説 明するフローチャートである。
第 1 1図は、 第 4図のエンコーダの最適画素値生成処理の他の例を 説明するフローチャートである。
第 1 2図は、 第 4図のエンコーダの最適画素値生成処理のさらに他 の例を説明するフローチャートである。
第 1 3図は、 第 4図のエンコーダにより生成された最適上位画像か ら原画像を復元するデコーダの構成例を示すプロック図である。 第 1 4図は、 第 1 3図のデコーダの原画像復元処理を説明するフロ 一チャートである。
発明を実施するための最良の形態
以下、 この発明の実施の形態を説明する。 第 2図は、 この発明を適 用した画像処理装置の一実施の形態の構成を示している。
送信装置 1 0 1には、 ディジタル化された画像データが供給される ようになされている。 送信装置 1 0 1は、 入力された画像データの複 数画素毎の平均値を形成し、 複数画素を平均値に置き換えることによ つて、 データ量を圧縮し、 その結果得られる符号化データを光デイス ク、 磁気テープ等の記録媒体 1 0 2に記録し、 または放送回線 （衛星 放送等） 、 電話回線、 インターネッ ト等の伝送路 1 0 3を介して伝送 する。
受信装置 1 0 4は、 記録媒体 1 ◦ 2に記録されている符号化データ を再生し、 または伝送路 1 0 3を介して伝送される符号化データを受 信し、 符号化データを復号する。 すなわち、 間引かれた画素の値が復 元される。 受信装置 1 0 4から得られる復号画像がディスプレイ （図 示せず） に供給され、 ディスプレイ上に表示される。
第 3図は、 送信装置 1 0 1の一例を示す。 I / F (インターフュー ス） 1 1 1は、 外部から供給される画像データの受信処理と、 送信機 Z記録装置 1 1 6に対する符号化データの送信処理を行う。 R O M 1 1 2は、 I P L (Initial Program Loading) 用のプログラム等を記憶 している。 R A M I 1 3は、 外部記憶装置 1 1 5に記録されているシ ステムプログラム （O S (Operating System) ) やアプリケーションプ ログラムを記憶したり、 また、 C P U 1 1 4の動作に必要なデータを 記憶する。
C PU 1 1 4は、 ROM 1 1 2に記憶されている I P Lプログラム に従って外部記憶装置 1 1 5からシステムプログラムおよびアプリケ —シヨンプログラムを RAMI 1 3に展開し、 そのシステムプロダラ ムの制御の下でアプリケーシヨンプログラムを実行する。 すなわち、 インターフェース 1 1 1から供給される画像データに対して、 後述す るような符号化処理を行う。
外部記憶装置 1 1 5は、 例えばハードディスクであって、 システム プログラム、 アプリケーションプログラム、 データを記憶する。 送信 機 記憶装置 1 1 6は、 インタ一フェース 1 1 1から供給される符号 化データを記録媒体 1 02に記録し、 または伝送路 1 0 3を介して伝 送する。 インターフェース 1 1 1、 ROM1 1 2、 RAM 1 1 3、 C PU 1 1 4、 および外部記憶装置 1 1 5は、 バスを介して互いに接続 されている。
上述した構成を有する送信装置 1 0 1においては、 インターフエ一 ス 1 1 1に画像データが供給されると、 その画像データが C PU 1 1 4に供給される。 C PU 1 1 4は、 画像データを符号化し、 その結果 得られる符号化データをィンターフェース 1 1 1に供給する。 インタ —フェース 1 1 1が符号化データを送信機/記録装置 1 1 6を介して 記録媒体 1 02に記録し、 または伝送路 1 03に送出する。
第 4図は、 送信機 Z記録装置 1 1 6以外の第 3図の送信装置 1 0 1 、 すなわち、 エンコーダの機能的な構成を示すものである。 ェンコ一 ダは、 ハードウェア、 ソフ トウェアまたは両者の組み合わせで実現す ることが可能である。 例えば後述するフローチャートに示されるよう なェンコ一ド処理のプログラムが格納された記録媒体をドライブに装 着することによって、 このプログラムを外部記憶装置 1 1 5にインス トールし、 エンコーダと しての機能を実現できる。
なお、 上述したような処理を行うコンピュータプログラムをユーザ に提供する記録媒体としては、 磁気ディスク、 C D— R O M、 固体メ モリなどの記録媒体の他、 ネッ トワーク、 衛星などの通信媒体を利用 することができる。
第 4図に示すエンコーダにおいては、 入力される原画像データが画 像データが画像縮小回路 1、 予測係数演算回路 4、 画素値更新回路 5 、 および誤差演算回路 7に供給されるようになされている。 画像縮小 回路 1は、 供給された原画像 （高解像度画像） を、 例えば第 1図に示 したように、 3 X 3画素からなるブロックに分割し、 各ブロック内の 9画素の画素値の平均値をプロックの中心に位置する上位階層画像 （ 低解像度画像） の画素の画素値として初期上位階層画像を生成し、 上 位階層画像メモリ 2に出力するようになされている。 したがって、 上 位階層画像 （以下、 上位画像と記述する） は、 原画像の縦および横の サイズが 1 3に縮小されたものとなる。
なお、 初期上位画像を形成する場合、 平均値以外に、 各ブロ ックの 中心に位置する画素の値、 各ブロックの複数の画素値の中間値、 各ブ 口ックの複数の画素値の最も多い値、 間引きで形成された画素等を用 いても良い。
上位階層画像メモリ 2は、 画像縮小回路 1から入力された上位画像 を記憶するようになされている。 また上位階層画像メモリ 2は、 画素 値更新回路 5から入力される画素値を用いて、 記憶している上位画像 の画素値を更新するようになされている。 さらに、 上位階層画像メモ リ 2は、 記憶している上位画像データをスィッチ 8を介してフレーム メモリ 9に出力するようになされている。 予測タップ取得回路 3は、 上位階層画像メモリ 2に記憶されている 上位画像の画素を、 順次、 注目画素に決定し、 注目画素とその近傍の 画素の画素値を予測係数演算回路 4、 画素値更新回路 5、 およびマツ ビング回路 6に供給する。
簡単のために、 第 5図に示すように、 更新画素値ブロック （予測タ ップ） のサイズが 3 X 3、 予測係数タップのサイズが 3 X 3の場合に ついて説明する。 なお、 更新画素値ブロック （予測タップ） は、 予測 のために抽出される複数の画素で構成されるプロックを意味する。 ま た、 予測係数タップは、 予測に使用される複数の係数群を意味する。 第 5図中で、 Xは、 更新する画素を示し、 Xは、 画素値が固定されて いる画素を示す。 また、 後述する cが係数を意味し、 Y' が予測値を 示し、 Yが原画像の画素値を示す。
例えば、 第 5図に示す画素 x5 が注目画素に決定された場合、 予測 係数演算回路 4には、 注目画素 x5 を中心とする 3 X 3画素 （画素 X 1 乃至 x9 ) からなる予測タップが供給される。 画素値更新回路 5に は、 注目画素 x5 を中心とする 3 X 3の 9個の画素のいずれかが 3 X 3画素内に含まれる全ての予測タップ （第 5図において破線に囲まれ た、 注目画素 X 5 を中心とする 7 X 7画素） が供給される。 マツピン グ回路 6には、 注目画素 X 5 を中心とする 7 X 7画素から、 注目画素 x5 を中心とする 3 X 3画素を除いた 4 0 (- 4 9 - 9 ) 個の画素 （ 画素 XI 乃至 X40) が供給される。
予測係数演算回路 4は、 予測タップ取得回路 3から供給された注目 画素 x5 を中心とする予測タップ （画素 xl 乃至 x9 ) を学習データ (生徒データ） とし、 対応する原画像の画素を教師データとして観測 方程式を生成して、 最小自乗法により観測方程式を解く ことにより、 第 6図に示すような、 9モー ド分 （モー ド 1乃至モー ド 9) の予測係 数を演算して、 画素値更新回路 5、 およびマッピング回路 6に供給す るようになされている。
なお、 3 X 3個の予測係数からなる各モードの予測係数タップは、 注目画素に対応する位置の下位階層画像 （以下、 下位画像と記述する ) の画素を中心とする 3 X 3画素のそれぞれの画素値を予測するとき に用いられる。
より具体的には、 第 1図の画素の配列において、 画素 aを予測する 時に使用される予測係数タップがモード 1 の予測係数タップであり、 画素 bを予測する時に使用される予測係数タップがモード 2の予測係 数タップであり、 画素 cを予測する時に使用される予測係数タップが モード 3の予測係数タップであり、 画素 hを予測する時に使用される 予測係数タップがモード 4の予測係数タップであり、 画素 iを予測す る時に使用される予測係数タップがモード 5の予測係数タップであり 、 画素 dを予測する時に使用される予測係数タップがモード 6の予測 係数タップであり、 画素 gを予測する時に使用される予測係数タップ がモード 7の予測係数タップであり、 画素 f を予測する時に使用され る予測係数タップがモード 8の予測係数タップであり、 画素 eを予測 する時に使用される予測係数タップがモード 9の予測係数タップであ る。
第 7図 Aは、 第 5図に示した上位画像から予測される下位画像を示 している。 例えば、 モード 1 の予測係数タップ （予測係数 c 11乃至 c 19) と、 画素 x 3 を中心とする予測タップを構成する画素 （画素 X I I ， X 12, X 13, χ 2 , x 3 ， X 17, χ 5 , χ β , X 21 ) の画素値との 線形 1次結合により、 注目画素に対応する位置の下位画像の画素 （第 7図 Βの画素 Υ 5 ' ) の左上に隣接する画素 （第 7図 Βの画素 Y 1 ' ) の画素値が演算される。 また、 モー ド 9の予測係数タップ （予測係 数 c 91乃至 c 99) と、 画素 x 3 を中心とする予測タップを構成する画 素の画素値との線形 1次結合により、 注目画素に対応する位置の下位 画像の画素の右下に隣接する画素 （第 7図 Βの画素 Υ 9 ' ) の画素値 が演算される。
画素値更新回路 5は、 注目画素を中心とする 3 X 3画素の画素値を 同時に更新し、 更新した画素値を上位階層画像メモリ 2、 およびマツ ビング回路 6に出力するようになされている。
第 8図は、 画素値更新回路 5の詳細な構成例を示している。 正規方 程式生成回路 1 1は、 予測係数演算回路 4から入力された予測係数、 予測タップ取得回路 3から入力された予測タップを構成する画素の画 素値、 原画像の対応する画素値を用いて、 予測値と真値 （原画像の画 素値） より正規方程式を生成し、 画素値決定回路 1 2に出力するよう になされている。 画素値決定回路 1 2は、 入力された正規方程式によ つて予測値と真値との誤差を最小とする、 上位画像の注目画素を中心 とする 3 X 3画素の画素値 （更新値） を同時に演算するようになされ ている。 以下においては、 同時に更新される 9個の画素を更新画素値 タップと記述する。
ここで、 生成される正規方程式について説明する。 正規方程式は、 更新画素値タップと予測係数タップが部分的に重なる範囲の画素値を 用いて生成される。 例えば、 第 5図に示した画素 χ 5 を中心とする 3 Χ 3画素 （画素 x l 乃至 x 9 ) の画素値を更新する （更新画素値タツ プとする） 場合、 破線で囲まれた領域中の更新画素値タップ以外の画 素 （画素 X I 乃至 X 40) の画素値、 および全ての予測係数 c l 1 乃至 c 99を固定し、 予測係数タップを、 破線で囲まれた領域内で移動して 下位画像の画素値を予測する。
例えば、 予測係数タップの中心が画素 x 3 と重なる位置に移動され たときにおいては、 モード 1の予測係数タップ （予測係数 c 11乃至 c 19) と、 画素 x3 を中心とする 3 X 3画素 （画素 XII, X12, X13, χ2 , x3 , X17, χ5 ， χ6 , X21) との画素値の線形 1次結合で 、 画素 χ3 の位置に対応する下位画像の画素 Υ5 ' の左上の画素 Y1 ' の画素値 （予測値） が演算される。 この画素値 ΥΓは、 次式 （1 ) で表すことができる。
ΥΓ - c 11X11 + c 12X12 + c 13X13 + c 14 x 2+ c 15 x 31 c 16X17
+ c 17x5+ c 18x6+ c 19X21
… - (1 ) 同様に、 画素値 Y2 ' 乃至 Υ9 ' も、 予測係数と上位画像の画素値 との線形 1次結合で表し、 得られた 9本の式を行列を用いて書き換え れば、 次式のような観測方程式が成立する。
Y' = c X
ただし、 Y' は画素値 Y1 ， 乃至 Υ9 ' の集合で成る行列であり、 c は予測係数 c ll乃至 c99の集合で成る行列であり、 Xは上位画像の画 素値の集合で成る行列である。
次に、 この観測方程式に最小二乗法を適用して、 原画像の画素値に 近い予測値 Y' を求めることを考える。
ここで、 再び観測方程式の元となった式 （ 1 ) に注目すれば、 予測 値 Y1 ' と、 対応する原画像の画素値 Y1 との差は、 次式 （2) に示 すようになる。
Yl-Yl' =Y1 - (c llXll + c 12X12 + c 13X13 + c 14x2
+ c 15x3+ c 16X17 + c 17 x5- c 18x6+ c 19X21)
• · · ( 2) 式 （2) の右辺を整理すれば、 次式 （3) を得る。
Yl-Yl' =Y1 -（c llXll + c 12X12 + c 13X13 + c 16X17 + c 19X21) -( c 14x2+ c 15 x 3+ c 17 x 5+ c 18 x6)
• · · (3) 予測値 Yl ' と、 対応する原画像の画素値 Yl との差、 すなわち式 (3) の左辺を残差とし、 右辺の定数項を左辺に移項して整理すれば 、 次式 （4) を得る。
Yl -( c 11X11 I c 12X12 + c 13X13 + c 16X17 + c 19X21)1 e 1 = (c 14x21 c 15x3+ c 17x5+ c 18x6)
• · · (4) さらに、 予測係数タップの他のモード （モ一ド 2乃至モード 9) を 用いて、 Yn - Υη ' (ηは 2乃至 9) からも、 式 （4) と同様の次 式 （5) 乃至 （1 2) を得る。
Υ2 -( c 21X11 + c 22X12 + c 23X13 + c 26X17 + c 29X21)+ e 2 = (c2 x2+c25x3+c27x5+c28x6)
• · · (5) Y3 -(c 31X11 + c 32X12 + c 33X13 + c 36X17 + c 39X21)+ e3 = ( c 34 x 2+ c 35 x 3+ c 37 x 5+ c 38 x 6)
• · · (6)
Y4 -( c 41X11 + c 42X12 + c 43X13 + c 46X17 + c 49X21)+ e4
= ( c 44 x 2+ c 45 x 3+ c 47 x 5+ c 48 x 6)
· · · ( 7)
Y5 -( c 51X11 I c 52X12 I c 53X13 + c 56X17 + c 59X21) + e 5
= ( c 54 x 2+ c 55 x 3+ c 57 x 5+ c 58 x 6)
• · · (8)
Y6 -( c 61X11 + c 62X12 + c 63X13 + c 66X17 + c 69X21)+ e 6 = (c64x2+c65 3+ c67x5+ c68x6)
• · · (9) Y7 -( c 71X11 + c 72X12 + c 73X13 + c 76X17 + c 79X21)+ e 7 = (c 74x2+ c 75x3+ c 77x5+ c 78x6)
• · · ( 1 0)
Y8 -( c 81X11 + c 82X12 + c 83X13 + c 86X17 +c89X21) + e8 = ( c 84 x 2+ c 85 x 3+ c 87 x 5+ c 88 x 6)
• · · ( 1 1 )
Y9 -(c 91X11 + c 92X12 + c 93X13 + c 96X17 + c 99X21) + e 9 = ( c 94 x 21 c 95 x 3+ c 97 x 5+ c 98 x 6)
• · · ( 1 2) 同様に、 予測係数タップの位置を、 第 5図の破線で囲まれた領域内 で移動し、 すなわち、 予測係数タップの中心を、 画素 X9 ， X13, X 28, X32を頂点とする矩形領域内の全ての画素 （2 5画素） と順次重 なるように移動し、 予測係数タップの全てのモードを用いて、 2 2 5 (= 9 2 5) 本の式 （4) 乃至 （ 1 2) と同様な式を得る。
この 2 2 5本の式を行列で表せば、 次式 （ 1 3) に示すような、 [ 教師データ] + [残差 e ] = [学習データ c ] X [予測画素値 X ] の 形をした残差方程式となる。
•
V \
~ C\\A\\ ^C[2A\2 + c13^13 + c16A17十 C\9A2\) ek+l ' γ2 - (C21 + c22AI2 + c23 13 + 26^17
- (c3i υ +
Figure imgf000018_0001
Y4 - (c41 1】 + C42^12 + c43 3 + c46^17 + c49X2x; ek+4
Y5 -、 c51 11 C52 + C53^13 + α56Λ\Ί + C59^2l) + ek+5
Υβ -、 C61 11 + C62^12 + C63^13 + C66^17 + c69 21) ek+6
-、 c71 1 + C72 2 + c73^13 + C76^17 + c79 2i) ek + 1 一 °8 11 + C82 + C83 v13 + c86 7 + c 8 ^2l) ek+&
Y9 -[c9lXu +
Figure imgf000018_0002
ek+9
0 c14 Cl5 0 c17 C18 0 0 0 x\
0 c24 C25 0 27 c28 0 0 0 ズ 2
0 C34 C35 0 c37 c38 0 0 0 3
0 c44 45 0 c47 c48 0 0 0 ズ 4
0 c54 C55 0 C57 C58 0 0 0 5
0 c64 C65 0 c67 c68 0 0 0 ズ 6
0 4 ^75 0 7 c78 0 0 0 ズ 7
0 c84 c85 0 c87 c88 0 0 0 Γ8
0 c94 c95 0 c97 c 8 0 0 0 X 9
Figure imgf000018_0003
ただし、 式 （ 1 3) は、 表記を簡略化するために、 式 （4) 乃至 （ 1 2) に対応する部分だけを示している。 また、 a ij ( i = l， 2， • • •， m (= 2 2 5) 、 j = l , 2， · ' ·， 9) は、 行列 [学習 データ c ] の i行 j列に存在するデータに等しい。
この場合、 原画像の画素値 Yに近い予測値 Y， を求めるための予測 画素値 xi は、 自乗誤差
Figure imgf000019_0001
を最小にすることで求めることができる。
したがって、 上述した自乗誤差を予測画素値 xi で微分したものが 0になる場合、 すなわち、 次式を満たす予測画素値 xi 、 原画像の 画素値 Yに近い予測値 Y' を求めるための最適値となる。
de de ■(15)
そこで、 まず、 式 （ 1 3 ) を予測画素値 χ i で微分することにより 、 次式が成立する。 = = (16
«,1 ",2, · · ·，^" = ai,リ '••
9 ι'二—土，1^， 、，m,''')ノ )
9
式 （ 1 4) および式 （ 1 6) より、 式 （ 1 7) が得られる
Figure imgf000020_0001
さらに、 式 （1 3) の教師データ （原画像の画素値 Y—定数項） を Y， ， とし、 教師データ Y' ' 、 予測係数 (：、 予測画素値 χ、 および 残差 eの関係を考慮すると、 式 （ 1 7) から、 次式 （ 1 8) のような 正規方程式を得 ことができる。
Figure imgf000020_0002
m m
=1 =1
(∑ ai9an)xi + (∑ ai9 i2)x2 + ··· + (∑ al9ai9 )x9 = ( α )Υ- )
,=i =1
■(18) 得られた正規方程式を、 例えば、 掃き出し法 （Gauss-Jordanの消去 法） などを適用して解くことにより、 予測係数演算回路 4から供給さ れた予測係数タップに対応する、 更新画素値タップの最適な画素値を 求めることができる。
第 4図の説明に戻る。 マッピング回路 6は、 画素値更新回路 5から 供給された注目画素を中心とする更新画素値タップの 9個の画素の画 素値、 予測タップ取得回路 3から供給された、 注目画素を中心とする 7 X 7画素から注目画素を中心とする 3 X 3画素を除いた 4 0個の画 素の画素値、 および予測係数演算回路 4から入力された 9モード分の 予測係数タップの予測係数を線形 1次結合することにより、 下位画像 の画素値を部分的に （更新画素値タップの画素が影響する範囲を） 口 一カルデコ一ドする。 ローカルデコ一ドされた下位画像の画素値は誤 差演算回路 7に供給されるようになされている。
誤差演算回路 7は、 マツビング回路 6からのローカルデコ一ドされ た下位画像の画素値と、 原画像の対応する画素値との誤差を演算する 。 以下の説明では、 誤差として S/N を用いる。 S/N =201og , o (255/e rr) (err :誤差の標準偏差） の関係にある。 S/N が閾値以上である場合 には、 最適な画素が生成されたと判断して、 スィ ッチ 8をオンに制御 するようになされている。 この場合、 部分的にローカルデコードした 画像で S/N を評価する代えて、 画像全体にわたって S/N を評価するよ うにしても良い。
フレームメモリ 9は、 上位階層画像メモリ 2からスィ ッチ 8を介し て入力される、 部分的に最適化された上位画像を、 入力される度に更 新して記憶するようになされている。 したがって、 上位階層画像メモ リ 2に記憶されている上位画像の全ての画素が注目画素とされた後、 フレームメモリ 9には、 全ての画素が最適化された最適上位画像が記 憶されるよ .うになされている。
フレームメモリ 9に記憶された最適上位画像は、 9モード分の予測 係数タップとともに所定のタイミングでデコーダ （第 1 3図を参照し て後述する） に出力されるようになされている。 以下に説明するェン コーダの処理を制御するために、 制御部 1 0が設けられている。 制御 部 1 0は、 誤差演算回路 7の出力を受け取り、 スィッチ 8を制御する 信号を発生する。 また、 エンコーダの処理を行うために、 各ブロック に対して種々の制御信号を供給する。
次に、 このエンコーダの最適上位画素値生成処理の概略について、 第 9図のフローチャートを参照して説明する。 以下に説明する処理は 、 第 4図の構成と対応して説明されている。 しかしながら、 第 4図の 構成を有するハードウエアにより実現されるものに限らず、 外部から インス トールされ、 または第 3図中の ROM1 1 2に格納されている ソフ トウエアプログラムに従って C PU 1 1 4が行うようにしても良 レ、。 その場合には、 各ステップの処理は、 ソフ トウェアプログラムに 従って C PU 1 1 4の制御の下でなされる。
ステップ S 1において、 画像縮小回路 1は、 供給された原画像 （高 解像度画像） を、 3 X 3画素からなるブロックに分割し、 各ブロック 内の 9画素の画素値の平均値をブロックの中心に位置する上位画像 （ 低解像度画像） の画素の画素値として初期上位画像を生成し、 上位階 層画像メモリ 2に記憶させる。
予測タップ取得回路 3は、 上位階層画像メモリ 2に記憶されている 上位画像の画素を、 順次、 注目画素に決定して、 上位階層画像メモリ 2から注目画素を中心とする 7 X 7画素の画素値を取得する。 取得し た 4 9個の画素値のうちの注目画素を中心とする 3 X 3画素の画素値 は、 予測係数演算回路 4に供給される。 また、 画素値更新回路 5には 、 取得した全ての画素値が供給される。 さらに、 取得した 4 9個の画 素値のうちの注目画素を中心とする 3 X 3画素を除いた 40 (- 4 9 — 9) 個の画素の画素値がマッピング回路 6に供給される。 例えば、 第 5図に示す画素 x5 が注目画素に決定された場合、 注目画素 x5 を 中心とする 3 X 3画素 （画素 xl 乃至 x9 ) の予測係数タップの画素 値は、 予測係数演算回路 4に供給され、 注目画素 x5 を中心とする 7 X 7画素の画素値は、 画素値更新回路 5に供給され、 注目画素 x5 を 中心とする 7 X 7画素から注目画素 X 5 を中心とする 3 X 3画素を除 いた 40 (=4 9 - 9) 画素の画素値は、 マッピング回路 6に供給さ れる。
ステップ S 2において、 予測係数演算回路 4は、 予測タップ取得回 路 3から供給された注目画素を中心とする 3 X 3画素の予測タップを 学習データ （生徒データ） とし、 対応する原画像の画素を教師データ として観測方程式を生成し、 最小自乗法を適用して解く ことにより 9 モード分の予測係数タップを求め、 画素値更新回路 5、 およびマツピ ング回路 6に供給する。 予測係数う求める時には、 画面中の全画素に ついて方程式をたてるようになされる。
ステップ S 3において、 画素値更新回路 5の正規方程式生成回路 1 1は、 予測係数演算回路 4から入力された予測係数タップ、 予測タツ プ取得回路 3から供給された注目画素を中心とする 7 X 7画素の画素 値、 および原画像の対応する画素値を用いて、 式 （ 1 3 ) に示すよう な観測方程式を生成して、 画素値決定回路 1 2に出力する。 画素値決 定回路 1 2は、 入力された観測方程式に最小自乗法を適用して解き、 得られた更新画素値タップの画素値を上位階層画像メモリ 2、 および マッビング回路 6に出力する。
上位階層画像メモリ 2は、 画素値更新回路 5から入力された更新画 素値タップの画素値を用いて、 いままで記憶していた上位画像の対応 する画素の画素値を更新する。 マッピング回路 6は、 画素値更新回路 5から入力された更新画素値タップの画素値、 予測タップ取得回路 3 から入力された、 注目画素を中心とする 7 X 7画素から注目画素を中 心とする 3 X 3画素を除いた 4 0画素の画素値、 および予測係数演算 回路 4から入力された 9モード分の予測係数タップとの線形 1次結合 を演算して、 下位画像の画素値を部分的にローカルデコードする。 口 一カルデコードされた下位画像の画素値は、 誤差演算回路 7に供給さ れる。
ステップ S 4において、 誤差演算回路 7は、 マッピング回路 6から のローカルデコードされた下位画像の画素値と、 原画像の対応する画 素値との S/N を演算し、 S/N が所定の閾値以上であるか否かを判定す る。 S/N が所定の閾値以上ではないと判定された場合、 ステップ S 2 乃至 S 4の処理が繰り返される。 S/N が所定の閾値以上であると判定 された場合、 ステップ S 5に進む。
ステップ S 5において、 誤差演算回路 7の制御によりスィ ッチ 8が オンとされ、 上位階層画像メモリ 2からスィ ッチ 8を介してフレーム メモリ 9に部分的に最適化された上位画像が出力される。
この最適上位画素値生成処理を、 上位階層画像メモリ 2に記憶され ている上位画像の全ての画素に対して実行することにより、 フレーム メモリ 9には、 全ての画素が最適化された最適上位画像が記憶される
。 記憶された最適上位画像は、 9モード分の予測係数タップとともに 所定のタイミングでデコーダに出力される。
第 9図のエンコーダの処理についての幾つかの例について説明する
。 第 1 0図のフローチャートに示す第 1の方式は、 1回の予測係数の 更新に対して、 各画素 1回の更新を行う例である。
ステップ S 2 1において、 エンコーダは、 原画像を縮小処理するこ とによって、 上位画像を生成する。 そして、 エンコーダは、 画面全体 の全画素の予測係数を更新する （ステップ S 2 2 ) 。 次のステップ S
2 3において、 エンコーダは、 ブロック （更新画素値タップと同義で ある） の画素値を更新する。 ステップ S 2 4では、 全ブロックの処理 が終了したかどうかが決定され、 若し、 終了していないならば、 ステ ップ S 2 2に戻り、 処理が繰り返される。
ステップ S 2 4において、 全ブロックの画素値の更新が終了したと 決定されると、 エンコーダは、 更新後の上位画像をマッピング （ロー カルデコード） して、 下位画像との誤差を示す S/N を計算する（ ステ ップ S 2 5 ) 。 ステップ S 2 6では、 エンコーダは、 S/N が閾値以上 かどうかが決定される。 S/N が閾値以上であれば、 フレームメモリ 9 に更新後の上位画像を出力し、 また、 予測係数を出力する （ステップ S 2 7 ) 。 若し、 ステップ S 2 6において、 S/N が閾値より小であれ ば、 ステップ S 2 2に戻り、 ステップ S 2 2以降の処理を繰り返す。 第 1 1図は、 第 2の方式を示すフローチャートである。 第 2の方式 は、 1回の予測係数の更新に対して、 1ブロックのみ画素値を更新す るものである。 したがって、 全ブロックの画素値の更新が終了してい ないときに、 処理がステップ S 2 3 (画素値の更新） ではなく、 ステ ップ S 2 2の全画面の予測係数の更新処理に戾る点のみが、 第 1 0図 のプロ一チャートと相違する。
さらに、 第 1 2図は、 第 3の方式を示すフローチャートである。 第 3の方式では、 更新画素値の評価を予測係数の更新後と、 画素値の更 新後のそれぞれで行うものである。
第 1 2図で、 原画像の縮小処理 （ステップ S 3 1 ) の後に、 全画素 の予測係数の更新がなされる （ステップ S 3 2 ) 。 エンコーダは、 更 新後の上位画像をマッピングして、 下位画像との誤差である S/N を計 算する（ ステップ S 3 3 ) 。 ステップ S 3 4では、 S/N が閾値以上か どうかが決定される。 S/N が閾値以上であれば、 エンコーダは、 フレ ームメモリ 9に更新後の上位画像を出力し、 また、 予測係数を出力す る （ステップ S 3 5 ) 。
若し、 ステップ S 3 4において、 S/N が閾値より小であれば、 ステ ップ S 3 6に移り、 ステップ S 3 6において、 エンコーダは、 ブロッ クの画素値を更新する。 ステップ S 3 7では、 全ブロックの処理が終 了したかどうかが決定され、 若し、 終了していないならば、 ステップ S 3 6に戻り、 処理が繰り返される。
ステップ S 3 7において、 全プロックの画素値の更新が終了したと 決定されると、 エンコーダは、 更新後の上位画像をマッピングして、 下位画像との誤差である S/N を計算する（ ステップ S 3 8 ) 。 ステツ プ S 3 9では、 S/N が閾値以上かどうかが決定される。 S/N が閾値以 上であれば、 エンコーダは、 フレームメモリ 9に更新後の上位画像を 出力し、 また、 予測係数を出力する （ステップ S 3 5 ) 。 若し、 ステ ップ S 3 9において、 S/N が閾値より小であれば、 ステップ S 3 2に 戻り、 上述したステップ S 3 2以降の処理を繰り返す。
上述したこの発明の一実施形態では、 予測係数および上位画像の画 素値の両方を最適化するようにしている。 しかしながら、 この発明に おいては、 予め予測係数を求めておくことによって、 画素値のみを最 適化することも可能である。 この場合、 予測係数は、 係数決定用のデ ィジタル画像を使用して、 エンコーダにおける予測係数生成処理と同 様の処理を行うことによって予め生成されている。 また、 この予測係 数は、 エンコーダおよびデコーダにおいて共用されるので、 記録媒体 への記録または伝送が不要である。
次に、 エンコーダから出力された最適上位画像から原画像を復元す る （下位画像を予測する） デコーダの構成例について、 第 1 3図を参 照して説明する。 このデコーダにおいては、 エンコーダから入力され た最適上位画像は、 最適上位階層画像メモリ 2 1に記憶され、 9モー ド分の予測係数タップは、 マッピング回路 2 3に供給されるようにな されている。
予測タップ取得回路 2 2は、 最適上位階層画像メモリ 2 1に記憶さ れている最適上位画像の画素を、 順次、 注目画素に決定し、 最適上位 階層画像メモリ 2 1から注目画素を中心とする 3 X 3画素の予測タッ プを取得してマツビング回路 2 3に出力するようになされている。 マツビング回路 2 3は、 予測タップ取得回路 2 2から入力された予 測タップをなす 9個の画素の画素値と、 エンコーダから供給された 9 モード分の予測係数タップとの線形 1次結合を演算することにより、 注目画素の位置に対応する下位画像の画素を中心とする 3 X 3画素の 画素値を予測する （原画像の画素を復元する） 。 予測された下位画像 の 3 X 3画素の画素値は、 フレームメモリ 2 4に出力され、 記憶され るようになされている。 フレームメモリ 2 4に記憶された下位画像の 画素値は、 フレーム毎に所定のタイミングで図示せぬディスプレイ等 に出力されるようになされている。
このデコーダの原画像復元処理について、 第 1 4図にフローチヤ一 トを参照して説明する。 この原画像復元処理は、 エンコーダにより生 成された最適上位画像が最適上位階層画像メモリ 2 1に記憶され、 9 モード分の予測係数タップが、 マツビング回路 2 3に供給された後、 開始される。
ステップ S I 1において、 予測タップ取得回路 2 2は、 最適上位階 層画像メモリ 2 1に記憶されている最適上位画像の画素のうちの 1個 の画素を注目画素に決定する。 ステップ S 1 2において、 予測タップ 取得回路 2 2は、 最適上位階層画像メモリ 2 1から注目画素を中心と する 3 X 3画素の予測タップを取得してマツビング回路 2 3に出力す る。
ステップ S 1 3において、 マッピング回路 2 3は、 予測タップ取得 回路 2 2から入力された予測タップをなす 9個の画素の画素値と、 ェ ンコーダから供給された 9モー ド分の予測係数タップとの線形 1次結 合を演算することにより、 注目画素の位置に対応する下位画像の画素 を中心とする 3 X 3画素の画素値を予測する （原画像の画素を復元す る） 。 予測された下位画像の 3 X 3画素の画素値は、 フレームメモリ 2 4に出力され、 記憶される。 ステップ S I 4において、 予測タップ取得回路 2 2は、 最適上位階 層画像メモリ 2 1に記憶されている最適上位画像の全ての画素を注目 画素に決定したか否かを判定し、 全ての画素を注目画素に決定したと 判定するまで、 ステップ S 1 1乃至 S 1 4の処理が繰り返される。 全 ての画素を注目画素に決定したと判定された場合、 ステップ S 1 5に 進む。
ステップ S 1 5において、 フレームメモリ 2 4に記憶された下位画 像の画素値は、 フレーム毎に所定のタイミングで図示せぬディスプレ ィ等に出力される。
本実施の形態によれば、 従来の方法に比べて、 復元した画像の S/N が大きい上位画像を得ることができる。
以上のように、 この発明によれば、 複数画素の画素値を同時に、 ブ ロック単位で最適化することができる。 それによつて、 処理を単純化 することができ、 また、 処理時間を短縮できる。

Claims

請求の範囲
1 . 第 1の画像データを、 上記第 1の画像データより低質な第 2の画 像データに変換する画像データ変換装置において、
上記第 1の画像データから、 上記第 2の画像データとほぼ同質な中 間画像データを生成する中間画像データ生成部と、
上記中間画像データを記憶する記憶部と、
上記中間画像データから、 一画面中の一部であるブロック毎の複数 の画素データを抽出するプロック抽出部と、
生成され、 または予め取得された予測係数を出力する予測係数生成 部と、
上記予測係数と上記中間画像データと上記第 1の画像データとに基 づいて上記ブロック抽出部で抽出された中間画像データの画素値を更 新する画素値更新部と、
上記画素値更新部で画素値が更新された中間画像データと上記予測 係数とに基づいて、 上記第 1の画像データとほぼ同質な予測画像デー タを生成する予測画像デ一タ生成部と、
上記第 1の画像データと上記予測画像データの誤差を検出する誤差 検出部と、
上記誤差に基づいて、 上記中間画像データを出力画像とするか否か を決定する制御部とを備えることを特徴とする画像データ変換装置。
2 . 上記予測係数生成部は、 上記ブロック抽出部で抽出された中間画 像と上記抽出された中間画像データに対応する位置の第 1の画像デー タとに基づいて予測係数を生成することを特徴とする請求の範囲 1に 記載の画像データ変換装置。
3 . 上記誤差検出部は、 一画面分の上記第 1の画像データと一画面分 の上記予測画素データとの誤差を検出することを特徴とする請求の範 囲 1に記載の画像データ変換装置。
4 . 上記画素値更新部は、
上記予測係数と上記中間画像データと上記第 1の画像データとに基 づいて、 正規方程式を生成する正規方程式生成部と、
上記正規方程式を解くことにより上記中間画像データの更新された 画素値を決定する画素値決定部とを備えることを特徴とする請求の範 囲 1に記載の画像データ変換装置。
5 . 上記画素値決定部は、 最小二乗法を用いて上記正規方程式を解く ことを特徴とする請求の範囲 3に記載の画像データ変換装置。
6 . 第 1の画像データを、 上記第 1の画像データより低質な第 2の画 像データに変換する画像データ変換方法において、
第 1の画像データから第 2の画像データとほぼ同質な中間画像デー タを生成するステップと、
上記中間画像データから、 一画面中の一部であるブロック毎の複数 の画素データを抽出するステップと、
生成され、 または予め取得された予測係数を出力するステップと、 上記予測係数と上記中間画像データと上記第 1の画像データとに基 づいて上記プロック抽出部で抽出された中間画像データの画素値を更 新するステップと、
上記画素値が更新された中間画像データと上記予測係数とに基づい て、 上記第 1の画像データとほぼ同質な予測画像データを生成するス テツプと、
上記第 1の画像データと上記予測画像データの誤差を検出するステ ップと、
上記誤差に基づいて、 上記中間画像データを出力画像とするか否か を決定するステップとを有することを特徴とする画像データ変換方法
7 . 予測係数を出力するステップは、 抽出された中間画像と上記抽出 された中間画像データに対応する位置の第 1の画像データとに基づい て生成することを特徴とする請求の範囲 6に記載の画像データ変換方 法。
8 . 上記誤差を検出するステップは、 一画面分の上記第 1の画像デ一 タと一画面分の上記予測画素データとの誤差を検出することを特徴と する請求の範囲 6に記載の画像データ変換方法。
9 . 上記画素値を更新するステップは、
上記予測係数と上記中間画像データと上記第 1 の画像データとに基 づいて、 正規方程式を生成するステップと、
上記正規方程式を解くことにより上記中間画像データの更新された 画素値を決定するステップとからなることを特徴とする請求の範囲 6 に記載の画像データ変換方法。
1 0 . 上記画素値を決定するステップは、 最小二乗法を用いて上記正 規方程式を解くことを特徴とする請求の範囲 8に記載の画像データ変 換方法。
1 1 . 第 1の画像データを、 上記第 1の画像データより低質な第 2の 画像データに変換する時に、 上記第 2の画像データの画素値を学習す る学習装置において、
上記第 1 の画像データから、 上記第 2の画像データとほぼ同質な中 間画像データを生成する中間画像データ生成部と、
上記中間画像データを記憶する記憶部と、
上記中間画像データから、 一画面中の一部であるプロック毎の複数 の画素データを抽出するブロック抽出部と、
生成され、 または予め取得された予測係数を出力する予測係数生成 部と、
上記予測係数と上記中間画像データと上記第 1の画像データとに基 づいて上記プロック抽出部で抽出された中間画像データの画素値を更 新する画素値更新部と、
上記画素値更新部で画素値が更新された中間画像データと上記予測 係数とに基づいて、 上記第 1の画像データとほぼ同質な予測画像デー タを生成する予測画像データ生成部と、
上記第 1の画像データと上記予測画像データの誤差を検出する誤差 検出部と、
上記誤差に基づいて、 上記中間画像データを出力画像とするか否か を決定する制御部とを備え、
上記画素値更新部は、 上記予測係数を生徒データとし、 対応する上 記第 1の画像データを教師データとして、 最小二乗法によって、 上記 中間画像データの画素値を更新することを特徴とする学習装置。
1 2 . 第 1の画像データを、 上記第 1の画像データより低質な第 2の 画像データに変換する時に、 上記第 2の画像データの画素値を学習す る学習方法において、
第 1の画像データから第 2の画像データとほぼ同質な中間画像デー タを生成するステップと、
上記中間画像データから、 一画面中の一部であるブロック毎の複数 の画素データを抽出するステップと、
生成され、 または予め取得された予測係数を出力するステップと、 上記予測係数と上記中間画像データと上記第 1の画像データとに基 づいて抽出された中間画像データの画素値を更新するステップと、 上記画素値が更新された中間画像データと上記予測係数とに基づい て、 上記第 1の画像データとほぼ同質な予測画像データを生成するス テップと、
上記第 1の画像データと上記予測画像データの誤差を検出するステ ップと、
上記誤差に基づいて、 上記中間画像データを出力画像とするか否か を決定するステップとを備え、
画素値を更新するステップは、 上記予測係数を生徒データとし、 対 応する上記第 1の画像データを教師データとして、 最小二乗法によつ て、 上記中間画像データの画素値を更新することを特徴とする学習方 法。
1 3 . 第 1の画像データを、 上記第 1の画像データより低質な第 2の 画像データに変換する画像データ変換するためのコンピュータ制御可 能なプログラムが記録された記録媒体において、
上記プログラムは、
第 1の画像データから第 2の画像データとほぼ同質な中間画像デー タを生成するステップと、
上記中間画像データから、 一画面中の一部であるブロック毎の複数 の画素データを抽出するステップと、
上記抽出された中間画像と上記抽出された中間画像データに対応す る位置の第 1の画像データとに基づいて予測係数を生成するステップ と、
上記予測係数と上記中間画像データと上記第 1の画像デ一タとに基 づいて上記抽出された中間画像データの画素値を更新するステップと 上記画素値が更新された中間画像データと上記予測係数とに基づい て、 上記第 1の画像データとほぼ同質な予測画像データを生成するス テツプと、 上記第 1の画像データと上記予測画像データの誤差を検出するステ ップと、
上記誤差に基づいて、 上記中間画像データを出力画像とするか否か を決定するステップとからなることを特徴とする記録媒体。
PCT/JP1999/005495 1998-10-05 1999-10-05 Image transform device and method, learning device and method, and recording medium WO2000021301A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP99970242A EP1037471B1 (en) 1998-10-05 1999-10-05 Image transform device and method and recording medium
US09/585,874 US6414717B1 (en) 1998-10-05 2000-06-01 Picture converting apparatus, picture converting method, learning apparatus, learning method, and record medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP28222598 1998-10-05
JP10/282225 1998-10-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US09/585,874 Continuation US6414717B1 (en) 1998-10-05 2000-06-01 Picture converting apparatus, picture converting method, learning apparatus, learning method, and record medium

Publications (1)

Publication Number Publication Date
WO2000021301A1 true WO2000021301A1 (en) 2000-04-13

Family

ID=17649696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/005495 WO2000021301A1 (en) 1998-10-05 1999-10-05 Image transform device and method, learning device and method, and recording medium

Country Status (3)

Country Link
US (1) US6414717B1 (ja)
EP (1) EP1037471B1 (ja)
WO (1) WO2000021301A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859601B2 (en) 2001-04-12 2010-12-28 Sony Corporation Signal processing device, housing rack, and connector

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065830A1 (fr) * 1999-04-23 2000-11-02 Sony Corporation Dispositif et procede de conversion d'image
JP2003299112A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
US20090096876A1 (en) * 2007-10-12 2009-04-16 Tilman Herberger System and method of automatically creating a multi/hybrid multimedia storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795591A (ja) * 1993-09-21 1995-04-07 Sony Corp ディジタル画像信号処理装置
US5598214A (en) * 1993-09-30 1997-01-28 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
JPH09186608A (ja) * 1995-12-28 1997-07-15 Sony Corp 量子化ビット数変換装置および方法
JPH1093963A (ja) * 1996-07-17 1998-04-10 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体
JPH10112844A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH10210482A (ja) * 1997-01-24 1998-08-07 Sony Corp 画像信号処理装置および方法、並びに予測係数演算方法および装置
JPH10243405A (ja) * 1996-12-26 1998-09-11 Sony Corp 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、並びに記録媒体
JPH10243406A (ja) * 1996-12-26 1998-09-11 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JPH07170521A (ja) * 1993-12-15 1995-07-04 Canon Inc 画像処理装置
JP3781203B2 (ja) * 1994-11-28 2006-05-31 ソニー株式会社 画像信号補間装置及び画像信号補間方法
JPH09326958A (ja) * 1996-06-05 1997-12-16 Sony Corp 画像処理装置および処理方法
US6381369B1 (en) 1996-07-17 2002-04-30 Sony Corporation Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
JP3687080B2 (ja) * 1996-07-17 2005-08-24 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
TW359919B (en) 1996-07-17 1999-06-01 Sony Corp Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
AU714554B2 (en) 1996-07-17 2000-01-06 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
JP3774954B2 (ja) * 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
DE69712880T2 (de) 1996-12-26 2002-11-14 Sony Corp Vorrichtung und verfahren zur bildkodierung und -dekodierung sowie aufzeichnungsmedium
DE69719740T2 (de) * 1996-12-26 2004-02-05 Sony Corp. Vorrichtung und verfahren zur bildsignalkodierung und -dekodierung sowie aufzeichnungsmedium
US5912708A (en) 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
US6160845A (en) * 1996-12-26 2000-12-12 Sony Corporation Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium
US6330344B1 (en) * 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image
WO1998051072A1 (en) * 1997-05-06 1998-11-12 Sony Corporation Image converter and image conversion method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795591A (ja) * 1993-09-21 1995-04-07 Sony Corp ディジタル画像信号処理装置
US5598214A (en) * 1993-09-30 1997-01-28 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
JPH09186608A (ja) * 1995-12-28 1997-07-15 Sony Corp 量子化ビット数変換装置および方法
JPH1093963A (ja) * 1996-07-17 1998-04-10 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体
JPH10112844A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH10243405A (ja) * 1996-12-26 1998-09-11 Sony Corp 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、並びに記録媒体
JPH10243406A (ja) * 1996-12-26 1998-09-11 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JPH10210482A (ja) * 1997-01-24 1998-08-07 Sony Corp 画像信号処理装置および方法、並びに予測係数演算方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859601B2 (en) 2001-04-12 2010-12-28 Sony Corporation Signal processing device, housing rack, and connector

Also Published As

Publication number Publication date
EP1037471A1 (en) 2000-09-20
US6414717B1 (en) 2002-07-02
EP1037471B1 (en) 2012-02-08
EP1037471A4 (en) 2005-04-06

Similar Documents

Publication Publication Date Title
US8482758B2 (en) Method and device for processing a sequence of digital images with a scalable format
JP5490287B2 (ja) エッジ領域を効果的に圧縮して復元する方法及び装置
JPH07147681A (ja) ディジタル画像信号の階層符号化および復号装置
JP3912627B2 (ja) 画像符号化装置および画像符号化方法、並びに伝送方法
JPH11341496A (ja) 画像処理方法，画像処理装置，及びデータ記憶媒体
TW201946455A (zh) 用於逐區塊圖像寫碼之內預測模式技術
JP4345231B2 (ja) データ変換装置および方法、並びに記録媒体
WO2000021301A1 (en) Image transform device and method, learning device and method, and recording medium
JP4089104B2 (ja) 画像変換装置および方法、学習装置および方法、並びに記録媒体
JP4105257B2 (ja) 記憶装置および記憶方法
JP2005055825A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
JP4514666B2 (ja) 動画像符号化装置
JP4534951B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JP2005151207A (ja) 画像符号化方法
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
JP4194472B2 (ja) 画像処理方法及び装置
JP2007288761A (ja) 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム
JP2002077585A (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4487900B2 (ja) 画像処理システム
JP3952326B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JP2001298713A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP2010079411A (ja) 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム
JP4311038B2 (ja) 学習装置および方法、画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1999970242

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09585874

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1999970242

Country of ref document: EP