WO1997028650A1 - Method for supplementing digital image with picture element, and digital image encoder and decoder using the same - Google Patents

Method for supplementing digital image with picture element, and digital image encoder and decoder using the same Download PDF

Info

Publication number
WO1997028650A1
WO1997028650A1 PCT/JP1997/000117 JP9700117W WO9728650A1 WO 1997028650 A1 WO1997028650 A1 WO 1997028650A1 JP 9700117 W JP9700117 W JP 9700117W WO 9728650 A1 WO9728650 A1 WO 9728650A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
significant
sample
area
Prior art date
Application number
PCT/JP1997/000117
Other languages
English (en)
French (fr)
Inventor
Maki Okuno
Choong Seng Boon
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP52747897A priority Critical patent/JP3502392B2/ja
Priority to DE1997628649 priority patent/DE69728649T2/de
Priority to AU14000/97A priority patent/AU721588B2/en
Priority to CA 2244898 priority patent/CA2244898C/en
Priority to US09/117,349 priority patent/US6577771B1/en
Priority to EP97900471A priority patent/EP0878966B1/en
Publication of WO1997028650A1 publication Critical patent/WO1997028650A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Definitions

  • Digital image pixel compensation method Digital image pixel compensation method, digital image encoding device using the same, and image decoding device
  • the present invention relates to a method for supplementing a digital image having an arbitrary shape, and a digital image encoding / decoding apparatus using the supplementation method.
  • D C discrete cosine transform
  • waveform coding methods such as subband, wearable, and fractal.
  • inter-image prediction using motion compensation is performed, and the difference signal is waveform-encoded.
  • the objects composing an image are separately compression-encoded and transmitted so that the compression efficiency can be improved and at the same time the reproduction of each object composing the image can be performed.
  • each object is decrypted, the reproduced objects are combined, and an image is displayed.
  • moving images can be easily recollected by coding by combining the objects freely by encoding the objects. Also, depending on the degree of communication channel congestion, the performance of the playback device, and the tastes of the ears, playback of relatively unimportant objects You can view moving images without having to do this.
  • a transform method suitable for the shape for example, using a shape-adaptive discrete cosine transform, is used as an invalid area of the force image (the area outside the object display area.
  • the prediction region for example, a block of 16 x 16 pixels obtained by motion-compensating the reference image reproduced in the past in order to remove redundant signals between images is also included in the boundary of the object. Includes insignificant sample values. After such a prediction region is temporarily compensated, a difference from the target region is obtained, a prediction error signal is generated, and the transform encoding is performed. The reason why the prediction region is compensated is to suppress the difference signal.
  • the entire image is referred to and compensated so that an insignificant sample value is not included in the prediction region, and then the prediction region is obtained by a method such as motion compensation.
  • the compensation method processing such as repeating a significant sample value at the boundary of the object and replacing a non-significant sample value is performed.
  • both compensation values are averaged. Since this conventional method compensates for the entire image, a prediction region with a small error is obtained, particularly for an image having a large motion.
  • a first object of the present invention is to provide an image capable of generating a prediction signal with a small error with respect to an image with a large motion by a process with a small delay time and a small amount of calculation. Is provided.
  • the present invention divides the image into a plurality of regions adjacent to each other in digital image data including image information representing an object, and removes the insignificant region of the region including the boundary of the object shape. It is an object of the present invention to provide a digital image compensation method for compensating for a number of significant pixels by converting a significant pixel value in the vicinity of the insignificant pixel value by a number of troops.
  • a region near the region including the boundary of the object shape, which is extended to an invalid region including only insignificant sample values, is supplemented, and the boundary of the object shape is complemented.
  • the significant pixel values in the region including are compensated by function conversion. As a result, it is possible to perform processing such as using a larger motion.
  • a second object of the present invention is to introduce a digital image encoding method into a digital image encoding / decoding method and an apparatus therefor, thereby enabling compressed image processing with a small amount of processing data and good image quality. It is.
  • an image signal composed of a signal representing a pixel value and a significant signal indicating whether the pixel value is significant for each pixel is used as an input signal, and includes image information representing an object of the input signal.
  • the previously decoded image signal Predictive image generating means for generating a predictive image signal for an input signal; dividing the image into a plurality of regions adjacent to each other; converting a non-significant sample value of a region including a boundary of the object shape into a vicinity of the non-significant pixel value
  • a pixel value generating means for converting and supplementing the significant pixel value of the pixel value and outputting the result, a destruction means for destructing an output of the predicted image generating means from an output of the pixel value generating means, Coding means for coding the output of the coding means, decoding means for decoding the output from the coding means, and addition for adding the output from the decoding means and the output from the predicted image generation means.
  • decoding means for decoding an input signal predicted image generation means for generating a predicted image signal for the input signal from an already decoded image signal, and the prediction image signal is significant.
  • a pixel value generation unit that generates a pixel value from the pixel value using a predetermined number, and replaces the pixel value of the insignificant pixel of the predicted image with the pixel value generated using the number, and outputs the pixel value.
  • a digital image decoding device having an output of the adding means as an image decoding output.
  • the processing area is appropriately expanded by compensating for an invalid area consisting of only insignificant sample values adjacent to the boundary of the object shape.
  • the processing accuracy of motion supplementary bale etc. is effectively improved without greatly increasing the data amount.
  • a more specific digital image compensation method of the present invention includes a first compensation process and a second compensation process
  • a sample of an image of an arbitrary shape composed of significant and insignificant sample values is scanned in the first direction, and in the first direction, the significant sample values selected by a predetermined method are not significant.
  • a first supplementary image is generated as the value of the sample, and in a second supplementation process, each sample of the first supplementary image composed of significant and insignificant sample values is scanned in the second direction, and the second supplementary image is scanned in the second direction.
  • a digital image having an arbitrary shape is divided into a plurality of regions and processed in a predetermined order, and a non-significant image adjacent to a boundary region located at the boundary of the shape is obtained.
  • the invalid area consisting only of the sample value is compensated with the compensation value obtained by the predetermined method.
  • the target area is not an invalid area
  • a past area adjacent to the target area in a predetermined order is an invalid area
  • the past area is supplemented with a compensation value obtained by a predetermined method
  • the target area is an invalid area and the past area descending to the target area in a predetermined order is not an invalid area, the target area is supplemented with a compensation value obtained by a predetermined method.
  • a second compensator may be added instead of or in addition to the first compensator to compensate for insignificant sample values contained in the prediction region.
  • an image decoding apparatus using the digital image interpolation method of the present invention includes: input means for inputting compressed encoded data; a data analyzer for analyzing the compressed encoded data and outputting a compressed difference signal; A decoder for restoring the compressed difference signal to an expanded difference signal, an adder for adding the expanded difference signal and the prediction signal to generate and output a reproduced signal, and a significant signal included in the reproduced signal by the method described above.
  • a first compensator for compensating for a sample value that is not the same, and a frame memory for storing the image data supplemented by the first compensator as a prediction signal.
  • FIG. 1 is a schematic diagram showing a digital image filling method according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic diagram showing a first modification of the digital image filling method according to Embodiment 1 of the present invention
  • FIG. FIG. 4 is a schematic diagram showing a second modification of the digital image interpolation method according to Embodiment 1 of the present invention
  • FIG. 4 is a schematic diagram showing a third modification of the digital image interpolation method according to Embodiment 1 of the present invention
  • FIG. FIG. 6 is a schematic diagram showing a digital image filling method according to Embodiment 2 of the present invention
  • FIG. 6 is a schematic diagram showing a digital image filling method according to Embodiment 3 of the present invention
  • FIG. 7 is a digital image filling method according to Embodiment 3 of the present invention.
  • FIG. 8 is a schematic diagram showing a digital image interpolation method according to Embodiment 4 of the present invention
  • FIG. 9 is a block diagram showing a digital image encoding device according to Embodiment 5 of the present invention
  • FIG. FIG. 10 shows a digital image encoding apparatus according to Embodiment 6 of the present invention.
  • FIG. 11 is a block diagram showing a digital image decoding device according to Embodiment 7 of the present invention.
  • FIG. 12 is a block diagram showing a digital image encoding device according to Embodiment 8 of the present invention.
  • FIG. 13 is a block diagram showing a digital image encoding apparatus according to Embodiment 8 of the present invention.
  • FIG. 14 is a block diagram showing a modification of the digital image decoding apparatus according to Embodiment 7 of the present invention.
  • FIG. 5 is a block diagram showing a digital image decoding device according to Embodiment 9 of the present invention.
  • FIG. 16 is a block diagram showing a modification of the digital image decoding device according to Embodiment 9 of the present invention.
  • FIG. 7 shows a digital image encoding apparatus according to Embodiment 10 of the present invention.
  • FIG. 18 is a schematic diagram showing the interpolation method
  • FIG. 18 is a schematic diagram showing a modification of the interpolation method used in the digital image encoding device according to the embodiment 10 of the present invention
  • FIG. 19 is an embodiment 11 of the present invention.
  • FIG. 20 is a flow chart showing a digital image filling method according to the first embodiment of the present invention.
  • FIG. 20 is a schematic diagram showing an embodiment of a region filling method used in the digital image filling method according to the first embodiment 11 of the present invention.
  • An example in which the interpolation value is the average value of significant pixel values in the horizontal direction.
  • B An example of repeated interpolation of significant pixel values in which the interpolation value is in the horizontal direction.
  • C An interpolation value in the horizontal direction. It is another example of repeated supplementation of a certain significant pixel value.
  • FIG. 20 is a flow chart showing a digital image filling method according to the first embodiment of the present invention.
  • FIG. 20 is a schematic diagram showing an embodiment of a region filling method used in the digital image filling method according to the first embodiment 11 of the present invention.
  • An example in which the interpolation value is the average value of significant pixel values in the horizontal direction.
  • B An example of repeated interpolation of significant pixel
  • FIG. 21 is a schematic diagram showing another embodiment of a method for filling a region used in the method for filling a digital image according to the embodiment 12 of the present invention, wherein (A) the filling value is in the vertical direction. (B) An example of repeated supplementation of significant pixel values whose vertical values are in the vertical direction. (C) An example of significant pixel values in which the complementary values are in the vertical direction. This is another example of repeated compensation.
  • FIG. 22 is a flowchart showing a first modification of the digital image interpolation method according to the embodiment 13 of the present invention.
  • FIG. 23 is a flowchart showing a second modification of the digital image interpolation method according to the embodiment 14 of the invention.
  • FIG. 24 is a schematic diagram showing a first example of an image supplemented by the digital image supplementing method according to Embodiment 14 of the present invention
  • FIG. 25 is a diagram showing Embodiment 1 of the present invention
  • FIG. 26 is a schematic diagram showing a second example of an image supplemented by a digital image supplementing method.
  • FIG. 26 is a schematic diagram showing a third example of an image supplemented by a digital image supplementing method according to Embodiment 14 of the present invention.
  • FIG. 27 is a block diagram showing a digital image encoding device according to Embodiment 15 of the present invention.
  • FIG. 28 is a project diagram showing a modification of the digital image encoding device according to Embodiment 15 of the present invention.
  • FIG. 29 shows the present invention.
  • FIG. 30 is a block diagram showing a digital image decoding apparatus according to Embodiment 16 of the present invention.
  • FIG. 30 is a block diagram showing a digital image encoding apparatus according to Embodiment 17 of the present invention.
  • FIG. 31 is Embodiment 1 of the present invention.
  • 7 is a block diagram showing a modification of the digital image encoding device according to FIG. 7, and
  • FIG. 32 is a professional / soc diagram showing a digital image decoding device according to Embodiment 18 of the present invention.
  • FIG. 1 is a schematic diagram of a digital image interpolation method according to Embodiment 1 of the present invention.
  • the image 501 is an image to be compensated.
  • Each cell in the image 501 indicates a pixel, and indicates a sample from the image.
  • Pixels 502 through 507 indicate significant samples, and the other samples indicate insignificant states.
  • a shape signal of an image is referred to as to whether a certain sample value is significant. If the shape signal is 0, it is not significant, and if it is 1, it is significant.
  • the third row is filled in the same way, and the fourth row has no significant sample, so nothing is done.
  • the second and third rows have significant values.
  • insignificant sambles can be compensated for by an easy-to-cylinder technique while maintaining quickness, so that arithmetic processing such as image data compression processing can be efficiently performed while maintaining image quality. You can do it.
  • the horizontal and the vertical are mutually! : Scanning is performed in two intersecting directions, but scanning may be performed in an oblique direction. Note that the scanning may be performed in the vertical direction first and then compensated, and then the horizontal scanning may be compensated. In addition, values that are not significant in the scanning direction are supplemented with the values of the closest significant sample, but if continuousness can be maintained in the same way, that value is used. It is not limited to this.
  • FIG. 2 is a schematic diagram of a first modification of the digital image interpolation method according to the first embodiment of the present invention.
  • mirroring may be performed around a boundary between a sample that is not significant and a sample that is significant when scanning in the horizontal direction.
  • the values of sample 5102 may be used as the value of sample 5111
  • the value of sample 5103 may be used as the value of sample 5101.
  • the image 501 is taken in the step indicated by the arrow, as in the case of images 508 and 519, so that all insignificant sambles are compensated.
  • FIG. 3 is a schematic diagram of a second modification of the digital image interpolation method according to the first embodiment of the present invention. This is the method of compensation when non-significant samples are between significant samples.
  • Samples 6 12 and 6 13 are filled in with the value of sample 62. Alternatively, as in samples 6 11 and 6 14, the value may be supplemented with the value of sample 607.
  • the first method scans the sample from left to right and stretches and compensates for significant samples.
  • the second method is to scan from right to left and stretch and compensate for significant samples.
  • the second method is to fill the sample that is not significant in the scanning direction with the nearest significant sample.
  • FIG. 4 shows a schematic diagram of a third modification of the digital image filling method according to Embodiment 1 of the present invention.
  • the image displays an elliptical object, ie This is a collection of samples that are significant in the shape of an ellipse, and this image is supplemented using the method shown in Fig. 1.
  • Image 70 1 is composed of a significant sample set 70 2.
  • the image is scanned in the horizontal direction and complemented as in image 703.
  • the vertical scanning is performed first, and then the horizontal scanning is performed.
  • the two supplementary images 704 and 706 thus obtained are averaged to generate an image 707.
  • FIG. 5 is a schematic diagram of a digital image interpolation method according to Embodiment 2 of the present invention.
  • Image 8 0 1 is composed of a set of significant samples 8 0 2.
  • the image 801 is scanned in the horizontal direction, and the image 803 is generated by using the closest significant sample value as the value of the insignificant sample.
  • the image 801 is scanned in the vertical direction, and the closest significant sample value is set to the value of the insignificant sample, and the image 804 is generated.
  • the image 803 and the image 804 are averaged to generate an image 806. Even if the significant sample set 8002 is averaged, the same value is obtained.
  • the averaging is performed on both of the supplemented values of the sambles that have been supplemented in both the image 803 and the image 804. Make up for one side only If there is no value, it is used as the supplementary value of the image 806. In both the image 803 and image 804 interpolation processes, samples without interpolation values remain insignificant samples. Such non-significant samples are then filled in with the closest significant sample or supplemented sample value from that sample. If there is more than one candidate for the compensation value, the compensation shall be made based on their average. Alternatively, it may be supplemented using one of them. Eventually, all sam- bles will compensate, as shown in image 811.
  • the filling method according to this embodiment is, similarly to the first embodiment, a filling method according to another invention that maintains continuity between a group of significant samples having a complicated shape and a non-significant sample to be filled.
  • FIG. 6 is a schematic diagram of a digital image interpolation method according to Embodiment 3 of the present invention.
  • the image 9 0 1 is composed of a set 9 0 2 of significant samples.
  • a region 904 surrounding a significant sample set 902 is determined, and insignificant values are compensated in the region 904. Use the method described above for the compensation method.
  • the remaining region 905 is interpolated with a simple interpolation method with reference to the interpolated region 904 to compensate for all insignificant sample values (image 906).
  • the region 904 is preferably rectangular, but may have other shapes.
  • the region 904 may be the smallest rectangle containing the significant ensemble set 902 or a rectangle obtained by expanding the minimum rectangle by k Sils.
  • the value of k is determined so that the size of the rectangle satisfies a predetermined condition. For example, the value of k is determined so as to be a multiple of 16.
  • FIG. 7 is a schematic diagram showing a modification of the digital image interpolation method according to Embodiment 3 of the present invention.
  • An image 910 is composed of a collection of a plurality of significant samples 911, 912, and 913. Each of these sets is divided into regions 915, 916, and 917, which are respectively included, and then each region is supplemented by the method described above.
  • the arithmetic processing is efficiently performed by defining the processing range in advance.
  • FIGS. 8 and 8 are schematic views of a digital image interpolation method according to Embodiment 4 of the present invention.
  • the image 920 is captured after being divided into regions (blocks) consisting of MxN sample.
  • M-N 8 or 16, but it may be any value and may be divided into triangles and other shapes.
  • Blocks 921 through 929 include partially significant samples. With reference to those values, the insignificant sample is compensated by the method described above.
  • Block 930 is closest to block 929 among blocks with significant sample. This can be determined by finding the distance between the coordinate points of the upper left sample of the block. The mean of the significant sample values of professional and Soku 929 is calculated and compensated.
  • the closest block with a significant sample like block 93 1 is block 922, and the average of its significant sample values is However, the samples 9 34, 9 35, 9 36, and 9 37 at the boundary may be repeatedly filled as they are.
  • FIG. 9 is a block diagram of a digital image encoding device according to Embodiment 5 of the present invention.
  • 201 is an input terminal
  • 202 is a first adder
  • 203 is an encoder
  • 204 is a discrete cosine transform (DCT)
  • 205 is a quantizer
  • 206 is Is an output terminal
  • 207 is a decryptor
  • 208 is an inverse quantizer
  • 209 is an inverse discrete cosine transform (IDCT)
  • 210 is a second adder
  • 211 is a variable length Encoder (VLC)
  • 2 13 is frame memory
  • 2 14 is motion detector
  • 2 15 is motion compensator
  • 240 is 1st compensator
  • 2 41 is 2nd compensator .
  • An image with an arbitrary shape is input to input terminal 201.
  • the input image is divided into a plurality of adjacent regions.
  • the block is divided into blocks each having 8 ⁇ 8 or 16 ⁇ 16 samples, but may have any shape.
  • the process to be encoded is input to the motion detector 2 14 via the line 2 25.
  • the past reproduced images stored in the frame memory 2 13 hereinafter referred to as reference images)
  • the motion vector is sent to the motion compensator 215, where a prediction block is generated from the reference image.
  • the motion vector is also sent via line 228 to V L C (2 1 1) for conversion to a variable length code.
  • the target pros and cons are sent to the first compensator 240 and compensated by the method shown in the above-described embodiment to generate a compensated prok.
  • the predictive procks are sent to the second compensator 241 and described above. Compensation is performed using the method described above, and a compensation prediction block is generated.
  • the block to be compensated and the compensation prediction program, Soku are sent to the first adder 202 to obtain a difference and generate a residual block.
  • the residual block is compressed by the encoder 203.
  • the data is compressed by the DCT (204) and the quantizer 205.
  • the quantized data is sent to VLC (211), converted to variable length coding, and output to an output terminal 206 together with other side information including a motion vector.
  • the compressed data is sent to the decoder 207 and decompressed.
  • inverse quantization is performed by the inverse quantizer 208, and the data is expanded to data in the spatial domain by IDCT (209).
  • the extended prediction block data sent via line 227 is added to the expanded residual block data to generate a playback block.
  • the playback block data is stored in the frame memory 211.
  • the compensator 246 may be arranged before the motion compensator 215.
  • the discrete cosine transform is used.
  • the shape adaptive discrete cosine transform or the sub-band / ware-plate is used.
  • FIG. 10 is a block diagram of a digital image encoding device according to Embodiment 6 of the present invention.
  • the basic operation is the same as in the sixth embodiment.
  • the difference is that in the first compensator 240, a value for compensating the predicted block is used to compensate the target block. This value is transmitted from the second compensator 24 1 to the first compensator 240 via line 24 3.
  • By sharing the compensation value in this way most of the difference values become zero, so that the prediction error can be further suppressed.
  • FIG. 11 is a block diagram of a digital image decoding apparatus according to Embodiment 7 of the present invention.
  • reference numeral 301 denotes an input terminal
  • reference numeral 302 denotes a data analyzer
  • reference numeral 303 denotes a decoder.
  • 304 is an inverse quantizer
  • 305 is an IDCT
  • 306 is an adder
  • 307 is an output terminal
  • 309 is a frame memory
  • 310 is a motion compensator
  • 330 The operation of the digital image decoding apparatus configured as described above will be described below: compression-encoded data is input to an input terminal 301, and a data analyzer 310 is input.
  • the compressed residual block data is output to decoder 303 via line 312, and the motion vector is transmitted via line 318 AS The result is output to the decoder 310.
  • the decoder 303 expands the compressed residual block and restores it to the expanded residual pro and speed.
  • Inverse quantization is performed by the unit 304, and the frequency domain signal is transformed into the spatial domain signal by the inverse discrete cosine transform IDCT (305).
  • the motion vector is input to the motion compensator 3 10 via the line 3 18.
  • the motion compensator 310 generates an address for accessing the frame memory 309 based on the motion vector, and generates a prediction block from an image stored in the frame memory 309.
  • the generated prediction block is transmitted to the compensator 330, where the insignificant sample is compensated for in the above-described manner to generate a compensation prediction project.
  • the compensation prediction block and the expanded residual block are added by the adder
  • a reproduced block is generated by inputting the data to the input unit 310 and adding the data to the output unit 307.
  • the reproduced block is output to the output unit 307 and stored in the frame memory 309 at the same time.
  • the motion compensation referred to here includes a single motion compensation.
  • a signal obtained by decoding a shape signal in advance is referred to.
  • FIG. 14 is a block diagram of a modification of the digital image decoding device according to the seventh embodiment of the present invention.
  • the basic operation is the same as in Fig. 11.
  • the compensator 332 is installed before the motion compensator 310.
  • FIG. 12 is a block diagram of a digital image encoding device according to Embodiment 8 of the present invention.
  • the basic operation is the same as in FIG.
  • the compensator 2 1 2 is installed in front of the frame memory.
  • the playback block from the adder 210 has the advantage that it can be compensated immediately.
  • the compensator 244 is installed before the DCT (204). Compensation is performed by the compensator 244 to reduce the DCT coefficient. In particular, insignificant regions of the target block are filled with zeros for the difference block.
  • FIG. 13 is a block diagram showing a modification of the digital image encoding device according to the eighth embodiment of the present invention.
  • a compensator 246 is installed after the motion compensator 215. It has the effect of further compensating the prediction signal after motion compensation and suppressing the prediction error.
  • the compensator 246 may be arranged in front of the motion compensator 215.
  • FIG. 15 is a block diagram of a digital image decoding device according to Embodiment 9 of the present invention.
  • This is a decoding device for the encoding device of FIG.
  • the basic operation is the same as in Figure 14.
  • a compensator 308 is provided before the frame memory 309.
  • the reproduced block can be immediately supplemented and stored in the frame memory.
  • FIG. 16 is a block diagram showing a modification of the digital image decoding apparatus according to the ninth embodiment of the present invention.
  • This is a decoding device for the encoding device of FIG. It is basically the same as Fig. 15. The difference is that a motion compensator 310 is installed after the motion compensator 310 to compensate for the prediction block.
  • FIG. 17 is a schematic diagram of a compensation method used in a digital image encoding device and decoding device according to Embodiment 10 of the present invention.
  • the target image (block) 940 consists of a set of significant sam- bles 943 and a set of insignificant sam- bles 944.
  • the shaded area is a significant area.
  • the predicted image 941 is an image obtained by using motion, and includes a set of significant samples 945 and a set of insignificant samples 946.
  • the prediction image 941 is supplemented and then sent to the adder 310.
  • the non-significant region 946 may be completely compensated for by the compensator 330, the amount of calculation is smaller when only the significant region of the target image is compensated.
  • a non-significant region of the predicted image and a significant region of the target image are determined (region 947 of the image 942), and only that region is compensated.
  • FIG. 18 is a schematic diagram showing a modification of the compensation method used in the digital image encoding device / decoding device according to Embodiment 10 of the present invention.
  • the complementer 308 in FIG. 15 will be described as ⁇ .
  • the block 962 in FIG. 18 is the block to be compensated. This block has no significant sample value and cannot be filled in the block.
  • a block consisting of at least one significant sample is searched for in adjacent pros and cons, and it is referenced and supplemented.
  • the compensator 308 of FIG. 15 since the block 962 is reproduced before the block 964, it cannot be compensated by referring to the professional and the sock 964. Therefore, a block that contains a significant sample is searched for at the slope of the blocks 966, 966, 966, 966 already reproduced, and the blocks are supplemented by referring to the blocks.
  • interpolation is performed by referring to a pro- cedure that includes a significant sample from the playback blocks adjacent to the block to be decoded.
  • the average value or repeated interpolation is used as a calculation method of the interpolation value. May be used.
  • the encoding efficiency can be improved by reducing the pixel values of insignificant pixels that do not affect the image quality of the reproduced image. Since encoding can be performed with an improved value, encoding efficiency can be improved, and its practical value is high.
  • FIG. 19 shows a flowchart of a digital image interpolation method according to Embodiment 11 of the present invention.
  • An image having an arbitrary shape is input, divided into a plurality of regions adjacent to each other, each region is scanned in a predetermined order, and processed one by one according to the method of the flowchart in FIG.
  • the image is started from the upper left area of the image, and the area is scanned in the same order as the raster scan.
  • the shape of the area may be triangular, rectangular or square.
  • processing is performed by dividing the sample into squares composed of N x N samples.
  • N is 8 or 16.
  • the N ⁇ N squares are referred to as blocks.
  • step 12 it is checked whether or not the current block to be processed (current block) is completely outside the image of an arbitrary shape, that is, the object. If it is completely outside the object, all of the sample values for that block are insignificant.
  • the shape signal of the corresponding image is referred to whether a certain sample value is significant. If the shape signal is 0, it is not significant, and if it is 1, it is significant. If the current block is not completely outside the object, go to step 14.
  • the past block is a pro or a soku that has been processed first in the area scan No. ⁇ . If the adjacent past block is completely outside the object, a compensation value is calculated in a predetermined manner in step 16 and the sample value of the adjacent past block is replaced and compensated in step 18.
  • step 20 If the current block is completely outside the object in step 12, go to step 20. Here, it is checked whether the neighboring past block is completely outside the object. If not, the compensation value is measured in a predetermined manner in step 22 and the sample value of the current block is replaced in step 24 to compensate. When an adjacent past block is supplemented in step 18, it may be determined in step 20 that the block is not completely outside the object.
  • FIG. 20 and FIG. 21 show schematic diagrams of the method of measuring the captured value.
  • FIG. 20 shows a case where the current block and the past block are adjacent in the horizontal direction.
  • project 132 is the current block
  • past block 130 is the past block.
  • Each item represents a sample (pixel) of the image. Is completely outside the object, and the average of significant sample values 1 3 4, 1 3 6, 1 3 8, 1 4 0, 1 4 2, 1 4 4 included in the current block 1 3 2 is calculated. And substitute it for each item of the past block 130 I do.
  • the previous block 1 4 6 (completely outside the object) is repeated by repeating the significant sample values 150 0, 152, 154 and 156 of the current block 1 48. Make up each cell of the above.
  • the cells in the first, second, third, and fourth rows of the past block 146 are substituted with sample values of 150, 152, 154, and 156, respectively. Also, in Fig. 20 (C), the current block 160 is completely outside the object, and the past block 158 is not outside the object. 2, 1, 64, 166, 168 are repeated to fill each cell of the current block 160.
  • Figure 21 shows the case where the current block and the past block are vertically adjacent.
  • block 172 is the current block and block 170 is the past block.
  • Each item represents a sample (pixel) of the image, assuming the passing pass 170 is completely outside the object, and the significant sample value 1 ⁇ 4 contained in the current block 172, The average value of 176, 178, 180, 182, and 184 is calculated and substituted by substituting in each cell of the past block 170.
  • each of the past blocks 186 (assuming they are completely outside the object) Fill in the cells, ie, replace the cells in the first, second, third, and fourth columns of the previous block 186 with significant sample values 196, 194, 192, and 190, respectively.
  • FIG. 22 shows the flow chart of FIG. That is, if the current block is not completely outside the object, the area outside the object included in the current process is compensated.
  • the current block 132 in FIG. 20A includes an area outside the object.
  • Samples 134, 136, 138, 140, 142, and 144 are significant samples within the object, and the other samples (unfilled cells) are non-significant samples outside the object.
  • samples 134, 136, and 144 at the boundary are repeatedly filled in the horizontal and vertical directions. If there are two compensation values, the two compensation values are averaged. Since the compensation of the current block in step 13 assigns a unique value to every sample in the current project, the compensation of the past block in step 18 is shown in FIG. 20 (B) or FIG. 21 (B). As shown, the significant sample value of the current prosok at the boundary of the project passing through the current block can be repeated to compensate. Instead of repeating, an average value may be obtained and substituted.
  • FIG. 23 is a flow chart in the case of FIG. 22 in which the processing is limited to processing using past blocks horizontally adjacent to steps 15, 19, and 21.
  • Example of image 108 supplemented according to the processing in Figure 23 Is shown in Figure 24.
  • the star shape 110 is a significant object, and the rest is a non-significant sample.
  • Image 108 is divided into 7 x 7 blocks.
  • the prosoc filled with the same pattern as block 1 1 1 2 was supplemented by step 13 in FIG.
  • Blocks filled with the same pattern as block 1 1 1 4 have been supplemented by step 19 or step 24 in FIG.
  • step 12 the current block 1 1 1 2 is not completely outside the object, so it is filled in in step 13.
  • step 15 do nothing because the horizontally adjacent past candles are not completely outside the object.
  • step 1114 Since the current block 1 1 1 4 is completely outside the object in step 12, go to step 21.
  • the current block 111 is supplemented in step 24 with reference to it.
  • step 12 the current procedure 1 1 1 6 is completely outside the object, so go to step 2 1.
  • the past block 1 1 1 5 which is horizontally adjacent is not completely outside the object, and the current block 1 1 16 is supplemented in step 24 with reference to it.
  • Step 1 7 when it comes to Prosok 1 1 1 7, the current port and Sok 1 1 1 7 are not completely outside the object in Step 1 2, so they are compensated in Step 1 3 and are horizontally adjacent in Step 1 5
  • Step 1 116 will be filled twice. If there are multiple compensation values, these compensation values are averaged. If there are multiple compensation values, it is possible to select one of them and supplement it. In this way, the object in image 108 could be extended horizontally and compensated.
  • FIG. 27 shows a digital image encoding apparatus according to Embodiment 15 of the present invention.
  • 201 is an input terminal
  • 202 is a first adder
  • 203 is an encoder
  • 204 is a discrete cosine transformer (DCT)
  • 2 05 is a quantizer
  • 206 is an output element
  • 207 is a decoder
  • 208 is an inverse quantizer
  • 209 is an inverse discrete cosine transform
  • 2 10 is a second adder
  • 21 1 is variable
  • VLC variable A long encoder
  • 212 is a compensator
  • 213 is a frame memory
  • 214 is a motion detector
  • 215 is a motion compensator.
  • the operation is described below.
  • Input an image with an arbitrary shape to input terminal 201.
  • the input image is divided into a plurality of adjacent regions.
  • the prosox is divided into proxoxes composed of 8 ⁇ 8 or 16 ⁇ 16 sample, but any shape may be used.
  • the block to be encoded is input to the motion detector 21 via the line 225.
  • a past reconstructed image (hereinafter referred to as a reference image) stored in the frame memory 213 is input to the motion detector 214, and a prediction signal having the smallest error with respect to the target block is obtained by a method such as block matching. It obtains and outputs motion displacement information (hereinafter referred to as motion vector).
  • This motion vector is sent to the edict compensator 215, which generates a prediction block from the reference image.
  • the motion vector is also sent to VLC (2 1 1) via line 228 and converted to a variable length code.
  • the target block and the prediction block are sent to the first adder 202, and the difference is calculated to generate a residual block.
  • the residual block is compressed by the encoder 203.
  • the data is compressed by the DCT (204) and the quantizer 205.
  • the quantized data is sent to the VLC (2 11), converted into variable length coding, and output to the output elastic 206 together with other side information including a motion vector.
  • the compressed data is sent to the decoder 207 and decompressed.
  • the data is inversely quantized by the inverse quantizer 208 and decompressed into spatial domain data by IDCT (209).
  • This playback block is input to the compensator 2 1 2, and the non-significant sample value of the playback block is replaced and compensated by the compensation method described in the embodiment 11.
  • the supplemented playback block is stored in the frame memory. It is stored in 2 13. Note that, although not shown, in order to indicate whether the sample value is significant, a shape signal that has been previously coded * decoded is referred to.
  • the supplemented images stored in the frame memories 2 13 are as shown in FIGS. 24, 25 and 26, for example.
  • the compensated digging image is sent to the motion detector 2 14 and the motion compensator 2 15 via the line 2 2 4.
  • the range of the motion detection and the motion compensation is limited to the supplemented area (the filled area in FIGS. 24, 25 and 26). That is, no access is made to a sample other than the supplemented area.
  • FIG. 28 shows an image coding apparatus in which a recorder 229 is connected to the image coding apparatus of FIG.
  • the data that has been variable-length coded by VLC (211) is recorded on a recording medium such as a magnetic medium (tape disk) or an optical disk via a recorder 229.
  • the range of motion detection and motion application is widened, and a prediction project with a small residual is obtained even for a large-motion image. Further, since the compensation method of the present invention is performed for each area (block), the delay time and the amount of calculation can be reduced.
  • the discrete cosine transform is used in the present embodiment, the same applies to the case where the shape adaptive discrete cosine transform or the sub-band / wear budget is used.
  • FIG. 29 shows a digital image decoding apparatus according to Embodiment 16 of the present invention.
  • 301 is an input terminal
  • 302 is a data analyzer
  • 303 is a decoder
  • 304 is Is an inverse quantizer
  • 305 is an IDCT
  • 306 is a kamino
  • 307 is an output terminal
  • 308 is a compensator
  • 309 is a frame memory
  • 310 is a motion compensator. It is.
  • the compression-encoded data is input to an input terminal 301, and the data is analyzed by a data analyzer 302.
  • the compressed residual block data is output to the decoder 303 via the line 312, and the motion vector is output to the motion compensator 310 via the line 318.
  • the decoder 303 expands the compressed residual block and restores the expanded residual block.
  • inverse quantization is performed by an inverse quantizer 304, and a frequency domain signal is converted to a spatial domain signal by an inverse discrete cosine transform IDCT (305).
  • the motion vector is input to the motion compensator 310 via the line 318.
  • the motion compensator 310 generates an address for accessing the frame memory 309 based on the motion vector, and generates a prediction block from an image stored in the frame memory 309.
  • the generated prediction block and the decompressed residual block are input to the adder 306, and are added to generate a reproduced block.
  • the playback process is output to the output terminal 307 and simultaneously input to the compensator 308 to compensate for the image reproduced by the compensation method described in Embodiment 11 and store it in the frame memory 309 .
  • FIG. 30 shows a digital image encoding apparatus according to Embodiment 1 of the present invention. Is shown. The basic configuration is the same as in Figure 27. An initializer 230 is used instead of the compensator 212. Before writing the image to the frame memory 2 13, the frame memory 2 13 is initialized with a predetermined initialization value by the initializer 230. The reproduced block output from the second adder 210 is written to the initialized frame memory 213. A fixed value may be used as the initialization value. Alternatively, an average value of significant sample values of a previously reproduced image may be used.
  • FIG. 31 shows a configuration in which a recorder 229 is connected to the image coding apparatus of FIG.
  • the data that has been variable-length coded by VLC (211) is recorded on a recording medium such as a magnetic medium (tape or disk) or an optical disk via a recorder 229.
  • FIG. 32 shows a digital image decoding apparatus according to Embodiment 18 of the present invention.
  • the structure of the grave book is the same as in Figure 29.
  • An initializer 320 is used in place of the compensator 308.
  • the frame memory 309 is initialized with a predetermined initialization value by the initializer 320.
  • the reproduced block output from the adder 306 is written to the initialized frame memory 309.
  • a fixed value may be used as the initialization value. Alternatively, an average value of significant sample values of images reproduced in the past may be used. Industrial applicability
  • the amount of calculation can be greatly reduced by performing the compensation in a unit of a small area subjected to motion compensation or a reproduced small area by a simple compensation method. Since the capture area is closed in a small area, The delay time can be shortened compared to filling. In addition, not only the boundary area but also an area consisting only of insignificant sample values adjacent to the boundary area is compensated, and motion detection and motion compensation are performed using the supplemented area. Is obtained. Due to these factors, predictive coding * decoding of an image of an arbitrary shape has the effect of being performed efficiently.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

明 細 書
発明の名称
デジタル画像画素補填方法、及びそれを用いたデジタル画像符 号化装置、 画像複号化装置 技術分野
本発明は、任意形状をもつデジタル画像を補填する方法および その補填方法を用いたデジタル画像の符号化'復号化装置に閧す るものである。 背景技術
デジタル画像を効率よく蓥積もしくは伝送するには、圧縮符号 化する必要がある。デジタル画像を圧縮符号化するための方法と して、 J P E Gや M P E Gに代表される離散コサイン変換（D C
T ) のほかに、 サブバンドやウェアブレヅト、 フラクタルなどの 波形符号化方法がある。また、画像間の冗長な信号を取り除くに は動き補儐を用いた画像間予測を行い、差分信号を波形符号化す る。
最近、圧縮効率を向上させると同時に画像を構成する物体単位 の再生ができるように、画像を構成する物体を別々に圧縮符号化 し伝送する。 再生倒では、 それぞれの物体を複号化し、 再生した 物体を合成し画像を表示する。これは物体単位に符号化すること で、物体を自由に組み合わせて合成することにより動画像を簡単 に再饞集できる特徴がある。また、通信路の混み具合や再生装置 の性能、視穂者の好みによって、比較的に重要でない物体を再生 しなくても、 動画像を見ることができる。
任意の形状をもつ画像 （物体） を符号化するために、 その形状 に適した変換方法、たとえば形状適応離散コサイン変換を用いる 力 画像の無効領域 （物体表示領域の外の領域であり、物体を表 示するための画素データを有しない、いわゆる有意でないサンブ ル値のみから成る領域を言う） を所定の方法で補填し、従来の 8 X 8のコサイン変換を施す方法がある。 一方、画像間の冗長な 信号を取り除くために過去において再生された参照画像を動き 補儻して得られた予測領域（たとえば 1 6 X 1 6画素からなるブ ロック） にも、物体の境界において有意でないサンプル値が含ま れる。 このような予測領域を一旦補填してから、対象領域と差分 をとり、予測誤差信号を生成し、変換符号化する。予測領域を補 填す のは差分信号を抑圧するためである。
このように、デジタル画像の符号化復号化処理効率の点で、有 意でない画素の補填処理は重要であると共に、その補填の仕方に より復号画質、 伝送データ量などにも影譽を与える。
前述のような従来の技術では、画像全体を参照し補填すること により、予測領域に有意でないサンブル値が含まれないようにし てから、動き補償などの方法で予測領域を取得する。また補填方 法は、物体の境界にある有意なサンブル値を繰り返し、有意でな いサンプル値を置き換える等の処理が行われる。また、あるサン ブル点において、水平および垂直両方向からの緣り返した補填値 がある場合は、その両方の補填値を平均する。 この従来の方法は 画像全体を補填するために、特に動きの大きい画像に対し誤差の 少ない予測領域が得られる。 しかし、 反面再生参照画像の全体を参照し補填する.ためには、 参照画像全体が復号化されていなければ、補填作業が開始できな いという課題がある。 また、繰り返し補填する場合、画像のサイ ズに比例し演算量が増加する問題がある。すなわち、 このような 補填を行う と、画像を再生するのに処理量が大きく、長い遅延が 発生したり、 場合によって演算量が非常に多いことになる。
そこで、画像サイズに比^しない演算を行うには、再生した境 界領域を領域単位で補填する方法がある。この方法で遅延と溃算 量の問題が解決できる。 しかし一方、境界領域だけの補填となる ために、有効領域は補填した境界領域以内の領域に制限され補填 の効果が少ない。そのために、動きの大きい動画に対して誤差の 小さい予測信号を生成することができない課題を残している。 一方、画像全体を補填する方法では単にデータ量が増えるので、 利点が少ないことになる。即ち有意でない画素は符号化すべき画 素値がなく 、有意である画素と同時にまとめて符号化すると、符 号化効率が劣化する。 たとえば、有意画素がすべて黒の場合、 有 意でない画素が白であれば符号化効率が劣化するが、有意でない 画素が黑であれば符号化効率は高くなる。 このように、有意でな い画素の値は再生画像の画質には影響を与えないが符号化効率 に影響するので、有意でない画素値について考慮することが重要 であるが、 従来は全く検討されていないという問題がある。 発明の開示
本発明の第一の目的は、遅延時間と演算量が少ない処理で、動 きの大きい画像に対し、誤差の小さい予測信号を生成できる画像 の補填方法を提供するものである。
上記目旳を達成するために、本発明は物体を表す画像情報を含 むデジタル画像データにおいて、前記画像を互いに隣接する複数 の領域に分割し、前記物体形状の境界を含む領域の有意でないサ ンブル値を、前記有意でない画素値の近傍の有意である画素値を 鬨数で変換して補填する、デジタル画像補填方法を提供するもの である。
又特に閧数変換して補填する有意である画素値として、関数と して最も簡単な有意でない画素値に隣接する有意である画素値 をそのまま緣り返して置換する方法と上記方法を組み合わせて 処理することにより、より効果的な補填をすることも可能である。
又更に、補填領域を適量拡大する方法として、物体形状の境界 を含む領域の近傍の領域であって、有意でないサンブル値のみか らなる無効領域まで拡大して補填するとともに、前記物体形状の 境界を含む領域の有意である画素値を関数変換して補填する。こ れにより、更に大きな動き補僂などの処理が可能となるものであ る。
本発明の第二の目的は、上記デジタル画像補填方法をデジタル 画像符号化、 復号化方法、 及びその装置に導入することにより、 処理データ量が少なく画質が良好な圧縮画像処理が可能となる ことである。
上記目的を達成するため 画素値を表す信号と画素毎に画素 値が有意であるかどうかを示す有意信号とから構成される画像 信号を入力信号とし、その入力信号の物体を表す画像情報を含む デジタル画像データにおいて、既に復号された画像信号から前記 入力信号に対する予測画像信号を生成する予測画像生成手段と、 前記画像を互いに隣接する複数の領域に分割し、前記物体形状の 境界を含む領域の有意でないサンプル値を、前記有意でない画素 値の近傍の有意である画素値を閧数変換して補填して出力する 画素値生成手段と、前記画素値生成手段の出力から前記予測画像 生成手段の出力を滅箕する滅箕手段と、前記滅算手段の出力を符 号化する符号化手段と、前記符号化手段からの出力を復号化する 復号化手段と、前記復号化手段からの出力と前記予測画像生成手 段からの出力を加算する加算手段と、前記加算手段の出力を前記 予測画像生成手段で使用するために一時的に記憧する記憶手段 とを備え、前記符号化器出力を画像符号化装置の出力とする画像 符号化装置を構成するものである。
又、 復号化装置として、 入力信号を復号化する復号化手段と、 既に復号化された画像信号から前記入力信号に対する予測画像 信号を生成する予測画像生成手段と、この予測画像信号で有意で ある画素値から所定の閧数を用いて画素値を生成し、前記予測画 像 ί言号の有意でない画素の画素値を前記閧数を用いて生成した 画素値で置換して出力する画素値生成手段と、前記復号化手段か らの出力と前記画素値生成手段からの出力を加箕する加箕手段 と、この加算手段の出力を前記予測画像生成手段で使用するため に一時的に記悽する記馇手段を有し、前記加算手段の出力を画像 復号化出力とするデジタル画像復号化装置を提供するものであ る。
また特に、物体形状の境界に隣接する有意でないサンブル値の みからなる無効領域を補填することにより、処理領域が適度に拡 大され、大きくデータ量が増大することなく有効に動き補俵等の 処理精度が向上する。
更に具体的な本発明のデジタル画像補填方法は、第一補填処理 と第二補填処理とを具備し、
第一補填処理にて、有意と有意でないサンブル値から構成する 任意形状の画像のサンプルを第一方向にしたがって走査し、第一 方向において、所定の方法で選択した有意なサンブル値を有意で ないサンブルの値とし第一補填画像を生成し、 第二補填処理に て、有意と有意でないサンブル値から構成する第一補填画像の各 サンプルを第二方向にしたがって走査し、第二方向において、所 定の方法で選択した有意なサンプル値または第一捕填処理で補 填したサンブル値を用いて、第一補填画像の有意でないサンブル の値とする。
本発明の第二の更に具体的なデジタル画像補填方法は、任意形 状のデジタル画像を複数の領域に分割し所定の順番で処理し、形 状の境界に位置する境界領域に隣接する有意でないサンプル値 のみからなる無効領域を、所定の方法で求められた補填値で補填 する。
特に、対象領域が無効領域でない場合、所定の順番において対 象領域に瞵接する過去の領域が無効領域であれば、過去の領域を 所定の方法で求められた補填値で補填し、
対象領域が無効領域である場合、所定の順番において対象領域 に降接する過去の領域が無効領域でなければ、対象領域を所定の 方法で求められた補填値で補填する。
また、この本発明のデジタル画像補填方法を用いた画像符号化 装置は、
任意形状のデジタル画像データを入力する入力手段と、このデ ジタル画像を互いに隣接する複数の領域に分割し、所定の頗番で 処理する手段と、対象領域データと、予測領域データを入力して 差分領域データを生成する第一加算器と、この差分領域データを 入力し、所定の方法で圧縮差分領域データに圧縮する符号化器と、 この圧縮差分領域データを入力し、所定の方法で伸長差分領域デ ータに復元する複号化器と、 この伸長差分領域データを入力し、 予測領域を加算して再生領域データを生成する第二加算器と、こ の再生領域データを入力し、前述の補填方法で再生領域に含まれ る有意でないサンプル値を補填する第一捕填器と、 有意でない サンブル値を補填した再生領域データを予測領域データとして 記億するフレーフレームメモリ とを有する。
また、第一補填器の代わりに、または第一補填器に加えて第二 補填器を追加し、予測領域に含まれる有意でないサンプル値を補 填する。
又、本発明のデジタル画像補填方法を用いた画像復号化装置は、 圧縮符号化データを入力する入力手段と、この圧縮符号化デー タを分析し、圧縮差分信号を出力するデータ解析器と、 この圧縮 差分信号を伸長差分信号に復元する複号化器と、伸長差分信号と 予測信号とを加算して、 再生信号を生成し出力する加算器と、 前述した方法で再生信号に含まれる有意でないサンブル値を補 填する第一補填器と、第一の補填器により補填された画像データ を予測信号として記憧するフレームメモリとを有する。
また、第一補填器の代わりに、または第一補填器に加えて第二 補填器を追加し、予測領域に含まれる有意でないサンブル値を補 填する。 図面の簡単な説明
第 1図は本発明の実施例 1によるデジタル画像補填方法を示 す模式図、第 2図は本発明の実施例 1によるデジタル画像補填方 法の第一変形を示す模式図、第 3図は本発明の実施 1によるデ ジタル画像補填方法の第二変形を示す模式図、第 4図は本発明の 実施例 1によるデジタル画像補填方法の第三変形を示す模式図、 第 5図は本発明の実施例 2によるデジタル画像補填方法を示す 模式図、第 6図は本発明の実施^ 3によるデジタル画像補填方法 を示す模式図、第 7図は本発明の実施例 3によるデジタル画像補 填方法の一変形を示す模式図、第 8図は本発明の実施例 4による デジタル画像補填方法を示す模式図、第 9図は本発明の実施例 5 によるデジタル画像符号化装置を示すブロック図、第 1 0図は本 発明の実施例 6によるデジタル画像符号化装置を示すブロック 図、第 1 1図は本発明の実施例 7によるデジタル画像復号化装置 を示すブロック図、第 1 2図は本発明の実施伊! | 8によるデジタル 画像符号化装置を示すプロック図、第 1 3図は本発明の実施 8 によるデジタル画像符号化装置のを示すプロック図、第 1 4図は 本発明の実施例 7によるデジタル画像復号化装置の一変形を示 すブロック図、第 1 5図は本発明の実施例 9によるデジタル画像 複号化装置を示すプロック図、第 1 6図は本発明の実施倒 9によ るデジタル画像復号化装置の一変形を示すプロツク図、第 1 7図 は本発明の実施例 1 0によるデジタル画像符号化装置に用いる 補填方法を示す模式図、第 1 8図は本発明の実施例 1 0によるデ ジタル画像符号化装置に用いる補填方法の一変形を示す模式図、 第 1 9図は本発明の実施例 1 1によるデジタル画像の補填方法 を示す流れ図、第 2 0図は本発明の実施例 1 1によるデジタル画 像の補填方法で用いられる領域の補填方法の一実施例を示す模 式図であり、 （A )補填値が水平方向にある有意である画素値の 平均値である例、 （B )補填値が水平方向にある有意である画素 値の繰り返し補填の一例、 （C )補填値が水平方向にある有意で ある画素値の繰緣り返し補填の他の例である。又第 2 1図は本発 明の実施例 1 2によるデジタル画像の補填方法で用いられる領 域の補填方法の別の実施例を示す模式図であり、 （A )補填値が 垂直方向にある有意である画素値の平均値である例、 （B )補填 値が垂直方向にある有意である画素値の繰り返し補填の一例、 ( C )補填値が垂直方向にある有意である画素値の緣耪り返し補 填の他の例である。 第 2 2図は本発明の実施例 1 3によるデジ タル画像の補填方法の第一変形を示す流れ図、第 2 3図は本発明 の実施例 1 4によるデジタル画像の補填方法の第二変形を示す 流れ図、第 2 4図は本発明の実施例 1 4によるデジタル画像の補 填方法で補填した画像の第一の例を示す模式図、第 2 5図は本発 明の実施例 1 4によるデジタル画像の補填方法で補填した画像 の第二の例を示す模式図、第 2 6図は本発明の実施例 1 4による デジタル画像の補填方法で補填した画像の第三の例を示す模式 図、第 2 7図は本発明の実施例 1 5によるデジタル画像符号化装 置を示すブロック図、第 2 8図は本発明の実施例 1 5によるデジ タル画像符号化装置の変形を示すプロジク図、第 2 9図は本発明 の実施例 1 6によるデジタル画像復号化装置を示すブロック図、 第 3 0図は本発明の実施例 1 7によるデジタル画像符号化装置 を示すプロック図、第 3 1図は本発明の実施例 1 7によるデジタ ル画像符号化装置の変形を示すプロック図、第 3 2図は本発明の 実施例 1 8によるデジタル画像復号化装置を示すプロ、ソク図で ある。 発明を実施する最良の形態
以下、 本発明を具体的な実施例を用いて説明する。
(実施例 1 )
図 1は本発明の実施例 1によるデジタル画像補填方法の模式 図を示す。画像 5 0 1は補填するの対象となる画像である。画像 5 0 1の各桝目は画素を示し、画像からのサンブルを示す。画素 5 0 2から 5 0 7は有意なサンブルを示し、その他のサンプルは 有意でない状態を示している。
本実施例では、あるサンブル値が有意であるかどうかについて、 画像の形状信号を参照する。形状信号が 0なら有意でない、 1な ら有意である。
画像 5 0 1から開始し、矢印で示した画像 5 0 8を生成するに は以下のように各有意でないサンブルを補填する。まず画像 5 0
1の各行を走査する。 この走査処理において、有意なサンブルが 検出すると、その値を有意でないサンブルの値とする。たとえば、 第一行を走査する時に、有意なサンブルがないため、補填処理が 行われれない。第二行を走査するときに、 サンプル 5 0 9 , 5 1 0 , 5 1 1が有意でないが、サンブル 5 0 2が有意であるために、 サンプル 5 02の値 aを隣接する有意でないサンプル 5 1 1の 行のサンプル 509 , 5 10, 5 1 1の値として補填する。 すな わちサンブル 502の値を隣接する有意でないサンブル 5 1 1 からサンプル 5 10、 509と順次繰り返し補填する。 同様に、 サンプル 503の値 bを緣り返しサンプル 5 12、 13 , 5 14 を補填する。
第三行も同じように補填し、第四行には有意であるサンブルが ないので何も補填を行わない。このように補填した画像 508に おいて、 第二と第三行目が有意な値をもつことになる。
次に画像 508をもとに、残りの有意でないサンプルを補填す る。次のステップを示す矢印方向の画像 5 19に示すように、今 度は列方向に走査し、有意でないサンプル 520と 528を、画 像 5 08のステ、ソブですでに補填されている夫々サンプル 50 9と 5 15で補填する。このようにしてサンプル 52 1から 52 7と、サンブル 529から 535についても同様な手法で補填す る。
以上の様な手厢で補填を行うことにより、速統性を保ちつつ筒 易な手法により有意でないサンブルを補填できるので、画質を保 ちつつ画像データの圧縮処理などの演算処理を効率的に行うこ とが出来る。
本実施例では、水平と垂直の互いに！:交する二つの方向を走査 し補填を行ったが、 斜めの方向に走査してもよい。 なお、 まず垂 直方向を走査し補填してから次に水平方向を走査し補填しても よい。また、走査方向において有意でない値から最も近い有意な サンプルの値で補填したが、同様に連統性が保てるので有ればそ れに限るものではない。
図 2は本発明の実施例 1によるデジタル画像補填方法の第一 変形の模式図を示す。画像 5 0 8において、水平方向に走査する ときに有意でないサンブルと有意なサンプルの境を中心にミラ ーリングを行ってもよい。たとえば、サンブル 5 1 1と 5 0 2が 鏡の境としサンプル 5 0 2の値をサンプル 5 1 1の値とし、サン ブル 5 0 3の値をサンブル 5 1 0の値としてもよレ、。このように して画像 5 0 1を矢印のステップで、画像 5 0 8 、 5 1 9の様に 履次捕填を行い、 すべての有意でないサンブルを補填する。
図 3は本発明の実施例 1によるデジタル画像補填方法の第二 変形の模式図を示す。これは有意でないサンブルが有意なサンブ ルの間にある場合の補填方法である。水平方向に走査する場合に ついて説明するが、その他の方法を走査する場合でも同じである。 サンプル 6 1 2と 6 1 3はサンプル 6 0 2の値で補填する。別の 方法としてサンプル 6 1 1と 6 1 4のように、サンブル 6 0 7の 値で補填してもよい。最初の方法はサンブルを左から右に走査し 有意なサンプルをそのまま引き延ばし補填する。二番目の方法は 右から左に走査し有意なサンプルをそのまま引き延ばし補填す る場合である。 Ξ番目の方法として、走査方向において有意でな いサンプルから最も近い有意なサンブルで補填する。サンプル 6 1 5と 6 1 8はこのようにして補填したサンプルである。最後に， 有意でないサンブルの両側にある有意なサンブルの平均で補填 する。サンプル 6 1 6と 6 1 7はこのように補填したものである, 図 4は本発明の実施例 1によるデジタル画像補填方法の第三 変形の模式図を示す。画像が楕円形をした物体を表示する、即ち 楕円形に有意であるサンブルが集合してるものであり、この画像 を S本的に図 1の方法を用いて補填している。
画像 7 0 1は有意なサンプルの集合 7 0 2から構成される。ま ず画像 7 0 3ように水平方向に走査し補填する。次に画像 7 0 4 のように垂直方向に走査し、有意なサンブルまたは画像 7 0 3で 補填したサンブルを用いて有意でないサンブルを補填する。一方、 画像 7 0 5のようにまず垂直を走査し補填してから水平方向を 走査し補填する。このようにして得られた二つの補填画像 7 0 4 と 7 0 6を平均化し画像 7 0 7を生成する。このような補填方法 により、更に複雑な物体表示画像についても有意であるサンブル と補填されたサンプルとの連铳性を保つことが出来るので、画質 を保ちつつ演算処理を効率的に行うことが出来るものである。
(実施例 2 )
図 5は本発明の実施例 2によるデジタル画像補填方法の模式 図を示す。
画像 8 0 1は有意なサンプルの集合 8 0 2から構成される。ま ず画像 8 0 1を水平方向に走査し最も近い有意なサンブル値を 有意でないサンプルの値とし画像 8 0 3を生成する。同時に、画 像 8 0 1を垂直方向に走査し最も近い有意なサンプル値を有意 でないサンブルの値とし画像 8 0 4を生成する。
画像 8 0 3と画像 8 0 4を平均化し画像 8 0 6を生成する。有 意なサンブルの集合 8 0 2を平均化しても同じ値になるため、平 均化しなくてもよい。
画像 8 0 3と画像 8 0 4の両方の補填処理で重複して補填し たサンブルについて両方の補填値を平均化する。片方にしか補填 値がない場合、それを画像 8 0 6の補填値とする。画像 8 0 3と 画像 8 0 4の両方の補填処理にも補填値のないサンプルは有意 でないサンブルのままとなる。このような有意でないサンプルは、 次にそのサンプルから最も近い有意なサンプルまたは補填した サンブルの値で補填する。補填値の侯補が二つ以上ある場合、そ れらの平均で補填する。またはそれらの中の一つを用いて補填し てもよい。最終的には画像 8 1 1のようにすべてのサンブルが補 填することになる。
この実施例による補填方法も実施例 1 と同様に、複雑な形状の 有意であるサンブルの集合と補填される有意でないサンブルと の連続性を保つ他の発明の補填方法である。
(実施例 3 )
図 6は本発明の実施例 3によるデジタル画像補填方法の模式 図を示す。
画像 9 0 1は有意なサンブルの集合 9 0 2から構成される。本 実施例では、有意なサンブルの集合 9 0 2を囲む領域 9 0 4を決 定し、 その領域 9 0 4の中で、有意でない値を補填する。補填方 法について上述したものを用いる。残りの領域 9 0 5は、補填し た領域 9 0 4を参照して単純な補填方法で補填し、すべての有意 でないサンプル値を補填する （画像 9 0 6 ) 。
領域 9 0 4は長方形であることが好ましいがそれ以外の形状 でもよい。領域 9 0 4は有意なサンブルの集合 9 0 2を含む最も 小さい長方形または、最小長方形から kサンブル拡大した長方形 でもよい。 kの値は長方形のサイズが所定の条件を満たすように 決定する。 たとえば 1 6の倍数になるように kの値を'决定する。 図 7は本発明の実施例 3によるデジタル画像補填方法の一変 形を示す模式図であり、画像 9 10は複数の有意なサンブルの集 合 9 1 1、 9 12、 9 13から構成される。 これらの集合をそれ ぞれ包含する領域 9 15 , 9 16 , 9 17に分割してから、 それ ぞれの領域の中で前述した方法で補填する。
本実施例による補填方法によれば、前もって処理範囲を規定す ることにより、 演算処理が効率的に行われるものである。
(実施例 4 )
図, 8は本発明の実施例 4によるデジタル画像補填方法の模式 図を示す。
画像 920は MxNのサンブルからなる領域（ブロック）に分 割した後に捕填を行う。好ましくは M-N = 8または 16である が、 任意の値でもよい、 三角などの形状に分割してもよい。プロ ック 92 1から 929は部分的に有意なサンブルを含めている。 それらの値を参照して、上述した方法で有意でないサンブルを補 填する。
有意なサンプルを含まないプロジク 930や 93 1を捕填す るときに、 所定の値で補填する （好ましくは 128 ) カ または 最も近い有意なサンプル値を参照して補填する。ブロック 930 を考える。プロック 930は有意なサンブルをもつプロックの中 でブロック 929から最も近い。これはブロックの左上のサンブ ルの座標点間の距離を求めることによってわかる。プロ、ソク 92 9の有意なサンブル値の平均値を求めて補填する。
またブロック 93 1のように有意なサンブルをもつ最も近い ブロックはプロック 922であり、その有意なサンプル値の平均 で補填してもよいが、 境界にあるサンプル 9 3 4、 9 3 5、 9 3 6、 9 3 7をそのまま繰り返して補填してもよい。
このように、所定のプロック単位で補填を行うことにより、よ り効率的に演算処理が可能となるものである。
本発明のデジタル画像補填方法を画像符号化 '復号化装置に適 応した場合の実施例について以下に説明する。
(実施^ 5 )
図 9は本発明の実施例 5によるデジタル画像符号化装置のブ ロック図を示す。図 9において 2 0 1は入力端子、 2 0 2は第一 加算器、 2 0 3は符号化器、 2 0 4は離散コサイン変換器（D C T ) 、 2 0 5は量子化器、 2 0 6は出力端子、 2 0 7は複号化器、 2 0 8は逆量子化器、 2 0 9は逆離散コサイン変換器 （ I D C T ) 、 2 1 0は第二加算器、 2 1 1は可変長符号化器 （V L C ) 、 2 1 3はフレームメモリ、 2 1 4は動き検出器、 2 1 5は動き補 ^器、 2 4 0は第一補填器、 2 4 1は第二補填器である。
以上のように構成されたデジタル画像符号化装置について、以 下、その動作を述べる。任意形状をもつ画像を入力端子 2 0 1に 入力する。入力した画像を複数の隣接する領域の分割する。本実 施例では、 8 x 8または 1 6 X 1 6のサンプルからなるブロック に分割するが、任意の形状でもよい。符号化の対象となるプロ " クをライン 2 2 5を経由し動き検出器 2 1 4に入力する。同時に フレームメモリ 2 1 3に格納してある過去の再生画像（以下、参 照画像と呼ぶ） を動き検出器 2 1 4に入力し、プロ、ソクマツチン グなどの方法で対象ブロックに対し誤差の最も小さい予測信号 を与える動き変位情報 （以下、 動きべクトルと呼ぶ） を求めて出 力する。
この動きぺクトルを動き補儐器 2 1 5に送り、そこで、参照画 像から予測プロックを生成する。動きべクトルはまたライン 2 2 8を経由し V L C ( 2 1 1 ) に送り可変長符号に変換する。
対象プロ、ソクは第一補填器 2 4 0に送って前述実施例に示し た方法で補填し、補填対象プロ "クを生成する。予測プロ "クは 第二補填器 2 4 1に送り前述した方法で補填し、補填予測プロッ クを生成する。
補填対象プロックと補填予測プロ、ソクとを第一加算器 2 0 2 に送り差分をとり残差プロックを生成する。残差プロックを符号 化器 2 0 3にて、 圧縮される。 本実施^でば、 D C T ( 2 0 4 ) および量子化器 2 0 5によって圧縮される。量子化されたデータ を V L C ( 2 1 1 ) に送り可変長符号化に変換し、動きベクトル を含むその他のサイ ド情報と共に出力端子 2 0 6に出力する。 —方、 圧縮されたデータを復号化器 2 0 7に送り、 伸長する。 本実施例では逆量子化器 2 0 8で逆量子化し、 I D C T ( 2 0 9 )で空間領域のデータに伸長する。伸長した残差プロックデー タに、ライン 2 2 7を経由し送られる補填予測ブロックデータを 加算し、再生プロックを生成する。再生ブロックデータをフレー ムメモリ 2 1 3に格納する。なお、図示されていないがサンプル 値が有意か否かを示すには、形状信号をあらかじめ符号化 *復号 化したものを参照する。
このように、対象ブロックと予測ブロックを補填することによ り、動き補儐によるエッジ部のずれのために生じる大きな予測誤 差を抑えることができる。 なお、図示していないが補填器 2 4 6を動き補僂器 2 1 5の前 に配置しても良い。又本実施例では離散コサイン変換を用いたが、 形状適応離散コサイン変換やサブバンドゃウェアプレツ トを用 いた場合でも同じである。
(実施 6 )
図 1 0は本発明の実施例 6によるデジタル画像符号化装置の ブロジク図を示す。基本的な動作は実施例 6と同じである。異な る点は第一補填器 2 4 0において、対象ブロックを補填するには、 予測ブロックを補填するための値を用いる。この値はライン 2 4 3に経由して第二補填器 2 4 1から第一補填器 2 4 0に伝送さ れる。このように補填値を共有することによりほとんどの差分値 がゼロになるために予測誤差をさらに抑圧することができる。
(実施例 7 )
図 1 1は本発明の実施例 7によるデジタル画像復号化装置の プロ "ク図を示す。 図 1 1において 3 0 1は入力端子、 3 0 2 はデータ解析器、 3 0 3は復号化器、 3 0 4は逆量子化器、 3 0 5は I D C T、 3 0 6は加算器、 3 0 7は出力端子、 3 0 9はフ レームメモリ、 3 1 0は動き補儐器、 3 3 0は補填器である。 以上のように構成されたデジタル画像復号化装置について、以 下、その動作を述べる。圧縮符号化されたデータを入力端子 3 0 1に入力し、データ解析器 3 0 2にてデータを解析する。圧縮さ れた残差ブロックのデータをライン 3 1 2を経由して復号化器 3 0 3に出力し、動きべクトルをライン 3 1 8を経由し勅き補 AS 器 3 1 0に出力する。復号化器 3 0 3では、圧縮残差ブロックを 伸長し、 伸長残差プロ、ソクに復元する。本実施例では、 逆量子化 器 3 0 4で逆量子化し、 逆離散コサイン変換 I D C T ( 3 0 5 ) で周波数領域信号を空間領域信号に変換する。 動きベクトルを ライン 3 1 8を経由し動き補償器 3 1 0に入力する。動き補儐器 3 1 0では、動きベクトルをもとに、 フ ΰ—ムメモリ 3 0 9をァ クセスするためのァドレス生成し、フレームメモリ 3 0 9に格納 される画像から予測ブロックを生成する。生成された予測プロ " クを補填器 3 3 0に伝送し、そこで前述した方法で有意でないサ ンブルを補填し、補填予測プロジクを生成する。補填予測ブロッ クと伸長した残差ブロックを加算器 3 0 6に入力し、加箕するこ とにより再生ブロックを生成する。再生ブロックを出力 子 3 0 7に出力すると同時にフレームメモリ 3 0 9に格納する。
本実施倒では、動き補儻した予測プロ 'ソクを補填すると説明し たが、動き補係しながら補填を行ってもよい。 ここでいう動き補 儍はォ一バラッブ動き補儐を含む。なお、図示されていないがサ ンプル値が有意か否かを示すには、形状信号をあらかじめ復号化 したものを参照する。
図 1 4は本発明の実施例 7によるデジタル画像復号化装置の —変形のブロック図を示す。基本的な動作は図 1 1と同じである。 この場合補填器 3 3 2は動き補僂器 3 1 0の前に設置している。
(実施例 8 )
図 1 2は本発明の実施例 8によるデジタル画像符号化装置の ブロック図を示す。基本的な動作は図 9と同じである。 この場合 補填器 2 1 2はフレームメモリの前に設置している。加算器 2 1 0からの再生ブロックは、すぐに補填できるメリ "トがある。ま た、 D C T ( 2 0 4 ) の前に補填器 2 4 4が設置している。 この 補填器 2 4 4によって、 D C T係数が小さくなるように補填を行 う。 とりわけ、差分ブロックについて対象ブロックの有意でない 領域をゼロで補填する。
1 3は本発明の実施例 8によるデジタル画像符号化装置の 一変形のブロック図を示す。図 1 2に加えて動き補儻器 2 1 5の 後に補填器 2 4 6が設置されている。動き補儻してから予測信号 をさらに補填し、 予測誤差を抑圧する効果がある。
なお、図示していないが補填器 2 4 6を動き補儍器 2 1 5の前 に配置しても良い。
(実施例 9 )
図 1 5は本発明の実施剁 9によるデジタル画像復号化装置の ブロック図を示す。 これは図 1 2の符号化装置に対する復号化 装置である。 基本的な動作は、 図 1 4と同じである。 この場合、 フレームメモリ 3 0 9の前に補填器 3 0 8を設置している。再生 したブロックを直ちに補填しフレームメモリに格納することが できる。
図 1 6は本発明の実施例 9によるデジタル画像複号化装置の —変形を示すプロック図である。これは図 1 3の符号化装置に対 する復号化装置である。基本的には図 1 5と同じである。異なる のは動き補儐器 3 1 0の後に補填器 3 3 0を設置し予測ブロッ クを補填する。
これにより、
(実施例 1 0 )
図 1 7は本発明の実施例 1 0によるデジタル画像符号化装 置♦復号化装置に用いる補填方法の模式図を示す。 ここでは図 1 1を例にして補填.器 3 3 0の動作を説明する。図 1 7では対象画 像（ブロック） 9 4 0は有意なサンブルの集合 9 4 3と有意でな いサンブルの集合 9 4 4からなる。斜線の都分は有意の領域であ る。予測画像 9 4 1は動き補僂して得られた画像で、有意なサン ブルの集合 9 4 5 と有意でないサンブルの集合 9 4 6からなる。
m i 1の復号化装置において、予測画像 9 4 1を補填してから 加算器 3 0 6に送る。補填器 3 3 0では有意でない領域 9 4 6を 全部補填しもよいが、対象画像の有意な領域だけを補填したほう が演算量が少ない。対象画像 9 4 0の形状を参照して、予測画像 の有意でない領域かつ対象画像の有意な領域を決定し（画像 9 4 2の領域 9 4 7 ) 、 その領域だけを補填する。
図 1 8は本発明の実施例 1 0によるデジタル画像符号化装 置 ·復号化装置に用いる補填方法の一変形を示す模式図である。 補填の対象となるプロックに有意なサンブルが一つもない場合 を考える。図 1 5の補填器 3 0 8を^に説明する。図 1 8のプロ ック 9 6 2が補填の対象となるプロックとする。このブロゾクに は有意なサンプル値がないのでブロック内で補填できない。
そのため、隣接するプロ、ソクの中で少なく とも一つ有意なサン プルからなるブロックを探し、それを参照して補填する。しかし、 図 1 5の補填器 3 0 8では、ブロヅク 9 6 2はブロック 9 6 4よ り前に再生されるために、プロ、ソク 9 6 4を参照して補填するこ とができない。 そこで、 すでに再生されたプロック 9 6 6、 9 6 5、 9 6 1、 9 6 3の傾に、有意なサンプルを含めるブロックを 探し出しそれを参照して補填する。
なお、動き補僂した予測プロックに有意なサンブルが含まれな い場合も同じように、復号化の対象となるブロックに隣接する再 生ブロソクの中から有意なサンブルを含めるプロ "クを参照し て補填する。補填値の計算方法として平均値や繰り返し補填を使 用してもよい。
以上の説明より明らかなように、本発明の画像符号化装置およ び、画像復号化装置を用いることにより、再生画像の画質には影 を与えない有意でない画素の画素値を符号化効率が向上する 値にして符号化できるので、符号化効率を向上することができそ の実用的価値は高い。
(実施例 1 1 )
図 1 9は本発明の実施例 1 1によるデジタル画像の補填方法 の流れ図を示す。任意の形状をもつ画像を入力し、互いに隣接す る複数の領域に分割して、 各領域について所定の順番で走査し、 —つずつ図 1 9の流れ図の方法にしたがって処理する。本実施例 では、 画像の左上にある領域からスター卜し、 ラスタ 'スキャン と同じ順番で領域を走査うする。 領域の形は三角形でもよいし、 長方形や正方形でのよい。本実施例では N x N個のサンブルから なる正方形に分割して処理する。 Nは 8または 1 6である。以下 では、 N x N個の正方形をブロックと呼ぶ。
まずステップ 1 2では、現在処理の対象となるブロック （現ブ ロック）が完全に任意形状の画像、すなわち物体の外にあるかど うかを調べる。完全に物体の外にある場合、該当するブロックの サンブル値はすべて有意でない。本実施例では、あるサンプル値 が有意であるかどうかについて、該当する画像の形状信号を参照 する。 形状信号が 0なら有意でない、 1なら有意である。 現プロックが完全に物体の外になければ、ステップ 1 4に進む。 ここで、現プロジクに隣接する過去のブロックは完全に物体の外 にあるかビうかを調べる。 ここに過去のブロックとは、領域の走 査の頫番において、先に処理されたプロ、ソクのことである。隣接 する過去のプロヅクが完全に物体の外にあれば、ステップう 1 6 において所定の方法で補填値を計箕し、ステップ 1 8で隣接する 過去のプロックのサンブル値を置き換え、 補填する。
ステップ 1 2において、現ブロックが完全に物体の外にあれば、 ステップ 2 0に進む。 ここで、隣接する過去のブロックが完全に 物体の外にあるかどうかを調べる。そうでなければ、ステップ 2 2において所定の方法で補填値を計箕し、ステップ 2 4で現プロ ックのサンブル値を置き換え、補填する。 なお、 隣接する過去の ブロックがステップ 1 8で補填された場合、ステップ 2 0におい て完全に物体の外にないと判断してもよい。
この処理を蕞後のブロックまで繰り返す （ステップ 2 6、 2 8 ) o
(実施例 1 2 )
図 2 0と図 2 1は捕填値の計箕方法についての模式図を示し ている。図 2 0は現ブロックと過去のブロックが水平方向に隣接 する場合である。 図 2 0 ( A ) では、 プロジク 1 3 2が現ブロジ クで、過去のプロック 1 3 0が過去のプロ "クである。各树目は 画像のサンプル （画素） を示す。プロック 1 3 0が完全に物体の 外にあるとし、現ブロック 1 3 2に含まれる有意なサンブル値 1 3 4、 1 3 6、 1 3 8、 1 4 0、 1 4 2、 1 4 4の平均値を求め て、過去のブロック 1 3 0の各树目に代入することによって補填 する。 図 20 (B ) では、 現ブロック 1 4 8の有意なサンブル値 1 5 0、 1 5 2、 1 54、 1 56を緣り返すことによって過去の ブロック 1 4 6 (完全に物体の外にあるとし）の各桝目を補填す る。 すなわち過去のプロック 14 6の第 1、 2、 3、 4行の桝目 をそれぞれサンブル値 1 5 0、 1 5 2、 1 54、 1 5 6で代入す る。 また図 2 0 (C)では現ブロック 1 60が完全に物体の外に あり、過去のブロック 1 5 8は物体の外にない場合について、過 去のプロック 1 5 8の有意なサンプル値 1 6 2、 1 64、 16 6、 1 6 8を繰り返し現ブロック 1 6 0の各桝目を補填する。
図 2 1は現プロックと過去のブロ "クが垂直方向に隣接する 場合を示す。 図 2 1 (A)では、 ブロック 1 7 2が現プロックで、 ブロック 1 7 0が過去のブロックである。各树目は画像のサンプ ル（画素） を示す。通去のプロ 'ンク 1 7 0が完全に物体の外にあ るとし、 現ブロック 1 7 2に含まれる有意なサンブル値 1 Ί 4、 1 7 6、 1 7 8、 1 8 0、 1 82、 1 84の平均値を求めて、 過 去のブロック 1 7 0の各桝目に代入することによって補填する。 図 2 1 (B) では、現ブロック 1 8 8の有意なサンプル値 1 9 0、 1 9 2、 1 94、 1 9 6を緣り返すことによって過去のプロ ック 1 8 6 (完全に物体の外にあるとし） の各桝目を補填する。 すなわち過去のブロック 1 8 6の第 1、 2、 3、 4列の桝目をそ れぞれ有意なサンプル値 1 96、 1 94、 1 9 2、 1 9 0で代入 する。
また図 2 1 (C)では現ブロック 1 9 8が完全に物体の外にあ り、過去のブロック 1 9 9は物体の外にない場合について、過去 のプロック 1 9 9の有意なサンブル値 1 1 00、 1 1 02、 1 1 04、1 106を繰り返し現ブロック 198の各桝目を補填する。 なお、 簡単化するために 4 X 4のプロックについて説明したが、 NxN (N=任意の整数） のプロソクについても同様である。 (実施例 13)
図 22は図 19の流れ図にステ、ソプ 13を加えたものである。 すなわち、現ブロックが完全に物体の外にない場合、現プロソク に含まれる物体外の領域を補填する。 図 20 (A)の現ブロック 132には物体外の領域が含まれる例である。 サンブル 134、 136、 138、 140、 142、 144は物体内にある有意な サンブルで、 それ以外のサンプル （塗りつぷしのない桝目） は物 体外にある有意でないサンプルである。
これらの有意でないサンプルを補填するには、有意なサンブル の平均値で代入する方法がある。本実施例では境界にあるサンプ ル 134、 136、 144を水平 .垂直方向に繰り返し補填する。 補填値がふたつある場合、両補填値を平均する。ステ'ソブ 13に おける現プロックの補填により現プロジクのすべてのサンブル が一意の値が代入されるため、ステップ 18における過去のブロ ヅクの補填は、 図 20 (B) もしくは図 21 (B) に示すように 現プロックヒ通去のプロジクの境界にある現プロソクの有意な サンブル値を緣り返して補填することができる。なお、緣り返し の代わりに、 平均値を求めて代入してもよい。
(実施例 14 )
図 23は図 22において、 ステップ 15、 19、 21に水平方 向に隣接する過去のブロックを用いた処理に限定した場合の流 れ図を示す。図 23の処理にしたがって補填した画像 108の例 を図 2 4に示す。星の形状 1 1 0が有意な物体で、それ以外の部 分は有意でないサンブルで構成される。画像 1 0 8は 7 X 7のブ ロックに分割されている。ブロック 1 1 1 2と同じ模様で塗りつ ぷされたプロソクは図 2 3のステップ 1 3によって補填された ものである。ブロック 1 1 1 4と同じ模様で塗りつぶされたプロ ックは図 2 3のステップ 1 9もしくはステップ 2 4によって補 填されたものである。
図 2 3 と図 2 4を用いてこの実施例の補填方法を説明する。ま ずブロック 1 1 1 2について考える。ステップ 1 2において現ブ ロック 1 1 1 2は完全に物体の外にないため、ステップ 1 3で補 填される。ステップ 1 5において水平に隣接する過去のブロソク が完全に物体の外にないため、 なにもしない。
次にプロヅク 1 1 1 4について説明する。ステップ 1 2におい て現ブロジク 1 1 1 4は完全に物体の外にあるため、ステップ 2 1に進む。ここで水平に隣接する過去のブロックが完全に物体の 外にないので、それを参照してステップ 2 4において現プロック 1 1 1 4を補填する。
最後にブロジク 1 1 1 6について考える。ステップ 1 2におい て現プロソク 1 1 1 6は完全に物体の外にあるため、ステジブ 2 1に進む。ここで水平に隣接する過去のプロック 1 1 1 5が完全 に物体の外にないので、それを参照してステップ 2 4において現 ブロック 1 1 1 6を補填する。
次にプロソク 1 1 1 7になるとき、ステップ 1 2において現ブ 口、ソク 1 1 1 7は完全に物体の外にないため、ステップ 1 3で補 填され、ステップ 1 5において水平に隣接する過去のブロック 1 1 16は完全に物体の外にあるためステップ 19で補填去れる。 すなわち、ブロック 1 1 16は二回補填されることになる。複数 の補填値がある場合、 これらの補填値を平均化する。 なお、複数 の補填値がある場合、その中の一つを選んで補填することも可能 である。 このようにして、画像 108の物体を水平方向に拡張し て補填することができた。
また、図 23のステップ 15、 19と 21の処理を水平から垂 直に変更すると図 25に示される垂直方向に拡張補填した画像 が得られる。 また、 水平と垂直と組み合わせて処理すれば、 図 2 6のように水平 ·垂直方向に拡張補填した画像が得られる。この 場合二回以上補填される場合、複数の補填値のすべてまたは一部 を平均化する。 なお、 複数の補填侯補がある場合、処理の頋番に おいて最近の侯補で補填してもよい。
本発明のデジタル画像補填方法を画像符号化'復号化装置に速 応した場合の実施例について以下に説明する。
(実施例 15)
図 27は本発明の実施例 15によるデジタル画像符号化装置 を示し、図 27において 20 1は入力端子、 202は第一加算器、 203は符号化器、 204は離散コサイン変換器 （DCT) 、 2 05は量子化器、 206は出力媸子、 207は復号化器、 208 は逆量子化器、 209は逆離散コサイン変換器 （ I DCT) 、 2 10は第二加算器、 21 1は可変長符号化器 （VLC) 、 2 12 は補填器、 2 13はフレームメモリ、 214は動き検出器、 2 1 5は動き補儍器である。
以上のように構成されたデジタル画像符号化装置について、以 下、その動作を述べる。任意形状をもつ画像を入力端子 20 1に 入力する。入力した画像を複数の隣接する領域の分割する。本実 施例では、 8 x 8または 16 x 16のサンブルからなるプロゾク に分割するが、 任意の形状でもよい。
例として図 24を参照されたい。符号化の対象となるブロック をライン 225を経由し動き検出器 2 1 に入力する。同時にフ レームメモリ 2 13に格納してある過去の再生函像（以下、参照 画像と呼ぶ） を動き検出器 214に入力し、ブロックマ ジチング などの方法で対象ブロックに対し誤差の最も小さい予測信号を 与える動き変位情報 （以下、動きべクトルと呼ぶ） を求めて出力 する。
この動きべクトルを勅き補償器 2 15に送り、そこで、参照画 像から予測ブロックを生成しする。動きべクトルはまたライン 2 28を経由し VLC (2 1 1) に送り可変長符号に変換する。対 象ブロックと予測ブロックとを第一加算器 202に送り差分を とり残差ブロックを生成する。残差ブロックを符号化器 203に て、 圧縮される。 本実施例でば、 DCT ( 204 ) および量子化 器 205によって圧縮される。
量子化されたデータを VLC (2 1 1 )に送り可変長符号化に 変換し、動きベクトルを含むその他のサイ ド情報と共に出力嫋子 206に出力する'。
—方、 圧縮されたデータを復号化器 207に送り、 伸長する。 本実施例では逆量子化器 208で逆量子化し、 I DCT (20 9) で空間領域のデータに伸長する。 伸長した残差ブロックに、 ライン 227を経由し送られる予測ブロックを加箕し、再生プロ ソクを生成する。 この再生ブロックを補填器 2 1 2に入力し、実 施例 1 1で説明した補填方法で、再生ブ口 "クの有意でないサン ブル値を置換し補填する。補填した再生プロックをフレームメモ リ 2 1 3に格納する。なお、図示されていないがサンプル値が有 意か否かを示すには、形状信号をあらかじめ符号化 *復号化した ものを参照する。
フレームメモリ 2 1 3に格納される補填した画像はたとえば 図 2 4、 2 5、 2 6のようになる。補填した掘像をライン 2 2 4 を経由し動き検出器 2 1 4と動き補儐器 2 1 5に送る。本実施例 では、 動き検出と動き補儐の範囲を補填した領域內 （図 2 4、 2 5、 2 6では塗りつぶし領域） に制限する。 すなわち補填した領 域以外のサンブルをアクセスしない。
図 2 8は図 2 7の画像符号化装置に記録器 2 2 9を接铳した 画像符号化装置である。 V L C ( 2 1 1 ) によって可変長符号化 されたデータを記録器 2 2 9を経由し磁気メディア（テープゃデ イスク） 、 光ディスクなどの記録媒体に記録する。
このように、物体の境界領域に隣接する頜域を補填することに より、 動き検出 ·動き補僂の範囲が広くなり、動き大きな画像に 対しても残差の少ない予測プロジクが得られる。また、本発明の 補填方法は領域 （ブロック） ごとに行うので、 遅延時間や演算量 を抑えることができる。
なお、本実施例では離散コサイン変換を用いたが、形状適応離 散コサイン変換やサブバンドゃウェアブレジ 卜を用いた場合で も同じである。
(実施^ 1 6 ) 図 2 9本発明の実施例 1 6によるデジタル画像複号化装置を 示し、図 2 9において 3 0 1は入力端子、 3 0 2はデータ解析器、 3 0 3は復号化器、 3 0 4は逆量子化器、 3 0 5は I D C T、 3 0 6は加箕器、 3 0 7は出力端子、 3 0 8は補填器、 3 0 9はフ レームメモリ、 3 1 0は動き補儻器である。
以上のように構成されたデジタル画像復号化装置について、以 下、その動作を述べる。圧縮符号化されたデータを入力端子 3 0 1に入力し、データ解析器 3 0 2にてデータを解析する。圧縮さ れた残差ブロックのデータをライン 3 1 2を経由して複号化器 3 0 3に出力し、動きベクトルをライン 3 1 8を経由し動き補儐 器 3 1 0に出力する。復号化器 3 0 3では、圧縮残差ブロックを 伸長し、 伸長残差ブロックに復元する。本実施例では、 逆量子化 器 3 0 4で逆量子化し、 逆離散コサイン変换 I D C T ( 3 0 5 ) で周波数領域信号を空間領域信号に変換する。動きベクトルをラ イン 3 1 8を経由し動き補倂器 3 1 0に入力する。
動き補儐器 3 1 0では、動きベクトルをもとに、フレームメモ リ 3 0 9をアクセスするためのアドレス生成し、フレームメモリ 3 0 9に格納される画像から予測ブロックを生成する。生成され た予測ブロックと伸長した残差プロックを加算器 3 0 6に入力 し、加算することにより再生プロックを生成する。再生プロ "ク を出力端子 3 0 7に出力すると同時に補填器 3 0 8に入力し、実 施例 1 1に説明した補填方法で再生された画像を補填し、フレー ムメモリ 3 0 9に格納する。
(実施例 1 7 )
図 3 0は本発明の実施例 1 Ίによるデジタル画像符号化装置 を示す。基本構成は図 2 7と同じである。補填器 2 1 2の代わり に初期化器 2 3 0を用いる。画像をフレームメモリ 2 1 3に書き 込む前に、初期化器 2 3 0によってフレームメモリ 2 1 3に所定 の初期化値で初期化する。初期化したフレームメモリ 2 1 3に第 二加算器 2 1 0から出力された再生ブロックを書き込む。初期化 値として固定の値を用いてもよい。または、過去に再生された函 像の有意なサンプル値の平均値を用いてもよい。
図 3 1は図 3 0の画像符号化装置に記録器 2 2 9を接続した ものである。 V L C ( 2 1 1 ) によって可変長符号化されたデ —タを記録器 2 2 9を経由し磁気メディア（テープやディスク）、 光ディスクなどの記録媒体に記録する。
(実施例 1 8 )
図 3 2は本発明の実施例 1 8によるデジタル画像複号化装置 を示す。墓本構成は図 2 9と同じである。補填器 3 0 8の代わり に初期化器 3 2 0を用いる。画像をフレームメモリ 3 0 9に書き 込む前に、初期化器 3 2 0によってフレームメモリ 3 0 9に所定 の初期化値で初期化する。初期化したフレームメモリ 3 0 9に加 算器 3 0 6から出力された再生ブロックを書き込む。初期化値と して固定の値を用いてもよい。または、過去に再生された画像の 有意なサンプル値の平均値を用いてもよい。 産業上の利用可能性
本発明は、簡単な補填方法で、動き補係した小領域または再生 した小領域の単位で補填することにより、演算量を大幅に削滅で きる。捕填の範囲は小領域に閉じているので、全画面を渡って補 填するよりも遅延時間が短縮できる。また、境界領域だけでなく 、 境界領域に隣接する有意でないサンブル値のみからなる領域を 補填し、 それを用いて動き検出 ·動き補儐するために、 動きの大 きな画像に対して、差分の小さい予測信号が得られる。 これらの 要因により、任意形状の画像の予測符号化 *復号化は効率よく行 われる効果をもたらす。

Claims

請 求 の 範 囲
1. 物体を表す画像情報を含むデジタル画像データにおいて、 前 記画像を互いに降接する複数の領域に分割し、 前記物体形状 の境界を含む領域の有意でないサンプル値を、 前記有意でな い.画素値の近傍の有意である画素値を鬨数変換して補填す る、 デジタル画像補填方法。
2. 有意でない画素値を補填する有意である画素値を閧数変換 して補填する有意でない画素値が、 前記有意である画素値に 降接する請求項 1記載のデジタル画像補填方法
3. 物体形状の境界を含む領域の近傍の領域であって有意でな いサンプル値のみからなる無効領域を、 前記物体形状の境界 を含む領域の有意である函素値を閧数変換して補填する請 求項 1記載のデジタル画像補填方法 -
4. 画素毎に画素値が有意であるかどうかを示す有意信号とか ら構成される画像信号を入力信号とし、 既に復号された画像 信号から前記入力信号に対する予測画像信号を生成する予 測画像生成手段と、 前記画像信号で有意でない画素を、 その 近傍の有意である画素値から所定の関数を用いて生成した 画素値で補填して出力する画素値生成手段と、 前記画素値生 成手段の出力から前記予測画像生成手段の出力を滅箕する 滅算手段と、前記滅算手段の出力を符号化する符号化手段と、 前記符号化手段からの出力を復号化する複号化手段と、 前記 複号化手段からの出力と前記予測画像生成手段からの出力 を加算する加算手段と、 前記加算手段の出力を前記予測画像 生成手段で使用するために一時的に記憧する記憧手段とを 有し、 前記符号化器出力を画像符号化装置の出力とする画像 符号化装置。
5. 画素値生成手段が、 物体形状の境界に隣接する有意でないサ ンブル値のみからなる無効領域を補填することを特徴とす る請求項 4記載の画像符号化装置。
6. 入力信号を復号化する復号化手段と、 既に復号化された画像 信号から前記入力信号に対する予測画像信号を生成する予 測画像生成手段と、 前記予測画像信号で有意である画素値か ら所定の関数を用いて画素値を生成し、 前記予測画像信号の 有意でない画素の画素値を前記画素値で置換して出力する 画素値生成羊段と、 前記復号化手段からの出力と前記画素値 生成手段からの出力を加算する加算手段と、 前記加算手段の 出力を前記予測画像生成手段で使用するために一時的に記 僮する記億手段を有し、 前記加算手段の出力を画像復号化出 力とするデジタル画像復号化装置。
7. 画素値生成手段が物体形状の境界に隣接する有意でないサ ンブル値のみからなる無効領域を補填することを特徴とす る請求項 6記載のデジタル画像復号化装置。
8. 第一補填処理と第二補填処理とを具備し、 前記第一補填処理 にて、 有意と有意でないサンブル値から構成する任意形状の 画像のサンブルを第一方向にしたがって走査し、 前記第一方 向において、 所定の方法で選択した有意なサンプル値を有意 でないサンブルの値とし第一補填画像を生成し、 前記第二補 填処理にて、 有意と有意でないサンプル値から構成する前記 第一補填画像の各サンプルを第二方向にしたがって走査し、 前記第二方向において、 前記所定の方法で選択した有意なサ ンブル値または前記第一補填処理で補填したサンプル値を 用いて、 前記第一補填画像の有意でないサンブルの値とする ことを特徴とする画像補填方法。
9. 第一補填処理と第二補填処理とを具備し、 前記第一補填処理 にて、 有意と有意でないサンプル値から構成する任意形状の 画像のサンプルを第一方向にしたがって走査し、 前記第一方 向において最も近い位置にある有意なサンブル値を有意で ないサンプル値とし第一補填画像を生成し、 前記第二補填処 理にて、 有意と有意でないサンブル値から構成する前記第一 補填函像の各サンブルを第二方向にしたがって走査し、 前記 第二方向において最も近い位置にある、 有意なサンブル値ま たは前記第一補填処理で補填したサンブル値を用いて、 前記 第一補填画像の有意でないサンブルの値とすることを特徴 とする画像補填方法。
10.第二方向が第一方向と直交することを特徴とする請求項 1 と 2のいずれに記載の画像補填方法。
11.第一補填処理と第二補填処理と第三補填処理と第四補填処 理とを具備し、 前記第一補填処理にて、 有意と有意でないサ ンブル値から構成する任意形状の画像のサンブルを第一方 向にしたがって走査し、 前記第一方向において、 所定の方法 で選択した有意なサンブル値を有意でないサンプルの値と し第一補填画像を生成し、 前記第二補填処理にて、 有意と有 意でないサンブル値から構成する前記第一補填画像の各サ ンブルを第二方向にしたがって走査し、 前記第二方向におい て、 前記所定の方法で選択した有意なサンプル値または前記 第一補填処理で補填したサンプル値を用いて、 前記第一補填 画像の有意でないサンプルの値とし第二補填画像を生成し、 前記第 Ξ補填処理にて、 前記任意形状の画像のサンプルを第 三方向にしたがって走査し、 前記第三方向において、 前記所 定の方法で選択した有意なサンプル値を有意でないサンプ ルの値とし第三補填画像を生成し、 前記第四補填処理にて、 前記第三補填画像の各サンブルを第四方向にしたがって走 査し、 前記第四方向において、 前記所定の方法で選択した有 意なサンプル値または前記第三補填処理で補填したサンブ ル値を用いて、 前記第三補填画像の有意でないサンブルの値 とし第四補填画像を生成し、 前記第二補填画像と前記第四補 填画像とを平均することを特徴とする画像補填方法。
12.第一補填処理と第二補填処理と第三補填処理とを具備し、 前 記第一補填処理にて、 有意と有意でないサンブル値から構成 する任意形状の画像のサンブルを第一方向にしたがって走 査し、 前記第一方向において、 所定の方法で選択した有意な サンプル値を有意でないサンブルの値とし第一補填画像を 生成し、 前記第二補填処理にて、 前記任意形状の画像の各サ ンプルを第二方向にしたがって走査し、 前記第二方向におい て、 前記所定の方法で選択した有意なサンブル値を有意でな いサンプルの値とし第二補填画像を生成し、 前記第一補填画 像と前記第二捕填画像とを平均化し第三補填画像を生成し、 その際前記第一補填画像と前記第二補填画像の両方に補填 値または有意な値がある場合、 両方の値を平均化し前記第三 補填画像のサンプル値とし、 前記第一補填画像と前記第二補 填画像のいずれにしか有意な補填値がない場合、 前記有意な 補填値を前記第三補填画像のサンプル値とし、 前記第一補填 画像と前記第二補填画像のいずれにも有意な補填値がない 場合、 前記第三補填画像のサンブルを有意でないサンプルと し、 前記第三補填処理にて、 前記第三捕填画像の有意でない サンプルについて、 前記有意でないサンブルに周辺にある有 意なサンブル値を平均化し、 前記有意でないサンプルの値と することを特徴とする画像補填方法。
13.互いに隔離されている有意なサンブルの集合を N個 （N = 1、 2、 3、 4 ··· ) もつ任意形状の画像に対し、 前記 N個の集合 を囲む N個の領域に分割し、 第 m個 （m = 1、 2、 …、 N ) の領域について、 囲まれる前記有意なサンブルの集合の値を 用いて所定の方法で生成した補填値を、 有意でないサンブル の値とすることを特徴とする画像補填方法。
14.任意形状の画像を複数の領域に分割し、 少なく とも一つ有意 でないサンプルを含む対象領域に対し、 前記対象領域の有意 なサンプルから所定の方法で補填値を生成し、 前記対象領域 の有意でないサンプルの値とすることを特徴とする画像補 填方法。
15.任意形状の画像を複数の領域に分割し、 有意なサンブルを一 つも含まない対象領域に対し、 所定の補填値で前記対象領域 を補填することを特徴とする画像補填方法。
16.入力手段と、 第一補填器と、 予測画像生成器と、 第二補填器 と、 第一加算器と、 符号化器と、 復号化器と、 第二加算器と、 フレームメモリとを具備し、 前記入力手段に任意形状画像を 入力し、 前記第一補填器にて第一方法で求められた補填値で、 前記任意形状画像に含まれる有意でないサンブルを補填し、 補填入力画像を生成し、 前記予測生成器にて、 前記フレーム メモリから予測画像を生成し、 前記第二補填器にて第二方法 で求められた補填値で、 前記予測画像に含まれる有意でない サンプルを補填し、 補填予測画像を生成し、.前記第一加算器 に前記対象補填画像と、 前記補填予測画像とを入力、 差分画 像を生成し、 前記符号化器に前記差分画像を入力し、 所定の 方法で圧縮差分画像に圧縮し、 前記復号化器に前記圧縮差分 画像を入力し、 所定の方法で伸長差分画像に復元し、 前記第 二の加算器に前記伸長差分画像を入力し、 前記補填予測画像 を加算し、 再生領域を生成し、 前記フレームメモリに格納す るデジタル画像符号化装置。
17.入力手段と、 第一補填器と、 予測画像生成器と、 第二補填器 と、 第一加算器と、 符号化器と、 復号化器と、 第二加算器と、 フレームメモリ とを具備し、 前記入力手段に任意形状画像を 入力し、 前記予測生成器にて、 前記フレームメモリから予測 画像を生成し、 前記第一補填器にて所定の方法で求められた 補填値で、 前記予測画像に含まれる有意でないサンプルを補 填し、 補填予測画像を生成し、 前記第二補填器にて前記所定 の方法で求められた補填値で、 前記任意形状画像に含まれる 有意でないサンプルを補填し、 補填入力画像を生成し、 前記 第一加算器に前記対象補填画像と、 前記補填予測画像とを入 力、 差分画像を生成し、 前記符号化器に前記差分画像を入力 し、 所定の方法で圧縮差分画像に圧縮し、 前記復号化器に前 記圧縮差分画像を入力し、 所定の方法で伸長差分画像に復元 し、 前記第二の加算器に前記伸長差分画像を入力し、 前記補 填予測画像を加算し、 再生領域を生成し、 前記フレームメモ リに格納することを特徴とするデジタル画像符号化装置。
18.入力手段と、 データ解析器と、 復号化器と、 加算器と、 予測 画像生成器と、 補填器と、 フレームメモリとを具備し、 前記 入力手段に圧縮符号化データを入力し、 前記デーダ解析器に て、 前記圧縮符号化データを分析し、 圧縮差分信号を出力し、 前記復号化器にて、 前記圧縮差分信号を伸長差分信号に復元 し、 前記予測画像生成器にて、 前記フレームメモリから予測 信号を取得し、 前記補填器にて、 所定の方法で前記予測信号 に含まれる有意でないサンブル値を補填し、 補填予測信号を 生成し、 前記加算器にて、 前記伸長差分信号と前記補填予測 信号とを加算し、 再生信号を生成し出力すると同時に、 前記 フレームメモリに格納することを特徴とするデジタル画像 復号化装置。
19.入力手段と、 第一加算器と、 符号化器と、 複号化器と、 第二 加算器と、 補填器と、 フレームメモリ とを具備し、 前記入力 手段に任意形状画像を入力し、 前記第一加算器に前記任意形 状画像と、 前記フレームメモリからの予測画像を入力、 差分 画像を生成し、 前記符号化器に前記差分画像を入力し、 所定 の方法で圧縮差分画像に圧縮し、 前記復号化器に前記圧縮差 分画像を入力し、 所定の方法で伸長差分画像に復元し、 前記 第二の加算器に前記伸長差分画像を入力し、 前記予測画像を 加算し、 再生画像を生成し、 前記補填器に前記再生画像を入 力し、 所定の方法で前記再生画像に含まれる有意でないサン プル値を補填し、 前記フレームメモリに格納することを特徴 とするデジタル画像符号化装置。
20.入力手段と、 データ解析器と、 復号化器と、 加算器と、 補填 器と、 フレームメモリ とを具備し、 前記入力手段に圧縮符号 化データを入力し、 前記データ解析器にて、 前記圧縮符号化 データを分析し、 圧縮差分信号を出力し、 前記復号化器にて、 前記圧縮差分信号を伸長差分信号に復元し、 前記加箕器にて、 前記伸長差分信号と、 前記フレームメモリから取得した予測 信号とを加算し、 再生信号を生成し出力すると同時に、 前記 補填器にて、 所定の方法で前記再生信号に含まれる有意でな いサンブル値を補填し、 前記フレームメモリに格納すること を特徴とするデジタル画像復号化装置。
21.入力手段と、 データ解析器と、 複号化器と、 加算器と、 予測 画像生成器と、 第一補填器と、.第二補填器と、 フレームメモ リ とを具備し、 前記入力手段に圧縮符号化データを入力し、 前記データ解析器にて、 前記圧縮符号化データを分析し、 圧 縮差分信号を出力し、 前記複号化器にて、 前記圧縮差分信号 を伸長差分信号に復元し、 前記予測画像生成器にて、 前記フ レームメモリから予測信号を取得し、 前記第一補填器にて、 第一の方法で前記予測信号に含まれる有意でないサンブル 値と補填し、 補填予測信号を生成し、 前記加算器にて、 前記 伸長差分信号と前記補填予測信号とを加算し、 再生信号を生 成し出力すると同時に、 前記第二補填器にて、 第二の方法で 前記再生信号に含まれる有意でないサンプル値を補填し、 前 記フレームメモリに格納することを特徴とするデジタル画 像復号化装置。
22.デジタル画像復号化において、 第一の画像内容を有する対象 画像を入力し、 第二の画像内容を有する予測画像データを生 成し、 前記予測画像を補填する際に、 前記第一の画像の内容 に応じて、 前記予測画像の有意でない領域の補填範囲を変更 するデジタル画像補填方法。
23.予測画像の有意でない領域の補填範囲が、 第二の画像の有意 でない領域と第一の画像の有意である領域とが重なる領域 である請求項 2 2記載のデジタル画像補填方法。
24.入力手段と、 データ解析器と、 復号化器と、 加算器と、 予測 画像生成器と、 補填器と、 フレームメモリ とを具備し、 前記 入力手段に圧縮符号化データを入力し、 前記データ解析器に て、 前記圧縮符号化データを分析し、 圧縮差分信号を出力し、 前記復号化器にて、 前記圧縮差分信号を伸長差分信号に復元 し、 前記予測画像生成器にて、 前記フレームメモリから予測 信号を取得し、 前記補填器にて、 所定の方法で前記予測信号 に含まれる有意でないサンプル値を補填し、 補填予測信号を 生成し、 前記加算器にて、 前記伸長差分信号と前記補填予測 信号とを加算し、 再生信号を生成し出力すると同時に、 前記 フレームメモリに格納するデジタル画像復号化装置であつ て、 前記補填器では、 前記予測信号の補填範囲を前記再生信 号の有意なサンブルの領域に限定することを特徴とするデ ジタル画像復号化装置。
25.入力手段と、 データ解析器と、 複号化器と、 加算器と、 予測 画像生成器と、 補填器と、 フレームメモリとを具備し、 前記 入力手段に圧縮符号化データを入力し、 前記データ解析器に て、 前記圧縮符号化データを分析し、 圧縮差分信号を出力し、 前記復号化器にて、 前記圧縮差分信号を伸長差分信号に復元 し、 前記予測画像生成器にて、 前記フレームメモリから予測 信号を取得し、 前記補填器にて、 所定の方法で前記予測信号 に含まれる有意でないサンブル値を補填し、 補填予測信号を 生成し、 前記加算器にて、 前記伸長差分信号と前記補填予測 信号とを加算し、 再生信号を生成し出力すると同時に、 前記 フレームメモリに格納するデジタル画像復号化装置であつ て、 前記予測信号に含まれるサンブルがすべて有意でない場 合、 前記予測信号に隣接する有意なサンプル値を用いて所定 の方法で求められた補填値で捕填することを特徵とするデ ジタル画像復号化装置。
26.入力手段と、 データ解析器と、 復号化器と、 加算器と、 補填 器と、 フレームメモリとを具備し、 前記入力手段に圧縮符号 化データを入力し、 前記データ解析器にて、 前記圧縮符号化 データを分析し、 圧縮差分信号を出力し、 前記復号化器にて、 前記圧縮差分侰号を伸長差分信号に復元し、 前記加算器にて、 前記伸長差分信号と、 前記フレームメモリから取得した予測 信号とを加算し、 再生信号を生成し出力すると同時に、 前記 補填器にて、 所定の方法で前記再生信号に含まれる有意でな いサンブル値を補填し、 前記フレームメモリに格納するデジ タル画像復号化装置であって、 前記再生信号に含まれるサン ブルがすべて有意でない場合、 前記再生信号に隣接する有意 なサンプル値を用いて所定の方法で求められた補填値で補 填することを特徴とするデジタル画像復号化装置。
27.任意形状のデジタル画像を複数の領域に分割し、 前記複数の 領域を所定の頫番で処理し、 形状の境界に位置する境界領域 に隣接する有意でないサンプル値のみからなる無効領域を、 所定の方法で求められた補填値で補填することを特徴とす るデジタル画像の捕填方法。
28.任意形状のデジタル画像を複数の領域に分割し、 前記複数の 領域を所定の順番で処理し、 形状の境界に位置する境界領域 に隣接する有意でないサンプル値のみからなる無効領域を、 前記境界領域の有意なサンプル値を用いて所定の閧数で求 められた補填値で補填することを特徴とするデジタル画像 の補填方法。
29.任意形状のデジタル画像を複数の領域に分割し、 前記複数の 領域を所定の順番で処理し、 形状の境界に位置する境界領域 の有意でないサンブル値を第一閧数で求められた第一補填 値で補填し、 前記境界領域に瞬接する有意でないサンプル値 のみからなる無効領域を、 前記補填した境界領域のサンブル 値を用いて第二閧数で求められた第二補填値で補填するこ とを特徴とするデジタル画像の補填方法。
30.境界領域に対し水平方向に降接する有意でないサンプル値 のみからなる無効領域を補填することを特徴とする請求項 2 7から 2 9のいずれに記載のデジタル画像の補填方法。
31.境界領域に対し垂 ί [方向に隣接する有意でないサンブル値 のみからなる無効領域を補填することを特徴とする請求項
2 7から 2 9のいずれに記載のデジタル画像の補填方法。
32.補填値が複数ある場合、 前記複数の補填値を平均化して捕填 値として用いることを特徴とする請求項 2 7から 2 9のい ずれに記載のデジタル画像補填方法。
33.任意形状のデジタル画像を複数の領域に分割し、 前記複数の 領域を所定の頫番で処理し、 形状の境界に位置する境界領域 に隣接する有意でないサンプル値のみからなる無効領域を、 所定の方法で求められた補填値で補填するデジタル画像の 補填方法であって、 対象領域が無効領域でない場合、 前記所 定の顆番において前記対象領域に隣接する過去の領域が無 効領域であれば、 前記過去の領域を、 所定の方法で求められ た補填値で補填し、 対象領域が無効領域である場合、 前記所 定の順番において前記対象領域に隣接する過去の領域が無 効領域でなければ、 前記対象領域を、 所定の方法で求められ た補填値で補填することを特徴とするデジタル画像の補填 方法。
34.任意形状のデジタル画像を複数の領域に分割し、 前記複数の 領域を所定の顆番で処理し、 形状の境界に位置する境界領域 に隣接する有意でないサンプル値のみからなる無効領域を、 所定の方法で求められた補填値で補填するデジタル画像の 補填方法であって、 対象領域が無効領域でない場合、 前記所 定の頫番において前記対象領域に隣接する過去の領域が無 効領域であれば、 前記過去の領域を、 前記対象領域の有意な サンプル値を用いて所定の関数で求められた補填値で補填 し、 対象領域が無効領域である場合、 前記所定の順番におい て前記対象領域に隣接する過去の領域が無効領域でなけれ ば、 前記対象領域を、 前記過去の領域の有意なサンプル値を 用いて所定の閧数で求められた補填値で補填することを特 微とするデジタル画像の補填方法。
35.任意形状のデジタル画像を複数の領域に分割し、 前記複数の 領域を所定の頫番で処理し、 形状の境界に位置する境界領域 に隣接する有意でないサンブル値のみからなる無効領域を、 所定の方法で求められた補填値で補填するデジタル画像の 補填方法であって、 対象領域が無効領域でない場合、 前記対 象領域に含まれる有意でないサンブル値を、 第一の閧数で求 められた補填値で代入し、 前記所定の照番において前記対象 領域に隣接する過去の領域が無効領域であれば、 前記過去の 領域を、 前記補填した対象領域のサンプル値を用いて第二の 関数で求められた補填値で補填し、 対象領域が無効領域であ る場合、 前記所定の順番において前記対象領域に隣接する過 去の領域が無効領域でなければ、 前記対象領域を、 前記退去 の領域のサンプル値を用いて前記第二の閧数で求められた 補填値で補填することを特徴とするデジタル画像の補填方 法。
36.境界領域に対し水平方向に隣接する有意でないサンブル値 のみからなる無効領域を補填することを特徴とする請求項 3 3から 3 5のいずれに記載のデジタル画像の補填方法。
37.境界領域に対し垂直方向に隣接する有意でないサンブル値 のみからなる無効領域を捕填することを特徴とする請求項 3 3から 3 5のいずれに記載のデジタル画像の補填方法。
38.補填値が複数ある場合、 前記複数の補填値を平均化して補填 値として用いることを特徴とする請求項 3 3から 3 5のい ずれに記載のデジタル画像補填方法。
39.入力手段と、 第一加算器と、 符号化器と、 復号化器と、 第二 加算器と、 補填器と、 フレームメモリ とを具備し、 前記入力 手段に任意形状のデジタル画像を入力し、 前記デジタル画像 を互いに隳接する複数の領域に分割し、 前記複数の領域を対 象領域とし所定の頫番で処理し、 前記第一加算器に前記対象 領域と、 前記フレームメモリからの予測領域を入力、 差分領 域を生成し、 前記符号化器に前記差分領域を入力し、 所定の 方法で圧縮差分領域に圧縮し、 前記復号化器に前記圧縮差分 領域を入力し、 所定の方法で伸長差分領域に復元し、 前記第 二の加算器に前記伸長差分領域を入力し、 前記予測領域を加 算し、 再生領域を生成し、 前記補填器に前記再生領域を入力 し、 所定の方法で前記再生領域に含まれる有意でないサンブ ル値を補填し、 前記フレームメモリに格納するデジダル画像 符号化装置であって、 前記補填器は請求項 2 7から 2 9及び 3 3から 3 5のいずれに記載の補填方法で補填することを 特徴とするデジタル画像符号化装置。
40.入力手段と、 データ解析器と、 復号化器と、 加箕器と、 補填 器と、 フレームメモリとを具備し、 前記入力手段に圧縮符号 化データを入力し、 前記データ解析器にて、 前記圧縮符号化 データを分析し、 圧縮差分信号を出力し、 前記復号化器にて、 前記圧縮差分信号を伸長差分信号に復元し、前記加算器にて， 前記伸長差分信号と、 前記フレームメモリから取得した予測 信号とを加算し、 再生信号を生成し出力すると同時に、 前記 補填器にて、 所定の方法で前記再生信号に含まれる有意でな いサンプル値を補填し、 前記フレームメモリに格納するデジ タル画像復号化装置であって、 前記補填器は請求項 2 7から 2 9及び 3 3から 3 5のいずれに記載の補填方法で補填す ることを特徴とするデジタル画像復号化装置。
41.入力手段と、 第一加算器と、 符号化器と、 複号化器と、 第二 加算器と、 フレームメモリとを具備し、 前記入力手段に任意 形状のデジタル画像を入力し、 前記デジタル画像を互いに降 接する複数の領域に分割し、 前記複数の領域を対象領域とし 所定の順番で処理し、 前記第一加算器に前記対象領域と、 前 記フレームメモリからの予測領域を入力、 差分領域を生成し、 前記符号化器に前記差分領域を入力し、 所定の方法で圧縮差 分領域に圧縮し、 前記復号化器に前記圧縮差分領域を入力し、 所定の方法で伸長差分領域に復元し、 前記第二の加算器に前 記伸長差分領域を入力し、 前記予測領域を加箕し、 再生領域 を生成し、前記フレームメモリを所定の初期化値で初期化し、 前記再生領域を前記初期化されたフレームメモリを上書き し格納することを特徴とするデジタル画像符号化装置。
42.所定の初期化値が符号化順番において過去の画像の有意な サンプル値の平均値であることを特徴とする請求項 4 1に 記載のデジタル画像符号化装置。
43.入力手段と、 データ解析器と、 復号化器と、 加算器と、 フレ —ムメモリ とを具備し、 前記入力手段に圧縮符号化データを 入力し、 前記データ解析器にて、 前記圧縮符号化データを分 折し、 圧縮差分信号を出力し、 前記複号化器にて、 前記圧縮 差分信号を伸長差分信号に復元し、 前記加算器にて、 前記伸 長差分信号と、 前記フレームメモリから取得した予測信号と を加算し、 再生信号を生成し出力すると同時に、 前記フレー ムメモリを所定の初期化値で初期化し、 前記再生信号を前記 初期化されたフレームメモリを上書きし格納することを特 徴とするデジタル画像復号化装置。
44.所定の初期化値が復号化頫番において過去の画像に含まれ る有意なサンプル値の平均値であることを特徴とする請求 項 4 3に記載のデジタル画像復号化装置。
PCT/JP1997/000117 1996-01-29 1997-01-21 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same WO1997028650A1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP52747897A JP3502392B2 (ja) 1996-01-29 1997-01-21 デジタル画像画素補填方法、及びそれを用いたデジタル画像符号化装置、画像復号化装置
DE1997628649 DE69728649T2 (de) 1996-01-29 1997-01-21 Verfahren zur ergänzung eines digitalen bildes mit bildelementen
AU14000/97A AU721588B2 (en) 1996-01-29 1997-01-21 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
CA 2244898 CA2244898C (en) 1996-01-29 1997-01-21 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US09/117,349 US6577771B1 (en) 1996-01-29 1997-01-21 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
EP97900471A EP0878966B1 (en) 1996-01-29 1997-01-21 Method for supplementing digital image with picture element

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP1254596 1996-01-29
JP8/12545 1996-01-29
JP15935296 1996-06-20
JP8/159352 1996-06-20
JP19872196 1996-07-29
JP8/198721 1996-07-29

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US09/117,349 A-371-Of-International US6577771B1 (en) 1996-01-29 1997-01-21 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US09117349 A-371-Of-International 1997-01-21
US09/826,453 Continuation US6591018B2 (en) 1996-01-29 2001-04-05 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US09/826,454 Continuation US6873736B2 (en) 1996-01-29 2001-04-05 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same

Publications (1)

Publication Number Publication Date
WO1997028650A1 true WO1997028650A1 (en) 1997-08-07

Family

ID=27279878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/000117 WO1997028650A1 (en) 1996-01-29 1997-01-21 Method for supplementing digital image with picture element, and digital image encoder and decoder using the same

Country Status (11)

Country Link
US (3) US6577771B1 (ja)
EP (3) EP1150516B1 (ja)
JP (1) JP3502392B2 (ja)
KR (2) KR100417507B1 (ja)
CN (1) CN1158875C (ja)
AU (1) AU721588B2 (ja)
CA (1) CA2244898C (ja)
DE (3) DE69726321T2 (ja)
ES (2) ES2211685T3 (ja)
MX (1) MX9806062A (ja)
WO (1) WO1997028650A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078694A (en) * 1996-10-24 2000-06-20 Matsushita Electric Industrial Co., Ltd. Image signal padding method, image signal coding apparatus, image signal decoding apparatus
US6233279B1 (en) 1998-05-28 2001-05-15 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
JP2009027563A (ja) * 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
US7822119B2 (en) 2003-12-26 2010-10-26 Ntt Docomo, Inc. Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
JP2018502480A (ja) * 2014-11-14 2018-01-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックのマスクベースの処理のためのシステムおよび方法
US10742976B2 (en) 2014-11-14 2020-08-11 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3644320B2 (ja) * 1999-09-17 2005-04-27 日本電気株式会社 制御コード読み込みシステム
US6952501B2 (en) * 2000-02-24 2005-10-04 Canon Kabushiki Kaisha Image processing apparatus, image encoding apparatus, and image decoding apparatus
US6774913B1 (en) * 2000-05-15 2004-08-10 International Business Machines Corporation System, method, and program for selectively merging partial objects
US7023922B1 (en) * 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
US6718066B1 (en) * 2000-08-14 2004-04-06 The Hong Kong University Of Science And Technology Method and apparatus for coding an image object of arbitrary shape
US20030099403A1 (en) * 2001-11-13 2003-05-29 Trusight Ltd. Image compression with dynamic programming
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
WO2006124885A2 (en) * 2005-05-12 2006-11-23 Kylintv, Inc. Codec for iptv
KR101370286B1 (ko) * 2007-04-06 2014-03-06 삼성전자주식회사 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
CN108293125B (zh) 2014-11-14 2020-08-07 华为技术有限公司 一种数字图像处理系统和方法
CN107945101B (zh) 2016-10-13 2021-01-29 华为技术有限公司 图像处理方法和装置
EP3340623B1 (en) * 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630397A (ja) * 1992-03-31 1994-02-04 Sony Broadcast & Commun Ltd 動きベクトル作成方法
JPH06351001A (ja) * 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
JPH08307871A (ja) * 1995-05-11 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> フレーム間予測方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975960A (en) * 1985-06-03 1990-12-04 Petajan Eric D Electronic facial tracking and detection system and method and apparatus for automated speech recognition
JPH01198884A (ja) 1987-10-14 1989-08-10 Toshiba Corp 画像伝送装置
US4951140A (en) 1988-02-22 1990-08-21 Kabushiki Kaisha Toshiba Image encoding apparatus
US5131053A (en) * 1988-08-10 1992-07-14 Caere Corporation Optical character recognition method and apparatus
JP2901656B2 (ja) * 1989-09-01 1999-06-07 株式会社日立製作所 画像符号化装置
JP2743208B2 (ja) 1990-03-19 1998-04-22 富士通株式会社 画像補完符号化装置
US5237425A (en) * 1991-09-06 1993-08-17 Xerox Corporation Ink compiler for a two color printer
US5546477A (en) * 1993-03-30 1996-08-13 Klics, Inc. Data compression and decompression
US5767911A (en) 1994-12-20 1998-06-16 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
US5717951A (en) 1995-08-07 1998-02-10 Yabumoto; Kan W. Method for storing and retrieving information on a magnetic storage medium via data blocks of variable sizes
US5692063A (en) 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630397A (ja) * 1992-03-31 1994-02-04 Sony Broadcast & Commun Ltd 動きベクトル作成方法
JPH06351001A (ja) * 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
JPH08307871A (ja) * 1995-05-11 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> フレーム間予測方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0878966A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078694A (en) * 1996-10-24 2000-06-20 Matsushita Electric Industrial Co., Ltd. Image signal padding method, image signal coding apparatus, image signal decoding apparatus
EP0838953A3 (en) * 1996-10-24 2004-01-07 Matsushita Electric Industrial Co., Ltd. Image signal padding method for coding/decoding purposes
US6233279B1 (en) 1998-05-28 2001-05-15 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
US7822119B2 (en) 2003-12-26 2010-10-26 Ntt Docomo, Inc. Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
US8238426B2 (en) 2003-12-26 2012-08-07 Ntt Docomo, Inc. Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
US8571102B2 (en) 2003-12-26 2013-10-29 Ntt Docomo, Inc. Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
JP2009027563A (ja) * 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
JP2018502480A (ja) * 2014-11-14 2018-01-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックのマスクベースの処理のためのシステムおよび方法
US10602186B2 (en) 2014-11-14 2020-03-24 Huawei Technologies Co., Ltd. Systems and methods for mask based processing of a block of a digital image
US10742976B2 (en) 2014-11-14 2020-08-11 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image
US11153564B2 (en) 2014-11-14 2021-10-19 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image

Also Published As

Publication number Publication date
AU721588B2 (en) 2000-07-06
EP1150516A3 (en) 2002-03-20
ES2218653T3 (es) 2004-11-16
EP0878966B1 (en) 2004-04-14
CN1158875C (zh) 2004-07-21
DE69728649D1 (de) 2004-05-19
US6591018B2 (en) 2003-07-08
US6577771B1 (en) 2003-06-10
DE69732865T2 (de) 2006-04-13
EP0878966A1 (en) 1998-11-18
EP1150515B1 (en) 2005-03-23
JP3502392B2 (ja) 2004-03-02
DE69728649T2 (de) 2005-05-12
ES2211685T3 (es) 2004-07-16
EP1150515A2 (en) 2001-10-31
KR19990082112A (ko) 1999-11-15
KR100386190B1 (ko) 2003-08-19
KR100417507B1 (ko) 2004-02-05
DE69726321T2 (de) 2004-09-16
EP1150515A3 (en) 2002-03-20
EP1150516B1 (en) 2003-11-19
DE69732865D1 (de) 2005-04-28
EP0878966A4 (en) 2001-03-07
US20030072367A1 (en) 2003-04-17
AU1400097A (en) 1997-08-22
CN1209934A (zh) 1999-03-03
US6873736B2 (en) 2005-03-29
CA2244898C (en) 2005-06-14
CA2244898A1 (en) 1997-08-07
DE69726321D1 (de) 2003-12-24
EP1150516A2 (en) 2001-10-31
US20010033695A1 (en) 2001-10-25
MX9806062A (es) 1998-11-30

Similar Documents

Publication Publication Date Title
WO1997028650A1 (en) Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
KR100306337B1 (ko) 디지털화상부호화방법및디지털화상부호화장치,디지털화상복호화방법및디지털화상복호화장치
US6233279B1 (en) Image processing method, image processing apparatus, and data storage media
JP3575508B2 (ja) 符号化動画像再生装置
KR100257614B1 (ko) 화상 신호의 보전 방법, 화상 신호 부호화 장치, 및 화상 신호복호화 장치
KR101717510B1 (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
WO1998034407A1 (en) Digital image replenishment method, image processing device and data recording medium
US5905846A (en) Image decoding apparatus and process thereof and image reproduction apparatus
JP3766686B2 (ja) テレビ画像サブバンド両立式符号化用のコーダ
KR100238829B1 (ko) 화상신호 처리장치 및 화상신호 처리방법
JPH06113291A (ja) 画像符号化及び復号化装置
KR100804338B1 (ko) 동화상 재생 방법 및 장치와 프로그램을 기록한 컴퓨터 판독가능 기록 매체
JP4526529B2 (ja) 階層画像を用いる映像信号変換装置
KR930006522B1 (ko) 영상신호의 대역압축 부호화장치
JP2891251B2 (ja) 画像符号化装置及び画像復号化装置
JP2001160971A (ja) デジタル画像符号化方法及びデジタル画像符号化装置，デジタル画像復号化方法及びデジタル画像復号化装置，並びにデータ記憶媒体
Hasegawa et al. Image data compression with nonuniform block segmentation and luminance approximation using bilinear curved surface patches
JPH10191339A (ja) 画像信号の補填方法及び画像信号復号化装置
JPH10191361A (ja) 画像信号の補填方法，画像信号符号化装置，及び画像信号復号化装置
JPH06292181A (ja) 画像信号再生装置
KR940006415A (ko) 화상신호 부호화 방법, 화상신호 복호화 방법, 화상신호 부호화 장치, 화상신호 복호화 장치 및 화상신호 기록매체
JPH02174371A (ja) 画像符号化方法
JPH10191349A (ja) 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、画像符号化プログラム記録媒体、及び画像復号化プログラム記録媒体
JPH0795530A (ja) 画像圧縮記録再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 97191907.0

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AU CA CN JP KR MX SG US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2244898

Country of ref document: CA

Ref document number: 2244898

Country of ref document: CA

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1997900471

Country of ref document: EP

Ref document number: PA/A/1998/006062

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 09117349

Country of ref document: US

Ref document number: 1019980705834

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1997900471

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019980705834

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019980705834

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1997900471

Country of ref document: EP