WO2004032521A1 - 画像符号化装置、画像復号化装置およびこれらの方法 - Google Patents

画像符号化装置、画像復号化装置およびこれらの方法 Download PDF

Info

Publication number
WO2004032521A1
WO2004032521A1 PCT/JP2003/012053 JP0312053W WO2004032521A1 WO 2004032521 A1 WO2004032521 A1 WO 2004032521A1 JP 0312053 W JP0312053 W JP 0312053W WO 2004032521 A1 WO2004032521 A1 WO 2004032521A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
picture
unit
field
signal
Prior art date
Application number
PCT/JP2003/012053
Other languages
English (en)
French (fr)
Inventor
Shinya Kadono
Satoshi Kondo
Kiyofumi Abe
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP03799117A priority Critical patent/EP1549077A4/en
Priority to KR1020087022232A priority patent/KR100984610B1/ko
Priority to BR0306560A priority patent/BR0306560A/pt
Priority to CA2468770A priority patent/CA2468770C/en
Priority to AU2003264543A priority patent/AU2003264543C1/en
Priority to US10/491,174 priority patent/US7864838B2/en
Publication of WO2004032521A1 publication Critical patent/WO2004032521A1/ja
Priority to US12/071,475 priority patent/US7933330B2/en
Priority to US13/043,730 priority patent/US8265150B2/en
Priority to US13/043,715 priority patent/US8194738B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image encoding device, an image decoding device, and a method thereof.
  • the present invention relates to a video encoding device and a video decoding device, and more particularly to a video encoding device, a video decoding device, and a method for performing motion prediction using a weighting coefficient.
  • multimedia in which voices, images, and other contents are handled in a uniform manner, has entered the era of conventional information media, that is, information such as newspapers, magazines, televisions, radios, and telephones that can be obtained from a single terminal. It is becoming possible to communicate.
  • multimedia refers to not only characters but also figures, sounds, and especially images, etc. associated with each other. It is essential that the information be represented in digital form.
  • the amount of information per character is 1-2 bytes for characters, whereas the amount of information per character is 1-2 bytes for voice.
  • Kbits (telephone quality) and video require more than 100 Mbits per second (current television reception quality)
  • videophones have already been put into practical use by the Integrated Services Digital Network (ISDN), which has a transmission rate of 64 KMts / s to 1.5 Mbits / s. It is impossible to send it by ISDN as it is. Therefore, information compression technology is required.
  • ISDN Integrated Services Digital Network
  • H.261 and H.263 standardized internationally by ITU-T (International Telecommunication Union Telecommunication Standardization Sector). Standard video compression technology is used. Also, according to the information compression technology of the MPEG-1 standard, it is possible to put image information together with audio information on a normal music CD (Compact 'disk).
  • MPEG Motion Picture Experts Group
  • MPEG-1 is used to transfer video signals up to 1.5 Mbps, that is, about 100 bits of TV signal information. It is a standard that compresses to one-half.
  • the transmission speed for the MP EG-1 standard is mainly limited to about 1.5 Mbps
  • the MP EG-2 which has been standardized to meet the demand for even higher image quality, uses moving images.
  • the signal is compressed to 2 to 15 Mbps.
  • the working group (ISO / IEC JTC1 / SC29 / WG11), which has promoted the standardization of MP EG-1 and MP EG-2, has achieved compression ratios higher than MP EG-1 and MP EG_2.
  • MP EG—4 which enables encoding-decoding operations on an object-by-object basis and realizes new functions required in the multimedia age, has been standardized (for example, MP EG_1, MP of ISO (International Organization for Standardization)) EG-2, MP EG-4 standard).
  • MPEG-4 not only enables highly efficient coding at low bit rates, but also introduces powerful error resilience technology that can reduce image quality degradation even if a transmission line error occurs.
  • ISO IEC and ITU are jointly promoting the standardization of MPEG-4 AVC / ITU II.264 as the next-generation image coding method.
  • a picture is a term representing one screen, and means a frame in a progressive image and a frame or a field in an interlaced image.
  • an interlaced image is an image in which one frame is composed of two fields with different times.
  • FIG. 1 is a diagram illustrating an example of a picture type and a reference relationship.
  • the hatched pictures represent pictures that are stored in the memory because they are referred to by other pictures.
  • the arrow in FIG. 1 indicates the direction from the referenced picture to the reference picture.
  • the arrangement of pictures is shown in display order.
  • I 0 is an intra-picture coded picture (I picture) and is a picture that is coded independently of other pictures (that is, without referring to other pictures).
  • P 4 (Picture 4) and P 7 (Picture 7) are forward predictive coded pictures (P pictures), which are predicted by referring to an I picture or another P picture located in the past in time. This is a picture to be transformed.
  • B 1 to B 3 (Picture 1 to: Picture 3)
  • B 5 Picture 5)
  • B 6 are bidirectional predictive coded pictures (B pictures. This is a picture for which predictive coding is performed by referring to another picture located.
  • FIG. 2 is a diagram illustrating another example of a picture type and a reference relationship.
  • Fig. 2 differs from Fig. 1 in that the temporal position of the picture referenced by the B picture is The point is that the picture is not necessarily limited to the pictures located before and after in time. For example,
  • any two pictures among I0 (Picture0), P3 (Picture3) and P6 (Picture6) can be referred to. That is, it is possible to refer to I 0 and P 3 located in the past in time.
  • This type of reference has already been approved in the MPEG-4 AVC / H.264 standard draft as of September 2001. As a result, the range for selecting a more appropriate predicted image is expanded as compared with the related art, and it is possible to improve the compression ratio.
  • FIG. 3 is a diagram illustrating an example of a stream structure of image data.
  • the stream is composed of a common information area such as a header and a GOP (Group Of Picture) area.
  • the GOP area includes a common information area such as a header and a plurality of picture areas.
  • the picture area includes a common information area such as a header and a plurality of slice data areas.
  • the slice data area includes a common information area such as a header and a plurality of macro block data areas.
  • a weight coefficient for performing weighting prediction described later is described according to the reference picture.
  • the header and the data other than the header are separated and transmitted separately. Is also good. In that case, the header part and the data part do not become one bit stream as shown in Fig. 3. However, in the case of a packet, even if the transmission order of the header part and the data part is not consecutive, only the header part corresponding to the corresponding data part is transmitted in another bucket, and one packet is transmitted. Even if it is not a stream, the concept is the same as for the bitstream described in Figure 3.
  • FIG. 4 is a schematic diagram in a case where the weighting prediction process is performed on a frame basis.
  • the pixel value Q of the predicted image corresponding to the current block to be encoded is the reference target in the i-th frame (Frame i) to be referenced.
  • the pixel value of the block is P 0, it can be calculated by a weighted prediction formula as shown in the following formula (1).
  • the pixel value Q of the predicted image is the reference target in the i-th and j-th frames (Frame i and Frame j) to be referenced.
  • the pixel values of the block are PO and P1
  • FIG. 5 is a schematic diagram in a case where the weighting prediction processing is performed on a field-by-field basis.
  • Fig. 5 (a) when referring to one frame (that is, two fields), the pixel values Qa and Qb of the predicted image corresponding to the current block to be encoded are referred to. Assuming that the pixel values of the reference target block in each of the fields 2Xi + 1 and 2Xi constituting the i-th frame (Frame i) are POa and POb, the following equations (3) and (4) are obtained. It can be calculated by a weighted prediction formula as shown. Also, as shown in Fig. 5 (b), when referring to two frames, the pixel values Qa and Qb of the predicted image are determined by referring to the ith and jth frames (Frame i and Frame j).
  • FIG. 6 is a block diagram showing a functional configuration of a conventional image encoding device 100.
  • the image encoding apparatus 100 performs compression encoding (for example, variable length encoding) of an input image signal Vin, and performs image encoding signal Str which is a bit stream converted by the compression encoding.
  • the image signal Vin is input to the subtraction unit Sub and the motion detection unit ME.
  • the subtraction unit Sub calculates a difference value between the input image signal Vin and the predicted image and outputs the difference value to the orthogonal transform unit T.
  • the orthogonal transform unit T converts the difference value into a frequency coefficient and outputs the frequency coefficient to the quantization unit Q.
  • the quantization unit Q quantizes the input frequency coefficient and outputs a quantized value to the variable length coding unit VLC.
  • the inverse quantization unit IQ inversely quantizes the quantized value to restore the frequency coefficient, and outputs the frequency coefficient to the inverse orthogonal transform unit IT.
  • the inverse orthogonal transform unit IT performs inverse frequency transform from the frequency coefficient to the pixel difference value and outputs the result to the addition unit Add. Power.
  • the addition unit Add adds the pixel difference value and the predicted image output from the motion compensation unit MC to form a decoded image.
  • the switch SW is turned “ON” when the storage of the decoded image is instructed, and the decoded image is stored in the picture memory PicMeni.
  • the motion detection unit ME in which the image signal Vin is input in units of macroblocks, searches for the decoded image stored in the picture memory PicMem, and detects the image area closest to the input image signal. Determines the motion vector MV indicating the position.
  • the detection of a motion vector is performed in units of a project obtained by further dividing a macroblock.
  • an identification number (picture number Index) for specifying the picture to be referenced is required for each block.
  • the reference picture can be specified by associating the picture number Index with the picture number of each picture in the picture memory PicMem.
  • the motion compensation unit MC extracts an image area necessary for generating a predicted image from the decoded image stored in the picture memory PicMem using the motion vector and the picture number Index detected by the above processing.
  • the motion compensation unit MC performs a pixel value conversion process such as an interpolation process by weighted prediction using a weight coefficient associated with the picture number Index on the obtained pixel value of the image region to obtain a final predicted image.
  • FIG. 7 is a block diagram schematically showing the functional configuration of the variable-length coding unit VLC in the conventional image coding apparatus 100 of FIG.
  • Variable-length coding unit VLC consists of MV coding unit 101, quantization value coding unit 102, weight coefficient coding unit 103, index coding unit 104, AFF identification information coding It comprises a unit 105 and a multiplexing unit 106.
  • the MV encoding unit 101 encodes the motion vector
  • the quantized value encoding unit 102 encodes the quantized value Qcoef.
  • the weight coefficient encoding unit 103 encodes the weight coefficient Weight
  • the index encoding unit 104 encodes the picture number Index.
  • the AFF identification information encoding unit 105 encodes the AFF identification signal AFF (the AFF identification signal AFF will be described later).
  • the multiplexing unit 106 includes an MV encoding unit 101, a quantized value encoding unit 102, a weight coefficient encoding unit 103, an index encoding unit 104, and an AFF identification information encoding unit 1.
  • the multiplexed signals output from 5 are multiplexed to output an image coded signal Str.
  • FIG. 8 is a block diagram showing a functional configuration of a conventional image decoding apparatus 200.
  • the image decoding device 200 is a device capable of decoding the image encoded signal Str encoded by the image encoding device 100, and includes a variable-length decoding unit VLD, a motion compensation unit MC, It has an addition unit Add, a picture memory PicMem, an inverse quantization unit IQ, and an inverse orthogonal transform unit IT.
  • variable length decoding unit VLD When the coded image signal Str is input, the variable length decoding unit VLD generates a motion difference vector MV coded from the input coded image signal Str, an index indicating a picture number, and a weight coefficient Weight. Is separated and output to the motion compensation unit MC. Further, the variable decoding unit VLD decodes the coded quantization value Qcoef included in the input image coded signal Str and outputs it to the inverse quantization unit IQ.
  • the motion compensation unit MC uses the motion vector output from the variable length decoding unit VLD and the picture number Index to calculate the image area necessary for generating a predicted image from the decoded image stored in the picture memory PicMem. Take out the area. Using the weighting factor Weight for the obtained image, A predicted image is generated by performing pixel value conversion processing such as interpolation processing based on weighted prediction.
  • the inverse quantization unit IQ inversely quantizes the quantized value to restore the frequency coefficient, and outputs the frequency coefficient to the inverse orthogonal transform unit IT.
  • the inverse orthogonal transform unit IT performs an inverse frequency transform from the frequency coefficient to the pixel difference value and outputs the result to the addition unit Add.
  • the addition unit Add adds the pixel difference value and the predicted image output from the motion compensation unit MC to obtain a decoded image.
  • This decoded image is stored in the picture memory PicMem when it is used for reference in subsequent inter prediction. This decoded image is output to the outside as a decoded image signal Vout.
  • FIG. 9 is a block diagram schematically showing a functional configuration of a variable-length decoding unit VLD in the conventional image decoding apparatus 200 shown in FIG.
  • variable-length decoding unit VLD consists of a demultiplexing unit 201, MV decoding unit 202, quantized value decoding unit 203, weight coefficient decoding unit 204, index decoding unit 205, and AF F identification.
  • a signal decoding unit 206 is provided.
  • the separation unit 201 separates the input coded image signal Str and converts the coded motion difference vector MV into the MV.
  • the decoding unit 202 encodes the encoded quantized value Qcoef into the quantized value decoding unit 203, and encodes the encoded weight coefficient Weight into the weight coefficient decoding unit 204.
  • the picture number Index is output to the index decoding unit 205, and the encoded AF F identification signal AFF (abbreviated as “AF F” in the following description) is output to the AFF identification signal decoding unit 206. I do.
  • the MV decoding unit 202 decodes the encoded difference vector and outputs a motion vector MV.
  • the quantization value decoding unit 203 converts the quantization value into the weight coefficient decoding unit 2 04 decodes the weight coefficient Weight
  • the index decoding unit 205 decodes the picture number Index
  • the AFF identification signal decoding unit 206 decodes and outputs the AFF.
  • the present invention has been made in view of the above problems, and has an image encoding method and an image encoding method capable of appropriately associating weight coefficients even when switching between a field and a frame in block units. It is intended to provide a decoding method. Disclosure of the invention
  • an image encoding device is an image encoding device that encodes an interlaced image in units of blocks, wherein a picture, which is a frame or a field that has been decoded after encoding, is encoded.
  • a storage means for storing the reference picture as a reference picture; and a frame weighting coefficient for reading out the reference picture from the storage means and coding it for each frame or a field weighting coefficient for coding it for each field.
  • a predictive picture generating means for generating a predictive picture from a pixel value of the picture; and a picture which is input in either a frame unit or a field unit.
  • a signal encoding unit that encodes a difference value from a predicted picture generated by the predicted picture generation unit in units of a block, and the signal encoding unit adaptively switches between a frame unit and a field unit in a block unit.
  • a weighting factor encoding unit that encodes only a frame weighting factor among the frame weighting factor and the field weighting factor, and a difference value encoded by the signal encoding unit and the weighting factor.
  • a multiplexing unit that multiplexes the frame weighting factor encoded by the encoding unit and outputs the multiplexed signal as an encoded signal.
  • the image coding apparatus can omit the field weighting factor and only the frame weighting factor when performing weighted prediction of a moving image, regardless of whether to switch the frame Z field in units of blocks. Is encoded and transmitted to the image decoding apparatus, so that transmission efficiency can be improved.
  • an image decoding device is an image decoding device that decodes an encoded signal related to a picture that is one frame or one field in units of blocks, A signal decoding unit that decodes the encoded signal in a frame unit or a field unit when the encoded signal is encoded while being adaptively switched to one of a frame unit and a field unit; and A storage unit for storing a decoded picture; and a frame weight for decoding in a frame unit when the coded signal is encoded while being adaptively switched to a frame unit or a field unit.
  • a coefficient is extracted from the coded signal, and a field weight coefficient for decoding in field units is set to the frame weight ⁇ And et generated, the extracted predictive picture generating hand to generate a predictive picture from the pixel values of the decoded picture stored in the storage means by using the frame weighting factor and the raw form said field weighting coefficients And a step of adding a picture obtained by decoding by the signal decoding means and a predicted picture generated by the predicted picture generating means, outputting the added picture as a decoded picture, and storing the decoded picture in the storage means. And addition means for performing the addition.
  • the image decoding apparatus generates a field weighting factor from a frame weighting factor even when frame / field switching is performed in block units and a field weighting factor is not received. Therefore, it is possible to adaptively switch the frame / field and to improve the transmission efficiency.
  • an image encoding method is an image encoding method for encoding an interlaced input image with reference to a decoded image.
  • a predicted image is generated using a weighted prediction equation with a weight coefficient, and a difference image between the interlaced input image and the predicted image is adaptively encoded in a frame unit or a field unit to generate a first encoded signal.
  • the encoded signal is decoded and added to the difference image to generate a decoded image, and the difference image between the interlaced input image and the prediction image is adaptively encoded in frame units or field units.
  • a second encoded signal is generated by encoding the case where the predetermined weighting factor is encoded in units of fields and the case where encoding is performed in units of frames.
  • the weight coefficient in the field unit may be a weight coefficient of both the first field and the second field.
  • an image encoding method is an image encoding method for encoding an interlaced input image with reference to a decoded image.
  • a predicted image is generated using a weighted prediction equation with a weight coefficient, and the interlaced input image and the predicted image are generated.
  • Adaptively encoding the difference image on a frame or field basis to generate a first encoded signal decoding the encoded signal and adding the decoded image to the difference image to generate a decoded image;
  • Ability to encode both coefficients when coding coefficients on a field basis and when coding on a frame basis Encoding the predetermined weighting coefficient either on a field basis or on a frame basis
  • an image decoding method is an image decoding method for decoding an encoded signal obtained by encoding an interlaced input image with reference to a decoded image
  • the encoded signal is decoded to obtain weight factors in field units and frame units, and the decoded image is referred to.
  • a prediction image is generated using a prediction formula weighted by the weighting factor
  • a coded signal is decoded in frame units or field units to generate a difference image
  • the prediction image and the difference image are added.
  • the weight coefficient in the field unit may be a weight coefficient of both the first field and the second field.
  • an image decoding method is an image decoding method for decoding a coded signal obtained by coding an interlaced input image with reference to a decoded image,
  • the difference image between the interlaced input image and the predicted image is adaptively encoded in frame units or field units
  • Decoding is performed both when decoding, or when the weighting factor is decoded in units of fields
  • Acquisition of identification information on whether to decode only one of the cases where decoding is performed in units, and decoding in both cases where the obtained information is used to decode the weighting coefficient in units of fields and when decoding in units of frames If it indicates that the weighting factor is to be obtained, both weighting factors are obtained by decoding the coded signal, and the obtained information decodes the weighting factor on a field basis or on the other hand while decoding on a frame basis.
  • one of the encoded weighting factors is derived from the weighting factor obtained by decoding the other weighting factor from the encoded signal, and weighting is performed with the weighting factor with reference to the decoded image.
  • a predicted image is generated using a prediction formula, a coded signal is decoded in units of frames or fields, a difference image is generated, and a decoded image is generated by adding the predicted image and the difference image. .
  • an image encoding method is an image encoding device that encodes an interlaced input image with reference to a decoded image.
  • an image encoding method is an image encoding device that encodes an interlaced input image with reference to a decoded image.
  • an image decoding method is an image decoding device for decoding an encoded signal obtained by encoding an interlaced input image with reference to a decoded image, Means for decoding the encoded signal when the interlaced input image is adaptively encoded in frame units or field units to obtain a weight coefficient in field units or frame units; and refer to the decoded image. Means for generating a predicted image using a prediction expression weighted by the weighting coefficient, and decoding the encoded signal in frame units or field units to generate a difference image, and Means for generating a decoded image by adding the difference image.
  • an image encoding method is an image decoding device for decoding an encoded signal obtained by encoding an interlaced input image with reference to a decoded image,
  • the interlaced input image is adaptively coded in frame units or field units
  • the coded signal is decoded and the weighting factor is decoded in field units and in both frame and frame decoding.
  • the image processing apparatus includes means for decoding a field unit to generate a difference image, and means for adding the prediction image and the difference image to generate a decoded image.
  • the present invention can be realized as an image encoding method or an image decoding method using the characteristic constituent means of each of the above devices as steps, or all steps of those methods can be implemented. It can also be implemented as a program that includes The program can be stored not only in a ROM or the like provided in a device capable of realizing the above method, but also distributed via a recording medium such as a CD-ROM or a transmission medium such as a communication network. .
  • FIG. 1 is a diagram illustrating an example of a picture type and a reference relationship.
  • FIG. 2 is a diagram illustrating another example of a picture type and a reference relationship.
  • FIG. 3 is a diagram illustrating an example of a stream structure of image data.
  • FIG. 4 (a) is a schematic diagram in the case of performing weighted prediction processing with reference to one frame.
  • FIG. 4 (b) is a schematic diagram in the case where the weighting prediction process is performed with reference to two frames.
  • FIG. 5 (a) is a schematic diagram in the case where weighting prediction processing is performed with reference to the first or second field corresponding to each.
  • FIG. 5 (b) is a schematic diagram in the case where weighting prediction processing is performed by referring to two corresponding first or second fields.
  • FIG. 6 is a block diagram showing a functional configuration of a conventional image encoding device.
  • FIG. 7 is a block diagram schematically showing a functional configuration of a variable-length coding unit in a conventional image coding device.
  • FIG. 8 is a block diagram showing a functional configuration of a conventional image decoding apparatus.
  • FIG. 9 is a block diagram schematically showing a functional configuration of a variable-length decoding unit in a conventional image decoding device.
  • FIG. 10 is a block diagram showing an outline of a functional configuration of the variable-length coding unit according to the first embodiment.
  • FIG. 11 is a block diagram showing an outline of a functional configuration of the variable-length decoding unit according to the first embodiment.
  • FIG. 12 (a) is an example of a detailed data structure of “header” in the common information area of the picture area in the first embodiment.
  • FIG. 12 (b) shows an example in which there is no “AF F” and only the “field weight coefficient” is transmitted as the “picture weight coefficient”.
  • Fig. 12 (c) shows an example of a case where it is not possible to switch between fields and frames in block units because the "picture frame coding information" power S "1" and the “AF F” power S "0" .
  • FIG. 13 shows a flow of an encoding process related to a weight coefficient in the variable length decoding unit in Embodiment 1 where “picture frame encoding information” is “1” and a picture is encoded in frame units. It is a flowchart shown.
  • FIG. 14 (a) shows a common picture area in the modification of the first embodiment. This is an example of a detailed data structure of “header” in the information area.
  • FIG. 14 (c) shows an example of a case where it is not possible to switch between a finolade and a frame in units of a block because “AFF” and “0” are used in “picture frame coding information” and “1”.
  • FIG. 15 is a diagram illustrating a weighting factor coding in the variable length decoding unit when a picture is coded in frame units with “picture frame coding information” power S “1” in the modification of the first embodiment. It is a flowchart which shows the flow of a process.
  • FIG. 16 shows the flow of the decoding process for the weighting factor when "picture frame coding information" is "1" in the variable length decoding unit of Fig. 11 and the picture is coded in frame units. It is a flow chart.
  • FIG. 17 (a) is an example of a detailed data structure of “header” in the common information area of the picture area in Embodiment 2, in which “1” is set in “AF F” and “Field coefficient” is set. This is an example in which “1” is set in “presence information”.
  • FIG. 17 (b) is a diagram similar to (a), and shows an example in which “1” is set in “AFF” and “0” is set in “Field coefficient presence / absence information”.
  • Fig. 17 (c) is an example in which "AFF" is set to "0", so that switching between fields and frames is not performed in units of blocks.
  • FIG. 18 is a flowchart illustrating a flow of an encoding process regarding a weight coefficient in the variable-length encoding unit according to the second embodiment.
  • FIG. 19 is a flowchart showing a flow of a decoding process regarding a weight coefficient in the variable-length decoding unit according to the second embodiment.
  • FIG. 20 (a) shows an example of the data structure of the picture area in the third embodiment.
  • FIG. 5 is an example in which “AFF” is set to “1” and “Frame coefficient presence / absence information” is set to “1”.
  • FIG. 20 (b) is a diagram similar to (a), in which “AFF” is set to “1” and “Frame coefficient presence / absence information” is set to “0”.
  • FIG. 20 (c) shows an example in which “0” is set in “AFF”, so that switching between the finale and the frame is not performed in block units.
  • FIG. 21 is a flowchart showing a flow of an encoding process relating to a weight coefficient in the variable-length encoding unit according to the third embodiment.
  • FIG. 22 is a flowchart showing a flow of a decoding process regarding a weight coefficient in the variable length decoding unit according to the third embodiment.
  • FIG. 23 shows a case where the image encoding method and the image decoding method of the first, second, and third embodiments are implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
  • (a) is an explanatory diagram showing an example of a physical format of a flexible disk as a recording medium body.
  • (b) is an explanatory diagram showing the appearance, cross-sectional structure, and flexible disk as viewed from the front of the flexible disk.
  • (c) is an explanatory diagram showing a configuration for recording and reproducing the program on a flexible disk FD.
  • FIG. 24 is a block diagram showing the overall configuration of a content supply system that realizes a content distribution service.
  • FIG. 25 is a diagram illustrating an example of a mobile phone.
  • FIG. 26 is a block diagram showing the internal configuration of the mobile phone.
  • FIG. 27 is a block diagram showing the overall configuration of the digital broadcasting system. BEST MODE FOR CARRYING OUT THE INVENTION
  • the functional configuration of an image encoding device that implements the image encoding method according to the present embodiment is the same as the above-described conventional image encoding device 100 except for the variable-length encoding unit VLC. Also, the functional configuration of the image decoding device that realizes the image decoding method according to the present embodiment is the same as the above-described conventional image decoding device 200 except for the variable-length decoding unit VLD. .
  • variable-length coding unit VLC and the variable-length decoding unit VLD, which are different from conventional ones.
  • FIG. 10 is a block diagram showing an outline of a functional configuration of variable-length coding unit VLC in the present embodiment.
  • the variable-length coding unit VLC includes an MV coding unit 101, a quantized value coding unit 102, a field weight coefficient coding unit 11 and a frame weight coefficient coding unit. 12, an index encoding unit 104, a weight coefficient mode determining unit 13, an AFF identification information encoding unit 105, switches 14 and 15, and a multiplexing unit 106.
  • the same reference numerals are given to the same functional components as those of the conventional variable-length coding unit VLC, and the description thereof will be omitted.
  • the switches 14 and 15 determine whether the destination of the input weight coefficient Weight is the field weight coefficient coding section 11 or the frame weight coefficient code based on the determination result of the weight coefficient mode determination section 13. ON / OFF control is performed as to whether or not to use the conversion unit 12.
  • the field weight coefficient coding unit 11 codes the input weight coefficient Weight as a field weight coefficient.
  • the frame weight coefficient coding unit 12 codes the input weight coefficient Weight as a frame weight coefficient.
  • the weight coefficient mode determination unit 13 determines the field frame based on the value of the AFF and the value of the weight coefficient Weight, and notifies the switches 14 and 15 and the multiplexing unit 106 of the determination result. I do.
  • FIG. 11 is a block diagram showing an outline of a functional configuration of variable-length decoding unit VLD in the present embodiment.
  • the variable-length decoding unit VLD includes a demultiplexing unit 21, an MV decoding unit 202, a quantized value decoding unit 203, a field weight coefficient decoding unit 22, It comprises a frame weighting coefficient decoding unit 23, a weighting coefficient generation unit 24, an index decoding unit 205, an AFF identification information decoding unit 206, and switches 26 to 28.
  • the same reference numerals are given to the same functional components as those of the above-mentioned conventional variable-length decoding unit VLD, and description thereof will be omitted.
  • the separation unit 21 separates the input image coded signal Str, converts the coded motion vector MV to the MV decoding unit 202, and converts the coded quantized value Qcoef
  • the quantized value decoding unit 203 encodes the encoded weight coefficient Weight into the field weight coefficient decoding unit 22 or the frame weight coefficient decoding unit 23, and the weight coefficient generating unit 24.
  • the output picture number Index is output to the index decoding unit 205, and the encoded AFF is output to the AFF identification information decoding unit 206.
  • the field weight coefficient decoding unit 22 decodes the input weight coefficient Weight as a field weight coefficient.
  • the frame weight coefficient decoding unit 23 decodes the input weight coefficient Weight as a frame weight coefficient.
  • the weight coefficient generation unit 24 generates a field weight coefficient from the frame weight coefficient as needed. For example, there is a case where frame / field switching is performed in units of blocks, and it is necessary to generate a field weighting factor from the frame weighting factor because the field weighting factor is not encoded.
  • FIG. 12 is a diagram illustrating an example of a data structure of a picture area according to the present embodiment.
  • FIG. 12 (a) shows an example of the detailed data structure of rheaderj in the common information area in the picture area. In the example of FIG.
  • “header” has “picture frame coding information” indicating whether a picture is a frame unit or a field unit.
  • picture frame encoding information” power S “1” it further has a flag “AF F” indicating whether to switch between fields and frames in block units.
  • AF F indicating whether to switch between fields and frames in block units.
  • “AF F” or “1” indicates that the field and frame are switched in block units.
  • Fig. 3 (a) in the case of "AFF" power S "1”, all of "field weighting factor” and “frame weighting factor” are transmitted.
  • the “field weight coefficient” includes the “first field weight coefficient” and the “second field weight coefficient”.
  • FIG. 12 (b) shows the case where the “picture frame coding information” power S "1" and the “AF F” power S "0”, and it is not possible to switch between fields and frames in block units. Therefore, only the “frame weighting factor” is transmitted as the “picture weighting factor”.
  • FIG. 13 is a diagram illustrating an example of a coding process related to a weight coefficient in the variable-length decoding unit VLD in a case where “picture frame coding information” is “1” and pictures are coded in frame units according to the present embodiment. This is a flow chart showing the flow.
  • FIG. 14 is a diagram illustrating an example of a data structure of a picture area in a modification of the present embodiment.
  • Fig. 14 (a) shows an example of the detailed data structure of "header” in the common information area in the picture area.
  • “header” has “picture frame coding information” indicating whether a picture is a frame unit or a field unit. For example, if “picture frame coding information” is S “1” (ie, the picture is in frame units), then “AF F” is used to determine whether to switch between fields and frames in block units. Is provided. For example, “AF F” power S “1” indicates that the field and frame are switched in block units.
  • the "AF F” force S is "1"
  • the "frame weighting factor” is transmitted, and the "field weighting factor” is changed to the "frame weighting factor”. It will be diverted.
  • FIG. 15 shows codes related to weighting factors in variable length coding unit VLC when “picture frame coding information” is “1” and pictures are coded in frame units according to a modification of the present embodiment. This is a flowchart showing the flow of the conversion process.
  • “AF” indicating “no switching in block units” Encode the value ⁇ 0 '' of ⁇ F '' (S 1 1) and match either the ⁇ field weighting factor '' or the ⁇ frame weighting factor '' with the coding unit of the block based on the picture frame coding information Is encoded as a “picture weighting factor” (S12).
  • FIG. 16 shows the decoding process for the weighting factor when the "picture frame coding information" in the variable length decoding VLD in Fig. 11 is "1" and the picture is coded in frame units. This is a flowchart showing the flow of the flow.
  • FIG. 16 is a flowchart of a decoding process corresponding to the encoding process of FIG. 15 described above.
  • variable length decoding unit VLD decodes "AF F" (S20). As a result, if the value of “AF F” is “1”, indicating that frame / field switching is being performed in block units (S 21: Yes), the frame weighting factor is decoded (S 21 2 3) Based on the frame weighting factor (for example, by diverting the frame weighting factor), Generate (S24).
  • the image encoding method and the image decoding method according to the present embodiment switching of field frames is realized in units of blocks, prediction efficiency is improved, and finally the compression ratio is improved. It is possible to make it. Furthermore, even when the “field weighting factor” is not coded, the “field weighting factor” is generated from the “frame weighting factor” in the variable-length decoding unit VLD, Field / frame switching can be performed.
  • FIG. 17 is a diagram illustrating an example of a data structure of a picture area according to the present embodiment.
  • FIG. 17 is a diagram showing a detailed data structure of rheaderj in the common information area in the picture area.
  • the picture is coded in frame units with the “picture frame coding information” power s “1”, and “header” in the case where the field weighting coefficient can be omitted.
  • An example of the structure will be described.
  • “header” has “Field coefficient presence / absence information” in addition to “AFF”.
  • This “: Field coefficient presence / absence information” is a flag indicating whether or not there is a field weight coefficient. For example, if there is a field weighting factor, set it to “1”; if you omit the field weighting factor, set it to “0”.
  • Fig. 17 (a) is an example in which "1" is set in “AF F” and "1" is set in the "Field coefficient presence / absence information", and the field weight coefficient is also transmitted. Show the case. Note that the “field weight coefficient” includes the “first field weight coefficient” and the “second field weight coefficient” as in the first embodiment.
  • FIG. 17B shows an example in which “1” is set in “AF F” and “0” is set in “Field coefficient presence / absence information”.
  • Fig. 17 (c) is an example in which "0" is set in "AF F", so that switching between fields and frames is not performed in block units.
  • FIG. 18 is a flowchart illustrating a flow of an encoding process regarding a weight coefficient in the variable-length encoding unit VLC according to the present embodiment.
  • the field weighting factor it is determined whether or not the field weighting factor can be generated from the frame weighting factor (S32). If possible, the information indicating that the field weighting factor is generated and the frame weighting factor are encoded (S32). 6, S3 7). If the field weighting factor is not generated from the frame weighting factor, the information indicating whether there is a field weighting factor, and the frame weighting factor and the field weighting factor are encoded (S33 to S35). .
  • FIG. 19 is a flowchart showing the flow of a decoding process relating to the weighting factor in the variable length decoding unit VLD of FIG. 11 described above.
  • Figure 1
  • FIG. 9 is a flowchart relating to a decoding process corresponding to the encoding process in FIG. It is.
  • variable-length decryption unit VLD decrypts “AF F” (S 20), and when the value of “AF F” is “1”, the frame / field is switched in block units. If this is the case (S21: Yes), the information indicating the presence or absence of the field weight coefficient is decoded (S41).
  • S42 it is determined whether or not there is a field weighting factor (S42). If there is no field weighting factor, the frame weighting factor is decrypted (S45), and the field weighting factor is calculated from the frame weighting factor. Generate coefficients (S46). If there is a field weighting factor, the frame weighting factor and the field weighting factor are decoded (S43, S44).
  • Embodiment 1 an example in which the data structure of a picture area in Embodiment 1 is different will be described.
  • FIG. 20 is a diagram illustrating an example of a data structure of a picture area according to the present embodiment.
  • FIG. 20 shows the common information area in the picture area.
  • FIG. 9 is a diagram illustrating a detailed data structure of “header” in a case where a picture is encoded in frame units with “picture frame encoding information” power S “1”.
  • “header” has “: Frame coefficient presence / absence information” in addition to “AFF”.
  • This “: Frame coefficient presence / absence information” is a flag indicating whether or not there is a frame weight coefficient. For example, it is set to “1” when there is a frame weight coefficient, and to “0” when the frame weight coefficient is omitted.
  • FIG. 20 (a) shows an example in which “1” is set in “AF F” and “1” is set in the “Frame coefficient presence / absence information”, and the case where the frame weight coefficient is also transmitted is shown. Show.
  • FIG. 20 (b) shows an example in which “1” is set in “AF F” and “0” is set in the above (“Frame coefficient presence / absence information”.
  • FIG. 20 (c) shows an example in which “AF Since "0" is set in "F", this is an example of not switching between the finale and the frame in block units.
  • FIG. 21 is a flowchart showing a flow of an encoding process regarding a weight coefficient in the variable-length encoding unit VLC according to the present embodiment.
  • FIG. 22 shows the weighting factor in the variable-length decoding unit VLD in Fig. 11 above. It is a flowchart which shows the flow of the decoding process regarding a number.
  • FIG. 22 is a flowchart related to a decoding process corresponding to the flow of the encoding process in FIG. 21 described above.
  • variable length decoding unit VLD decodes “AFF” (S 20), and when the value of “AFF” is “1”, indicating that the frame field switching is being performed in block units. (S21: Yes), decode the information indicating the presence or absence of the frame weighting coefficient (S61).
  • the switching of the field frame in units of blocks is realized. Furthermore, even when the frame weighting factor is omitted, it is possible to generate the frame weighting factor from the field weighting factor.
  • FIG. 23 illustrates the image encoding method and the image decoding method of each of the above embodiments
  • FIG. 11 is an explanatory diagram of a case where the present invention is implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
  • Fig. 23 (b) shows the appearance, cross-sectional structure, and flexible disk viewed from the front of the flexible disk
  • Fig. 23 (a) shows an example of the physical format of the flexible disk that is the recording medium body.
  • the flexible disk FD is built in the case F, and a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference on the surface of the disk, and each track has 16 sectors in the angular direction. Se has been split. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
  • FIG. 23 (c) shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • the program is written from the computer system Cs via the flexible disk drive.
  • the program is stored in a flexible disk drive by using a flexible disk drive. And transfer it to the computer system.
  • the description has been made using a flexible disk as a recording medium.
  • the same description can be made using an optical disk.
  • the recording medium is not limited to this, and any other recording medium, such as an IC card, a ROM cassette, or the like, which can record a program, can be used. .
  • FIG. 24 is a block diagram showing an overall configuration of a content supply system eX100 realizing a content distribution service.
  • the communication service provision area is divided into desired sizes, and base stations exl07 to exl10, which are fixed radio stations, are installed in each cell.
  • the content supply system eX100 is connected to the Internet eX101 via, for example, the Internet service provider eX102 and the telephone network eX104, and the base stations exl07 to exllO.
  • Each device such as a combi-user exlll, a PDA (personal digital assistant) ex112, a camera exl '13, a mobile phone ex114, and a camera-equipped mobile phone ex115 is connected.
  • the content supply system eX100 is not limited to the combination as shown in FIG. 24, and may be connected in any combination. Moreover, not through the base station e X 1 0 7 ⁇ exll O is a fixed radio station, each device may be connected directly to the telephone network e X 1 04.
  • the camera exl l3 is a device capable of shooting moving images, such as a digital video camera.
  • mobile phones are PDC (Personal Digital Communications), CDMA (Code Division Multiple Access), W-CDMA (Wideband-Code Division Multiple Access), or GSM (Global System for Mobile Communications) mobile phones. Or PHS (Personal Handyphone System), etc., and either may be used.
  • the streaming server exl 03 is connected to the camera exll 3 via the base station eX109 and the telephone network eX104, and the code transmitted by the user using the camera eX113. Live distribution, etc., based on the data that has been processed can be performed. Encoding of captured data is performed by camera e X The processing may be performed in 113 or may be performed in a server or the like that performs data transmission processing. Also, moving image data captured by the camera 116 may be transmitted to the streaming server eX103 via the computer eX111.
  • the camera eX116 is a device such as a digital camera that can shoot still images and moving images. In this case, the coding of the moving image data may be performed by the camera eX116 or the computer eX111.
  • the encoding process is performed in the LSI ex117 included in the combination exlll or the camera eX116.
  • the image encoding / decoding software may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by a computer eX111 or the like.
  • video data may be transmitted by a camera-equipped mobile phone eX115. The moving image data at this time is data that has been encoded by the LSI included in the mobile phone eX115.
  • the content (for example, a video image of a music live) shot by the user with the camera eX113, camera exll6, or the like is encoded in the same manner as in the above embodiment.
  • the streaming server eX103 transmits the content data to the requesting client, while transmitting the content data to the streaming server eX103.
  • the client include a computer exl1, a PDAex11, a camera exl13, a mobile phone exl14, and the like, which can decode the encoded data.
  • the content supply system eX1000 can receive and reproduce the encoded data at the client, and further, receive and decode the encoded data at the client in real time, and reproduce the data. This is a system that enables personal broadcasting.
  • the encoding and decoding of each device that composes this system The image encoding device or the image decoding device shown in the above embodiment may be used.
  • a mobile phone will be described as an example.
  • FIG. 25 is a diagram illustrating the mobile phone ex 115 using the image encoding method and the image decoding method described in the above embodiment.
  • the mobile phone ex 1 15 has an antenna ex 210 for transmitting and receiving radio waves to and from the base station e X 110, a camera unit e X capable of taking images and still images from a CCD camera, etc.
  • the telephone ex1 15 has a slot eX206 to allow the storage media ex207 to be attached.
  • the storage medium eX207 is a type of EEPROM memory (Electrically Erasable and Programmable Read Only Memory) that is electrically rewritable and erasable in a plastic case such as an SD card. It is stored.
  • the mobile phone eX115 will be described with reference to FIG.
  • the mobile phone eX115 is provided with a main control unit eX311, which controls the respective parts of the main unit including the display unit eX202 and the operation keys ex204 in a comprehensive manner.
  • the separation unit ex308, the recording / reproducing unit eX307, the modulation / demodulation circuit unit ex306, and the audio processing unit ex305 are connected to each other via a synchronization bus ex310.
  • the power supply circuit unit eX310 supplies the camera-equipped digital mobile phone eX10 by supplying power from the battery pack to each unit when the call end and the power key are turned on by a user operation. 1 Start 5 in an operable state.
  • the mobile phone ex115 based on the control of the main control unit eX311, comprising a CPU, ROM, RAM, etc., transmits the audio signal collected by the audio input unit eX205 in the voice call mode.
  • the voice processing unit eX305 converts the data into digital voice data, which is subjected to spread spectrum processing in the modulation / demodulation circuit unit eX306, and digital / analog conversion processing in the transmission / reception circuit unit eX301. ⁇ After performing the frequency conversion processing, transmit via the antenna eX201.
  • the mobile phone e X 1 1 5 performs frequency transform and analog-to-digital conversion process to amplify the received signal received by the antenna e X 2 0 1 in voice communication mode, the modem circuit unit e X 3 0 6 After performing a spectrum despreading process in the and converting it into an analog voice signal by a voice processing unit eX305, this is output via a voice output unit eX208.
  • text data of the e-mail input by operating the operation key eX204 of the main unit is mainly transmitted through the operation input control unit eX304. Transmitted to the control unit eX311.
  • the main control unit eX311 performs the spread spectrum processing of the text data in the modulation / demodulation circuit unit eX306, and performs the digital analog conversion processing and the frequency conversion processing in the transmission / reception circuit unit eX301. Then, it transmits to the base station eX110 via the antenna eX201.
  • the camera unit ex 20 When transmitting image data in data communication mode, the camera unit ex 20 The image data captured in 3 is supplied to the image encoding unit eX312 via the camera interface unit eX303. When the image data is not transmitted, the image data captured by the camera unit eX203 is displayed via the camera interface unit eX303 and the LCD control unit ex302. It is also possible to display directly on 202.
  • the image encoding unit eX312 has a configuration including the image encoding device described in the present invention, and converts the image data supplied from the camera unit eX203 into the image code described in the above embodiment.
  • the image data is converted into encoded image data by performing compression encoding by the encoding method used in the encoding device, and is transmitted to the demultiplexing unit eX308.
  • the mobile phone eX115 transmits the sound collected by the audio input unit ex205 during imaging by the camera unit eX203 via the sound processing unit eX305. And sends it as digital voice data to the demultiplexing unit eX308.
  • the demultiplexing unit eX308 multiplexes the encoded image data supplied from the image encoding unit eX312 and the audio data supplied from the audio processing unit eX305 in a predetermined manner.
  • the resulting multiplexed data is subjected to spread spectrum processing in the modulation and demodulation circuit section eX306, and is subjected to digital analog conversion processing and frequency conversion processing in the transmission and reception circuit section eX301, followed by an antenna. Transmit via eX201.
  • the received signal received from the base station eX110 via the antenna eX201 is modulated and demodulated by the modem circuit eX306. Then, the spectrum despreading process is performed, and the resulting multiplexed data is sent to the demultiplexing unit eX308.
  • the demultiplexer ex308 demultiplexes the multiplexed data.
  • Coded image data and audio data supplies the coded image data to the image decoding unit eX309 via the synchronization bus eX313, and also converts the audio data to the audio processing unit ex Supply 3 ⁇ 5
  • the image decoding unit eX309 has a configuration provided with the image decoding device described in the present invention, and decodes encoded image data corresponding to the encoding method shown in the above embodiment.
  • the playback video data is generated by decoding by the encoding method, and is supplied to the display unit ex202 via the LCD control unit eX302, whereby, for example, the video linked to the homepage is generated.
  • the video data included in the file is displayed.
  • the audio processing unit eX305 converts the audio data into an analog audio signal and then supplies the analog audio signal to the audio output unit eX208 so that, for example, a video linked to a homepage
  • the audio data included in the image file is reproduced.
  • the device or the image decoding device can be incorporated.
  • the coded bitstream of the video information is communicated via radio waves or transmitted to the broadcasting satellite eX410.
  • the broadcasting satellite eX410 receiving this transmits a radio wave for broadcasting, and receives this radio wave with the antenna eX406 of the home having the satellite broadcasting receiving equipment, and the television (receiver) ex4
  • a device such as 01 or set top pox (STB) ex 407 decodes the encoded bit stream and reproduces it.
  • the image decoding device described in the above embodiment is also used as a reproducing device eX403 that reads and decodes an encoded bitstream recorded on a storage medium eX402, which is a recording medium. It is possible to implement. In this case, the reproduced video signal is displayed on the monitor ex404. Also, cable eX40 for cable TV 5 or satellite Z An image decoding device is installed in the set-top box eX407 connected to the terrestrial broadcasting antenna eX406, and this configuration can be played back on the TV monitor ex408. Conceivable. At this time, the image coding device may be incorporated in the television instead of the set-top box.
  • the car ex 4 12 having the antenna e X 4 11 receives a signal from the satellite ex 4 10 force or the base station e X 10 7, etc., and the car e X 4 12 has it is also possible to play the video on a display device such as a car navigation e X 4 1 3.
  • an image signal can be encoded by the image encoding device described in the above embodiment and recorded on a recording medium.
  • a recorder eX420 such as a DVD recorder for recording an image signal on a DVD disk eX421 or a disk recorder for recording on a hard disk.
  • it can be recorded in SD power eX422. If the recorder eX420 is equipped with the image decoding device shown in the above embodiment, the image signal recorded on the DVD disc eX421 or the SD card ex422 is reproduced, and the monitor e is used. It can be displayed as X408.
  • the configuration of the car navigation eX413 may be, for example, a configuration excluding the camera unit ex203 and the camera interface unit eX303 from the configuration shown in Fig. 26. There is also considered a computer e X 1 1 1 Yate Levi (receiver) e X 4 0 1 and the like.
  • the above-mentioned terminals such as the mobile phone eX114 include transmission / reception terminals having both an encoder and a decoder, as well as a transmission terminal having only an encoder and a reception terminal having only a decoder.
  • transmission terminals having both an encoder and a decoder
  • transmission terminal having only an encoder and a reception terminal having only a decoder.
  • the image encoding method and the image decoding method described in the above embodiment can be used in any of the above-described device systems, and by doing so, the effects described in the above embodiment can be obtained. Can be obtained. Further, the present invention is not limited to the above-described embodiment, and various changes or modifications can be made without departing from the scope of the present invention. As described above, according to the image encoding method and the image decoding method according to the present invention, it is possible to realize field / frame switching in block units, improve prediction efficiency, and improve a compression ratio. Become.
  • the field weighting factor is generated from the frame weighting factor, it is possible to perform transmission while omitting the field weighting factor, thereby improving transmission efficiency. Can be. Therefore, its practical value is high. Industrial applicability
  • the present invention is applicable to an image encoding device, an image decoding device, and a method thereof for performing motion prediction by switching a frame Z field in units of blocks. This is useful for coding devices.

Abstract

重み係数モード判定部１３は、ブロック単位でフィールドとフレームを切り替えるか否かを示すフラグ「ＡＦＦ」の値に基づいて、フィールドモードかフレームモードかを判別し、スイッチ１４、１５および多重化部１０６に通知する。スイッチ１４、１５は、通知されたモードに応じてフィールド／フレームの選択を行う。フィールド重み係数符号化部１１又はフレーム重み係数符号化部１２は、選択された場合にそれぞれの重み係数の符号化を行う。

Description

明 細 書
画像符号化装置、 画像復号化装置およびこれらの方法 技術分野
本発明は、 動画像の符号化装置および復号化装置に関し、 特に重み係 数を用いて動き予測を行う符号化装置、 画像復号化装置およびこれらの 方法に関する。 背景技術
近年、 音声、 画像、 その他のコンテンツ等を銃合的に扱うマルチメデ ィァ時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、 ラジオ、 電話等の情報を単一の端末によって入手又は伝達できるように なってきた。 一般に、 マルチメディアとは、 文字だけでなく、 図形、 音 声、 特に画像等が関連づけられて表わされたものをいうが、 上記従来の 情報メディアをマルチメディアの対象とするためには、 その情報をディ ジタル形式にして表すことが必須条件となる。
ところが、 上記各情報メディアの持つ情報量をディジタル情報量とし て見積もってみると、 文字の場合 1文字当たりの情報量は 1〜 2バイ ト であるのに対し、 音声の場合 1秒当たり 6 4 Kbits (電話品質）、 さらに 動画については 1秒当たり l O O Mbits (現行テレビ受信品質） 以上の 情報量が必要となるので、 上記情報メディアでその膨大な情報をディジ タル形式でそのまま极ぅことは現実的では無い。例えば、テレビ電話は、 6 4 KMts/s〜 l . 5 Mbits/s の伝送速度を持つサービス総合ディジタル 網 （ISDN： Integreted Services Digital Network) によってすでに実用 化されているが、 テレビ · カメラの映像をそのまま I S D Nで送ること は不可能である。 そこで、 必要となってくるのが情報の圧縮技術であり、 例えば、 テレ ビ電話の場合、 ITU-T (国際電気通信連合 電気通信標準化部門） で国 際標準化された H.261や H.263規格の動画圧縮技術が用いられている。 また、 MP EG-1規格の情報圧縮技術によると、 通常の音楽用 CD (コ ンパク ト 'ディスク） に音声情報とともに画像情報を入れることも可能 となる。
ここで、 MP EG (Moving Picture Experts Group) とは、 動画像信 号圧縮の国際規格であり、 MP EG— 1は、 動画像信号を 1. 5Mbps まで、 つまりテレビ信号の情報を約 1 0 0分の 1にまで圧縮する規格で ある。 また、 MP EG— 1規格を対象とする伝送速度が主として約 1. 5 Mbps に制限されていることから、 さらなる高画質化の要求をみたす ベく規格化された MP E G - 2では、 動画像信号が 2〜 1 5 Mbpsに圧縮 される。 さらに現状では、 MP EG— 1、 MP E G— 2と標準化を進め てきた作業グループ （ISO/IEC JTC1/SC29/WG11) によって、 MP E G— 1、MP EG_ 2を上回る圧縮率を達成し、更に物体単位で符号化 - 復号化■操作を可能とし、 マルチメディァ時代に必要な新しい機能を実 現する MP EG— 4が規格化された （例えば、 I S O (国際標準化機構） の MP EG_ 1、 MP EG— 2、 MP EG- 4規格書参照）。 MP EG— 4では、 低ビットレートで効率の高い符号化が可能になるだけでなく、 伝送路誤りが発生しても画質劣化を小さくできる強力な誤り耐性技術も 導入されている。 また、 I S OZ I E Cと I TUでは、 次世代画像符号 化方式として、 MP EG— 4 AVC/ I TU Η. 2 64の標準化が共 同で進められている。
一般に動画像の符号化では、 時間方向および空間方向の冗長性を削減 することによって情報量の圧縮を行う。 そこで、 時間的な冗長性の削減 を目的とする画面間予測符号化では、 前方または後方のピクチャを参照 してブロック単位で動きの検出および予測画像の作成を行い、 得られた 予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。 ここ で、 ピクチャとは、 1枚の画面を表す用語であり、 プログレッシブ画像 ではフレームを意味し、 インタレース画像ではフレームもしくはフィー ルドを意味する。 ここで、 インタレース画像とは、 1つのフレームが時 刻の異なる 2つのフィールドから構成される画像である。 ィンタレース 画像の符号化や復号化処理においては、 1つのフレームをフレームのま ま処理したり、 2つのフィールドとして処理したり、 フレーム内のプロ ック毎にフレーム構造またはフィールド構造として処理したりすること ができる。
図 1は、 ピクチャの種類と参照関係の一例を示す図である。 図 1にお いて、 斜線のハッチングを施したピクチャは、 他のピクチヤに参照され るため、 メモリに保存されるピクチャを表す。 図 1における矢印は、 被 参照ピクチヤから参照ピクチヤへの方向を示す。 また、 ピクチャの並び は表示順で示している。
I 0 (Picture 0) は、 画面内符号化ピクチャ （ I ピクチャ） であり、 他のピクチャとは独立して （即ち、他のピクチャを参照することなしに） 符号化されるピクチャである。 P 4 (Picture 4) 及び P 7 (Picture 7) は、 前方向予測符号化ピクチャ （Pピクチャ） であり、 時間的に過去に 位置する I ピクチャ又は他の Pピクチャを参照することによって予測符 号化がなされるピクチャである。 B 1〜B 3 (Picture 1〜： Picture 3)、 B 5 (Picture 5) 及ぴ B 6 (Picture 6) は、 双方向予測符号化ピクチャ ( Bピク.チヤ） であり、 時間的に前後に位置する他のピクチャを参照す ることによって予測符号化がなされるピクチャである。
図 2は、 ピクチャの種類と参照関係の他の例を示す図である。 図 2が 図 1 と異なる点は、 Bピクチャが参照するピクチャの時間的な位置が、 必ずしも時間的に前後に位置するピクチャに限らない点である。例えば、
B 5 (Picture 5) の場合であれば、 I 0 (Picture 0)、 P 3 (Picture 3) 及び P 6 (Picture 6) のうち、 任意の 2つのピクチャを参照することが 可能である。 つまり、 時間的に過去に位置する I 0および P 3を参照す ることが可能である。 このような参照の仕方については、 2001 年 9 月 時点の MPEG-4 AVC/H.264規格案で既に認められている。これにより、 従来に比べ、 より適切な予測画像を選択するための範囲が広がり、 圧縮 率の向上を図ることが可能となる。
図 3は、 画像データのス ト リーム構造の一例を示す図である。 図 3に 示されように、ストリームは、ヘッダ等の共通情報領域と G O P (Group Of Picture) 領域から構成されている。 G O P領域は、 ヘッダ等の共通 情報領域と複数のピクチャ （picture ) 領域から構成されている。 ピク チヤ領域は、 ヘッダ等の共通情報領域と複数のスライス （slice) データ 領域から構成される。 スライスデータ領域は、 ヘッダ等の共通情報領域 と複数のマクロブロック （macro block) データ領域から構成される。 また、 ピクチャ共通情報領域には、 後述する重み付け予測を行うため の重み係数が参照ピクチヤに応じてそれぞれ記述される。
また、 ス ト リームが連続したビットス ト リームでなく、 細切れのデー タの単位であるバケツ ト等で伝送する場合はへッダ部とヘッダ以外のデ —タ部を分離して別に伝送してもよい。 その場合は、 図 3のようにへッ ダ部とデータ部が 1つのビットス トリームとなることはない。 しかしな がら、 パケットの場合は、 ヘッダ部とデータ部の伝送する順序が連続し なくても、 対応するデータ部に対応するヘッダ部が別のバケツ トで伝送 されるだけであり、 1つのビットス トリームとなっていなくても、 概念 は図 3で説明したビッ トス トリームの場合と同じである。
次に、 従来の画像符号化方法における重み付け予測処理について説明 する。
図 4は、フレーム単位で重み付け予測処理を行う場合の模式図である。 図 4 ( a) に示されるように、 1つのフレームを参照する場合、 現在 の符号化対象ブロックに対応する予測画像の画素値 Qは、 参照する i番 目のフレーム （Frame i) における参照対象プロックの画素値を P 0と すると、 下記の式 （1 ) に示すような重み付け予測式によって算出する ことができる。 また、 図 4 ( b) に示されるように、 2つのフレームを 参照する場合、 予測画像の画素値 Qは、 参照する i番目おょぴ j番目の フレーム （Frame iおよび Frame j) における参照対象ブロックの画素 値を P O、 P 1とすると、 下記の式 （2) に示すような重み付け予測式 によって算出することができる。
Q= (P O XWO +D) /W 2 ( 1 ) Q= (P 0 XWO + P 1 XW1 +D) /W 2 (2) ここで、 WOおよび W 1が重み係数、 Dがバイアス成分 （D C成分）、 W 2が正規化係数である。
図 5は、 フィールド単位で重み付け予測処理を行う場合の模式図であ る。
図 5 ( a) に示されるように、 1つのフレーム （即ち、 2つのフィー ルド） を参照する場合、 現在の符号化対象プロックに対応する予測画像 の画素値 Q a、 Q bは、 参照する i番目のフレーム （Frame i) を構成 するフィールド 2 X i + 1、 2 X iそれぞれにおける参照対象ブロック の画素値を P O a、 P O bとすると、 下記の式 （3) および式 （4) に 示すような重み付け予測式によって算出することができる。 また、 図 5 ( b ) に示されるように、 2つのフレームを参照する場合、 予測画像の 画素値 Q a、 Q bは、 参照する i番目および j番目のフレーム （Frame iおよび Frame j) を構成するフィ一ノレド 2 X i + 1、 2 X i、 2 X j + 1、 2 X jそれぞれにおける参照対象プロックの画素値 P 0 a、 P 0 b、 P l a、 P l bとすると、 下記の式 （5) およぴ式 （6) に示すような 重み付け予測式によって算出することができる。
Q a = (P 0 a XWO a +D a ) /W 2 a ( 3 ) Q b = (P O b XWO b +D b) /W 2 b (4) Q a = (P O a XWO a + P 1 a XWl a +D a) /W 2 a ( 5 ) Q b = (P O b XWO b + P l b XW l b +D b) /W 2 b ( 6 ) ここで、 WO a、 WO b、 Wl a、 W 1 bが重み係数、 D a、 D b力 S バイアス成分、 W 2が正規化係数である。
図 6は、 従来の画像符号化装置 1 00の機能構成を示すブロック図で ある。 この画像符号化装置 1 00は、 入力される画像信号 Vin の圧縮符 号化 （例えば、 可変長符号化） を行い、 この圧縮符号化によって変換さ れたビッ トス トリームである画像符号化信号 Str を出力する装置であ り、 動き検出ユニット ME、 動き補償ユニット MC、 減算ユエット S u b、 直交変換ュニット1\ 量子化ュニッ ト<3、 逆量子化ュニット I Q、 逆直交変換ュニット I T、加算ュニッ ト Ad d、ピクチャメモリ PicMem、 スィツチ SWおよび可変長符号化ュニッ ト VL Cを備えている。
画像信号 Vin は、減算ュニット S u bおよび動き検出ユニッ ト M Eに 入力される。 減算ュニット S u bは、 入力された画像信号 Vin と予測画 像の差分値を計算し、 直交変換ユニット Tに出力する。 直交変換ュニッ ト Tは、 差分値を周波数係数に変換し、 量子化ユニット Qに出力する。 量子化ユニッ ト Qは、 入力された周波数係数を量子化し、 量子化値を可 変長符号化ュニット V LCに出力する。
逆量子化ュニット I Qは、 量子化値を逆量子化して周波数係数に復元 し、 逆直交変換ュニッ ト I Tに出力する。 逆直交変換ュニット I Tは、 周波数係数から画素差分値に逆周波数変換し、 加算ュニッ ト A d dに出 力する。 加算ユニッ ト A d dは、 画素差分値と動き補償ユニッ ト M Cか ら出力される予測画像とを加算して複号化画像とする。スィツチ S Wは、 当該復号化画像の保存が指示された場合に 「O N」 になり、 複号化画像 はピクチャメモリ PicMeniに保存される。
一方、画像信号 Vin がマクロプロック単位で入力される動き検出ユエ ット M Eは、 ピクチャメモリ PicMemに格納されている復号化画像を探 索対象とし、 最も入力画像信号に近い画像領域を検出することによって その位置を指し示す動きべク トル M Vを決定する。 動きべク トルの検出 は、 マクロブロックをさらに分割したプロヅク単位で行われる。 このと き、 複数のピクチャを参照ピクチヤとして使用することができるため、 参照するピクチャを指定するための識別番号 （ピクチャ番号 Index) が ブロックごとに必要となる。 ピクチャ番号 Indexによって、 ピクチヤメ モリ PicMem中の各ピクチャが有するピクチャ番号との対応を取ること により参照ピクチャを指定することが可能となる。
動き補償ユニット M Cは、 上記処理によって検出された動きベク トル およぴピクチャ番号 Indexを用いて、 ピクチャメモリ PicMemに格納さ れている複号化画像から予測画像生成に必要な画像領域を取り出す。 得 られた画像領域の画素値に対して、 動き補償ユニット M Cは、 ピクチャ 番号 Indexに関連付けされた重み係数を用いた重み付け予測による補間 処理等の画素値変換処理を施すことによって最終的な予測画像を特定す る。
図 7は、 上記図 6の従来の画像符号化装置 1 0 0における可変長符号 化ュニッ ト V L Cの機能構成の概略を示すプロック図である。 可変長符 号化ュニット V L Cは、 M V符号化部 1 0 1、量子化値符号化部 1 0 2、 重み係数符号化部 1 0 3、 インデックス符号化部 1 0 4、 A F F識別情 報符号化部 1 0 5および多重化部 1 0 6を備えている。 MV符号化部 1 0 1は、 動きべク トルを符号化し、 量子化値符号化部 1 0 2は、 量子化値 Qcoefを符号化する。 また、 重み係数符号化部 1 0 3は、 重み係数 Weight を符号化し、 ィンデッタス符号化部 1 0 4は、 ピクチャ番号 Index を符号化する。 A F F識別情報符号化部 1 0 5は、 A F F識別信号 A F Fを符号化する （A F F識別信号 A F Fについては 後述する）。 多重化部 1 0 6は、 M V符号化部 1 0 1、 量子化値符号化部 1 0 2、 重み係数符号化部 1 0 3、 インデックス符号化部 1 0 4、 A F F識別情報符号化部 1 0 5から出力された各符号化信号を多重化し、 画 像符号化信号 Strを出力する。
図 8は、 従来の画像復号化装置 2 0 0の機能構成を示すプロック図で ある。
画像復号化装置 2 0 0は、 上記画像符号化装置 1 0 0が符号化した画 像符号化信号 Str を復号化することができる装置であり、 可変長復号化 ュニット V L D、 動き補償ュニット M C、 加算ュ-ット A d d、 ピクチ ヤメモリ PicMem、 逆量子化ュニット I Q、 および逆直交変換ュニット I Tを備えている。
画像符号化信号 Str が入力されると、 可変長復号化ユニット V L Dは、 入力された画像符号化信号 Str から符号化されている動き差分べク ト ル MV、 ピクチャ番号を表すィンデッタスおよび重み係数 Weightを分 離し、 動き補償ユニット M Cに出力する。 さらに、 可変復号化ユニット V L Dは、 入力された画像符号化信号 Str に含まれる、 符号化されてい る量子化値 Qcoef を複号化して逆量子化ュニット I Qに出力する。
動き補償ュニッ ト M Cは、 可変長復号化ュエツト V L Dから出力され る動きベク トル、 およびピクチャ番号 Indexを用いて、 ピクチャメモリ PicMemに格納されている複号化画像から予測画像生成に必要な画像領 域を取り出す。 この得られた画像に対する重み係数 Weightを用いて、 重み付け予測による補間処理等の画素値変換処理を施すことによって予 測画像を生成する。
逆量子化ュニット I Qは、 量子化値を逆量子化して周波数係数に復元 し、 逆直交変換ュニッ ト I Tに出力する。 逆直交変換ュニット I Tは、 周波数係数から画素差分値に逆周波数変換し、 加算ユニット A d dに出 力する。 加算ユニット A d dは、 画素差分値と動き補償ユニット MCか ら出力される予測画像とを加算して復号化画像とする。 この復号化画像 は、 以降の画面間予測での参照に使用する場合ピクチャメモリ PicMem に格納される。 また、 この復号化画像は復号化画像信号 Vout として外 部に出力される。
図 9は、 上記図 8の従来の画像復号化装置 20 0における可変長復号 化ュニッ ト VLDの機能構成の概略を示すプロック図である。
可変長復号化ュニッ ト V LDは、分離部 20 1、MV複号化部 20 2、 量子化値復号化部 20 3、 重み係数復号化部 204、 インデックス復号 化部 2 0 5および AF F識別信号復号化部 20 6を備えている。
画像符号化信号 Str が可変長復号化ユニット VLDに入力されると、 分離部 2 0 1は、 入力された画像符号化信号 Strを分離し、 符号化され ている動き差分べク トル MVを MV復号化部 20 2に、 符号化されてい る量子化値 Qcoef を量子化値復号化部 2 0 3に、 符号化されている重み 係数 Weight を重み係数復号化部 204に、 符号化されているピクチャ 番号 Indexをインデックス復号化部 2 0 5に、 符号化されている AF F 識別信号 AF F (以下の説明では 「AF F」 と略す。） を AF F識別信号 復号化部 20 6にそれぞれ出力する。
MV復号化部 2 0 2は、 符号化されている差分べク トルを複号化し、 動きべク トル MVを出力する。
同様に、 量子化値複号化部 20 3は量子化値を、 重み係数復号化部 2 0 4は重み係数 Weight を、 ィンデックス復号化部 2 0 5はピクチャ番 号 Indexを、 A F F識別信号復号化部 2 0 6は A F Fをそれぞれ復号化 して出力する。
しかしながら、 従来の重み付き予測符号化では、 ピクチャ単位で符号 化するが、 ブロックは常に同じピクチャ （フレームもしくはフィールド の一方） について符号化 ·復号化することしか想定されていない。 従つ て、 重み係数はピクチャで 1組しか符号化 Z復号化されない。
このため、プロック単位でフィールドとフレームを切り替えることで、 動き予測の効率が向上する可能性があるにも拘らず、 従来は、 重み係数 をピクチャ単位で 1つしか送れないため、 ブロック単位でフィールドと フレームを切り替えても、 予測効率が悪く、 圧縮率を向上させることが できない。
そこで、 本発明では、 上記課題に鑑みてなされたものであり、 プロッ ク単位でフィールドとフレームを切り替えた場合であっても、 好適に重 み係数を対応付けることが可能な画像符号化方法および画像復号化方法 を提供することを目的とする。 発明の開示
上記目的を達成するために、 本発明に係る画像符号化装置は、 インタ レース画像をブロック単位で符号化する画像符号化装置であって、 符号 化後復号化されたフレームまたはフィールドであるピクチャを、 参照ピ クチャとして記憶する記憶手段と、 前記記憶手段から前記参照ピクチャ を読み出し、 フレーム単位で符号化するためのフレーム重み係数又はフ ィールド単位で符号化するためのフィールド重み係数を用いて前記参照 ピクチャの画素値から予測ピクチャを生成する予測ピクチャ生成手段と、 フレーム単位及ぴフィールド単位のいずれかで、 入力されたピクチャと 前記予測ピクチャ生成手段によって生成された予測ピクチヤとの差分値 をプロック単位で符号化する信号符号化手段と、 前記信号符号化手段が ブロック単位でフレーム単位及びフィールド単位のいずれかに適応的に 切り替えながら符号化した場合に、 前記フレーム重み係数及びフィール ド重み係数のうち、 フレーム重み係数だけを符号化する重み係数符号化 手段と、 前記信号符号化手段で符号化された差分値と前記重み係数符号 化手段で符号化されたフレーム重み係数とを多重化して符号化信号とし て出力する多重化手段とを備える。
これにより、 本発明に係る画像符号化装置は、 動画像の重み付け予測 を行う際に、 プロック単位でフレーム Zフィールドの切替を行うか否か に拘らず、 フィールド重み付け係数を省略しフレーム重み付け係数のみ を符号化して画像複号化装置に送信するので、 伝送効率を改善すること が可能となる。
また、 上記目的を達成するために、 本発明に係る画像復号化装置は、 1つのフレーム又は 1つのフィールドであるピクチャに係る符号化信号 をプロック単位で復号化する画像復号化装置であって、 前記符号化信号 がフレーム単位及ぴフィールド単位のいずれかに適応的に切り替えなが ら符号化されている場合に、 前記符号化信号をフレーム単位又はフィー ルド単位で復号化する信号復号化手段と、 復号化されたピクチャを記憶 する記憶手段と、 前記符号化信号がフレーム単位及びフィールド単位の いずれかに適応的に切り替えながら符号化されている場合に、 フレーム 単位で復号化するためのフレーム重み係数を前記符号化信号から抽出す ると共に、 フィールド単位で複号化するためのフィールド重み係数を前 記フレーム重み ^数から生成し、 抽出した前記フレーム重み係数及び生 成した前記フィールド重み係数を用いて前記記憶手段に記憶されている 復号ピクチャの画素値から予測ピクチャを生成する予測ピクチャ生成手 段と、 前記信号復号化手段による復号によって得られたピクチャと前記 予測ピクチャ生成手段によって生成された予測ピクチャとを加算し、 当 該加算されたピクチャを復号ピクチャとして出力するとともに前記記憶 手段に格納する加算手段とを備える。
これにより、 本発明に係る画像復号化装置は、 ブロック単位でフレー ム /フィールドの切替を行う場合であってフィールド重み係数を受信し ない場合であっても、 フィールド重み係数をフレーム重み係数から生成 するので、 適応的に上記フレーム/フィールドの切替を可能とすると共 に、 伝送効率を改善することが可能となる。
また、 上記目的を達成するために、 本発明に係る画像符号化方法は、 復号画像を参照してィンタレース入力画像を符号化する画像符号化方法 であって、 復号化画像を参照して所定の重み係数で重み付け予測式を用 いて予測画像を生成し、 前記インタレース入力画像と前記予測画像との 差分画像をフレーム単位もしくはフィールド単位で適応的に符号化して 第 1の符号化信号を生成し、 前記符号化信号を複号化して前記差分画像 と加算して復号画像を生成し、 前記ィンタレース入力画像と前記予測画 像との差分画像をフレーム単位もしくはフィールド単位で適応的に符号 化するときに前記所定の重み係数をフィールド単位で符号化する場合と フレーム単位で符号化する場合のそれぞれを符号化して第 2の符号化信 号を生成する。
また、 前記フィールド単位の重み係数は、 第 1 フィールドと第 2フィ ールドの両フィールドの重み係数であることとしてもよい。
また、 上記目的を達成するために、 本発明に係る画像符号化方法は、 復号画像を参照してィンタレース入力画像を符号化する画像符号化方法 であって、 復号化画像を参照して所定の重み係数で重み付け予測式を用 いて予測画像を生成し、 前記インタレース入力画像と前記予測画像との 差分画像をフレーム単位もしくはフィールド単位で適応的に符号化して 第 1の符号化信号を生成し、 前記符号化信号を復号化して前記差分画像 と加算して復号画像を生成し、 前記所定の重み係数をフィールド単位で 符号化する場合とフレーム単位で符号化する場合の両方で符号化する力 前記所定の重み係数をフィールド単位で符号化する場合またはフレーム 単位で符号化する場合の一方で符号化するかを示す識別情報を符号化す る第 2の符号化信号を生成し、 前記識別情報に応じた前記所定の重み係 数を符号化して第 3の符号化信号を生成する。
また、 上記目的を達成するために、 本発明に係る画像復号化方法は、 復号画像を参照してィンタレース入力画像を符号化した符号化信号を復 号化する画像複号化方法であって、 前記ィンタレース入力画像がフレー ム単位もしくはフィールド単位で適応的に符号化されているときに前記 符号化信号を複号化してフィールド単位およびフレーム単位の重み係数 を取得し、 前記復号画像を参照して前記重み係数で重みをつけた予測式 を用いて予測画像を生成し、 前記符号化信号をフレーム単位もしくはフ ィールド単位で復号化して差分画像を生成し、 前記予測画像と前記差分 画像を加算して復号画像を生成する。
また、 前記フィールド単位の重み係数は、 第 1 フィールドと第 2フィ ールドの両フィールドの重み係数であることとしてもよい。
また、 上記目的を達成するために、 本発明に係る画像復号化方法は、 復号画像を参照してィンタレース入力画像を符号化した符号化信号を復 号化する画像復号化方法であって、 前記ィンタレース入力画像と前記予 測画像との差分画像をフレーム単位もしくはフィールド単位で適応的に 符号化するときに、 前記符号化信号を復号化して重み係数をフィールド 単位で復号化する場合とフレーム単位で復号化する場合の両方で復号化 するか、 重み係数をフィールド単位で復号化する場合またはフレーム単 位で復号化する場合の一方のみを復号化するかの識別情報を取得し、 前 記取得情報が重み係数をフィールド単位で復号化する場合とフレーム単 位で復号化する場合の両方で復号化することを示す場合は両方の重み係 数を前記符号化信号を復号化して取得し、 前記取得情報が重み係数をフ ィールド単位で復号化するかまたはフレーム単位で復号化の一方で復号 化することを示す場合は符号化された一方の重み係数を、 前記符号化信 号から他方の重み係数を復号化した重み係数から導出し、 前記復号画像 を参照して前記重み係数で重みをつけた予測式を用いて予測画像を生成 し、 前記符号化信号をフレーム単位もしくはフィールド単位で複号化し て差分画像を生成し、 前記予測画像と前記差分画像とを加算して復号画 像を生成する。
また、 上記目的を達成するために、 本発明に係る画像符号化方法は、 復号画像を参照してィンタレース入力画像を符号化する画像符号化装置 であって、 復号化画像を参照して所定の重み係数で重み付け予測式を用 いて予測画像を生成する手段と、 前記インタレース入力画像と前記予測 画像との差分画像をフレーム単位もしくはフィールド単位で適応的に符 号化して第 1の符号化信号を生成する手段と、 前記符号化信号を復号化 して前記差分画像と加算して復号画像を生成する手段と、 前記ィンタレ ース入力画像と前記予測画像との差分画像をフレーム単位もしくはフィ ールド単位で適応的に符号化するときに前記所定の重み係数をフィール ド単位で符号化する場合とフレーム単位で符号化する場合のそれぞれを 符号化して第 2の符号化信号を生成する手段とを備える。
また、 上記目的を達成するために、 本発明に係る画像符号化方法は、 復号画像を参照してィンタ レース入力画像を符号化する画像符号化装置 であって、 復号化画像を参照して所定の重み係数で重み付け予測式を用 いて予測画像を生成する手段と、 前記ィンタレース入力画像と前記予測 画像との差分画像をフレーム単位も しく はフィールド単位で適応的に符 号化して第 1の符号化信号を生成する手段と、 前記符号化信号を復号化 して前記差分画像と加算して復号画像を生成する手段と、 前記所定の重 み係数をフィールド単位で符号化する場合とフレーム単位で符号化する 場合の両方で符号化するか、 前記所定の重み係数をフィールド単位で符 号化する場合またはフレーム単位で符号化する場合の一方で符号化する かを示す識別情報を生成する第 2の符号化信号を生成する手段と、 前記 識別情報に応じた前記所定の重み係数を符号化して第 3の符号化信号を 生成する手段とを備える。
また、 上記目的を達成するために、 本発明に係る画像復号化方法は、 復号画像を参照してィンタレース入力画像を符号化した符号化信号を復 号化する画像復号化装置であって、 前記ィンタレース入力画像がフレー ム単位もしくはフィールド単位で適応的に符号化されているときに前記 符号化信号を復号化してフィールド単位おょぴフレーム単位の重み係数 を取得する手段と、 前記復号画像を参照して前記重み係数で重みをつけ た予測式を用いて予測画像を生成する手段と、 前記符号化信号をフレー ム単位もしくはフィールド単位で復号化して差分画像を生成し、 前記予 測画像と前記差分画像を加算して復号画像を生成する手段とを備える。 また、 上記目的を達成するために、 本発明に係る画像符号化方法は、 復号画像を参照してィンタレース入力画像を符号化した符号化信号を復 号化する画像復号化装置であって、 前記ィンタレース入力画像がフレー ム単位もしくはフィールド単位で適応的に符号化されているときに前記 符号化信号を復号化して重み係数をフィールド単位で復号化する場合と フレーム単位で復号化する場合の両方で復号化するか、 重み係数をフィ ールド単位で復号化する場合またはフレーム単位で復号化する場合の一 方のみを複号化するかの識別情報を取得する手段と、 前記取得情報が重 み係数をフィールド単位で復号化する場合とフレーム単位で復号化する 場合の両方で復号化することを示す場合は両方の重み係数を、 前記符号 化信号を複号化して取得する手段と、 前記取得情報が重み係数をフィ一 ルド単位で復号化するかまたはフレーム単位で複号化の一方で復号化す ることを示す場合は符号化された一方の重み係数を、 前記符号化信号か ら他方の重み係数を復号化した重み係数から導出し、 前記復号画像を参 照して前記重み係数で重みをつけた予測式を用いて予測画像を生成する 手段と、 前記符号化信号をフレーム単位もしくはフィールド単位で復号 化して差分画像を生成する手段と、 前記予測画像と前記差分画像とを加 算して復号画像を生成する手段とを備える。
なお、 上記目的を達成するために、 本発明は、 上記の各装置の特徴的 な構成手段をステップとする画像符号化方法や画像復号化方法として実 現したり、 それらの方法の全てのステップを含むプログラムとして実現 することもできる。 そして、 そのプログラムは、 上記方法を実現し得る 装置が備える R O M等に格納しておくだけでなく、 C D— R O M等の記 録媒体や通信ネットワーク等の伝送媒体を介して流通させることもでき る。 図面の簡単な説明
図 1は、 ピクチャの種類と参照関係の一例を示す図である。
図 2は、 ピクチャの種類と参照関係の他の例を示す図である。
図 3は、 画像データのス ト リーム構造の一例を示す図である。
図 4 ( a ) は、 1枚のフ レームを参照して重み付け予測処理を行う場 合の模式図である。
図 4 ( b ) は、 2枚のフレームを参照して重み付け予測処理を行う場 合の模式図である。 図 5 ( a) は、 それぞれに対応する第 1又は第 2のフィールドを参照 して重み付け予測処理を行う場合の模式図である。
図 5 (b) は、 それぞれに対応する第 1又は第 2のフィールドを 2枚 参照して重み付け予測処理を行う場合の模式図である。
図 6は、 従来の画像符号化装置の機能構成を示すブロック図である。 図 7は、 従来の画像符号化装置における可変長符号化ュニッ トの機能 構成の概略を示すプロック図である。
図 8は、 従来の画像複号化装置の機能構成を示すプロック図である。 図 9は、 従来の画像復号化装置における可変長復号化ュニットの機能 構成の概略を示すブロック図である。
図 1 0は、 実施の形態 1における可変長符号化ュニットの機'能構成の 概要を示すプロック図である。
図 1 1は実施の形態 1における可変長復号化ュニットの機能構成の概 要を示すブロック図である。
図 1 2 ( a ) は、 実施の形態 1におけるピクチャ領域の共通情報領域 のうち、 「header」 の詳細なデータ構造の一例である。
図 1 2 ( b ) は、 「AF F」 が無く、 「ピクチャ重み係数」 として 「フ ィールド重み係数」 のみが送信される場合の例である。
図 1 2 (c ) は、 「ピクチャフレーム符号化情報」 力 S 「 1」 で 「AF F」 力 S 「0」 のため、 プロック単位でフィールドとフレームを切り替え ることができない場合の例である。
図 1 3は、 実施の形態 1における 「ピクチャフレーム符号化情報」 が 「 1」 でピクチャがフレーム単位で符号化されている場合の可変長復号 化ュニッ トにおける重み係数に関する符号化処理の流れを示すフローチ ヤートである。
図 1 4 (a ) は、 実施の形態 1の変形例におけるピクチャ領域の共通 情報領域のうち、 「header」 の詳細なデータ構造の一例である。
図 1 4 (b) は、 「ピクチャフレーム符号化情報」 カ 「0」 で常にフィ 一ルド符号化のため 「AF F」 が無く、 「ピクチャ重み係数」 として 「フ ィールド重み係数」 のみが送信される場合の例である。
図 1 4 (c ) は、 「ピクチャフレーム符号化情報」 カ 「 1」 で 「AF F」 カ 「0」 のため、 プロック単位でフィーノレドとフレームを切り替えるこ とができない場合の例である。
図 1 5は、 実施の形態 1の変形例における 「ピクチャフレーム符号化 情報」 力 S 「 1」 でピクチャがフレーム単位で符号化されている場合の可 変長復号化ュニットにおける重み係数に関する符号化処理の流れを示す フローチャートである。
図 1 6は、 図 1 1の可変長復号化ユニットにおける 「ピクチャフレー ム符号化情報」 が 「 1」 でピクチャがフレーム単位で符号化されている 場合の重み係数に関する復号化処理の流れを示すフローチヤ一トである。 図 1 7 (a ) は、 実施の形態 2におけるピクチャ領域の共通情報領域 のうち、 「header」 の詳細なデータ構造の一例であり、 「AF F」 に 「 1」 が設定され、 「Field係数有無情報」に「 1」が設定されている例である。 図 1 7 (b) は、 （a ) と同様の図であり、 「AF F」 に 「 1」 が設定 され、 「Field係数有無情報」 に 「0」 が設定されている例である。
図 1 7 ( c ) は、 「A F F」 に 「 0」 が設定されているため、 プロック 単位でフィールドとフレームの切替を行わない例である。
図 1 8は、 実施の形態 2における可変長符号化ュニッ トにおける重み 係数に関する符号化処理の流れを示すフローチャートである。
図 1 9は、 実施の形態 2における可変長複号化ュニッ トにおける重み 係数に関する復号化処理の流れを示すフローチヤ一トである。
図 20 (a) は、 実施の形態 3におけるピクチャ領域のデータ構造例 を示す図であり、 「A F F」 に 「 1」 が設定され、 「Frame係数有無情報」 に 「 1」 が設定されている例である。
図 2 0 ( b ) は、 （a ) と同様の図であり、 「A F F」 に 「 1」 が設定 され、 「Frame係数有無情報」 に 「0」 が設定されている例である。
図 2 0 ( c ) は、 「A F F」 に 「 0」 が設定されているため、 ブロック 単位でフィ一ノレドとフレームの切替を行わない例である。
図 2 1は、 実施の形態 3における可変長符号化ュ-ッ トにおける重み 係数に関する符号化処理の流れを示すフローチヤ一トである。
図 2 2は、 実施の形態 3における可変長復号化ュニッ トにおける重み 係数に関する復号化処理の流れを示すフローチヤ一トである。
図 2 3は、 上記実施の形態 1、 2及び 3の画像符号化方法及び画像復 号化方法を、 フレキシプルディスク等の記録媒体に記録されたプロダラ ムを用いて、コンピュータシステムにより実施する場合の説明図である。
( a ) は、 記録媒体本体であるフレキシブルディスクの物理フォーマ ットの例を示した説明図である。
( b ) は、 フレキシブルディスクの正面からみた外観、 断面構造、 及 びフレキシブルディスクを示した説明図である。
( c ) は、 フレキシプルディスク F Dに上記プログラムの記録再生を 行うための構成を示した説明図である。
図 2 4は、 コンテンツ配信サービスを実現するコンテンツ供給システ ムの全体構成を示すブロック図である。
図 2 5は、 携帯電話の一例を示す図である。
図 2 6は、 携帯電話の内部構成を示すブロック図である。
図 2 7は、 ディジタル放送用システムの全体構成を示すプロック図で ある。 発明を実施するための最良の形態
以下、 本発明に係る実施の形態について、 図面を参照しながら詳細に 説明する。
(実施の形態 1 )
本実施の形態に係る画像符号化方法を実現する画像符号化装置の機能 構成は、 可変長符号化ユニッ ト V L Cを除き、 上述した従来の画像符号 化装置 1 0 0と同じである。 また、 本実施の形態に係る画像復号化方法 を実現する画像復号化装置の機能構成は、 可変長複号化ュニッ ト V L D を除き、 上述した従来の画像復号化装置 2 0 0と同じである。
このため、 以下では、 従来と異なる可変長符号化ユニット V L Cおよ ぴ可変長復号化ュニット V L Dについて重点的に説明する。
図 1 0は、 本実施の形態における可変長符号化ュニット V L Cの機能 構成の概要を示すプロック図である。 図 1 0に示されるように、 可変長 符号化ュニット V L Cは、 M V符号化部 1 0 1、 量子化値符号化部 1 0 2、フィールド重み係数符号化部 1 1、フレーム重み係数符号化部 1 2、 インデックス符号化部 1 0 4、 重み係数モード判定部 1 3、 A F F識別 情報符号化部 1 0 5、 スィッチ 1 4、 1 5および多重化部 1 0 6を備え る。 なお、 以下では、 上記従来の可変長符号化ユニット V L Cと同じ機 能構成については同じ符号を付し、 その説明は省略する。
スィ ッチ 1 4、 1 5は、 重み係数モード判定部 1 3の判定結果に基づ いて、 入力された重み係数 Weight の送信先をフィールド重み係数符号 化部 1 1にするかフレーム重み係数符号化部 1 2にするかについて、 O N / O F Fの制御を行う。
フィールド重み係数符号化部 1 1は、 入力された重み係数 Weightを フィールド重み係数として符号化する。 フレーム重み係数符号化部 1 2 は、入力された重み係数 Weightをフレーム重み係数として符号化する。 重み係数モード判定部 1 3は、 A F Fの値および重み係数 Weight の 値に基づいて、 フィールドノフレームの判定を行い、 その判定結果をス イッチ 1 4、 1 5及び多重化部 1 0 6に通知する。
図 1 1は、 本実施の形態における可変長復号化ュエツ ト V L Dの機能 構成の概要を示すプロック図である。 図 1 1に示されるように、 可変長 復号化ユニット V L Dは、 分離部 2 1、 MV復号化部 2 0 2、 量子化値 複号化部 2 0 3、 フィールド重み係数復号化部 2 2、 フレーム重み係数 復号化部 2 3、 重み係数生成部 2 4、 インデックス復号化部 2 0 5、 A F F識別情報復号化部 2 0 6およぴスィツチ 2 6〜 2 8を備える。なお、 以下では、 上記従来の可変長復^化ユニット V L Dと同じ機能構成につ いては同じ符号を付し、 その説明は省略する。
分離部 2 1は、 入力された画像符号化信号 Strを分離し、 符号化され ている動きべク トル M Vを M V複号化部 2 0 2に、 符号化されている量 子化値 Qcoef を量子化値復号化部 2 0 3に、 符号化されている重み係数 Weight をフィールド重み係数復号化部 2 2又はフレーム重み係数復号 化部 2 3、 及び重み係数生成部 2 4に、 符号化されているピクチャ番号 Indexをィンデックス復号化部 2 0 5に、 符号化されている A F Fを A F F識別情報復号化部 2 0 6に、 それぞれ出力する。
フィールド重み係数複号化部 2 2は、 入力された重み係数 Weight を フィールド重み係数として復号化する。 フレーム重み係数復号化部 2 3 は、入力された重み係数 Weightをフレーム重み係数として復号化する。 重み係数生成部 2 4は、 必要に応じてフレーム重み係数からフィール ド重み係数を生成する。 例えば、 プロック単位でフレーム/フィールド の切替を行なう場合で、 フィールド重み係数が符号化されていないため にフレーム重み係数からフィールド重み係数を生成する必要がある場合 である。 図 1 2は、 本実施の形態におけるピクチャ領域のデータ構造例を示す 図である。 図 1 2 ( a ) は、 ピクチャ領域における共通情報領域のうち、 rheaderj の詳細なデータ構造の一例である。 図 1 2 ( a ) の例では、 「header」 は、 ピクチャがフレーム単位であるかフィールド単位である かを示す「ピクチャフレーム符号化情報」 を有している。 「ピクチャフレ ーム符号化情報」 力 S 「 1」 の場合は更に 「AF F」 というプロック単位 でフィールドとフレームを切り換えるか否かを示すフラグを有している。 例えば、 「AF F」 カ 「 1」 の場合は、 プロック単位でフィールドとフレ 一ムを切り換えることを表わす。 図 3 ( a) に示されているように、 「A F F」 力 S 「 1」 の場合は、 「フィールド重み係数」 と 「フレーム重み係数」 の全てを送信する。 なお、 「フィールド重み係数」 には、 「第 1フィール ド重み係数」 と 「第 2フィールド重み係数」 が含まれている。
「ピクチャフレーム符号化情報」 力 S 「0」 の場合は、 ピクチャがフィ 一ルド単位で符号化されており、 プロック単位でフィールドとフレーム を切り替えることができない。 従って、 図 1 2 ( b ) に示すように 「A F F」 が無く、 「ピクチャ重み係数」 として 「フィールド重み係数」 のみ が送信される。 図 1 2 (c) は、 「ピクチャフレーム符号化情報」 力 S 「 1」 で 「AF F」 力 S 「0」 の場合であり、 プロック単位でフィールドとフレ ームを切り替えることができない。従って、 「ピクチャ重み係数」 として 「フレーム重み係数」 のみが送信される。
図 1 3は、 本実施の形態における 「ピクチャフレーム符号化情報」 が 「 1」 でピクチャがフレーム単位で符号化されている場合の可変長復号 化ュニッ ト V LDにおける重み係数に関する符号化処理の流れを示すフ ローチャー トである。
最初に、 「AF FJ の値が 「 1」 で、 ブロック単位でフレーム フィー ルドの切替が行なう場合は（S 1 0 ：はい）、 "プロック単位の切替あり " を示す AF Fを符号化し（S 1 3)、 フレーム重み係数およびフィールド 重み係数を符号化する （S 1 4、 S I 5)。
一方、 「AF F」 の値が 「0」 で、 ブロック単位でフレーム/フィール ドの切替を行なわない場合は （S 1 0 ： いいえ）、 "ブロック単位の切替 なし" を示す 「AF F」 の値 「0」 を符号化し （S 1 1 )、 ピクチャの重 み係数を符号化する （S 1 2)。
(変形例）
図 1 4は、 本実施の形態の変形例におけるピクチャ領域のデータ構造 例を示す図である。 図 1 4 (a) は、 ピクチャ領域における共通情報領 域のうち、 「header」 の詳細なデータ構造の一例である。 図 1 4 (a ) の例では、 「header」 は、 ピクチャがフレーム単位であるかフィールド 単位であるかを示す 「ピクチャフレーム符号化情報」 を有している。 例 えば、 「ピクチャフレーム符号化情報」 力 S 「 1」 （即ち、 ピクチャがフレ ーム単位である） の場合は、 更に 「AF F」 という、 プロック単位でフ ィールドとフレームを切り替えるか否かを示すフラグを有している。 例 えば、 「AF F」 力 S 「 1」 の場合は、 ブロック単位でフィールドとフレー ムを切り替えることを表すこととする。 図 1 4 ( a ) に示されているよ うに、 「AF F」 力 S 「 1」 の場合は、 「フレーム重み係数」 を送信し、 「フ ィールド重み係数」 は、 「フレーム重み係数」 を流用することとする。
「ピクチャフレーム符号化情報」 力 S 「0」 の場合は、 ピクチャがフィ 一ルド単位で符号化されることを表す。 この場合は、 ブロック単位でフ レーム //フィールドの切り替えは行われない。 従って、 図 1 4 ( b ) に 示すように 「AF F」 がない場合は、 「ピクチャ重み係数」 として 「フィ 一ルド重み係数」 のみが送信されることを意味する。 図 1 4 (c ) は、 「ピクチャフレーム符号化情報」 が 「 1」 で 「AF F」 カ 「0」 の場合 であり、 ブロック単位でフレーム Zフィ一ノレドの切り替えは行われず、 常にフレームで符号化される。 従って、 「ピクチャ重み係数」 として 「フ レーム重み係数」 のみが送信されることとなる。
図 1 5は、 本実施の形態の変形例における 「ピクチャフレーム符号化 情報」 が 「1」 でピクチャがフレーム単位で符号化されている場合の可 変長符号化ュニッ ト V L Cにおける重み係数に関する符号化処理の流れ を示すフローチヤ一トである。
最初に、 「AF F」 の値が 「 1」 で、 ブロック単位でフレームダフィー ルドの切替を行う場合は （S 1 0 ： はい）、 "ブロック単位の切替あり" を示す 「AF F」 を符号化し （S 1 3)、 フレーム重み係数を符号化する ( S 1 5 )。
—方、 「AF F」 のィ直が 「0」 で、 プロック単位でフレーム Zフィール ドの切替を行わない場合は （S 1 0 ：いいえ）、 "ブロック単位の切替な し" を示す 「AF F」 の値 「0」 を符号化し (S 1 1)、 ピクチャフレー ム符号化情報に基いて 「フィールド重み係数」 または 「フレーム重み係 数」 のいずれか一方でブロックの符号化単位と一致する方を 「ピクチャ 重み係数」 として符号化する （S 1 2)。
図 1 6は、 上記図 1 1の可変長復号化ユエット VLDにおける 「ピク チャフレーム符号化情報」 が 「 1」 で、 ピクチャがフレーム単位で符号 化されている場合の重み係数に関する複号化処理の流れを示すフローチ ヤートである。 また、 図 1 6は、 上記図 1 5の符号化処理に対応する復 号化処理に係るフローチヤ一トである。
最初に、 可変長復号化ュニット VLDは、 「AF F」 を復号化する （S 2 0)。 これにより、 「AF F」 の値が 「 1」 で、 ブロック単位でフレー ム /フィールドの切り替えが行われていることを示す場合は （S 2 1 ： はい）、 フレーム重み係数を復号化し （S 2 3)、 フレーム重み係数に基 づいて （例えば、 フレーム重み係数を流用して）、 フィールド重み係数を 生成する （S 2 4 )。
一方、 「A F F」 の値が 「0」 で、 ブロック単位でフレーム/フィール ドの切替が行われていないことを示す場合は （S 2 1 ： いいえ）、 「ピク チヤ重み係数」 と しての 「フィールド重み係数」 または 「フィールド重 み係数」 の何れかを復号化する （S 2 2 )。
以上のように、 本実施の形態に係る画像符号化方法及び画像復号化方 法を用いることにより、 プロック単位でフィールド フレームの切替を 実現し、 予測効率を改善し、 最終的に圧縮率を向上させることが可能と なる。 さらに、 「フィールド重み係数」が符号化されていない場合であつ ても、 可変長複号化ユニッ ト V L Dにおいて 「フレーム重み係数」 から 「フィールド重み係数」 を生成するので、 支障なく上記ブロック単位の フィールド/フレームの切替を行うことが可能となる。
(実施の形態 2 )
本実施の形態では、 上記実施の形態 1におけるピクチャ領域のデータ 構造が異なる場合の例について説明する。
図 1 7は、 本実施の形態におけるピクチャ領域のデータ構造例を示す 図である。 この図 1 7は、 ピクチャ領域における共通情報領域のうち、 rheaderjの詳細なデータ構造を示す図である。本実施の形態では、 「ピ クチャフレーム符号化情報」 力 s 「 1」 でピクチャがフレーム単位で符号 化されている場合と し、 フ ィ ール ド重み係数を省略し得る場合の 「header」 の構造例について説明する。
図 1 7 ( a )および図 1 7 ( b ) に示されるように、 「header」 は、 「A F F」 に加え 「Field係数有無情報」 を有している。 この 「： Field係数有 無情報」 は、 フィールド重み係数があるか否かを示すフラグである。 例 えば、 フィールド重み係数がある場合は 「1」、 フィールド重み係数を省 略する場合は 「0」 に設定することとする。 図 1 7 (a) は、 「AF F」 に 「 1」 が設定され、 上記 「Field係数有 無情報」 に 「 1」 が設定されている例であり、 フィールド重み係数につ いても送信する場合を示す。 なお、 「フィールド重み係数」 には、 上記実 施の形態 1の場合と同様に 「第 1フィールド重み係数」 と 「第 2フィー ルド重み係数」 が含まれている。
図 1 7 (b) は、 「AF F」 に 「 1」 が設定され、 上記 「Field係数有 無情報」 に 「0」 が設定されている例である。
図 1 7 ( c ) は、 「AF F」 に 「0」 が設定されているため、 ブロック 単位でフィールドとフレームの切替を行わない例である。
図 1 8は、 本実施の形態における可変長符号化ユニッ ト VL Cにおけ る重み係数に関する符号化処理の流れを示すフローチヤ一トである。 最初に、 「AF F」 の値が 「 1」 で、 プロック単位でフレーム /フィー ノレドの切替を行う場合は （S 1 0 ：はい）、 ブロック単位の切替があるこ とを示す 「AF F」 を符号化する （S 3 1 )。
さらに、 フィールド重み係数がフレーム重み係数から生成可能か否か を判定し （S 3 2)、 可能な場合は、 フィールド重み係数を生成すること を示す情報およびフレーム重み係数を符号化する （S 3 6、 S 3 7)。 な お、 フィールド重み係数がフレーム重み係数から生成しない場合は、 フ ィールド重み係数があるか否かを示す情報、 フレーム重み係数およびフ ィールド重み係数を符号化する （S 3 3〜S 3 5)。
一方、 「AF F」 の値が 「0」 で、 ブロック単位でフレームダフィール ドの切替が行わない場合は （S 1 0 ：いいえ）、 上記図 1 5のフローチヤ ートと同じである （S l l、 S 1 2)。
図 1 9は、 上記図 1 1の可変長復号化ュニット V LDにおける重み係 数に関する復号化処理の流れを示すフローチャートである。 また、 図 1
9は、 上記図 1 8の符号化処理に対応する復号化処理に係るフローチヤ ートである。
最初に、 可変長複号化ュニット VLDは、 「AF F」 を複号化し （S 2 0)、 「AF F」 の値が 「 1」 で、 ブロック単位でフレーム /フィールド の切替が行われていることを示す場合は （S 2 1 ：はい）、 フィールド重 み係数の有無を示す情報を復号化する （S 4 1)。
次に、 フィールド重み係数があるか否かを判定し （S 4 2)、 フィール ド重み係数がない場合は、 フレーム重み係数を複号化し （S 4 5)、 フレ ーム重み係数からフィールド重み係数を生成する （S 4 6)。 なお、 フィ ールド重み係数がある場合は、 フレーム重み係数およびフィールド重み 係数を復号化する （S 4 3、 S 44)。
—方、 「AF F」 の値が 「0」 で、 プロック単位でフレーム Zフィール ドの切替が行われていないことを示す場合は (S 2 1 ：いいえ）、 ピクチ ャ重み係数を復号化する （S 2 2)。
以上のように、 本実施の形態に係る画像符号化方法及び画像復号化方 法を用いることにより、 ブロック単位でフィールド Zフレームの切替を 実現する。 さらに、 フィールド重み係数が省略されている場合であって も、 フレーム重み係数から生成することを可能とする。
(実施の形態 3)
本実施の形態では、 上記実施の形態 1におけるピクチャ領域のデータ 構造が異なる場合のその例について説明する。
図 2 0は、 本実施の形態におけるピクチャ領域のデータ構造例を示す 図である。 この図 2 0は、 ピクチャ領域における共通情報領域のうち、
「ピクチャフレーム符号化情報」 力 S 「 1」 でピクチャがフレーム単位で 符号化されている場合とし、 「header」 の詳細なデータ構造を示す図で ある。 本実施の形態では、 フ レーム重み係数を省略し得る場合の fheaderj の構造例について説明する。 図 20 ( a ) およぴ図 20 (b) に示されるように、 「header」 は、 「A F F」 に加え 「： Frame 係数有無情報」 を有している。 この 「： Frame 係 数有無情報」 は、 フレーム重み係数があるか否かを示すフラグである。 例えば、 フレーム重み係数がある場合は 「 1」、 フレーム重み係数を省略 する場合は 「0」 に設定することとする。
図 20 (a) は、 「AF F」 に 「 1」 が設定され、 上記 「Frame 係数 有無情報」 に 「 1」 が設定されている例であり、 フレーム重み係数につ いても送信する場合を示す。 図 20 (b ) は、 「AF F」 に 「1」 が設定 され、上記（"Frame係数有無情報」 に「0」が設定されている例である。 図 2 0 (c ) は、 「AF F」 に 「0」 が設定されているため、 プロック単 位でフィ一ノレドとフレームの切替を行わない例である。
図 2 1は、 本実施の形態における可変長符号化ュニッ ト VL Cにおけ る重み係数に関する符号化処理の流れを示すフローチヤ一トである。 最初に、 「AF F」 の値が 「 1」 で、 プロック単位でフレーム Zフィー ルドの切替が行う場合は （S 1 0 ：はい）、 プロック単位の切替があるこ とを示す 「AF F」 を符号化する （S 5 1)。
さらに、 フレーム重み係数をフィールド重み係数から生成するか否か を判定し (S 5 2)、 生成する場合は、 フレーム重み係数を生成すること を示す情報およびフィールド重み係数を符号化する （S 5 6、 S 5 7)0 なお、フレーム重み係数をフィールド重み係数から生成しない場合は（ S 5 2 ：いいえ）、 フレーム重み係数があるか否かを示す情報、 フィールド 重み係数おょぴフレーム重み係数を符号化する （S 5 3〜S 5 5)。 一方、 「AF F」 の値が 「0」 で、 プロック単位でフレーム Zフィーノレ ドの切替を行わない場合は （ S 1 0 ：いいえ）、 上記図 1 5のフローチヤ ートと同じ符号化を行う （S l l、 S I 2)。
図 2 2は、 上記図 1 1の可変長復号化ュニット VLDにおける重み係 数に関する複号化処理の流れを示すフローチャートである。 また、 図 2 2は、 上記図 2 1の符号化処理の流れに対応する複号化処理に係るフロ 一チヤ一トである。
最初に、 可変長復号化ュニット V L Dは、 「A F F」 を復号化し （S 2 0 )、 「A F F」 の値が 「 1」 で、 ブロック単位でフレーム フィールド の切替が行われていることを示す場合は （S 2 1 ：はい）、 フレーム重み 係数の有無を示す情報を復号化する （S 6 1 )。
次に、 フレーム重み係数があるか否かを判定し （S 6 2 )、 フレーム重 み係数がない場合は（S 6 2：はい）、フィールド重み係数を複号化し（S 6 5 )、フィールド重み係数からフレーム重み係数を生成する（S 6 6 )。 なお、 フレーム重み係数がある場合は （ S 6 2 ：いいえ）、 フィールド重 み係数およびフレーム重み係数を復号化する （S 6 3、 S 6 4 )。
一方、 「A F F」 の値が 「 0」 で、 ブロック単位でフレーム Zフィール ドの切替が行われていないことを示す場合は （S 2 1 ：いいえ）、 ピクチ ャ重み係数を復号化する （S 2 2 )。
以上のように、 本実施の形態に係る画像符号化方法及ぴ画像復号化方 法を用いることにより、 プロック単位でフィールド フレームの切替を 実現する。さらに、フレーム重み係数が省略されている場合であっても、 フィールド重み係数から生成することを可能とする。
(実施の形態 4 )
さらに、 上記各実施の形態で示した画像符号化方法及び画像復号化方 法を実現するためのプログラムを、 フレキシブルディスク等の記憶媒体 に記録するようにすることにより、 上記各実施の形態で示した処理を、 独立したコンピュータシステムにおいて簡単に実施することが可能とな る。
図 2 3は、上記各実施の形態の画像符号化方法及び画像復号化方法を、 フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、 コンピュータシステムにより実施する場合の説明図である。
図 2 3 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構 造、 及びフレキシブルディスクを示し、 図 2 3 ( a ) は、 記録媒体本体 であるフレキシブルディスクの物理フォーマッ トの例を示している。 フ レキシブルディスク F Dはケース F内に内蔵され、 該ディスクの表面に は、 同心円状に外周からは内周に向かって複数のトラック T rが形成さ れ、 各トラックは角度方向に 1 6のセクタ S eに分割されている。 従つ て、 上記プログラムを格納したフレキシブルディスクでは、 上記フレキ シブルディスク F D上に割り当てられた領域に、 上記プログラムが記録 されている。
また、 図 2 3 ( c ) は、 フレキシブルディスク F Dに上記プログラム の記録再生を行うための構成を示す。 画像符号化方法及び画像復号化方 法を実現する上記プログラムをフレキシブルディスク F Dに記録する場 合は、 コンピュータシステム C sから上記プログラムを、 フレキシブル ディスク ドライブを介して書き込む。 また、 フレキシブルディスク内の プログラムにより画像符号化方法及び画像復号化方法を実現する上記画 像符号化方法及び画像復号化方法をコンピュータシステム中に構築する 場合は、 フレキシブルディスク ドライブによりプログラムをフレキシブ ルディスクから読み出し、 コンピュータシステムに転送する。
なお、 上記説明では、 記録媒体としてフレキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行うことができる。また、 記録媒体はこれに限らず、 I Cカード、 R O Mカセッ ト等、 プログラム を記録できるものであれば同様に実施することができる。.
(実施の形態 5 )
さらにここで、 上記実施の形態で示した画像符号化方法や画像復号化 方法の応用例とそれを用いたシステムを説明する。
図 24は、 コンテンッ配信サービスを実現するコンテンツ供給システ ム e X 1 0 0の全体構成を示すブロック図である。 通信サービスの提供 ェリアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である 基地局 e x l 0 7〜 e x l l 0が設置されている。
このコンテンッ供給システム e X 1 0 0は、 例えば、 ィンターネット e X 1 0 1にィンターネッ トサービスプロバイダ e X 1 0 2および電話 網 e X 1 04、 および基地局 e x l 0 7〜 e x l l Oを介して、 コンビ ユータ e x l l l、 PDA (personal digital assistant) e x 1 1 2、 カメラ e x l '1 3、 携帯電話 e x 1 1 4、 カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。
しかし、 コンテンッ供給システム e X 1 00は、 上記図 24のような 組合せに限定されず、 いずれかを組み合わせて接続するようにしてもよ い。また、固定無線局である基地局 e X 1 0 7〜 e x l l Oを介さずに、 各機器が電話網 e X 1 04に直接接続されてもよい。
カメラ e x l l 3はデジタルビデオカメラ等の動画撮影が可能な機器 である。また、携帯電話は、 P D C (Personal Digital Communications) 方式、 CDMA (Code Division Multiple Access) 方式、 W—CDMA (Wideband- Code Division Multiple Access) 方式、 若しくは G SM (Global System for Mobile Communications) 方式の携帯電話機、 ま たは PH S (Personal Handyphone System) 等であり、 いずれでも構 わない。
また、 ストリーミングサーバ e x l 0 3は、 カメラ e x l l 3力、ら基 地局 e X 1 0 9、 電話網 e X 1 04を通じて接続されており、 カメラ e X 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいた ライプ配信等が可能になる。 撮影したデータの符号化処理はカメラ e X 1 1 3で行っても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメラ 1 1 6で撮影した動画データはコンピュータ e X 1 1 1を 介してストリーミングサーバ e X 1 0 3に送信されてもよい。 カメラ e X 1 1 6はデジタルカメラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画データの符号化はカメラ e X 1 1 6で行ってもコンビュ ータ e X 1 1 1で行ってもどちらでもよい。 また、 符号化処理はコンビ ユータ e x l l lや力メラ e X 1 1 6が有する L S I e x 1 1 7におい て処理することになる。 なお、 画像符号化 ·復号化用のソフトウェアを コンピュータ e X 1 1 1等で読み取り可能な記録媒体である何らかの蓄 積メディア (C D— R OM、 フレキシブルディスク、 ハードディスクな ど） に組み込んでもよい。 さらに、 カメラ付きの携帯電話 e X 1 1 5で 動画データを送信してもよい。 このときの動画データは携帯電話 e X 1 1 5が有する L S Iで符号化処理されたデータである。
このコンテンツ供給システム e X 1 0 0では、 ユーザがカメラ e X 1 1 3、 カメラ e x l l 6等で撮影しているコンテンツ （例えば、 音楽ラ イブを撮影した映像等） を上記実施の形態同様に符号化処理してス トリ 一ミングサーバ e X 1 0 3に送信する一方で、 ス トリーミングサーバ e X 1 0 3は要求のあったクライアントに対して上記コンテンツデータを ストリーム配信する。 クライアントとしては、 上記符号化処理されたデ —タを復号化することが可能な、 コンピュータ e x l l 1、 P DA e x 1 1 2、 カメラ e x l l 3、 携帯電話 e x l 1 4等がある。 このように することでコンテンツ供給システム e X 1 0 0は、 符号化されたデータ をクライアントにおいて受信して再生することができ、 さらにクライア ントにおいてリアルタイムで受信して複号化し、 再生することにより、 個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した画像符号化装置あるいは画像複号化装置を用いるようにすれ ばよい。
その一例として携帯電話について説明する。
図 2 5は、 上記実施の形態で説明した画像符号化方法及び画像復号化 方法を用いた携帯電話 e X 1 1 5を示す図である。 携帯電話 e x 1 1 5 は、 基地局 e X 1 1 0との間で電波を送受信するためのアンテナ e x 2 0 1、 C CDカメラ等の映像、 静止画を撮ることが可能なカメラ部 e X 20 3、 カメラ部 e X 20 3で撮影した映像、 アンテナ e x 2 0 1で受 信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表 示部 e X 2 0 2、 操作キー e X 2 04群から構成される本体部、 音声出 力をするためのスピーカ等の音声出力部 e X 20 8、 音声入力をするた めのマイク等の音声入力部 e X 2 0 5、 撮影した動画もしくは静止画の データ、 受信したメールのデータ、 動画のデータもしくは静止画のデー タ等、 符号化されたデータまたは複号化されたデータを保存するための 記憶メディア e X 2 0 7、 携帯電話 e x 1 1 5に記憶メディア e x 2 0 7を装着可能とするためのスロッ ト部 e X 20 6を有している。 記憶メ ディア e X 20 7は S Dカード等のプラスチックケース内に電気的に書 換えや消去が可能な不揮発性メモリである E E P ROM (Electrically Erasable and Programmable Read Only Memory)の一種 Cあるフフッ シュメモリ素子を格納したものである。
さらに、 携帯電話 e X 1 1 5について図 2 6用いて説明する。 携帯電 話 e X 1 1 5は表示部 e X 20 2及び操作キー e x 2 0 4を備えた本体 部の各部を統括的に制御するようになされた主制御部 e X 3 1 1に対し て、 電源回路部 e X 3 1 0、 操作入力制御部 e X 3 04、 画像符号化部 e x 3 1 2、 カメラインターフェース部 e x 3 0 3、 L C D (Liquid Crystal Display) 制御部 e x 3 0 2、 画像複号化部 e x 3 0 9、 多重分 離部 e x 3 0 8、 記録再生部 e X 3 0 7、 変復調回路部 e x 3 0 6及ぴ 音声処理部 e x 3 0 5が同期バス e x 3 1 3を介して互いに接続されて いる。
電源回路部 e X 3 1 0は、 ユーザの操作により終話及び電源キーがォ ン状態にされると、 バッテリパックから各部に対して電力を供給するこ とによりカメラ付ディジタル携帯電話 e X 1 1 5を動作可能な状態に起 動する。
携帯電話 e x 1 1 5は、 C PU、 ROM及び RAM等でなる主制御部 e X 3 1 1の制御に基づいて、 音声通話モード時に音声入力部 e X 2 0 5で集音した音声信号を音声処理部 e X 3 0 5によってディジタル音声 データに変換し、 これを変復調回路部 e X 3 0 6でスぺク トラム拡散処 理し、 送受信回路部 e X 3 0 1でディジタルアナログ変換処理及ぴ周波 数変換処理を施した後にアンテナ e X 2 0 1を介して送信する。 また、 携帯電話機 e X 1 1 5は、 音声通話モード時にアンテナ e X 2 0 1で受 信した受信信号を増幅して周波数変換処理及びアナログディジタル変換 処理を施し、 変復調回路部 e X 3 0 6でスぺク トラム逆拡散処理し、 音 声処理部 e X 3 0 5によってアナログ音声信号に変換した後、 これを音 声出力部 e X 2 0 8を介して出力する。
さらに、 データ通信モード時に電子メールを送信する場合、 本体部の 操作キー e X 2 0 4の操作によって入力された電子メールのテキストデ ータは操作入力制御部 e X 3 0 4を介して主制御部 e X 3 1 1に送出さ れる。 主制御部 e X 3 1 1は、 テキストデータを変復調回路部 e X 3 0 6でスぺク トラム拡散処理し、 送受信回路部 e X 3 0 1でディジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ e X 2 0 1を 介して基地局 e X 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、 カメラ部 e x 2 0 3で撮像された画像データを、 カメラインターフェース部 e X 3 0 3を 介して画像符号化部 e X 3 1 2に供給する。 また、 画像データを送信し ない場合には、 カメラ部 e X 2 0 3で撮像した画像データをカメライン ターフェース部 e X 3 0 3及び L C D制御部 e x 3 0 2を介して表示部 e X 2 0 2に直接表示することも可能である。
画像符号化部 e X 3 1 2は、 本願発明で説明した画像符号化装置を備 えた構成であり、 カメラ部 e X 2 0 3から供給された画像データを上記 実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符 号化することにより符号化画像データに変換し、 これを多重分離部 e X 3 0 8に送出する。 また、 このとき同時に携帯電話機 e X 1 1 5は、 力 メラ部 e X 2 0 3で撮像中に音声入力部 e x 2 0 5で集音した音声を音 声処理部 e X 3 0 5を介してディジタルの音声データとして多重分離部 e X 3 0 8に送出する。
多重分離部 e X 3 0 8は、 画像符号化部 e X 3 1 2から供給された符 号化画像データと音声処理部 e X 3 0 5から供給された音声データとを 所定の方式で多重化し、 その結果得られる多重化データを変復調回路部 e X 3 0 6でスぺク トラム拡散処理し、 送受信回路部 e X 3 0 1でディ ジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ e X 2 0 1を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像フアイル のデータを受信する場合、 アンテナ e X 2 0 1を介して基地局 e X 1 1 0から受信した受信信号を変復調回路部 e X 3 0 6でスペク トラム逆拡 散処理し、 その結果得られる多重化データを多重分離部 e X 3 0 8に送 出する。
また、 アンテナ e X 2 0 1を介して受信された多重化データを複号化 するには、 多重分離部 e x 3 0 8は、 多重化データを分離することによ 3
り符号化画像データと音声データとに分け、 同期バス e X 3 1 3を介し て当該符号化画像データを画像復号化部 e X 3 0 9に供給すると共に当 該音声データを音声処理部 e x 3 ◦ 5に供給する。
次に、 画像復号化部 e X 3 0 9は、 本願発明で説明した画像復号化装 置を備えた構成であり、 符号化画像データを上記実施の形態で示した符 号化方法に対応した複号化方法で復号することにより再生動画像データ を生成し、 これを L C D制御部 e X 3 0 2を介して表示部 e x 2 0 2に 供給し、 これにより、 例えばホームページにリンクされた動画像フアイ ルに含まれる動画データが表示される。 このとき同時に音声処理部 e X 3 0 5は、 音声データをアナログ音声信号に変換した後、 これを音声出 力部 e X 2 0 8に供給し、 これにより、 例えばホームページにリンクさ れた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっており、 図 2 7に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも画像符号化装置または画像復 号化装置のいずれかを組み込むことができる。 具体的には、 放送局 e x 4 0 9では映像情報の符号化ビッ トス トリームが電波を介して通信また は放送衛星 e X 4 1 0に伝送される。 これを受けた放送衛星 e X 4 1 0 は、 放送用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭の' アンテナ e X 4 0 6で受信し、 テレビ （受信機） e x 4 0 1またはセッ ト トップポックス （S T B ) e x 4 0 7などの装置により符号化ビット ス ト リームを複号化してこれを再生する。 また、 記録媒体である蓄積メ ディア e X 4 0 2に記録した符号化ビッ トス ト リームを読み取り、 復号 化する再生装置 e X 4 0 3にも上記実施の形態で示した画像復号化装置 を実装することが可能である。 この場合、 再生された映像信号はモニタ e x 4 0 4に表示される。 また、 ケーブルテレビ用のケーブル e X 4 0 5または衛星 Z地上波放送のアンテナ e X 4 0 6に接続されたセッ トト ップボックス e X 4 0 7内に画像復号化装置を実装し、 これをテレビの モニタ e x 4 0 8で再生する構成も考えられる。 このときセッ ト トップ ボックスではなく、 テレビ内に画像符号化装置を組み込んでも良い。 ま た、 アンテナ e X 4 1 1を有する車 e x 4 1 2で衛星 e x 4 1 0力、らま たは基地局 e X 1 0 7等から信号を受信し、 車 e X 4 1 2が有するカー ナビゲーション e X 4 1 3等の表示装置に動画を再生することも可能で ある。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、 記録媒体に記録することもできる。 具体例として,は、 DVDディスク e X 4 2 1に画像信号を記録する DVDレコーダや、 ハードディスクに記 録するディスクレコーダなどのレコーダ e X 4 2 0がある。 更に S D力 ード e X 4 2 2に記録することもできる。 レコーダ e X 4 2 0が上記実 施の形態で示した画像復号化装置を備えていれば、 DVDディスク e X 4 2 1や S Dカード e x 4 2 2に記録した画像信号を再生し、 モニタ e X 4 0 8で表示することができる。
なお、 カーナビゲーシヨン e X 4 1 3の構成は、 例えば図 2 6に示す 構成のうち、 カメラ部 e x 2 0 3とカメラインターフェース部 e X 3 0 3を除いた構成が考えられ、 同様なことがコンピュータ e X 1 1 1ゃテ レビ （受信機） e X 4 0 1等でも考えられる。
また、 上記携帯電話 e X 1 1 4等の端末は、 符号化器 ·復号化器を両 方持つ送受信型の端末の他に、 符号化器のみの送信端末、 複号化器のみ の受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した画像符号化方法及び画像復号化 方法を上述したいずれの機器 ' システムに用いることは可能であり、 そ うすることで、 上記実施の形態で説明した効果を得ることができる。 また、本発明は、かかる上記の実施の形態に限定されるものではなく、 本発明の範囲を逸脱することなく種々の変形または修正が可能である。 以上のように、 本発明に係る画像符号化方法及び画像復号化方法によ れば、 ブロック単位でフィールド/フレームの切替を実現し、 予測効率 を改善し、 圧縮率を向上させることが可能となる。
さらに、 本発明に係る画像符号化方法及び画像復号化方法よれば、 フ レーム重み係数からフィールド重み係数を生成するので、 フィールド重 み係数を省略して送信することが可能となり、伝送効率の改善ができる。 よって、 その実用的価値は高い。 産業上の利用可能性
本発明は、 プロック単位でフレーム Zフィールドを切り替えて動き予 測を行う画像符号化装置および画像復号化装置およびそれらの方法に適 用可能であり、 特に重み係数を用いて動き予測を行う上記画像符号化装 置などに有用である。

Claims

1 . インタレース画像をプロック単位で符号化する画像符号化装置であ つて、
符号化後復号化されたフレームまたはフィールドであるピクチャを、 参照ピクチヤとして記憶する記憶手段と、
請
前記記憶手段から前記参照ピクチャを読み出し、 フレーム単位で符号 化するためのフレーム重み係数又はフィールド単位で符号化するための の
フィールド重み係数を用いて前記参照ピクチヤの画素値から予測ピクチ ャを生成する予測ピクチャ生成手段と、
囲
フレーム単位及びフィ一ノレド単位のいずれかで、 入力されたピクチャ と前記予測ピクチャ生成手段によって生成された予測ピクチヤとの差分 値をプロック単位で符号化する信号符号化手段と、
前記信号符号化手段がブロック単位でフレーム単位及びフィールド単 位のいずれかに適応的に切り替えながら符号化した場合に、 前記フレー ム重み係数及びフィールド重み係数のうち、 フレーム重み係数だけを符 号化する重み係数符号化手段と、
前記信号符号化手段で符号化された差分値と前記重み係数符号化手段 で符号化されたフレーム重み係数とを多重化して符号化信号として出力 する多重化手段と
を備えることを特徵とする画像符号化装置。
2 . 前記信号符号化手.段は、
前記ピクチャごとに、 プロックをフレーム単位及ぴフィールド単位の いずれかに適応的に切り替えながら符号化するか、 又は、 前記差分値を フレーム単位及びフィールド単位のいずれかで符号化し、 前記多重化手段は、 前記信号符号化手段がプロックをフレーム単位及 びフィールド単位のいずれかに適応的に切り替えながら符号化した場合 には、 符号化対象となった前記ピクチャごとに、 適応的に切り替えなが ら符号化した旨を示すフラグ情報と前記フレーム重み係数とを含ませて、 前記符号化信号として出力する
ことを特徴とする請求項 1記載の画像符号化装置。
3 . 前記予測ピクチャ生成手段は、
前記フレーム重み係数に基づいて所定の方法でフィールド重み係数 を生成し、 前記フレーム重み係数または生成されたフィールド重み係数 を用いて前記予測ピクチャの生成を行う
ことを特徴とする請求項 1記載の画像符号化装置。
4 . 1つのフレーム又は 1つのフィールドであるピクチャに係る符号化 信号をプロック単位で復号化する画像復号化装置であって、
前記符号化信号がフレーム単位及びフィールド単位のいずれかに適応 的に切り替えながら符号化されている場合に、 前記符号化信号をフレー ム単位又はフィールド単位で複号化する信号復号化手段と、
復号化されたピクチャを記憶する記憶手段と、
前記符号化信号がフレーム単位及びフィールド単位のいずれかに適応 的に切り替えながら符号化されている場合に、 フレーム単位で復号化す るためのフレーム重み係数を前記符号化信号から抽出すると共に、 フィ ールド単位で復号化するためのフィールド重み係数を前記フレーム重み 係数から生成し、 抽出した前記フレーム重み係数及ぴ生成した前記フィ ールド重み係数を用いて前記記憶手段に記憶されている復号ピクチャの 画素値から予測ピクチャを生成する予測ピクチャ生成手段と、 前記信号複号化手段による復号によって得られたピクチャと前記予測 ピクチャ生成手段によって生成された予測ピクチャとを加算し、 当該加 算されたピクチャを復号ピクチャとして出力するとともに前記記憶手段 に格納する加算手段と
を備えることを特徴とする画像復号化装置。
5 . 前記符号化信号は、 ピクチャごとに、 フレーム単位及ぴフィールド 単位のいずれかに適応的に切り替えながら符号化されている旨を示すフ ラグ情報と前記フレーム重み係数とが含まれ、
前記予測ピクチャ生成手段は、 前記ピクチヤに前記フラグ情報が含ま れる場合に、 前記フレーム重み係数から前記フィールド重み係数を生成 する
ことを特徴とする請求項 4記載の画像復号化装置。
6 . 前記予測ピクチャ生成手段は、
前記フレーム重み係数が含まれたピクチャのフィールド重み係数に ついては、 当該フレーム重み係数から生成する
ことを特徴とする請求項 4記載の画像複号化装置。
7 . インタレース画像をブロック単位で符号化する画像符号化方法であ つて、
参照ピクチャを記憶する記憶手段から参照ピクチャを読み出し、 フレ 一ム単位で符号化するためのフレーム重み係数又はフィールド単位で符 号化するためのフィールド重み係数を用いて前記参照ピクチヤの画素値 から予測ピクチャを生成する予測ピクチャ生成ステップと、
フレーム単位及びフィ一ノレド単位のいずれかで、 入力されたピクチャ と前記予測ピクチャ生成ステップによって生成された予測ピクチヤとの 差分値をブロック単位で符号化する信号符号化ステップと、
前記信号符号化ステップがプロック単位でフレーム単位及びフィール ド単位のいずれかに適応的に切り替えながら符号化した場合に、 前記フ レーム重み係数及びフィールド重み係数のうち、 フレーム重み係数だけ を符号化する重み係数符号化ステップと、
前記信号符号化ステップで符号化された差分値と前記重み係数符号化 ステップで符号化されたフレーム重み係数とを多重化して符号化信号と して出力する多重化ステップと
を含むことを特徴とする画像符号化方法。
8 . 前記信号符号化ステップは、
前記ピクチャごとに、 プロックをフレーム単位及びフィールド単位の いずれかに適応的に切り替えながら符号化するか、 又は、 前記差分値を フレーム単位及びフィールド単位のいずれかで符号化し、
前記多重化ステップは、 前記信号符号化ステップがプロックをフレー ム単位及びフィールド単位のいずれかに適応的に切り替えながら符号化 した場合には、 符号化対象となった前記ピクチャごとに、 適応的に切り 替えながら符号化した旨を示すフラグ情報と前記フレーム重み係数とを 含ませて、 前記符号化信号として出力する
ことを特徴とする請求項 7記載の画像符号化方法。
9 . 1つのフレーム又は 1つのフィールドであるピクチャに係る符号化 信号をプロック単位で復号化する画像複号化方法であって、
前記符号化信号がフレーム単位及ぴフィールド単位のいずれかに適応 的に切り替えながら符号化されている場合に、 前記符号化信号をフレー ム単位又はフィールド単位で復号化する信号復号化ステップと、 前記符号化信号がフレーム単位及びフィールド単位のいずれかに適応 的に切り替えながら符号化されている場合に、 フレーム単位で復号化す るためのフレーム重み係数を前記符号化信号から抽出すると共に、 フィ 一ルド単位で復号化するためのフィールド重み係数を前記フレーム重み 係数から生成し、 抽出した前記フレーム重み係数及び生成した前記フィ ールド重み係数を用いて、 記憶手段に記憶されている復号化されたピク チャの画素値から予測ピクチャを生成する予測ピクチャ生成ステツプと、 前記信号復号化ステップによる復号によって得られたピクチャと前記 予測ピクチャ生成ステップによって生成された予測ピクチャとを加算し、 当該加算されたピクチャを復号ピクチャとして出力するとともに前記記 憶手段に格納する加算ステップと
を含むことを特徴とする画像複号化方法。
1 0 . 前記符号化信号は、 ピクチャごとに、 フレーム単位及びフィール ド単位のいずれかに適応的に切り替えながら符号化されている旨を示す フラグ情報と前記フレーム重み係数とが含まれ、
前記予測ピクチャ生成ステップは、 前記ピクチヤに前記フラグ情報が 含まれる場合に、 前記フレーム重み係数から前記フィールド重み係数を 生成する
ことを特徴とする請求項 9記載の画像複号化方法。
1 1 . 前記予測ピクチャ生成ステップは、
前記フレーム重み係数が含まれたピクチャのフィールド重み係数につい ては、 当該フレーム重み係数から生成する
ことを特徴とする請求項 9記載の画像復号化方法。
1 2 . インタレース画像をプロック単位で符号化する画像符号化装置の ためのプログラムであって、
参照ピクチャを記憶する記憶手段から参照ピクチャを読み出し、 フレ ーム単位で符号化するためのフレーム重み係数又はフィールド単位で符 号化するためのフィールド重み係数を用いて前記参照ピクチャの画素値 から予測ピクチャを生成する予測ピクチャ生成ステップと、
フレーム単位及ぴフィールド単位のいずれかで、 入力されたピクチャ と前記予測ピクチャ生成ステツプによつて生成された予測ピクチヤとの 差分値をプロック単位で符号化する信号符号化ステップと、
前記信号符号化ステップがプロック単位でフレーム単位及びフィール ド単位のいずれかに適応的に切り替えながら符号化した場合に、 前記フ レーム重み係数及びフィールド重み係数のうち、 フレーム重み係数だけ を符号化する重み係数符号化ステップと、
前記信号符号化ステップで符号化された差分値と前記重み係数符号化 ステップで符号化されたフレーム重み係数とを多重化して符号化信号と して出力する多重化ステップと
をコンピュータに実行させることを特徴とするプログラム。
1 3 . 符号化信号をブロック単位で復号化する画像復号化装置のための プログラムであって、
前記符号化信号がフレーム単位及ぴフィールド単位のいずれかに適 応的に切り替えながら符号化されている場合に、 前記符号化信号をフレ ーム単位又はフィールド単位で復号化する信号複号化ステップと、 前記符号化信号がフレーム単位及びフィールド単位のいずれかに適応 的に切り替えながら符号化されている場合に、 フレーム単位で復号化す るためのフレーム重み係数を前記符号化信号から抽出すると共に、 フィ ールド単位で復号化するためのフィールド重み係数を前記フレーム重み 係数から生成し、 抽出した前記フレーム重み係数及び生成した前記フィ ールド重み係数を用いて、 記憶手段に記憶されている復号化されたピク チヤの画素値から予測ピクチャを生成する予測ピクチャ生成ステップと、 前記信号復号化ステップによる復号によって得られたピクチャと前記 予測ピクチャ生成ステップによつて生成された予測ピクチャとを加算し、 当該加算されたピクチャを復号ピクチャとして出力するとともに前記記 憶手段に格納する加算ステップと
をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2003/012053 2002-10-01 2003-09-22 画像符号化装置、画像復号化装置およびこれらの方法 WO2004032521A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP03799117A EP1549077A4 (en) 2002-10-01 2003-09-22 BILDCODING DEVICE, IMAGE DECODING DEVICE AND ITS METHODS
KR1020087022232A KR100984610B1 (ko) 2002-10-01 2003-09-22 화상 복호화 장치 및 그 방법
BR0306560A BR0306560A (pt) 2002-10-01 2003-09-22 Aparelho de codificação de imagem, aparelho de decodificação de imagem e métodos
CA2468770A CA2468770C (en) 2002-10-01 2003-09-22 Picture decoding apparatus and picture decoding method
AU2003264543A AU2003264543C1 (en) 2002-10-01 2003-09-22 Image encoding device, image decoding device and their methods
US10/491,174 US7864838B2 (en) 2002-10-01 2003-09-22 Picture encoding device, image decoding device and their methods
US12/071,475 US7933330B2 (en) 2002-10-01 2008-02-21 Picture coding apparatus, picture decoding apparatus and the methods
US13/043,730 US8265150B2 (en) 2002-10-01 2011-03-09 Picture coding apparatus, picture decoding apparatus and the methods
US13/043,715 US8194738B2 (en) 2002-10-01 2011-03-09 Picture coding apparatus, picture decoding apparatus and the methods

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-289303 2002-10-01
JP2002289303 2002-10-01

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10491174 A-371-Of-International 2003-09-22
US12/071,475 Division US7933330B2 (en) 2002-10-01 2008-02-21 Picture coding apparatus, picture decoding apparatus and the methods

Publications (1)

Publication Number Publication Date
WO2004032521A1 true WO2004032521A1 (ja) 2004-04-15

Family

ID=32063743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/012053 WO2004032521A1 (ja) 2002-10-01 2003-09-22 画像符号化装置、画像復号化装置およびこれらの方法

Country Status (13)

Country Link
US (4) US7864838B2 (ja)
EP (3) EP1549077A4 (ja)
JP (5) JP5281591B2 (ja)
KR (4) KR101039987B1 (ja)
CN (2) CN100352287C (ja)
AU (1) AU2003264543C1 (ja)
BR (1) BR0306560A (ja)
CA (4) CA2762936C (ja)
ES (1) ES2535957T3 (ja)
MX (1) MXPA04003355A (ja)
MY (1) MY144985A (ja)
TW (2) TWI356595B (ja)
WO (1) WO2004032521A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
KR101039987B1 (ko) * 2002-10-01 2011-06-09 파나소닉 주식회사 화상 복호화 장치 및 그 방법
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
EP1790171B1 (en) * 2004-09-16 2018-03-28 Thomson Licensing DTV Method and apparatus for rapid video frame and field coding
JP4281721B2 (ja) * 2004-10-26 2009-06-17 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US8457203B2 (en) 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
WO2007091779A1 (en) 2006-02-10 2007-08-16 Lg Electronics Inc. Digital broadcasting receiver and method of processing data
WO2007126196A1 (en) * 2006-04-29 2007-11-08 Lg Electronics Inc. Digital broadcasting system and method of processing data
WO2007136166A1 (en) 2006-05-23 2007-11-29 Lg Electronics Inc. Digital broadcasting system and method of processing data
JP4624321B2 (ja) * 2006-08-04 2011-02-02 株式会社メガチップス トランスコーダおよび符号化画像変換方法
US7873104B2 (en) * 2006-10-12 2011-01-18 Lg Electronics Inc. Digital television transmitting system and receiving system and method of processing broadcasting data
US8630346B2 (en) * 2007-02-20 2014-01-14 Samsung Electronics Co., Ltd System and method for introducing virtual zero motion vector candidates in areas of a video sequence involving overlays
KR101285887B1 (ko) 2007-03-26 2013-07-11 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101253185B1 (ko) 2007-03-26 2013-04-10 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101285888B1 (ko) 2007-03-30 2013-07-11 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
WO2009005326A2 (en) 2007-07-04 2009-01-08 Lg Electronics Inc. Digital broadcasting system and method of processing data
US8433973B2 (en) * 2007-07-04 2013-04-30 Lg Electronics Inc. Digital broadcasting system and method of processing data
JP5098081B2 (ja) * 2007-07-19 2012-12-12 オリンパス株式会社 画像処理方法および画像処理装置
KR20090012180A (ko) 2007-07-28 2009-02-02 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
WO2009028857A2 (en) 2007-08-24 2009-03-05 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
CN101547010B (zh) * 2008-03-24 2011-07-06 华为技术有限公司 编码解码系统、方法及装置
FR2938146B1 (fr) * 2008-11-05 2010-12-10 Ateme Sa Procede et dispositif d'optimisation du debit d'encodage d'une image video en mode entrelace.
KR102649023B1 (ko) * 2011-06-15 2024-03-18 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 복호 방법 및 장치와, 부호화 방법 및 장치
EP2723072A4 (en) 2011-06-17 2014-09-24 Panasonic Ip Corp America VIDEO DECODING DEVICE AND VIDEO DECODING METHOD
US9094689B2 (en) * 2011-07-01 2015-07-28 Google Technology Holdings LLC Motion vector prediction design simplification
US10939125B2 (en) * 2016-04-29 2021-03-02 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image signal
CN117061743A (zh) * 2016-04-29 2023-11-14 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591500A (ja) * 1991-07-30 1993-04-09 Sony Corp 画像信号の高能率符号化及び復号化装置
JPH05284535A (ja) * 1991-10-22 1993-10-29 Mitsubishi Electric Corp 符号化方式
JPH09163376A (ja) * 1995-12-05 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> 動画像のフレーム間符号化・復号方法および装置
JPH1175187A (ja) * 1997-06-20 1999-03-16 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US527442A (en) * 1894-10-16 Grain heater or steamer
DE3917567A1 (de) * 1989-05-30 1990-12-06 Siemens Ag Verfahren zu einer ermittlung eines entscheidungsergebnisses fuer ein halbbild/vollbild-datenkompressionsverfahrens
US6018363A (en) * 1994-04-28 2000-01-25 Canon Kabushiki Kaisha Image sensing apparatus with optical-axis deflecting device
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
US6031575A (en) * 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
IL127274A (en) * 1997-04-01 2006-06-11 Sony Corp Image encryption device, image encryption method, image decryption device, image decryption method, and appropriate medium
TW398131B (en) * 1997-06-20 2000-07-11 Matsushita Electric Ind Co Ltd The image process method, the image process device and the data memory medium
US6018368A (en) * 1997-07-11 2000-01-25 Samsung Electro-Mechanics Co., Ltd. Scalable encoding apparatus and method with improved function of scaling motion vector
US6094225A (en) * 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder
US6574274B2 (en) * 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US20020027610A1 (en) * 2000-03-27 2002-03-07 Hong Jiang Method and apparatus for de-interlacing video images
US6847736B2 (en) * 2000-03-28 2005-01-25 Canon Kabushiki Kaisha In image compression, selecting field or frame discrete wavelet transformation based on entropy, power, or variances from the high frequency subbands
US6414719B1 (en) * 2000-05-26 2002-07-02 Sarnoff Corporation Motion adaptive median filter for interlace to progressive scan conversion
JP2002289303A (ja) 2001-03-28 2002-10-04 Tyco Electronics Amp Kk レバー駆動型コネクタ組立体
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
JP4481612B2 (ja) * 2002-10-01 2010-06-16 パナソニック株式会社 画像復号化装置及びその方法
KR101039987B1 (ko) 2002-10-01 2011-06-09 파나소닉 주식회사 화상 복호화 장치 및 그 방법
US20040258162A1 (en) 2003-06-20 2004-12-23 Stephen Gordon Systems and methods for encoding and decoding video data in parallel
US7538266B2 (en) * 2006-03-27 2009-05-26 Yamaha Corporation Electronic musical apparatus for training in timing correctly
US20080181237A1 (en) * 2007-01-25 2008-07-31 Cisco Technology, Inc. Building communities of interest and selecting borders between them based on relative motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591500A (ja) * 1991-07-30 1993-04-09 Sony Corp 画像信号の高能率符号化及び復号化装置
JPH05284535A (ja) * 1991-10-22 1993-10-29 Mitsubishi Electric Corp 符号化方式
JPH09163376A (ja) * 1995-12-05 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> 動画像のフレーム間符号化・復号方法および装置
JPH1175187A (ja) * 1997-06-20 1999-03-16 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体

Also Published As

Publication number Publication date
TW200408201A (en) 2004-05-16
CA2762936C (en) 2015-04-14
JP2010136416A (ja) 2010-06-17
JP2014099879A (ja) 2014-05-29
KR20050049422A (ko) 2005-05-25
CA2468770C (en) 2013-03-05
US20110158321A1 (en) 2011-06-30
US7864838B2 (en) 2011-01-04
CA2763080C (en) 2014-12-02
KR101011121B1 (ko) 2011-01-25
CA2763080A1 (en) 2004-04-15
CN101188762B (zh) 2010-06-09
JP2013102519A (ja) 2013-05-23
KR20100126807A (ko) 2010-12-02
EP2835975A3 (en) 2016-03-09
JP2014090486A (ja) 2014-05-15
JP5281591B2 (ja) 2013-09-04
CN1579098A (zh) 2005-02-09
AU2003264543A1 (en) 2004-04-23
EP2239949A3 (en) 2013-02-27
JP2011125069A (ja) 2011-06-23
BR0306560A (pt) 2004-11-30
CN101188762A (zh) 2008-05-28
CA2762923A1 (en) 2004-04-15
KR101039987B1 (ko) 2011-06-09
US7933330B2 (en) 2011-04-26
EP1549077A1 (en) 2005-06-29
CA2468770A1 (en) 2004-04-15
JP5627762B2 (ja) 2014-11-19
TWI344794B (en) 2011-07-01
KR100984629B1 (ko) 2010-09-30
MY144985A (en) 2011-12-15
US20040246373A1 (en) 2004-12-09
JP4749516B2 (ja) 2011-08-17
CA2762923C (en) 2014-10-21
CA2762936A1 (en) 2004-04-15
EP2239949B1 (en) 2015-02-25
US20080181297A1 (en) 2008-07-31
JP5485431B2 (ja) 2014-05-07
US8265150B2 (en) 2012-09-11
JP5674911B2 (ja) 2015-02-25
US20110158316A1 (en) 2011-06-30
MXPA04003355A (es) 2004-07-08
AU2003264543C1 (en) 2009-01-08
EP2835975A2 (en) 2015-02-11
AU2003264543B2 (en) 2008-05-22
CN100352287C (zh) 2007-11-28
KR20100058640A (ko) 2010-06-03
EP1549077A4 (en) 2008-01-23
US8194738B2 (en) 2012-06-05
EP2239949A2 (en) 2010-10-13
ES2535957T3 (es) 2015-05-19
TW200709694A (en) 2007-03-01
KR20080089676A (ko) 2008-10-07
KR100984610B1 (ko) 2010-09-30
TWI356595B (en) 2012-01-11

Similar Documents

Publication Publication Date Title
JP5674911B2 (ja) 画像符号化復号化装置
JP5355807B2 (ja) 符号化データ配信方法および配信システム
JP4348209B2 (ja) 画像符号化方法および画像復号化方法
WO2004066633A1 (ja) 画像符号化方法
JP4481970B2 (ja) 画像符号化装置及びその方法
JP4481612B2 (ja) 画像復号化装置及びその方法
JP2004120138A (ja) 動画像符号化方法および動画像復号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1020047004161

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2003264543

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2003799117

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10491174

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: PA/a/2004/003355

Country of ref document: MX

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 20038013924

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2468770

Country of ref document: CA

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003799117

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020107008046

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020107022921

Country of ref document: KR