WO1999022524A1

WO1999022524A1 - Image decoder, image encoder, image communication system, and encoded bit stream converter

Info

Publication number: WO1999022524A1
Application number: PCT/JP1997/003846
Authority: WO
Inventors: Yoshimi Isu; Shunichi Sekiguchi; Kohtaro Asai; Hirofumi Nishikawa; Shinichi Kuroda; Yuri Hasegawa
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 1997-10-23
Filing date: 1997-10-23
Publication date: 1999-05-06
Also published as: KR100487988B1; US8036279B2; US8036278B2; KR20040099465A; US20060013301A1; KR100511693B1; HK1030705A1; US8045617B2; JP3573759B2; DE69721847D1; US20080056385A1; EP1032219B1; US7469008B2; US20080063057A1; US8054889B2; US8031781B2; KR20010031320A; US20080063053A1; US8045624B2; EP1032219A4

Description

明細書画像復号化装置、画像符号化装置、画像通信システム及び符号化ビットストリーム変換装置技術分野

この発明は、異なる符号化方式の符号化ビットストリームを扱う画像復号化装置、画像符号化装置、画像通信システム及び符号化ビットストリ一ム変換装置に関するものである。背景技術

現在、 I S 0/1 E C J T C 1 1 / S C 2 9 /WG 1 1にて標準化作業中の MP E G— 4 (M o v i n g P i c t u r e Ex e r t s G r o up P h a s e— 4 ) 方式と、 I TU— T勧告 H. 2 6 3 の規格に基づく方式とでは、伝送信号である符号化ビットストリームに付加されるヘッダ情報（復号のための情報信号）が相違している。

第 1図（ a) は H. 2 6 3の規格に基づく H. 2 6 3符号化ビットストリ一ム 2 0 1の構造を示す図であり、ヘッダ情報 2 1 1 と H. 2 6 3 符号化方式で符号化された画像符号化デ一夕であるマク口プロックデ一夕 2 2 5が多重化されている。第 1図（b) は MP E G— 4符号化ビットストリーム 2 0 2の構造を示す図であり、ヘッダ情報 2 1 2と MP E G— 4符号化方式で符号化された画像符号化デ一夕であるマクロブロックデ一夕 2 3 9が多重化されている。図に示すとおり、符号化ビットストリームの構造は相違しており、特に H. 2 6 3では、 MP E G— 4の復号に必要な VO (V i d e o O b j e c t ) 、 VO L (V i d e o

O b j e c t L a y e r) , VO P (V i d e o O b j e c t P l a n e ) 等に関するヘッダ情報が含まれていない。そのため両方式による画像の通信を行うためには、それそれ別個の画像復号化装置及び画像符号化装置が必要である。

なお H. 2 6 3符号化ビヅトストリーム 2 0 1の G O Bス夕一トコ一ド 2 2 3、 G O Bへッダ情報 2 2 4及び MP E G— 4符号化ビットストリーム 2 0 2の再同期指示コード 2 3 7、再同期情報 2 3 8は常に挿入されているものではなく、必要に応じて挿入される。

このように従来の符号化ビットストリームは以上のように構成されているので、例えば MP E G— 4対応の画像復号化装置では、 H. 2 6 3 の規格に基づいて生成された H. 2 6 3符号化ビットストリーム 2 0 1 を復号することができないという課題があった。

また MP E G— 4対応と H. 2 6 3の規格に基づく両方の符号化ビヅトストリームを復号するためには、画像復号化装置は両方式の復号回路を備える必要があり、装置が複雑になるという課題があった。

この発明は上記のような課題を解決するためになされたもので、簡単な構成により、 H. 2 6 3符号化ビットストリーム 2 0 1を復号可能な画像復号化装置、その画像復号化装置で復号可能な符号化ビットストリームを生成する画像符号化装置、 H. 2 6 3符号化ビットストリームを MP E G - 4符号化ビットストリームに変換して通信する画像通信システム及び符号化ビットストリーム変換装置を得ることを目的とする。発明の開示

この発明に係る画像復号化装置は、第 1のヘッダ情報と第 1の符号化方式で符号化された画像符号化データとが多重化された第 1の符号化ビットストリーム、又は第 2のヘッダ情報と第 2の符号化方式で符号化された画像符号化データとが多重化された第 2の符号化ビットストリームを復号するものにおいて、上記第 1のヘッダ情報又は上記第 2のヘッダ情報に基づき、受信した符号化ビットストリームが、上記第 1 の符号化ビットストリーム、又は上記第 2の符号化ビットストリームであるかを判定する符号化方式判定手段と、上記第 2の符号化ビットストリームを受信し、上記第 2のへッダ情報に含まれている上記第 2の符号化方式の画像符号化情報を復号する復号手段と、上記第 1の符号化ビットストリ —ムを受信し、上記第 1のヘッダ情報に含まれている上記第 1の符号化方式の画像符号化情報に基づき、上記第 2の符号化方式の画像符号化情報を設定する設定手段とを備え、上記設定手段により設定された画像符号化情報、又は上記復号手段により復号された画像符号化情報に基づき、上記第 1の符号化ビットストリーム、又は上記第 2の符号化ビットストリームに含まれる画像符号化データを復号するものである。

このことによって、符号化方式の異なる符号化ビットストリームでも復号できるという効果を奏する。

この発明に係る画像復号化装置は、符号化方式判定手段が、第 1のへッダ情報又は第 2のヘッダ情報に含まれる第 1又は第 2の符号化方式を識別する符号化方式識別情報に基づき判定するものである。

このことによって、符号化方式の異なる符号化ビットストリームでも、符号化方式を容易に識別し復号できるという効果を奏する。

この発明に係る画像復号化装置は、符号化方式判定手段が、第 1のへッダ情報又は第 2のヘッダ情報に含まれるスタートコードに基づき判定するものである。

この発明に係る画像復号化装置は、符号化方式判定手段が、第 1のへッダ情報に含まれる H . 2 6 3スタートコード又は第 2のヘッダ情報に含まれる VO L (V i d e o O b j e c t L a y e r) ス夕一トコ —ドに基づき判定するものである。

このことによって、符号化方式の異なる H. 2 6 3と MP E G— 4の符号化ビットストリームでも、符号化方式を容易に識別し復号できるという効果を奏する。

この発明に係る画像復号化装置は、符号化方式判定手段が、第 1のへッダ情報に含まれるピクチヤス夕一トコード又は第 2のヘッダ情報に含まれる V〇 (V i d e o 0 b j e c t ) スタートコードに基づき判定するものである。

このことによって、符号化方式の異なる H. 2 6 3と MP E G— 4の符号化ビットストリームでも、新たなヘッダ情報を付加しなくても符号化方式を容易に識別し復号できるという効果を奏する。

この発明に係る画像符号化装置は、画像信号を第 1の符号化方式で符号化し第 1の符号化ビットストリームを生成する符号化手段と、上記第 1の符号化ビットストリームに、第 2の符号化方式で符号化された第 2 の符号化ビットストリームと互換性を確保するためのヘッダ情報を多重化し送信するヘッダ情報多重化手段とを備えたものである。

このことによって、第 2の符号化ビットストリームを復号する復号化手段が復号可能な第 1の符号化ビットストリームを生成することができるという効果を奏する。

この発明に係る画像符号化装置は、ヘッダ情報多重化手段が、互換性を確保するためのヘッダ情報として、第 2の符号化方式のスタートコ一ドと第 1の符号化方式であることを示す符号化方式識別情報を多重化するものである。

このことによって、第 2の符号化ビットストリームを復号する復号化手段が容易に符号化方式を識別し復号可能な第 1の符号化ビットストリームを生成することができるという効果を奏する。

この発明に係る画像通信システムは、画像信号を第 1の符号化方式で符号化し第 1の符号化ビットストリームを生成する符号化手段と、第 2 の符号化方式で符号化された第 2の符号化ビットストリームを復号する復号化手段と、上記符号化手段から受信した上記第 1の符号化ビットストリームに、上記復号化手段から受信した互換性を確保するためのへッダ情報を多重化して、上記復号化手段に送信する符号化ビットストリ一ム変換手段とを備えたもである。

このことによって、第 2の符号化ビットストリームを復号する復号化手段が復号可能な第 1 の符号化ビットストリームを生成することができるという効果を奏する。

この発明に係る符号化ビットストリーム変換装置は、第 1の符号化方式で生成された第 1の符号化ビットストリームを入力し、上記第 1の符号化方式の第 1のへッダ情報と、画像符号化デ一夕とを分離するシン夕ックス解析手段と、分離された上記第 1のヘッダ情報を復号する復号手段と、上記復号手段により復号された第 1のヘッダ情報に基づき、第 2 の符号化方式の第 2のへッダ情報を設定し符号化するへッダ情報設定手段と、上記シンタツクス解析手段が分離した上記画像符号化データと、上記へッダ情報設定手段が符号化した上記第 2のへッダ情報とを多重化し、第 2の符号化ビットストリームを生成する多重化手段とを備えたものである。

このことによって、第 1の符号化ビットストリームを容易に第 2の符号化ビットストリームを変換することができるという効果を奏する。

この発明に係る画像復号化装置は、第 1のヘッダ情報と第 1の符号化方式で符号化された画像符号化データとが多重化された第 1の符号化ビットストリーム、又は第 2の符号化方式で符号化された画像符号化デ一夕と第 2のヘッダ情報とが多重化された第 2の符号化ビットストリームを復号するものにおいて、上記第 1のヘッダ情報又は上記第 2のへッダ情報に基づき、受信した符号化ビットストリームが、上記第 1の符号化ビットストリーム、又は上記第 2の符号化ビットストリームであるかを判断する符号化方式判定手段と、上記第 1の符号化ビットストリームを受信し、上記第 1のヘッダ情報を復号する第 1の復号手段と、上記第 2 の符号化ビットストリームを受信し、上記第 2のヘッダ情報に含まれている上記第 2の符号化方式の画像符号化情報を復号する第 2の復号手段と、受信した符号化ビットストリームが第 1の符号化ビットストリームの場合、第 1の符号化ビットストリームに含まれる画像符号化データを上記第 1の復号手段により復号された第 1のヘッダ情報に基づき復号し、受信した符号化ビヅトストリ一ムが第 2の符号化ビットストリームの場合、第 2の符号化ビットストリームに含まれる画像符号化データを上記第 2の復号手段により復号された画像符号化情報に基づき復号するものである。

このことによって、符号化方式の異なる符号化ビットストリームでも、新たなヘッダ情報を付加しなくても符号化方式を容易に識別し、第 1 の符号化ビットストリームでも第 2の符号化方式の画像符号化情報を設定することなく復号できるという効果を奏する。図面の簡単な説明

第 1図は従来の H . 2 6 3符号化ビットストリームと M P E G— 4符号化ビットストリームの構造を示す図である。

第 2図はこの発明の実施の形態 1 による画像復号化装置が受信する符号化ビットストリームの構造を示す図である。

第 3図はこの発明の実施の形態 1 による画像復号化装置の構成を示すプロック図である。

第 4図はこの発明の実施の形態 1 によるシンタツクス解析 · 可変長復号部の構成を示すブロック図である。

第 5図はこの発明の実施の形態 1 によるへッダ情報解析部の構成を示すブロック図である。

第 6図はこの発明の実施の形態 1 による H . 2 6 3 ピクチャへッダ情報解析部の構成を示すプロック図である。

第 7図はこの発明の実施の形態 1 による H . 2 6 3 ピクチャヘッダ情報復号部の構成を示すブロック図である。

第 8図はこの発明の実施の形態 1 による H . 2 6 3 G 0 Bヘッダ情報解析部の構成を示すプロック図である。

第 9図は G O Bを説明する図である。

第 1 0図はこの発明の実施の形態 1 による G 0 Bへッダ情報復号部の構成を示すブロック図である。

第 1 1図は H . 2 6 3マクロブロックデ一夕のレイヤ構造を示す図である。

第 1 2図はこの発明の実施の形態 1 によるマクロブロックレイヤシン夕ックス解析部の構成を示すプロック図である。

第 1 3図はこの発明の実施の形態 1 によるブロックデータ復号部の構成を示すブロック図である。

第 1 4図は予測べクトルの算出を説明する図である。

第 1 5図はこの発明の実施の形態 1 によるテクスチャ復号部の構成を示すブロック図である。

第 1 6図はこの発明の実施の形態 1 による逆量子化部の構成を示すブロック図である。

第 1 7図はこの発明の実施の形態 2及び 4による画像符号化装置の構成を示すプロック図である。

第 1 8図はこの発明の実施の形態 2及び 4による H. 2 6 3符号化装置と MP E G— 4復号化装置の関連を説明する図である。

第 1 9図はこの発明の実施の形態 3による MP E G— 4互換 H. 2 6 3符号化ビットストリームの内容を示す図である。

第 2 0図はこの発明の実施の形態 3によるヘッダ情報解析部の構成を示すブロック図である。

第 2 1図はこの発明の実施の形態 5による画像通信システムを示す図である。

第 2 2図はこの発明の実施の形態 6による画像通信システムを示す図である。

第 2 3図はこの発明の実施の形態 7によるへッダ情報解析部の構成を示すブロック図である。

第 2 4図はこの発明の実施の形態 7による符号化ビットストリームの始めと終りを説明する図である。

第 2 5図はこの発明の実施の形態 8による符号化ビットストリーム変換装置を示すブロック図である。

第 2 6図は G O Bへッダ情報及び再同期情報の構造を示す図である。発明を実施するための最良の形態

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。

実施の形態 1.

第 2図は実施の形態 1における画像復号化装置が受信する符号化ビットストリームの構造を示す図であり、第 2図（ a ) は M P E G— 4互換 H. 2 6 3符号化ビットストリーム 2 0 3、また第 2図（ b ) は M P E G— 4符号化ビットストリーム 2 0 4である。第 2図（ a ) の MP E G — 4互換 H. 2 6 3符号化ビットストリーム 2 0 3は、従来の第 1図（ a) で示した H. 2 6 3符号化ビットストリーム 2 0 1に、 V Oス夕一トコード 2 3 1、 V O識別番号 2 3 2、 V O Lスタートコード 2 3 3及び H. 2 6 3互換識別情報 2 2 6が追加されている。また第 2図（ b ) の M P E G _ 4符号化ビットストリーム 2 0 4は、従来の第 1図（ b ) に示した MP E G— 4符号化ビヅトストリーム 2 0 2に、 H. 2 6 3互換識別情報 2 2 6が追加されている。なお MP E G— 4互換 H. 2 6 3 符号化ビットストリーム 2 0 3 と MP E G— 4符号化ビットストリ一ム 2 0 4に追加されている H. 2 6 3互換識別情報 2 2 6は、両方が区別できる情報とし、例えば一方の H. 2 6 3互換識別情報を" 0 " のビットとすると、他方を" 1 " のビットとする。

第 3図は実施の形態 1における V 0 (V i d e o O b j e c t ) を復号する画像復号化装置の構成を示すブロック図である。図において、 1は受信した符号化ビットストリ一ム、 2はシンタツクス解析 · 可変長復号部であり、符号化ビットストリーム 1から、シン夕ヅクス（多重化したビデオ信号）を解析すると共に、形状符号化データ 3、テクスチャ符号化データ 6、テクスチャ動きデータ 7を出力する。 4は形状符号化データ 3を復号し復号形状デ一夕 5を求める形状復号部、 8はテクスチャ動きデータ 7に基づき動き補償を行い予測テクスチャデータ 9を求める動き補償部、 1 0はテクスチャ符号化デ一夕 6 と予測テクスチャデー夕 9に基づき復号を行い復号テクスチャデータ 1 1を求めるテクスチャ復号部である。

次に動作について説明する。

ここでは、本発明の主眼たる第 2図（ a) の M P E G— 4互換 H. 2 6 3符号化ビットストリーム 2 0 3の復号動作について主として説明する。従って各 V 0 Pの形状が矩形の場合、すなわちビットストリーム中に形状符号化データが含まれない場合で、テクスチャデ一夕や動きに関する情報が、マクロブロック毎に符号化されている場合について説明する。

なお第 2図（ b ) の M P E G— 4符号化ビットストリーム 2 0 4の復号動作については、基本的には従来と同じである。

まずシンタックス解析 · 可変長復号部 2は、入力した符号化ビットストリーム 1 を、 2値のビットストリームから意味を持つデータに分離する。そしてこのシンタックス解析 ' 可変長復号部 2が、 M P E G— 4互換 H . 2 6 3符号化ビットストリーム 2 0 3の復号を可能にしている。動き補償部 8は、シンタックス解析 · 可変長復号部 2 より出力されたテクスチヤ動きデータ 7 に基づき動き補償を行い、予測テクスチャデ一夕 9 を出力する。テクスチャ復号部 1 0は、シン夕ックス解析 · 可変長復号部 2 より出力されたテクスチャ符号化データ 6 と動き補償部 8 より出力された予測テクスチャデータ 9 を入力し、復号テクスチャデ一夕 1 1 を得る。

次にシンタックス解析，可変長復号部 2の動作について説明する。第 4図はシンタックス解析 · 可変長復号部 2の構成を示すブロック図である。図において、 2 1は符号化ビットストリーム 1 に付加されたへッダ情報を抽出し以降の復号の制御に必要な各種のへッダ情報を設定するヘッダ情報解析部、 2 2は符号化ビットストリ一ム 1 からテクスチャ符号化データ 6及びテクスチャ動きデ一夕 7を求めるマクロブロックレィヤシンタックス解析部である。

第 5図はへッダ情報解析部 2 1の構成を示すブロック図である。図において、 3 0は符号化ビットストリーム 1 における V〇スタートコード 2 3 1 を検出する V Oスタートコード検出部、 3 1 は符号化ビットストリーム 1から V O Lスタートコード 2 3 3を検出する V O Lス夕一トコード検出部、 3 2は符号化方式判定部であり、符号化ビットストリーム 1が MP E G— 4互換 H. 2 6 3符号化ビヅトストリ一ム 2 0 3であるか M P E G— 4符号化ビットストリーム 2 0 4かを判定し、 H. 2 6 3 互換識別情報 3 3を出力する。 3 4は判定された符号化方式により切り替えられる切替部、 3 5は MP E G— 4互換 H. 2 6 3符号化ビットストリーム 2 0 3の場合、 H 2 6 3方式に特有な画像符号化情報であるピクチャヘッダ情報 2 2 2を復号し、 MP E G— 4方式に特有な画像符号化情報である V 0 Lヘッダ情報 2 3 4 と V 0 Pヘッダ情報 2 3 6を設定する H. 2 6 3 ピクチャヘッダ情報解析部、 3 6は M P E G— 4互換 H . 2 6 3符号化ビットストリーム 2 0 3の場合、 H. 2 6 3 G 0 B ( G r o u p o f B l o c k) へッダ情報 2 2 4を復号し、復号された G 0 Bヘッダ情報 2 2 4に基づいて、 H. 2 6 3ピクチャヘッダ解析部 3 5により設定された V O Pヘッダ情報 2 3 6の変更を行う H. 2 6 3 G O Bヘッダ情報解析部、 3 7は MP E G— 4符号化ビットストリーム 2 0 4の場合、 V 0 Lへッダ情報 2 3 4を復号する V 0 Lへッダ情報復号部、 3 8は M P E G— 4符号化ビットストリーム 2 0 4の場合、 V O Pヘッダ情報 2 3 6を復号する V◦ Pへッダ情報解析部である。

次にへッダ情報解析部 2 1の動作について説明する。

V Oスタートコード検出部 3 0が第 2図に示した MP E G— 4互換 H . 2 6 3符号化ビットストリーム 2 0 3又は M P E G— 4符号化ビットストリーム 2 0 4における VOスタートコード 2 3 1 を検出すると以下の復号動作を開始する。 V 0 Lスタートコード検出部 3 1は、符号化ビットストリーム 1から V O Lスタートコード 2 3 3を検出する。そして符号化方式判定部 3 2は、符号化ビットストリーム 1から H. 2 6 3互換識別情報 2 2 6を復号し、 H. 2 6 3互換識別情報 2 2 6により符号化ビットストリーム 1が M P E G— 4互換 H. 2 6 3符号化ビヅトストリーム 2 0 3であるか、 M P E G— 4符号化ビットストリーム 2 0 4であるかを判定し、 H. 2 6 3互換識別情報 3 3を出力する。

符号化ビットストリーム 1が MP E G— 4互換 H. 2 6 3符号化ビットストリ一ム 2 0 3である場合には、切替部 3 4により符号化ビットストリ一ム 1が H. 2 6 3 ピクチャヘッダ情報解析部 3 5に入力される。第 6図は H. 2 6 3 ピクチャへッダ情報解析部 3 5の構成を示すプロック図である。 H. 2 6 3ピクチャスタートコード検出部 4 1が、符号化ビットストリーム 1からピクチヤス夕一トコ一ド 2 2 1 を検出すると、次に H . 2 6 3 ピクチャへッダ情報復号部 4 2は、符号化ビットストリーム 1からピクチャヘッダ情報 2 2 2を復号する。そして M P E G— 4ヘッダ情報設定部 4 3は、復号されたピクチャヘッダ情報 2 2 2に基づき V 0 Lへッダ情報 2 3 4 と 0卩へッダ情報 2 3 6を設定する。第 7図は H. 2 6 3 ピクチャヘッダ情報復号部 4 2の構成を示すプロヅク図である。 t e mp o r a l r e f e r e n c e ( T R) 復号部 5 1は、 H. 2 6 3 ピクチャスタートコード検出部 4 1からのビヅトストリ一ム 1を入力し、伝送されたピクチャ間でスキップあるいは参照されなかったピクチャ数（ T R) を復号する。この情報は表示の際に必要に応じて用いられる。

次に、ピクチャ夕ィプ（卩丁 ¥ ? ) 復号部 5 2は、ピクチャタイプ ( P T Y P E ) の復号を行う。ピクチャタイプには、ピクチャフォ一マット 3 0 1、ピクチャ符号化タイプ 3 0 2、オプショナルモード指示フラグ 3 0 3等の情報が含まれている。復号されたピクチャフォーマット 3 0 1、ピクチャ符号化タイプ 3 0 2は、第 6図の MP E G— 4ヘッダ情報設定部 4 3に出力される。

またピクチャタイプ（ P T Y P E ) 復号部 5 2は、ォプショナルモード指示フラグ 3 0 3が〇 Nであるか否かを判定する。 H · 2 6 3では、オプショナルなモードがいくつか用意されているが、この実施の形態で述べる画像復号化装置においては、これらのォプショナルなモードが含まれるビットストリームについては互換性を認めないものとし、これらのオプショナルなモードが 0 N (有効）になっている符号化ビットストリームは、切替部 5 3により復号動作終了部 5 4に入力される。そして復号動作終了部 5 4はその符号化ビットストリームに対する復号動作を終了させる。ピクチャタイプには、その他表示等について規定した情報が含まれているが、それらについては必要に応じて用いることも可能である。

一方、オプショナルなモードが 0 F F (無効）になっているビットストリ一ムは、切替部 5 3によりピクチャ量子化ステヅプサイズ（ P Q U A N T ) 復号部 5 5に入力される。ピクチャ量子化ステップサイズ（ P Q UAN T ) 復号部 5 5は、ピクチャ量子化ステップサイズ（ P Q UA N T ) 3 0 4の復号を行う。復号されたピクチャ量子化ステップサイズ 3 0 4は、第 6図の M P E G— 4へッダ情報設定部 4 3に出力される。ビクチャ量子化ステップサイズ 3 0 4以降のピクチャへッダ情報は、以降の復号で必要がないため読み飛ばされる。

次に第 6図の M P E G— 4ヘッダ情報設定部 4 3の動作について説明する。

MP E G— 4へッダ情報設定部 4 3は、復号されたピクチャへッダ情報 2 2 2に基づき、 V 0 Lヘッダ情報 2 3 4として、 V O Lの形状情報とオブジェクトサイズを設定する。また MP E G— 4互換 H. 2 6 3符号化ビヅトストリームの場合には、各ビットストリームはフレームに対応するので、 M P E G— 4ヘッダ情報設定部 4 3は、形状情報が矩形である旨設定する。さらにオブジェクトサイズはフレームサイズに対応するので、 M P E G— 4ヘッダ情報設定部 4 3は、ピクチャヘッダ情報 2 2 2の一つであるピクチャフォ一マヅト 3 0 1 よりフレームサイズを求め、オブジェクトサイズに設定する。また 1画素あたりの階調が 8 ビットであるか否かの設定を行う。 H. 2 6 3では 1画素あたりの階調が 8 ビット以外を想定していないため、 1画素あたりの階調を 8 ビットに設定する。

次に M P E G— 4へッダ情報設定部 4 3は、 M P E G— 4ベースの符号化条件である、スプライト符号化、エラ一耐性符号化、イントラ A C /D C予測、スケ一ラビリティ符号化を無効に設定する。なお MP E G — 4では、量子化手法を H. 2 6 3 , M P E G— 1 / 2の 2種類の手法から選択できるため、 MP E G— 4互換 H . 2 6 3符号化ビットストリ —ム 2 0 3の場合には量子化手法を H. 2 6 3に設定しておく。

さらに MP E G— 4へヅダ情報設定部 4 3は、 V 0 Pへッダ情報 2 3 6を設定する。 V 0 Pヘッダ情報 2 3 6 としては、 V 0 Pの予測タイプ情報、量子化ステップサイズを設定する。 V O Pの予測タイプには、 V O P内のデ一夕のみで符号化されるイントラの場合と、前後の V〇 Pのデ一夕を用いて符号化されるイン夕一の場合がある。 V O Pの予測タイプ情報は、ピクチャへッダ情報 2 2 2の一つであるピクチャ符号化タイプ 3 0 2に基づき設定する。また V 0 Pの量子化ステップサイズも、同様にピクチャへヅダ情報 2 2 2であるピクチャ量子化ステヅプサイズ 3 0 4より設定する。

さらに M P E G— 4では、動きベクトルの探索範囲を 7種類の中から選択可能であるため、動きべクトルの探索範囲を指定するコードが用意されている。これに対し、 H. 2 6 3ではこの中の 1種類の探索範囲のみに対応しているため、 M P E G— 4ヘッダ情報設定部 4 3は、動きべクトル探索範囲指定コードを H. 2 6 3で用いられている動きべクトルの探索範囲に対応するコードに設定しておく必要がある。また M P E G — 4ではイン夕レース画像対応になっているが、 H . 2 6 3ではイン夕レース対応になっていないので、ィン夕レースモード指示情報は常に無効に設定する。

第 5図における H . 2 6 3 ビクチャへッダ情報解析部 3 5 によるピクチヤヘッダ情報の解析が終了すると、符号化ビットストリーム中に G O Bス夕一トコード 2 2 3 と G O Bへッダ情報 2 2 4が挿入されている場合、次に H . 2 6 3 G 0 Bへッダ情報解析部 3 6 による G 0 Bヘッダ情報 2 2 4の解析が行われる。符号化ビットストリーム中に G O Bスタートコ一ド 2 2 3 と G O Bヘッダ情報 2 2 4が挿入されていない場合、 H . 2 6 3 G 0 Bヘッダ情報解析部 3 6は動作しない。

第 8図は第 5図における Ή . 2 6 3 G〇 Bへッダ情報解析部 3 6 の構成を示すブロック図である。 G 0 Bスタートコード検出部 6 1が、符号化ビットストリ一ム 1 に付加されている G O Bスタートコード 2 2 3を検出すると、 G O Bヘッダ情報復号部 6 2は G O Bヘッダ情報 2 2 4を復号する。

第 9図は G 0 Bを説明する図である。図に示すように、 G O Bは画像をいくつかのマクロブロックの列に分けたもので、 G〇 Bヘッダ情報 2 2 4には、復号側で再同期を取るのに必要な情報が含まれる。符号化ビットストリームのあるビットで誤りが起こった場合、可変長符号化及び予測符号化が行われているときには、以降のマク口プロックデータを正しく復号することができず誤りが伝播する。 G 0 Bへッダ情報が検出されると、 G 0 Bの先頭のマクロブロックを復号する前に、符号化ビットストリームの再同期が取られ、以降のマクロブロックを復号するのに必要な情報が再設定されるため、エラーの伝播を防く、ことができる。各マク口プロックの量子化ステップサイズゃ動きべクトルは、すでに符号化されたマクロプロックの量子化ステップサイズや動きべクトルとの差分を符号化する予測符号化が行われているため、再同期が取られた場合には、これらの情報を再設定する必要がある。

第 1 0図は G 0 Bヘッダ情報復号部 6 2の構成を示すブロック図である。 G 0 B番号復号部 Ί 1は、符号化ビットストリーム 1から G 0 B番号（ G N) を復号する。そして G 0 Bフレーム識別番号復号部 7 2は、 G〇 Bが属しているピクチャの識別番号（ G F I D ) を復号する。さらに G 0 B量子化ステップサイズ復号部 7 3は、 G O B量子化ステップサィズ（ G Q U A N T ) 3 0 5 を復号し、第 8図における M P E G— 4へッダ情報変更部 6 3 に出力する。

M P E G— 4ヘッダ情報変更部 6 3は、復号された G 0 Bヘッダ情報 2 2 4に基づいて、 M P E G— 4ヘッダ情報設定部 4 3により設定された V O Pヘッダ情報 2 3 6の変更を行う。 G O Bヘッダ情報 2 2 4により変更される情報は量子化ステップサイズで、 G 0 Bの量子化ステップサイズを V O Pの量子化ステップサイズに設定する。以上の設定された各情報は、第 4図のマクロブロックレイヤシンタツクス解析部 2 2 に出力される。

第 5図における符号化方式判定部 3 2は、 H. 2 6 3互換識別情報 2 2 6が M P E G— 4を示す場合には、符号化ビットストリーム 1が M P E G— 4符号化ビットストリーム 2 0 4であると判定し、 H. 2 6 3互換識別情報 3 3を出力する。そして M P E G— 4符号化ビットストリーム 2 0 4は、切替部 3 4により V O Lへッダ情報復号部 3 7に入力される。 V O Lヘッダ情報復号部 3 7は符号化ビットストリ一ムから V O L へヅダ情報 2 3 4を復号し、 V 0 Pへッダ情報解析部 3 8は V 0 Pへッダ情報 2 3 6 を復号し、第 4図のマクロブロックレイヤシンタックス解析部 2 2 に出力する。以上の情報が設定されると、マクロブロックレイヤシンタツクス解析部 2 2は、 M P E G— 4のシンタックスに基づく解析で、マクロブロックデ一夕 2 2 5、 2 3 9 を復号する。ただし、ブロックデータの符号化方法が M P E G— 4 と H . 2 6 3では若干異なるため、復号側でも動作を切り替える必要がある。

第 1 1図は実施の形態 1 における M P E G— 4互換 H . 2 6 3 ビットストリーム 2 0 3におけるマクロブロックデ一夕 2 2 5のレイヤ構造を示す図である。マクロブロックは、 4つの輝度プロックと 2つの色差ブロックから構成される。図に示すように、マクロブロックごとに、マクロブロックスキップ判定情報 2 5 1、マクロブロックタイプ ' 有効色差ブロック識別情報 2 5 2、有効プロック識別情報 2 5 3、差分量子化ステップサイズ 2 5 4及び動きデータ 2 5 5の各属性情報が多重化されている。

ここでマクロプロックスキップ判定情報 2 5 1 は、イン夕一 V 0 Pにおいて、動きべクトルが零でかつマクロブロック内の全ての係数デ一夕 (入力画像信号（イントラの場合には原信号、ィン夕の場合には参照 V O P との差分信号）を D C T後、量子化したデ一夕）が零かどうかを示す情報であり、動きベクトルが零で係数データが全て零の場合には、そのマクロブロックに関する以降の情報はビットストリーム中に含まれない。従って次のマクロブロックにスキップされる。

またマクロブロックタイプ ' 有効色差プロック識別情報 2 5 2のマクロブロックタイプは、マクロブロックデータを符号化する際に、マクロブロックの原信号を用いて符号化した場合（イントラ）、あるいは、動き補償予測を行い参照マクロプロックとの差分信号を符号化した場合（インター）、 1つ前のマクロブロックの量子化ステップサイズと異なる量子化ステップサイズで符号化した場合等、マクロプロックの符号化夕ィプを示す情報である。

さらに有効ブロック識別情報 2 5 3は、各プロックの係数デ一夕が全て零であるか否かを示す情報である。上記属性情報の後にブロックごとに係数データが多重化されているが（ブロックデ一夕 2 5 6 に相当）、この有効プロック識別情報 2 5 3が無効プロックであることを示す場合には、そのブロックの係数データは存在しない。

そして差分量子化ステップサイズ 2 5 4は、マクロブロックタイプで 1つ前のマクロブロックの量子化ステップサイズと異なることが示されている場合に多重化される情報であり、 1つ前のマクロブロックの量子化ステツプサイズとの差分値を示す。

第 1 2図はマクロブロックレイヤシンタックス解析部 2 2の構成を示すブロック図である。図において、 8 1は M P E G— 4へッダ情報設定部 4 3で設定された形状情報 3 1 1 により切り替えられる切替部、 8 2 は符号化ビットストリーム中の形状符号化データを復号する形状符号化デ一夕復号部、 8 3は M P E G— 4へッダ情報設定部 4 3で設定された V O P予測タイプ 3 1 2 により切り替えられる切替部、 8 4は V O P予測タイプがィントラ以外の場合に、マクロブロックのスキップ判定情報 2 5 1 を復号するスキップ判定情報復号部、 8 5はスキップ判定情報 2 5 1 により切り替えられる切替部、 8 6はスキップする場合にそのマクロブ口ックの動きべクトルとテクスチャデ一夕を全て零にするスキップ時データ設定部、 8 7は V O P予測タイプ 3 1 2がイントラの場合ゃスキップしない場合にマクロブロックタイプ 3 1 3及び有効色差ブロック識別情報を復号するマクロブロックタイプ · 有効色差プロック識別情報復号部である。

また 8 8は M P E G— 4へッダ情報設定部 4 3で設定されたイントラ A C / D C予測モード指示情報 3 1 5 により切り替えられる切替部、 8 9は A C予測指示情報を復号する A C予測指示情報復号部、 9 0は有効プロック識別情報 2 5 3を復号する有効プロック識別情報復号部、 9 1 はマクロブロックタイプ · 有効色差プロック識別情報復号部 8 7より出力されたマクロプロックタイプ 3 1 3により切り替えられる切替部である。

さらに 9 2は差分量子化ステップサイズを零に設定する差分量子化ステップサイズ零設定部、 9 3は差分量子化ステップサイズ 3 1 7を復号する差分量子化ステップサイズ復号部、 9 4は復号された差分量子化ステヅプサイズ 3 1 7と前のブロックの V 0 P量子化ステップサイズ 3 1 8を加算し量子化ステップサイズ 3 1 9を第 3図のテクスチャ復号部 1 0に出力する加算部、 9 5は M P E G _ 4ヘッダ情報設定部 4 3からのイン夕レースモード指示情報 3 1 6により切り替えられる切替部、 9 6 はイン夕レース情報を復号するイン夕レース情報復号部、 9 7はマクロプロックタイプ，有効色差プロック識別情報復号部 8 7より出力されたマクロブロックタイプ 3 1 3及び M P E G _ 4へッダ情報設定部 43より出力された VO P予測タイプ 3 1 2と動きべクトル探索範囲指定情報 3 2 0に基づいて動きベクトル（テクスチャ動きデ一夕 7 ) を復号する動きベクトル復号部、 9 8は符号化ブロックデータを復号しテクスチャ符号化データ 6をテクスチャ復号部 1 0へ出力するブロックデ一夕復号部である。

次にマクロブロックレイヤシンタックス解析部 2 2の動作について説明する。

ここでは符号化ビットストリーム 1が MP E G— 4互換 H. 2 6 3符号化ビットストリーム 2 0 3の場合を説明する。 MP E G— 4符号化ビヅトストリーム 2 04の場合については、 I S O/ I E C J T C 1/ S C 2 9 /W G 1 1 MP E G— 4 V i d e o VM 8. 0に記載されているので省略する。

符号化ビットストリーム 1は、 M P E G _ 4へッダ情報設定部 4 3で設定された形状情報 3 1 1 により、切替部 8 1で出力が切り替えられる。符号化ビットストリーム 1が M P E G— 4互換 H . 2 6 3符号化ビットストリ一ム 2 0 3の場合には、形状情報 3 1 1 は矩形に設定されているので、ビットストリーム 1は、形状符号化データ復号部 8 2 を介せずに、切替部 8 3 に入力される。

次に切替部 8 3は、 M P E G— 4へッダ情報設定部 4 3で設定された V 0 P予測タイプ 3 1 2 により切り替えられる。 V 0 P予測タイプ 3 1 2がイントラの場合には、マクロブロックタイプ · 有効色差ブロック識別情報復号部 8 7は、マクロブロックタイプ 3 1 3 と有効色差プロック識別情報を復号する。 V〇 P予測タイプがイントラ以外の場合には、スキップ判定情報復号部 8 4は、マクロブロックのスキップ判定情報 2 5 1 を復号する。復号されたスキップ判定情報 2 5 1 に基づき、切替部 8 5が切り替えられ、そのマクロブロックがスキップされることを示す場合には、スキップ時デ一夕設定部 8 6は、そのマクロブロックの動きべクトルとマクロプロック内のテクスチャデータを全て零に設定し、そのマクロブロックに関する復号を終了する。スキップ判定情報 2 5 1 によりそのマク口ブロックがスキップされないことを示す場合には、マクロブロックタイプ ' 有効色差プロック識別情報復号部 8 7は、マクロプロックタイプ 3 1 3 と有効色差プロック識別情報を復号する。

次に切替部 8 8は、 M P E G— 4へッダ情報設定部 4 3で設定されたイントラ A C / D C予測モード指示情報 3 1 5により切り替えられる。 M P E G— 4互換 H . 2 6 3符号化ビットストリーム 2 0 3の場合には、イントラ A C / D C予測を行うという機能はないので、 V 0 Lヘッダ情報 2 3 4を設定する際に、イントラ A C / D C予測は無効に設定されており、 A C予測指示情報復号部 8 9 を介せずに有効プロック識別情報復号部 9 0に入力される。

次に有効プロック識別情報復号部 9 0は、マクロブロック内の輝度ブロックに対して有効ブロック識別情報 2 5 3を復号する。切替部 9 1 は、マクロブロックタイプ · 有効色差プロック識別情報復号部 8 7 により復号されたマクロブロックタイプ 3 1 3 により切り替えられ、そのマク口ブロックの量子化ステップサイズが 1つ前に復号されたマク口ブロックの量子化ステップと異なる場合には、差分量子化ステップサイズ復号部 9 3は、 1つ前に符号化されたマク口プロックの量子化ステップサイズとの差分量子化ステップサイズ 3 1 7を復号する。復号された差分量子化ステップサイズ 3 1 7は、加算器 9 4により 1つ前のマク口プロックの V O P量子化ステップサイズ 3 1 8 と加算され、量子化ステップサィズ 3 1 9 として第 3図のテクスチャ復号部 1 0に出力される。

一方、マクロブロックの量子化ステップサイズが 1つ前に復号されたマクロブロックの量子化ステップサイズと同じことを示す場合には、差分量子化ステップサイズ零設定部 9 2が、差分量子化ステップサイズを零に設定する。

次に切替部 9 5は、 M P E G— 4へッダ情報設定部 4 3からのイン夕レースモード指示情報 3 1 6 により切り替えられる。 M P E G— 4互換 H . 2 6 3符号化ビットストリーム 2 0 3の場合には、イン夕レース画像には対応していないので、ィン夕レースモードは無効に設定されており、イン夕レース情報復号部 9 6 を介せずに動きベクトル復号部 9 7に入力される。そして動きベクトル復号部 9 7は、 M P E G— 4ヘッダ情報設定部 4 3で設定された V 0 P予測タイプ 3 1 2がインターの場合には、マクロブロックタイプ · 有効色差プロック識別情報復号部 8 7により復号されたマクロブロックタイプ 3 1 3 と M P E G— 4ヘッダ情報設定部 4 3で設定された動きべクトル探索範囲指定情報 3 2 0に基づいて、動きベクトル（テクスチャ動きデータ 7 ) を復号し、第 3図の動き補償部 8に出力する。

次にブロックデ一夕復号部 9 8は、符号化ビットストリームにおける符号化ブロックデータを復号する。第 1 3図はプロックデ一夕復号部 9 8の構成を示すプロック図である。図において、 1 0 1は符号化ブロックデ一夕を入力すると共にマクロブロックタイプ · 有効色差ブロック識別情報復号部 8 7より出力されたマクロブロックタイプ 3 1 3により切り替えられる切替部、 1 0 2は M P E G— 4ヘッダ情報設定部 4 3で設定されたイントラ A C/D C予測モード指示情報 3 1 5により切り替えられる切替部、 1 0 3はイントラ AC/D C予測が O F Fの時に MP E G— 4ヘッダ情報設定部 4 3からの 1画素あたりの階調 3 2 1に基づき D C係数固定長の復号を行い復号イントラ D C係数 1 1 1を出力する D C係数固定長復号部、 1 04はイントラ AC/D C予測が 0 Nの時に D C係数を復号し復号イントラ D C係数 1 1 1を出力する D C係数復号部である。

1 0 5は有効プロック識別情報復号部 9 0から出力された有効プロック識別情報 2 5 3により切り替えられる切替部、 1 0 6はマクロブロックタイプ · 有効色差プロック識別情報復号部 8 7より出力されたマクロブロックタイプ 3 1 3と符号化方式判定部 3 2より出力された H. 2 6 3互換識別情報 3 3に基づき A C係数 VLD (V a r i a b l e L e n g t h D e c o d i n g) テーブルを切り替える AC係数 VLDテ一ブル切替部である。

1 0 7は A C係数デ一夕を可変長復号し復号 A C係数デ一夕 1 1 2を出力する A C係数データ可変長復号部、 1 0 8は符号化方式判定部 3 2 より出力された H. 2 6 3互換識別情報 3 3により切り替えられる切替部、 1 0 9は復号 A C係数データ 1 1 2を出力する A C係数デ一夕固定長復号部、 1 1 0は復号 A C係数データ 1 1 2を出力する A C係数デ一夕 E s c c o d i n g復号部、 1 1 3は A C係数を零に設定する A C 係数零設定部である。

次にプロックデータ復号部 9 8の動作について説明する。

まず符号化ブロックデ一夕は、マクロブロックタイプ ' 有効色差プロック識別情報復号部 8 7より出力されたマクロブロックタイプ 3 1 3により、切替部 1 0 1で切り替えられ、マクロブロックタイプ 3 1 3がィントラ以外の場合には、切替部 1 0 5に出力される。マクロブロック夕イブ 3 1 3がイントラの場合には、符号化プロックデ一夕は切換部 1 0 2に入力され、 MP E G— 4へッダ情報設定部 4 3で設定されたイントラ A C/D C予測モード指示情報 3 1 5により切り替えられる。

M P E G - 4互換 H . 2 6 3符号化ビヅトストリ一ム 2 0 3の場合には、イントラ A C/D C予測モ一ド 3 1 5は無効に設定されているので、 D C係数復号部 1 0 4は通過せず、 D C係数固定長復号部 1 0 3に入力される。 D C係数固定長復号部 1 0 3は固定長復号を行い、復号イントラ D C係数 1 1 1 をテクスチャ復号部 1 0に出力すると共に、符号化ブロックデ一夕を切替部 1 0 5に出力する。このとき固定長復号された符号長は M P E G _ 4ヘッダ情報設定部 4 3で設定された 1画素あたりの階調（デフォルト値の 8 ビット） 3 2 1に等しく、 1画素あたりの階調 3 2 1は、デフォルト値の 8 ビヅトに設定されているので、 H . 2 6 3対応の復号化装置の場合と同様である。

切換部 1 0 5は、有効プロック識別情報復号部 9 0で復号された有効ブロック識別情報 2 5 3により切り替えられ、そのブロックが無効プロックの場合には、 A C係数零設定部 1 1 3はブロック内の復号 A C係数データ 1 1 2を零に設定し、テクスチャ復号部 1 0に出力する。そのブ一 -' WO 99/22524 PCT/JP97/03846

24

口ックが有効プロックの場合には、符号化プロックデ一夕は A C係数 V L Dテーブル切替部 1 0 6 に入力される。

ブロック内の A。係数ば、符号化装置側で、係数をブロック内で決められた順番にスキヤンし、零でない係数がプロック内で最後かどうかを示すフラグ（ L A S T ) 、連続する零の数（R U N) とそれに続く零でない係数のレベル（ L E V E L ) を組にして、可変長符号化されている。復号側では、符号化データを可変長復号することにより、（ L A S T ， R UN, L E V E L ) の組み合わせが得られ、これに基づいてブロック内の A C係数を再現することができる。なお（ L A S T， R U N, L E V E L ) の組み合わせを可変長符号化する際に、 M P E G— 4ではマクロブロックタイプにより、異なる V L C (V a r i a b l e L e n g t h C o d i n g ) テーブルにより可変長符号化するのに対し、 H . 2 6 3ではマクロブロックタイプによらず、同じ V L Cテーブルにより可変長符号化を行う。

従ってこの実施の形態における画像復号化装置において、 A C係数 V L Dテーブル切替部 1 0 6は、マクロブロックタイプ · 有効色差ブ口ック識別情報復号部 8 7 より出力されたマクロブロックタイプ 3 1 3及び符号化方式判定部 3 2 より出力された H. 2 6 3互換識別情報 3 3に基づき A C係数 V L Dテーブルを切り替える。そして H. 2 6 3互換識別情報 3 3が H. 2 6 3 と設定されている場合には、マクロブロックタイプ（イントラ、インター） 3 1 3にかかわらず A C係数デ一夕可変長復号部 1 0 7は、一つの V L Dテーブルにより可変長復号を行い、復号 A C係数データ 1 1 2 を、符号化テクスチャデータ 6 としてテクスチャ復号部 1 0に出力する。

また（ L A S T , R U N, L E V E L ) の組み合わせが V L Cテ一ブルになかった場合の符号化方法も M P E G— 4 と H . 2 6 3では異なる。 M P E G _ 4では V L Cテーブルに（ L A S T， UN, L E V E L ) の組み合わせがなかった場合には、エスケープコードを符号化した後で、 R U N又は L E V E Lの値を補正し、可変長符号化を行うか固定長符号化を行う。一方 H. 2 6 3では、エスケープコードを符号化した後で、 L A S T， R UN, L E V E Lの値それそれを固定長符号化する。従ってこの実施の形態における画像復号化装置において、 A C係数デ一夕可変長復号部 1 0 7により A C係数符号化データからエスケープコ一ドが検出されたとき符号化ビットストリームは切替部 1 0 8に入力される。そして H. 2 6 3互換識別情報 3 3が H. 2 6 3に設定されている場合、符号化ビットストリームは、 A C係数データ E s c c 0 d i n g復号部 1 1 0を介さずに、 A C係数デ一夕固定長復号部 1 0 9により、次に続く L A S T， R UN, L E V E Lに関するコードをそれそれ決められた符号長で固定長復号を行い、復号 A C係数データ 1 1 2を、テクスチャ符号化デ一夕 6 としてテクスチャ復号部 1 0に出力する。以上の動作により、マクロブロックレイヤシンタックス解析部 2 2で出力されたテクスチャ符号化デ一夕 6、動きベクトル（テクスチャ動きデータ 7 ) は、それぞれテクスチャ復号部 1 0、動き補償部 8に分配される。

上記のようにして、第 3図のシンタックス解析 · 可変長復号部 2において、 V O Pの予測モードが復号され設定される。 V O Pの予測モードがイン夕一の場合には、テクスチャ動きべクトルの差分べクトルが復号される。復号されたテクスチャ動きべクトルの差分べクトルは、近傍の 3つのマクロブロックの動きべクトルより求めた予測べクトルと実際の動きベクトルとの差分ベクトルであり、従って、動きベクトルの差分べクトルに予測べクトルを加算したべクトルを動きべクトル（テクスチャ動きデ一夕 8 ) として算出する。予測ベクトルの算出は、第 1 4図（ a ) に示したようにすでに復号された 3つの近傍のマクロブロック（MV 1 , M V 2 , M V 3 ) の動きべクトルより算出する。ただし近傍の 3つのマクロブロックのうち、いずれかが V O Pの外部に位置する場合には、 V O Pの外部に位置するマクロブロックの動きべクトルの値を、第 1 4図（ b ) 、（ d ) に示したように零ベクトルに設定するか、第 1 4図（ c ) に示したように、 V O P 内のマクロブロックの動きべクトルを用いて設定する。しかし符号化方式が H. 2 6 3の場合で、 G O Bヘッダが定義されている場合には、 G 0 Bの境界内で予測べクトルの設定を行う必要がある。予測べクトルの設定については、 V O Pの場合と同様である。復号されたべクトルに基づき、予測ベクトルを予測テクスチャデ一夕 9 として取り出し、テクスチヤ復号部 1 0に出力する。

一方 V 0 Pの予測モードがイントラの場合には、動き補償予測は行われない。

テクスチャ復号部 1 0は、テクスチャ符号化データ 6を受け取り、テクスチヤデータ 1 1 を復元する。

第 1 5図はテクスチャ復号部 1 0の構成を示すブロック図である。逆量子化部 1 1 4はテクスチャ符号化デ一夕 6を逆量子化する。

第 1 6図は逆量子化部 1 1 4の構成を示すブロック図である。

切替部 1 1 7はテクスチャ符号化データ 6に含まれるマクロブロックタイプ 3 1 3により切り替えられる。復号対象ブロックのマクロプロックタイプ 3 1 3がインター符号化モードの場合には、テクスチャ符号化データ 6に D C係数デ一夕が含まれないので、テクスチャ符号化データ 6は A C係数逆量子化部 1 2 0に入力される。復号対象プロックのマク口プロックタイプ 3 1 3がイントラ符号化モードの場合には、テクスチャ符号化データ 6は切替部 1 1 8に入力される。切替部 1 1 8は H . 2 6 3互換識別情報 3 3 により切り替えられる。 H . 2 6 3互換識別情報 3 3が、 M P E G— 4互換 H . 2 6 3符号化ビットストリ一ム 2 0 3 を示している場合には、 D C係数線形逆量子化部 1 1 9 Bがテクスチャ符号化データ 6 に含まれる D C係数データの逆量子化を行う。一方、 H . 2 6 3互換識別情報 3 3が、 M P E G— 4符号化ビットストリーム 2 0 4を示している場合には、 D C係数非線形逆量子化部 1 1 9 Aが D C係数データの逆量子化を行い、 D C係数 3 0 6 を出力する。 D C係数の量子化はある決められた値（量子化スケールと呼ぶ）で D C係数を割り、端数を切り捨てることにより行われる。従って復号側では、量子化 D C係数に量子化スケールを掛けることにより、 D C係数 3 0 6 を復元することができる。 D C係数線形逆量子化部 1 1 9 Bと D C係数非線形逆量子化部 1 1 9 Aでは、この量子化スケールの値の設定が異なる。 D C係数線形逆量子化部 1 1 9 Bでは、量子化スケールを固定値 8で逆量子化する。一方 D C係数非線形逆量子化部 1 1 9 A では、量子化ステップサイズ 3 1 9の範囲に応じて、非線形に量子化スケールの値が設定され、この量子化スケールにより逆量子化を行い、 D C係数 3 0 6 を出力する。

次に A C係数逆量子化部 1 2 0は、 A C係数デ一夕の逆量子化を行い、 A C係数 3 0 7を出力する。逆量子化された D C係数（イントラ符号化モードのときのみ存在） 3 0 6 と A C係数 3 0 7は D C T係数 3 0 8 として逆 D C T部 1 1 5 に渡され、逆 D C Tが施された後、復号予測誤差信号 3 0 9 として出力される。加算部 1 1 6は復号予測誤差信号 3 0 9 と動き補償部 8 より得られる予測テクスチャデータ 9 とを加算後、復号テクスチャデ一夕 1 1 として出力する。ただし、イントラ符号化モードの場合には、予測テクスチャデータ 9の加算は行われない。

符号化ビットストリーム 1 に H . 2 6 3互換識別情報 3 3が多重化されている場合、第 2図（ a ) に示すように、シーケンスの終了を示すシ一ケンス終了コード（ E O S ) 2 2 7が多重化されている場合もある。シーケンス終了コード 2 2 7の検出はピクチャスタートコード検出部 4 1で行われ、シーケンス終了コード 2 2 7を検出すると復号動作を終了する。

以上のように、この実施の形態 1によれば、 H. 2 6 3符号化ビットストリーム 2 0 1に、 V〇ス夕一トコ一ド 2 3 1、 V O Lス夕一トコ一ド、 V 0識別番号 2 3 2及び H. 2 6 3互換識別情報 2 2 6が多重化された M P E G— 4互換 H. 2 6 3符号化ビットストリーム 2 0 3を受信し、これらの各情報を復号するようにしたので、 H. 2 6 3 と、 MP E G - 4 とで互換性を有する画像復号化装置を得ることができるという効果が得られる。実施の形態 2.

第 1 7図は実施の形態 2における画像符号化装置の構成を示すプロック図であり、実施の形態 1で述べた画像復号化装置で復号可能な符号化ビットストリームを生成するものである。図において、 1 2 1は入力画像信号、 1 2 2は11. 2 6 3方式符号化部、 1 2 3は11. 2 6 3符号化ビットストリーム、 1 2 4は M P E G— 4互換フラグ、 1 2 5はヘッダ情報多重化部、 1 2 6は MP E G— 4互換 H. 2 6 3符号化ビットストリームである。

次に動作について説明する。

まず、 H. 2 6 3方式符号化部 1 2 2は、入力画像信号 1 2 1を H. 2 6 3のシンタックスに基づいて符号化し、 H. 2 6 3符号化ビットストリ一ム 1 2 3を生成する。次にへッダ情報多重化部 1 2 5は、 MP E G— 4ベースの復号化装置で復号可能なビットストリームを生成することを示す MP E G— 4互換フラグ 1 2 4を受け取り、 H. 2 6 3 ビットストリームのピクチヤヘッダの前に実施の形態 1で述べた画像復号化装置で復号するために必要な V Oスタートコード 2 3 1、 V O識別番号 2 3 2、 V O Lス夕一トコ一ド 2 3 3及び H. 2 6 3互換識別情報（ H. 2 6 3ベースのビヅトストリームであることを示す 0又は 1のフラグ） 2 2 6を多重化する。このようにして多重化された MP E G - 4互換 H . 2 6 3符号化ビットストリーム 1 2 6の内容は、実施の形態 1の第 2 図（ a ) に示したものとなる。

また第 1 8図に示すように H . 2 6 3符号化装置 1 2 7 と M P E G— 4復号化装置 1 2 8間でリアルタイム通信が行われている場合には、 M P E G - 4復号化装置 1 2 8側から H. 2 6 3符号化装置 1 2 7に MP E G— 4互換フラグ 1 2 4を送信し、 H. 2 6 3符号化装置 1 2 7は、 M P E G - 4互換フラグ 1 2 4を受け取ったら、実施の形態 1で述べた画像復号化装置で復号するために必要な V Oスタートコード 2 1 3、 V 0識別番号 2 3 2、 V 0 Lスタートコード 2 3 3及び H . 2 6 3互換識別情報 2 2 6を H. 2 6 3方式ビットストリーム 1 2 3に多重化することも可能である。

以上のように、この実施の形態 2によれば、 V Oス夕一トコ一ド 2 3 1、 V O識別番号 2 3 2、 V O Lスタートコード 2 3 3及び H. 2 6 3 互換識別情報 2 2 6を H. 2 6 3符号化ビットストリーム 1 2 3に多重化するので、 MP E G— 4対応の画像復号装置で復号可能な符号化ビットストリームを生成する画像符号化装置を得ることができるという効果が得られる。実施の形態 3.

第 1 9図は実施の形態 3における M P E G— 4互換 H . 2 6 3符号化ビットストリーム 2 0 5の構造を示す図であり、従来の図 1 ( a ) で示した H . 2 6 3符号化ビヅトストリ一ム 2 0 1に、 V Oスタートコード 2 3 1、 V O識別番号 2 3 2及び H. 2 6 3ス夕一トコ一ド 2 2 8が追加されている。そして H. 2 6 3ス夕一トコ一ド 2 2 8は、実施の形態 1において多重化されている V O Lスタートコード 2 3 3 と H. 2 6 3 互換識別情報 2 2 6の両方の機能を達成するものである。

なぉMP E G _ 4符号化ビットストリ一ム 2 0 2は、従来の第 1図（ b ) で示したものと同じである。

この実施の形態における画像復号化装置は、実施の形態 1で述べた画像復号化装置においてへッダ情報解析部 2 1のみが異なる。第 2 0図は実施の形態 3におけるへッダ情報解析部 2 1の構成を示すブロック図である。図において、 1 3 1は1^ 2 6 3スタートコード/ V O Lスタートコ一ド検出部、 1 3 2は符号化方式判定部であり、 V Oスタートコ一ド検出部 3 0、 H. 2 6 3互換識別情報 3 3、切替部 3 4、 H. 2 6 3 ピクチャヘッダ情報解析部 3 5、 H . 2 6 3 G 0 Bヘッダ情報解析部 3 6、 V O Lヘッダ情報復号部 3 7、 V O Pヘッダ情報解析部 3 8は、実施の形態 1の第 5図と同等のものである。

次に動作について説明する。

V Oス夕一トコ一ド検出部 3 0が V Oスタートコード 2 3 1 を検出すると以下の復号動作を開始する。まず、 H. 2 6 3スタートコード/ V 0 Lス夕一トコ一ド検出部 1 3 1が、 MP E G— 4互換 H. 2 6 3符号化ビットストリーム 2 0 5の場合は H. 2 6 3スタートコ一ドを検出し、 M P E G - 4符号化ビットストリーム 2 0 2の場合は V 0 Lスタートコード 2 3 3を検出する。

MP E G— 4では、各レイヤーのス夕一トコ一ドは全てのス夕一トコードに共通のコード（ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 ) の後に各レイヤーに固有のスタートコードが固定長（ 5 ビット）で続く。共通のス夕一トコ一ドは、ビットストリーム中にス夕一トコ一ド以外で検出されることはない。従って、 H. 2 6 3スタートコード 2 2 8も共通のス夕一トコ一ドの後に H . 2 6 3符号化ビットストリームであることを識別できる固定長（ 5 ビット）のコードを付けたものとする。

次に、検出されたス夕一トコードが、 H. 2 6 3スタートコード 2 2 8の場合には、符号化方式判定部 1 3 2は、 H. 2 6 3互換識別情報 3 3を H. 2 6 3に設定する。また V 0 Lスタートコード 2 3 3の場合は、 H. 2 6 3互換識別情報 3 3を MP E G— 4に設定する。それ以降の動作は実施の形態 1 と同様である。

以上のように、この実施の形態 3によれば、 H. 2 6 3符号化ビットストリーム 2 0 1に、 V Oス夕一トコ一ド 2 3 1、 V〇識別番号 2 3 2 及び H. 2 6 3ス夕一トコード 2 2 8が多重化された MP E G— 4互換 H. 2 6 3符号化ビットストリーム 2 0 5を受信し、これらの各情報を復号するようにしたので、 H. 2 6 3 と、 M P E G— 4 とで互換性を有する画像復号化装置を得ることができるという効果が得られる。実施の形態 4.

この実施の形態は、実施の形態 3で述べた画像復号化装置で復号可能なビットストリームを生成する画像符号化装置で、その構成は実施の形態 2の第 1 7図と同じである。

次に動作について説明する。

まず、 H. 2 6 3方式符号化部 1 2 2は、入力画像信号 1 2 1 を H. 2 6 3のシンタックスに基づいて符号化し、 H. 2 6 3符号化ビットストリ一ム 1 2 3を生成する。次にへッダ情報多重化部 1 2 5は、 M P E G— 4互換フラグ 1 2 4を受け取り、 H. 2 6 3符号化ビットストリーム 1 2 3のピクチャヘッダの前に、実施の形態 3で述べた画像復号化装置で復号するために必要な V Oスタートコード 2 3 1、 V O識別番号 2 3 2及び11. 2 6 3スタートコード 2 2 8を多重化する。このようにして多重化された M P E G - 4互換 H. 2 6 3符号化ビットストリーム 1 2 6の内容は、実施の形態 3の第 1 9図に示したものとなる。

なお MP E G— 4互換フラグ 1 2 4は実施の形態 2の第 1 8図で述べたように、 M P E G— 4復号化装置 1 2 8より渡すことも可能である。以上のように、この実施の形態 4によれば、 V Oスタートコード 2 3 1、 V 0識別番号 2 3 2及び H. 2 6 3ス夕一トコード 2 2 8を H. 2 6 3 ビットストリーム 2 0 1 に多重化するので、 M P E G— 4対応の画像復号化装置で復号可能な符号化ビットストリ一ムを生成する画像符号化装置を得ることができるという効果が得られる。実施の形態 5.

この実施の形態は、 M P E G— 4互換のためのヘッダ情報を多重化する多重化部を符号化装置とは独立して例えばネットワーク上に持つものである。第 2 1図は実施の形態 5における画像通信システムを示す図である。図において、 1 4 1は11. 2 6 3符号化装置、 1 4 2は M P E G — 4復号化装置、 1 4 3は符号化ビットストリーム変換装置であり、 H . 2 6 3符号化装置 1 4 1、 MP E G _ 4復号化装置 1 4 2及び符号化ビットストリーム変換装置 1 4 3は、ネヅトワークに接続されている。次に動作について説明する。

符号化ビットストリーム変換装置 1 4 3が M P E G— 4復号化装置 1 4 2又はュ一ザより M P E G— 4互換 H. 2 6 3符号化ビットストリーム 1 4 8を要求する M P E G— 4互換フラグ 1 4 7を受け取ると、符号化ビットストリーム変換装置 1 4 3は、 H. 2 6 3符号化装置 1 4 1 より、 H. 2 6 3符号化ビットストリーム 1 4 6を受け取り、実施の形態 2又は実施の形態 4で述べたように、 MP E G— 4復号化装置で復号するのに必要なヘッダ情報を H . 2 6 3符号化ビットストリーム 1 4 6に多重化して、 MP E G— 4復号化装置 1 4 2に送信する。

以上のように、この実施の形態 5によれば、ネットワーク上に符号化ビットストリーム変換装置 1 4 3を備えたので'、 H. 2 6 3 と、 MP E G— 4とで互換性を有する画像通信システムを得ることができるという効果が得られる。実施の形態 6.

第 2 2図は実施の形態 6における画像通信システムを示す図である。図において、 1 4 1は11. 2 6 3符号化装置、 1 4 3は符号化ビットストリ一ム変換装置、 1 4 4はサーバ、 1 4 5は M P E G— 4復号化装置内蔵ブラウザであり、これらはネットワーク上に接続されている。

次に動作について説明する。

M P E G - 4復号化装置内蔵ブラゥザ 1 4 5が、ネットヮ一ク上で伝送される H. 2 6 3符号化ビヅトストリーム 1 4 6に対してアクセスする場合、 M P E G— 4復号化装置内蔵ブラウザ 1 4 5は、サーバ 1 4 4 に MP E G— 4復号化装置で復号することを示す MP E G— 4互換フラグ 1 4 7を伝送する。サーバ 1 4 4が MP E G— 4互換フラグ 1 4 7を受け取ると、 H. 2 6 3符号化ビットストリーム 1 4 6を符号化ビットストリーム変換装置 1 4 3に伝送する。

符号化ビットストリーム変換装置 1 4 3は受け取った H. 2 6 3 ビヅトストリーム 1 4 6に対して、実施の形態 2または 4で述べたように、 MP E G - 4復号化装置で復号可能なようにへッダ情報を追加した M P -' WO 99/22524 PCT/JP97/0384&

34

E G— 4互換 H. 2 6 3符号化ビットストリーム 1 4 8を生成し、 MP E G— 4復号化装置内蔵ブラウザ 1 4 5に伝送する。 M P E G— 4復号化装置内蔵ブラウザ 1 4 5では、 MP E G— 4互換 H. 2 6 3符号化ビヅトストリ一ム 1 4 8を受け取ることにより、 H. 2 6 3符号化ビットストリーム 1 4 6を復号し、画像を表示することが可能である。

また M P E G— 4復号化装置内蔵ブラウザ 1 4 5 自体が符号化ビットストリーム変換装置 1 4 3を内蔵することも可能である。この場合、 M P E G— 4復号化装置内蔵ブラウザ 1 4 5が H. 2 6 3符号化ビットストリーム 1 4 6をサーバ 1 4 4から受け取り、 MP E G— 4互換 H. 2 6 3符号化ビットストリ一ム 1 4 8に変換後、内蔵の M P E G— 4復号化装置で復号し、画像を表示することができる。

以上のように、この実施の形態 6によれば、ネットワーク上に符号化ビットストリーム変換装置とサーバを備えたので、 H. 2 6 3 と、 MP E G— 4 とで互換性を有する画像通信システムを得ることができるという効果が得られる。実施の形態 Ί .

実施の形態 1及び実施の形態 3で述べた画像復号化装置においては、 H. 2 6 3 ビットストリームか、あるいは MP E G— 4 ビットストリ一ムかを識別することができる。しかし、 H. 2 6 3符号化装置によって生成される H. 2 6 3 ビットストリームの先頭に MP E G— 4互換のためのヘッダ情報を多重化する必要があり、 H . 2 6 3 ビットストリームをそのまま受け取ることはできない。実施の形態 7は、 H. 2 6 3 ビヅトストリームをそのまま受け取り復号することができる画像復号化装置である。

第 2 3図は実施の形態 Ίにおけるへッダ情報解析部 2 1の構成を示すブロック図である。図において、 1 5 1は H . 2 6 3符号化ビットストリームに多重化されている H. 2 6 3のピクチャスタートコ一ド 2 2 1 を検出する H. 2 6 3 ピクチヤス夕一トコ一ド検出部、 1 5 2は符号化方式判定部、 1 5 3は H. 2 6 3符号化ビットストリームに多重化されているピクチャヘッダ情報 2 2 2に基づき V O Lヘッダ情報、 V O Pへッダ情報を設定する H. 2 6 3 ピクチャヘッダ情報解析部である。その他の V 0スタートコード検出部 3 0、 H. 2 6 3互換識別情報 3 3、切替部 3 4、 H . 2 6 3 G 0 Bヘッダ情報解析部 3 6、 V O Lヘッダ情報復号部 3 7及び V 0 Pへッダ情報解析部 3 8は実施の形態 1 と同等のものである。またヘッダ情報解析部 2 1以外の部分の構成は、実施の形態 1の画像復号化装置と同等である。

次に動作について説明する。

H. 2 6 3ピクチヤス夕一トコード検出部 1 5 1は、第 2 4図（ a ) , ( b ) で示した符号化ビットストリームの始めと終りを常時監視している。 H . 2 6 3符号化ビットストリーム 2 0 1の場合は、ピクチヤス夕一トコード 2 2 1からマクロブロックデ一夕 2 2 5までを、 MP E G ― 4符号化ビットストリーム 2 0 2の場合は、 V Oスタートコード 2 3 1からマクロブロックデ一夕 2 3 9までを、それそれ 1つの符号化ビットストリ一ムとして監視する。

H. 2 6 3符号化ビットストリーム 2 0 1を受信した場合、 H. 2 6 3 ピクチャスタートコード検出部 1 5 1は、ピクチャスタートコード 2 2 1を検出し、この結果を符号化方式判定部 1 5 2に出力する。符号化方式判定部 1 5 2は、検出されたピクチヤス夕一トコード 2 2 1 により、受信した符号化ビットストリームが H. 2 6 3符号化ビットストリーム 2 0 1であると判定し、 H. 2 6 3互換識別情報 3 3を H. 2 6 3 と設定する。一方、 V 0ス夕一トコ一ド検出部 3 0により V 0ス夕一トコ — ド 2 3 1が検出されると、符号化方式判定部 1 5 2は、受信した符号化ビットストリームが M P E G— 4符号化ビットストリーム 2 0 2であると判定し、 H. 2 6 3互換識別情報 3 3を MP E G— 4 と設定する。

H. 2 6 3符号化ビットストリーム 2 0 1の場合、切替部 3 4は、 H . 2 6 3符号化ビットストリーム 2 0 1 を H. 2 6 3ピクチャへッダ情報解析部 1 5 3に入力する。 H. 2 6 3ピクチャヘッダ情報解析部 1 5 3は、 H. 2 6 3符号化ビットストリーム 2 0 1に多重化されているピクチャヘッダ情報 2 2 2を復号し、実施の形態 1 と同様に V O Lヘッダ情報、 V 0 Pヘッダ情報の設定を行う。以降の動作については、実施の形態 1 と同様である。

一方 MP E G— 4符号化ビットストリーム 2 0 2の場合、切替部 3 4 は、 MP E G— 4符号化ビットストリーム 2 0 2を V O Lへヅダ情報復号部 3 7に入力する。以降の動作についても、実施の形態 1 と同様である。

以上のように、この実施の形態 7によれば、ピクチャスタートコード 2 2 1を検出した場合、 H. 2 6 3符号化ビットストリーム 2 0 1 と判定し、 V 0 Lヘッダ情報と V◦ Pヘッダ情報を設定するようにしたので、 H. 2 6 3 と、 MP E G— 4 とで互換性を有する画像復号化装置を得ることができるという効果が得られる。実施の形態 8.

この実施の形態は、第 1図（ a ) に示す H. 2 6 3符号化ビットストリーム 2 0 1 を第 1図（ b ) に示す M P E G— 4符号化ビットストリーム 2 0 2に変換する符号化ビットストリーム変換装置に関するものである。

第 2 5図は実施の形態 8における符号化ビットストリーム変換装置を示すブロック図であり、図において、 1 6 1は H . 2 6 3符号化ビットストリーム 2 0 1 をビクチャへヅダ情報符号語 4 0 1、 G 0 Bへヅダ情報符号語 4 0 2及びマクロブロックデータ符号語 4 0 3に分離するシンタックス解析部、 1 6 2はピクチャヘッダ情報符号語 4 0 1 を復号するピクチャヘッダ情報復号部、 1 6 3は G O Bヘッダ情報符号語 4 0 2を復号する G O Bヘッダ情報解析 · 変換部、 1 6 4は V O Lヘッダ情報 2 3 4及び V 0 Pへッダ情報 2 3 6の設定を行う M P E G— 4へッダ情報設定部、 1 6 5は MP E G— 4符号化ビットストリーム 2 0 2を出力する多重化部である。

次に動作について説明する。

シン夕ヅクス解析部 1 6 1は、 H . 2 6 3符号化ビットストリーム 2 0 1から、ピクチヤス夕一トコ一ド 2 2 1を検出すると、以降に続く符号化ビットストリームをビクチャへッダ情報符号語 4 0 1、 G 0 Bへッダ情報符号語 4 0 2及びマクロブロックデ一夕符号語 4 0 3に分離し、それそれピクチャヘッダ情報復号部 1 6 2、 G 0 Bへッダ情報解析 · 変換部 1 6 3及び多重化部 1 6 5に出力する。ただし G 0 Bヘッダ情報符号語 4 0 2は、必ず H . 2 6 3符号化ビットストリーム 2 0 1 に多重化されているとは限らず、 G O Bス夕一トコード 2 2 3が検出された場合に限り多重化されている。 G O Bスタートコード 2 2 3が検出された場合には、 G 0 Bヘッダ検出情報 4 0 4を M P E G— 4へッダ情報設定部 1 6 4に出力する。ピクチャヘッダ情報復号部 1 6 2は、ピクチャへッダ情報符号語 4 0 1 を実施の形態 1 と同様に復号し、復号したピクチャヘッダ情報 4 0 5を M P E G— 4ヘッダ情報設定部 1 6 4に出力する。

MP E G - 4ヘッダ情報設定部 1 6 4は、復号されたピクチャヘッダ情報 4 0 5に基づき、実施の形態 1 と同様に V 0 Lへッダ情報 2 3 4及び V O Pヘッダ情報 2 3 6の設定を行う。実施の形態 1で述べなかったヘッダ情報については、 I S 0/1 E C J T C 1/S C 2 9 /W G 1 1 MP E G— 4 V i d e o VM 8. 0に開示されるいずれの値に設定しても良い。また GO Bヘッダ検出情報 40 5を受け取った場合には、エラ一耐性符号化指示モードを有効に設定する。

実施の形態 1で述べたように、 H. 2 6 3と MP E G— 4では、マクロブロックデータの復号処理手順が一部異なる。従って復号側では、切替情報に基づき、復号方法を切り替える必要がある。そのため以下の切替情報を V 0 Lヘッダに設定しておく必要がある。

( 1 ) A C係数 V L Cテーブル切替情報

実施の形態 1で述べたように、符号化側で A C係数データを可変長符号化する際に用いる V L Cテ一ブルが異なる場合に、復号側で A C係数データを可変長復号するのに用いる VLDテーブルを切り替えるための情報。

( 2 ) E s c C o d i n g切替情報

実施の形態 1で述べたように、符号化側で A C係数デ一夕を可変長符号化する際に、符号化しょうとしている A C係数データが V L Cテープルになかったときの符号化方法が異なる場合に、復号側で復号方法を切り替えるための情報。

( 3 ) イントラ D C係数逆量子化切替情報

実施の形態 1で述べたように、符号化側でィントラ D C係数の量子化方法が異なる場合に、 D C係数の逆量子化方法を切り替えるための情報なお（ 1 ) ~ ( 3 ) の切替情報をまとめて、 H. 2 6 3で採用されている手法とそれ以外で切り替える情報として、設定しておくことも可能である。

MP E G- 4ヘッダ情報設定部 1 64により設定された MP E G - 4 へッダ情報は可変長符号化され、 M P E G— 4へッダ情報符号語 4 0 6 として多重化部 1 6 5に出力される。

G O Bヘッダ情報解析 · 変換部 1 6 3は、実施の形態 1 と同様に、 G 0 Bへッダ情報符号語 4 0 2を復号し、 G 0 Bへッダ情報 2 2 4を M P E G - 4の表現形式である再同期情報 2 3 8に変換する。

MP E G— 4の再同期情報 2 3 8はエラ一耐性強化のために用いられる情報で、 V O Lヘッダ情報 2 3 6のエラー耐性符号化指示情報が有効の場合に多重化される情報である。復号側では再同期情報 2 3 8が復号されたら、符号化ビットストリームへの再同期が取られ、マクロプロック復号の際に用いられる予測べクトル及び量子化ステップサイズの再設定を行う。なお H. 2 6 3では、 G 0 Bヘッダ情報 2 2 4が復号されたら予測べクトルと量子化ステップサイズの再設定を行っている。そこで G O Bヘッダ情報 2 2 4を再同期情報 2 3 8により変換することにより、 G O Bヘッダ情報 2 2 4を MP E G— 4の表現形式に変換することができる。

第 2 6図は G O Bヘッダ情報 2 2 4及び再同期情報 2 3 8の構造を示す図である。再同期情報 2 3 8におけるマクロブロック番号 2 7 1は、 V〇 P内でのマクロブロヅクの位置を示す番号である。従って受け取つた H . 2 6 3マクロブロックデ一夕に対応するマクロブロックのピクチャ内での位置を算出すれば良い。これは G O B内で先頭のマクロプロックになるので、 G 0 B番号より算出することができる。量子化スケール 2 7 2は、 G 0 B量子化ステップサイズを設定すれば良い。ヘッダ拡張指示コ一ド 2 7 3は" 1 " の場合に時間基準点 2 7 4及び V 0 P経過時間 2 7 5が多重化される。これらの情報は各 V O Pを表示する際に用いられるもので、必要に応じてヘッダ拡張指示コード 2 7 3を" 1 " に設定し、時間基準点 2 7 4、 V 0 P経過時間 2 7 5の設定を行えば良い。再同期情報 2 3 8は可変長符号化され、再同期情報 2 3 8が多重化されていることを示すための固定長のユニークコードである再同期指示コードを付加した再同期情報符号語 4 0 7を多重化部 1 6 5 に出力する。多重化部 1 6 5は、 M P E G— 4へッダ情報符号語 4 0 6、再同期情報符号語 4 0 7、マクロブロックデータ符号語 4 0 3 を符号化ビットストリームに多重化し、 M P E G— 4符号化ビットストリーム 2 0 2 を出力する。

この実施の形態では、再同期情報は、 V 0 Lヘッダ情報 2 3 4のエラ一耐性符号化指示情報が有効の場合に多重化される情報であるとしたが、エラー耐性符号化指示情報の有効、無効に係わらず多重化することもできる。

なお H . 2 6 3符号化ビットストリ一ム 2 0 1 において、マクロプロックデ一夕 2 2 5の後にシーケンス終了コード 2 2 7が付加されている場合、シンタックス解析部 1 6 1は、シーケンス終了コード 2 2 7 を検出すると解析を終了する。

以上のように、この実施の形態によれば、 H . 2 6 3符号化ビットストリーム 2 0 1 を M P E G— 4符号化ビットストリーム 2 0 2 に変換するので、 M P E G _ 4の画像復号化装置で H . 2 6 3符号化ビットストリームを復号することができるという効果が得られる。実施の形態 9 .

実施の形態 7では、第 2 3図において、 H . 2 6 3 ピクチャスタートコード検出部 1 5 1がピクチャスタートコード 2 2 1 を検出した場合、符号化方式判定部 1 5 2が H . 2 6 3符号化ビットストリーム 2 0 1 と判定し、 H . 2 6 3 ピクチャヘッダ情報解析部 1 5 3が V 0 Lヘッダ情報と V 0 Pヘッダ情報を設定するようにしたが、本実施の形態では、 H . 2 6 3 ピクチャへヅダ情報解析部 1 5 3に含まれている第 6図における H . 2 6 3ピクチャヘッダ情報復号部 4 2にて復号されたピクチャへヅダ情報 2 2 2に基づき、マクロブロックレイヤシンタックス解析部 2 2の動作を切り替える。このとき、 M P E G _ 4ヘッダ情報設定部 4 3 は不要である。また、実施の形態 7では、第 8図における G 0 Bス夕一トコード検出部 6 1が、 H . 2 6 3符号化ビットストリーム 2 0 1中に G O Bスタートコード 2 2 3を検出した場合、 G 0 Bへッダ情報復号部 6 2が G 0 Bへッダ情報 2 2 4を復号し、 MP E G— 4へッダ情報変更部 6 3にて、 V O Pヘッダ情報 2 3 6に含まれる V O P量子化ステップサイズの再設定を行った。本実施の形態では、 H. 2 6 3符号化ビットストリーム 2 0 1 を復号する場合、ピクチャへヅダ情報 2 2 2を用いて、マクロブロックデータの復号を行うため、ピクチャヘッダ情報 2 2 2 に含まれるピクチャ量子化ステップサイズ 3 0 4の再設定を行えば良い次に H. 2 6 3 ピクチャヘッダ情報復号部 4 2にて復号されたピクチャヘッダ情報 2 2 2に基づき、マクロブロックデ一夕の復号を行う際のマクロプロックレイヤシン夕ヅクス解析部 2 2の動作について説明する o

本実施の形態では、第 1 2図のマクロブロヅクレイヤシン夕ックス解析部の切替部 8 1， 8 3， 8 8， 9 5の動作と、加算部 9 4の動作と、動きベクトル復号部 9 7の動作と、第 1 3図のブロックデータ復号部 9 8の切替部 1 0 2の動作のみが異なるので、この部分についてのみ説明する。

切替部 8 1は、 M P E G _ 4符号化ビットストリーム 2 0 2を復号している場合、すなわち、第 2 3図における符号化方式判定部 1 5 2にて設定された H. 2 6 3互換識別情報 3 3が MP E G— 4を示している場合には、 V 0 Lヘッダ情報復号部 3 7にて復号された形状情報により、切り替えられる。 H. 2 6 3符号化ビットストリーム 2 0 1 を復号している場合、すなわち、 H. 2 6 3互換識別情報 3 3が H. 2 6 3を示している場合には、無条件にビットストリ一ム 1は形状符号化データ復号部 8 2を介さずに、切替部 8 3に入力される。

切替部 8 3は、 M P E G— 4符号化ビットストリーム 2 0 2を復号している場合には、 V 0 Pへッダ情報解析部 3 8にて復号された V 0 P予測タイプにより、切り替えられる。 H . 2 6 3符号化ビットストリーム 2 0 1を復号している場合には、 H. 2 6 3ピクチャへヅダ情報復号部 4 2にて復号されたピクチヤ符号化タイプ 3 0 2により切り替えられる。切り替えの動作については、実施の形態 1 と同様であり、ピクチャ符号化タイプ 3 0 2がイントラか、それ以外かで切り替えればよい。

切替部 8 8は、 MP E G— 4符号化ビットストリーム 2 0 2を復号している場合には、 V O Lへッダ情報復号部 3 7にて復号されたィントラ A C/D C予測指示情報により、切り替えられる。 H. 2 6 3符号化ビヅトストリーム 2 0 1 を復号している場合、すなわち、 H. 2 6 3互換識別情報 3 3が H . 2 6 3を示している場合には、無条件にビットストリーム 1は A C予測指示情報復号部 8 9を介さずに、有効プロック識別情報復号部 9 0に入力される。

加算部 9 4は、 MP E G— 4符号化ビットストリーム 2 0 2を復号している場合には、復号された差分量子化ステップサイズ 2 5 4に、 1つ前に復号されたマクロブロックの V O P量子化ステップサイズを加算して、量子化ステップサイズとして出力する。 H. 2 6 3符号化ビットストリーム 2 0 1を復号している場合には、復号された差分量子化ステツプサイズ 2 5 4に、 1つ前に復号されたマクロブロックのピクチャ量子化ステップサイズを加算して、量子化ステップサイズとして出力する。切替部 9 5は、 MP E G— 4符号化ビットストリーム 2 0 2を復号している場合には、 V 0 Pへッダ情報解析部 3 8にて復号されたインタレ —スモード指示情報により、切り替えられる。 H. 2 6 3符号化ビットストリーム 2 0 1を復号している場合、すなわち、 H. 2 6 3互換識別情報 3 3が H. 2 6 3を示している場合には、無条件にビットストリ一ム 1はイン夕レース情報復号部 9 6を介さずに、動きベクトル復号部 9 7に入力される。

動きべクトル復号部 9 7は、 M P E G— 4符号化ビットストリーム 2 0 2を復号している場合には、 V 0 Pへッダ情報解析部 3 8にて復号された動きべクトル探索範囲指定情報に基づいて、動きべクトル（テクスチヤ動きデ一夕 7 ) を復号する。 H. 2 6 3 ビットストリームを復号している場合には、 H. 2 6 3で定められている動きベクトル探索範囲に基づき、動きベクトル（テクスチャ動きデ一夕 7 ) を復号する。

プロックデータ復号部 9 8の切替部 1 0 2は、 MP E G— 4符号化ビヅトストリ一ム 2 0 2を復号している場合には、 V 0 Lへッダ情報復号部 3 7にて復号されたイントラ A C/D C予測モード指示情報により切り替えられる。 H. 2 6 3符号化ビットストリーム 2 0 1を復号している場合、すなわち、 H. 2 6 3互換識別情報 3 3が H. 2 6 3を示している場合には、無条件にビットストリーム 1は D C係数固定長復号部 1 0 3に入力される。これ以降の動作は、実施の形態 1 と同様である。以上のように、この実施の形態 9によれば、ピクチヤス夕一トコ一ド 2 2 1 を検出した場合、 H. 2 6 3符号化ビットストリーム 2 0 1 と判定し、ピクチャヘッダ情報 2 2 2を復号し、復号したピクチャヘッダ情報 2 2 2により、マクロブロックデ一夕の復号を行うようにしたので、 V〇 Lヘッダ情報と V 0 Pヘッダ情報を設定することなく、 H. 2 6 3 と、 M P E G— 4 とで互換性を有する画像符号化装置を得ることができるという効果が得られる。産業上の利用可能性

以上のように、この発明に係る画像復号化装置、画像符号化装置、画像通信システム及び符号化ビットストリーム変換装置は、符号化方式の異なる符号化ビットストリームでも、簡単な構成で送受信を行える。

Claims

請求の範囲

1 . 第 1のヘッダ情報と第 1の符号化方式で符号化された画像符号化デ一夕とが多重化された第 1の符号化ビットストリーム、又は第 2のへッダ情報と第 2の符号化方式で符号化された画像符号化データとが多重化された第 2の符号化ビットストリームを復号する画像復号化装置において、上記第 1のヘッダ情報又は上記第 2のヘッダ情報に基づき、受信した符号化ビットストリームが、上記第 1の符号化ビットストリーム、又は上記第 2の符号化ビットストリ一ムであるかを判定する符号化方式判定手段と、上記第 2の符号化ビットストリームを受信し、上記第 2のへッダ情報に含まれている上記第 2の符号化方式の画像符号化情報を復号する復号手段と、上記第 1の符号化ビットストリームを受信し、上記第 1のヘッダ情報に含まれている上記第 1の符号化方式の画像符号化情報に基づき、上記第 2の符号化方式の画像符号化情報を設定する設定手段とを備え、上記設定手段により設定された画像符号化情報、又は上記復号手段により復号された画像符号化情報に基づき、上記第 1の符号化ビットストリーム、又は上記第 2の符号化ビットストリームに含まれる画像符号化データを復号することを特徴とする画像復号化装置。

2 . 符号化方式判定手段は、第 1のヘッダ情報又は第 2のヘッダ情報に含まれる第 1又は第 2の符号化方式を識別する符号化方式識別情報に基づき判定することを特徴とする請求の範囲第 1項記載の画像復号化装置

3 . 符号化方式判定手段は、第 1のヘッダ情報又は第 2のヘッダ情報に含まれるスタートコードに基づき判定することを特徴とする請求の範囲第 1項記載の画像復号化装

4. 符号化方式判定手段は、第 1のヘッダ情報に含まれる H. 2 6 3ス夕— トコ— ド又は第 2のヘッダ情報に含まれる V 0 L (V i d e o 0 b j e c t L a y e r ) スタートコードに基づき判定することを特徴とする請求の範囲第 3項記載の画像復号化装置。

5. 符号化方式判定手段は、第 1のヘッダ情報に含まれるピクチヤス夕 — トコード又は第 2のヘッダ情報に含まれる V 0 (V i d e o 0 b j e c t ) スタートコードに基づき判定することを特徴とする請求の範囲第 3項記載の画像復号化装置。

6. 画像信号を第 1の符号化方式で符号化し第 1の符号化ビットストリ —ムを生成する符号化手段と、上記第 1の符号化ビットストリームに、第 2の符号化方式で符号化された第 2の符号化ビットストリームと互換性を確保するためのヘッダ情報を多重化し送信するヘッダ情報多重化手段とを備えたことを特徴とする画像符号化装置。

7. ヘッダ情報多重化手段は、互換性を確保するためのヘッダ情報として、第 2の符号化方式のスタートコードと第 1の符号化方式であることを示す符号化方式識別情報を多重化することを特徴とする請求項 6記載の画像符号化装置。

8. 画像信号を第 1の符号化方式で符号化し第 1の符号化ビットストリームを生成する符号化手段と、第 2の符号化方式で符号化された第 2の符号化ビットストリームを復号する復号化手段と、上記符号化手段から -' WO 99/22524 PCT/JP97/0384 &

47

受信した上記第 1の符号化ビットストリームに、上記復号化手段から受信した互換性を確保するためのへッダ情報を多重化して、上記復号化手段に送信する符号化ビットストリーム変換手段とを備えたことを特徴とする画像通信システム。

9 . 第 1の符号化方式で生成された第 1の符号化ビットストリームを入力し、上記第 1の符号化方式の第 1のヘッダ情報と、画像符号化データとを分離するシンタックス解析手段と、分離された上記第 1のへッダ情報を復号する復号手段と、上記復号手段により復号された第 1 のヘッダ情報に基づき、第 2の符号化方式の第 2のヘッダ情報を設定し符号化するヘッダ情報設定手段と、上記シン夕ックス解析手段が分離した上記画像符号化データと、上記へッダ情報設定手段が符号化した上記第 2のへッダ情報とを多重化し、第 2の符号化ビットストリームを生成する多重化手段とを備えたことを特徴とする符号化ビットストリーム変換装置。

1 0 . 第 1のヘッダ情報と第 1の符号化方式で符号化された画像符号化デ一夕とが多重化された第 1の符号化ビットストリーム、又は第 2の符号化方式で符号化された画像符号化データと第 2のヘッダ情報とが多重化された第 2の符号化ビットストリームを復号する画像復号化装置において、上記第 1のヘッダ情報又は上記第 2のヘッダ情報に基づき、受信した符号化ビットストリームが、上記第 1の符号化ビットストリーム、又は上記第 2の符号化ビットストリームであるかを判断する符号化方式判定手段と、上記第 1の符号化ビットストリームを受信し、上記第 1のへッダ情報を復号する第 1の復号手段と、上記第 2の符号化ビットストリームを受信し、上記第 2のへッダ情報に含まれている上記第 2の符号化方式の画像符号化情報を復号する第 2の復号手段と、受信した符号化ビットストリ一ムが第 1の符号化ビットストリームの場合、第 1の符号化ビットストリームに含まれる画像符号化データを上記第 1の復号手段により復号された第 1 のヘッダ情報に基づき復号し、受信した符号化ビットストリームが第 2の符号化ビットストリームの場合、第 2の符号化ビットストリームに含まれる画像符号化データを上記第 2の復号手段により復号された画像符号化情報に基づき復号することを特徴とする画像復号化装置。