明 細 書 画像圧縮装置、 画像圧縮方法、 画像圧縮プログラム、 及び圧縮符号化方法、 圧縮符号化装置、 圧縮符号化プログラム、
並びに複号化方法、 複号化装置、 複号化プログラム 技術分野
本発明の第 1の実施の形態は、 再現性よく画像の圧縮を行う画像圧縮装置、 画 像圧縮方法及び画像圧縮プログラム、 第 2の実施の形態は、 短い時間で再現性よ く画像の圧縮を行う画像圧縮装置、 画像圧縮方法及び画像圧縮プログラム、 第 3 の実施の形態は、 時間的に連続するデータを符号化して圧縮することによリデー タ量を低減する圧縮符号化方法と装置及びそのプログラム、 並びに当該装置等に より圧縮符号化された圧縮符号データの復号化を行う復号化方法と装置及びその プログラムに関する。 背景技術
本発明の第 1の実施の形態の背景技術とその目的は次のとおリである。
画像データはデータ量が多く、 圧縮せずに蓄積した場合、 データ利用時の速度、 データの蓄積効率のすべてにおいて性能が低下する。このため画像データを蓄積、 利用する再には高効率の圧縮を行うことが必須となっている。 このような画像圧 縮を行う手法として J P E G (Joi nt Photographi c Expert Group ん ISO I EC
10918-1)が知られている。 J P EGによる画像圧縮は、以下に示す手順で圧縮処 理が行われる。
( 1 ) 画像を 8 X 8画素のブロックに切リ分ける。
(2) 符号化に DCT変換 (Discrete Cosine Transform:離散コサイン変換) を 用い X方向、 y方向各 8要素づっ、 合計 64要素の周波数成分 Qij、 および、 直 流成分 DCに変換する。
(3) 量子化では本来実数である Qijに (乗算の結果が一 1 28〜1 27の範囲 におさまるように求めた) 定数を乗算し、 絶対値が小さくなるように切り捨てる 等、 一定の法則に基づいた正規化によって整数データに変換する。 さらに、 ジグ ザグに Qij 拾い上げてデータ列にする。 (ただし、 0を見つけたらそれ以降のデ ータを 0とみなす。)
(4) Qijの系列 DC成分についてエントロピ一符号化の一種であるハフマン符 号化を行い圧縮データとする。
( 5 ) 圧縮データやパラメータを所定の順番で多重化する。
また、 これ以外にもブロックを符号化する方法として特許文献 1に記載された BTC (Block Truncation Coding) 法が知られている。 この手法は、 符号化対象 となっているブロック内の各画素色がブロック平均値以上になるか、 少ないかを 示したパターン情報、 さらに、 ブロック平均値、 そして、 パターンによって変化 する階調の大きさを示す (たとえば、 ブロック中の画素値の分散値などの) 値、
の 3種類のパラメータでブロックを表現する符号化方法である。
人間が画像を理解しょうとする際には 「色の境界エッジ」 や 「背景とライン組 み合わせ」、そして「グラデーション」 といった人間が特徴として認識し注目する 部分の再現性に問題があると、 画像を間違って認識してしまつたり、 誤差が目立 つて画質の低下を強く感じるなどの問題が発生する可能性が高くなるという問題 がある。
ところが、 J P E Gのように離散コサイン変換でブロックのデータを符号化し た場合には、 ブロック内のエッジにそって歪 (周波数成分を合成した場合特有の D C Tノイズ) が発生することが良く知られている。 一方、 B T Cはエッジを忠 実に再現する符号化方法であり離散コサイン変換より高速に処理できる手法であ るが、 発色する色数を増やすと圧縮率が極端に落ちるため、 高効率の圧縮を行う 際には色数が限定されてしまい、 グラデーションを再現する際に段々畑状になり 色の境目が目立つことになる。 さらに、 離散コサイン変換、 B T Cの両者におい ても、 ブロック内の全画素を均等に极つて圧縮しているため中心に多く発生して いる色合いがあれは、 外縁部の微妙な色合いまで中心の色に近くなつてしまい、 ブロックとブロックの境目で色の違いが目立ってしまう。
このような歪みが発生するという問題を解決するために、 これらの手法につい ての改良方法などもいくつか提案されている。 例えば、 特許文献 2に記載された 離散コサイン変換と B T Cを併用して画質を向上させる手法が提案されている
この手法は、 以下に示す手順で処理される。
(1 ) 画像をブロックに分ける。
(2) 各ブロックごとにエッジ抽出を行う。
(3) エッジ部には BTC符号化と BTC復号を行い、 エッジを打ち消した画像 を用 、する。
(4) エツジを打ち消した画像に対し離散コサイン変換を行う。
この手法を用いれば、 ブロック内に現れるグラディエーシヨンに対してでもェ ッジに対してでも誤差が少ない符号化が可能となる。
特許文献 1 :特開昭 60— 087596号公報
特許文献 2 :特開平 3— 1 92876号公報
従来から用いられている J P EGなどの圧縮アルゴリズムを置き換えることを 考えると、 J P EGで符号化する際の計算量 (これが増加すると通信回線で伝送 できる画像の枚数が減少するなど問題が発生する) と同等程度に収まる計算量で ある必要があることが前提となるが、 特許文献 2では、 ブロックのエッジ抽出、 D C Tといった計算量が多い処理を行うとともに、 複数の処理を実施しなければ ならない。 このように J P EGと同程度の計算量という前提を満たしながら画像 を蓄積、 もしくは、 伝送して再生するために用いる画像圧縮として重要な上記 3 つの特徴のいずれもが良好な再現性を持った圧縮を行うことが難しいという問題 める。
本発明は、 このような事情に鑑みてなされたもので、 計算処理時間を長くする ことなく圧縮処理を実施することが可能で、 画質を向上させることができる画像 圧縮装置、 画像圧縮方法及び画像圧縮プログラムを提供することを目的とする。 本発明の第 2の実施の形態の背景技術とその目的は次のとおりである。
画像データはデータ量が多く、圧縮せずに蓄積した場合、データ利用時の速度、 データの蓄積効率のすべてにおいて性能が低下する。このため画像データを蓄積、 利用する再には高効率の圧縮を行うことが必須となっている。 このような画像圧 縮を行う手法として J P E G (Joint Photographic Expert Group ん ISO I EC 10918-1)が知られている。 J P EGによる画像圧縮は、以下に示す手順で圧縮処 理が行われる。 (1 ) 画像を 8 X 8画素のブロックに切り分ける。 (2) 符号化に DCT変換 (Discrete Cosine Transform:離散コサイン変換) を用い χ方向、 y 方向各 8要素づっ、 合計 64要素の周波数成分 Qij、 および、 直流成分 DCに変 換する。 (3) 量子化では本来実数である Qij に (乗算の結果が一 1 28〜1 2 7の範囲におさまるように求めた) 定数を乗算し、 絶対値が小さくなるように切 リ捨てる等、 一定の法則に基づいた正規化によって整数データに変換する。 さら に、 ジグザグに Qij 拾い上げてデータ列にする。 (ただし、 0を見つけたらそれ 以降のデータを 0とみなす。) (4) Qijの系列 DC成分についてエントロピー符 号化の一種であるハフマン符号化を行い圧縮データとする。 (5)圧縮データゃパ
ラメータを所定の順番で多重化する。
また、 これ以外にもブロックを符号化する方法として前記特許文献 1に記載さ れた B T C (B l ock Truncat i on Cod i ng) 法が知られている。 この手法は、 符号化 対象となっているブロック内の各画素色がブロック平均値以上になるか、 少ない かを示したパターン情報、 さらに、 ブロック平均値、 そして、 パターンによって 変化する階調の大きさを示す (たとえば、 ブロック中の画素値の分散値などの) 値、 の 3種類のパラメータでブロックを表現する符号化方法である。
ところで、 J P E Gのように離散コサイン変換でブロックのデータを符号化し た場合には、 ブロック内のエッジにそって歪 (周波数成分を合成した場合特有の D C Tノイズ) が発生することが良く知られている。 一方、 B T Cはエッジを忠 実に再現する符号化方法であり離散コサイン変換より高速に処理できる手法であ るが、 発色する色数を増やすと圧縮率が極端に落ちるため、 高効率の圧縮を行う 際には色数が限定されてしまい、 グラデーションを再現する際に段々畑状になり 色の境目が目立つことになる。 さらに、 離散コサイン変換、 B T Cの両者におい ても、 ブロック内の全画素を均等な扱いで圧縮しているため中心に多く発生して いる色合いがあれは、 外縁部の微妙な色合いまで中心の色に近くなつてしまい、 ブロックとブロックの境目で色の違いが目立ってしまう
このような歪みが発生するという問題を解決するために、 これらの手法につい ての改良方法などもいくつか提案されている。 例えば、 前記特許文献 2に記載さ
れた離散コサイン変換と B T Cを併用して画質を向上させる手法が提案されてい る。 この手法は、 以下に示す手順で処理される。 (1 ) 画像をブロックに分ける。
( 2 )各ブロックごとにエッジ抽出を行う。 (3 )エッジ部には B T C符号化と B T C復号を行い、エッジを打ち消した画像を用意する。 (4 )エッジを打ち消した 画像に対し離散コサイン変換を行う。
この手法を用いれば、 ブロック内に現れるグラデイエーシヨンに対してでもェ ッジに対してでも誤差が少ない符号化が可能となる。
しかしながら、 特許文献 2に記載された手法にあっては、 ブロックの境目のノ ィズについてはどちらの性質を持っても減少させることは難しい上に、 ブロック 内のエッジ抽出、 D C Tといった計算量が多い処理が用いられているとともに、 複数の処理を実施しなければならないため処理時間が非常に長くなつてしまうと いう問題がある。
本発明の第 2に実施の形態は、 このような事情に鑑みてなされたもので、 短い 計算処理時間で圧縮処理を実施することが可能で、 画質を向上させることができ る画像圧縮装置、 画像圧縮方法及び画像圧縮プログラムを提供することを目的と する。 本発明の第 3の実施の形態の背景技術とその目的は次のとおりである。
工場等のプラントにおいては、装置の稼働状況を監視するために、装置の温度、
装置から発せられる音、 又は装置の外観の画像等を監視する監視装置が用いられ ている。 この監視装置は連続して監視を行っているため、 温度を計測して得られ た温度データ、 音を計測して得られたスペクトルデータ、 又は監視カメラにより 撮像された画像データ等の各種監視データが時系列的に連続して又は間欠的に連 続して監視装置から出力されることになる。
これらの監視データのデータ量は膨大なものとなるため、 例えば監視データを 蓄積して管理する場合には大容量の記録装置が必要になリ、 又は遠隔地に設けら れた監視室等に監視データを送信して解析する場合には監視データの送信に長時 間を要するといった不具合が生ずる。 かかる不具合を解決するために、 監視デー タを符号化により圧縮して、 記録するデータ量又は送信するデータ量の低減が図 られる。
データを符号化して圧縮する方法は従来から様々な方法が案出されているが、 上記の監視装置から出力される監視データは、 計測時間が予め定まっている訳で はなく、 ほぼ 2 4時間連続して、 もしくは間欠的にて出力されるデータであり、 時系列的に相関関係があって内容が大幅に変化するデータではない。 このため、 連続的に得られる監視データを逐次符号化して圧縮する方法を用いる必要がある。 このような特性を有するデータはエントロピー符号化により圧縮されることが多 い。
また、 動画像を扱う場合には、 多数の画像をひとまとめにしたブロック毎にそ
の特徴を示す価を抽出する事で、 データ量を減少させるブロック符号化をェン卜 口ピー符号化の前段に組み合わせる手法を主に用いる。
エントロピー符号化によるデータ圧縮は、 周知の通り、 圧縮しょうとするデー タ (以下、 圧縮対象データという) に含まれるデータ毎の発生確率を用い、 発生 確率の高いデータにはビット数が少ない符号を割り当て、 発生確率の低いデータ にはビット数が多い符号を割り当てることで圧縮するものである。 ここで、 圧縮 対象データに含まれるデータ Xの発生確率を P xとすると、 P xは (データ Xの数 /圧縮対象データの総データ数) で求められ、 圧縮する際にデータ Xに対して I o g 2 ( 1 / P J のビット数を有する符号を割り当てたときに最も効率良く圧縮 することができる。
上記のエントロピー符号化を用いた具体的な符号化方法として、算術符号化法、 ハフマン符号化法、及び算術符号化法を変形したレンジコーダ法が知られている ό 上記算術符号化法の詳細については以下の特許文献 1を参照されたい。 また、 上 記の各種符号化方法の具体例については以下の非特許文献 1〜 3を参照されたい。 エントロピー符号化において用いられるデータ毎の発生確率を表したテーブル (以下、 発生確率テーブルという) は、 データの符号化時のみならず、 圧縮した データ (以下、 圧縮符号データという) を復号する際にも必要となる。 尚、 符号 化時に用いた発生確率テーブルと同一のものを復号化時に用いなければ、 圧縮符 号データを正しく復号することができない。 符号化する側と復号化する側とで用
いる発生確率テーブルを同一にするために、 例えば以下の手法が用いられる。
[第 1の手法]
符号化する側において符号化時に用いた発生確率データを圧縮符号データに含 めて記録又は送信し、 復号化する側は圧縮符号データに含められて記憶又は送信 された発生確率データを用いて圧縮符号データを復号する。
[第 2の手法]
予め定めた発生確率テーブルを符号化する側及び復号化する側の双方に用意し ておき、 符号化する側においては予め用意された発生確率テーブルを用いて符号 化して圧縮符号データのみを記録又は送信し、 復号化する側は予め用意された発 生確率テーブルを用いて記憶又は送信された圧縮符号データを復号する。
また、 圧縮符号化時においては、 圧縮対象データに含まれるデータ毎の発生確 率の分布 (以下、 発生確率分布という) に適合した発生確率テーブルを用いて圧 縮対象データを圧縮しなければ圧縮率が低下し、 場合によっては圧縮対象データ の総データ量よりも圧縮符号データの総データ量の方が大きくなることがある。 かかる不具合を防止する方法として以下の第 3の手法が案出されている。
[第 3の手法]
符号化する側と復号化する側との双方に予め複数種類の発生確率データを用意 しておき、 符号化する側においては圧縮対象データの発生確率分布に近い発生確 率テーブルを用いて符号化を行い、 符号化時に用いた発生確率データを示す情報
を圧縮符号データに含めて記録又は送信し、 復号化する側は圧縮符号データに含 ぬられて記憶又は送信された情報で示される発生確率データを用いて圧縮符号デ 一タを復号する。 尚、 この手法の詳細については、 例えば以下の特許文献 2を参 照されたい。
特許文献 3 :特開昭 53—1 1 0338号公報
特許文献 4 :特開平 7— 2741 71号公報
非特許文献 1 :「C MAGAZ I NE丄 2001年 8月, p. 1 1 1 - 1 1 6 非特許文献 2 :「C MAGAZ I N E丄 2001年 9月, p. 95- 1 00 非特許文献 3 : 「C MAGAZ I NE丄 2002年 7月, p. 1 6— 35 ところで、 上記の第 1の手法を用いた場合には、 圧縮符号データに対して発生 確率テーブルの全てを含めなければならいため、 圧縮対象データのデータ量を低 減しているにも拘わらず、 記録又は送信する総データ量がさほど低減されず、 場 合によっては圧縮対象データのデータ量よりも記録又は送信する総データ量が大 きくなるという問題があった。
また、 上述した第 2の手法を用いた場合には、 発生確率テーブルを圧縮符号デ 一夕に含める必要がないが、 使用する発生確率テーブルに対して圧縮対象データ の発生確率分布が適合していないと圧縮率が低下し、 場合によっては圧縮対象デ 一夕の総データ量よりも圧縮符号データの総データ量の方が大きくなるという問 題があった。
特に、 動画像を扱う場合には、 連続する画像間で、 データの発生確率に関連性 があるにも係わらず、上述の第 1 (例えば、 J P E Gで用いられている)、 もしく は、 上述の第 2 (例えば、 M P E Gで用いられている) の手法を用いている。 更に、 前述した第 3の手法を用いた場合には、 予め容易されている複数の発生 確率テーブルの内から、 圧縮対象データの発生確率分布に近い発生確率テーブル を選択することができるだけであり、 上記の第 2の手法と同様に、 圧縮率が低下 し、 場合によっては圧縮対象データの総デ一タ量よりも圧縮符号デ一タの総デー タ量の方が大きくなる可能性を潜在的に有しているという問題があつた。
本発明は上記事情に鑑みてなされたものであり、 圧縮符号データに対して発生 確率テーブルを含める場合であっても、連続した複数の圧縮データを送る場合に、 総データ量の低減を図ることができる圧縮符号化方法、 装置、 及びプログラム、 並びに当該装置等により符号化された圧縮符号データを復号化する復号化方法、 装置、 及びプログラムを提供することを目的とする。
発明の開示
本発明の第 1の実施の形態の目的を解決するための手段である画像圧縮装置、 画像圧縮方法及び画像圧縮プログラムは以下のとおりである。
請求項 1に記載の発明は、 画像全体を n x m画素 (n , mは 4以上の自然数) のブロックに切り分けるブロック分割手段と、 前記ブロックの画素値から、 該ブ
ロックを近似する第 1の斜面を特定するパラメータを求める第 1斜面算出手段と、 前記第 1の斜面と前記ブロック内の各画素値との差分を算出することで n X m個 の誤差量を算出する誤差量算出手段と、 前記誤差量が所定のしきい値を超える画 素値が存在する場合に、 誤差量が所定のしきい値を超える画素値のみから第 2の 斜面を特定するパラメータを求める第 2斜面算出手段と、 前記第 1及び第 2の斜 面を特定するパラメータを可逆符号化する符号化手段とを備えたことを特徴とす る。
請求項 2に記載の発明は、 前記第 1斜面算出手段は、 前記ブロックの外縁部分 のみの画素値から斜面を特定するパラメータを求めることを特徴とする。
請求項 3に記載の発明は、画像データを非可逆圧縮する画像圧縮方法であって、 画像全体を n X m画素 (n , mは 4以上の自然数) のブロックに切り分けるプロ ック分割過程と、 前記ブロックの画素値から、 該ブロックを近似する第 1の斜面 を特定するパラメータを求める第 1斜面算出過程と、 前記第 1の斜面と前記プロ ック内の各画素値との差分を算出することで n X m個の誤差量を算出する誤差量 算出過程と、 前記誤差量が所定のしきい値を超える画素値が存在する場合に、 誤 差量が所定のしきい値を超える画素値のみから第 2の斜面を特定するパラメータ を求める第 2斜面算出過程と、 前記第 1及び第 2の斜面を特定するパラメータを 可逆符号化する符号化過程とを有することを特徴とする。
請求項 4に記載の発明は、 前記第 1斜面算出過程は、 前記ブロックの外縁部分
のみの画素値から斜面を特定するパラメータを求めることを特徴とする。
請求項 5に記載の発明は、 画像データを非可逆圧縮する画像圧縮プログラムで あって、 画像全体を n X m画素 (n, mは 4以上の自然数) のブロックに切り分 けるブロック分割処理と、 前記ブロックの画素値から、 該ブロックを近似する第 1の斜面を特定するパラメータを求める第 1斜面算出処理と、 前記第 1の斜面と 前記ブロック内の各画素値との差分を算出することで n X m個の誤差量を算出す る誤差量算出処理と、 前記誤差量が所定のしきい値を超える画素値が存在する場 合に、 誤差量が所定のしきい値を超える画素値のみから第 2の斜面を特定するパ ラメータを求める第 2斜面算出処理と、 前記第 1及び第 2の斜面を特定するパラ メータを可逆符号化する符号化処理とをコンピュータに行わせることを特徴とす る。
請求項 6に記載の発明は、 前記第 1斜面算出処理は、 前記ブロックの外縁部分 のみの画素値から斜面を特定するパラメータを求めることを特徴とする。 本発明の第 2の実施の形態の目的を解決するための手段である画像圧縮装置、 画像圧縮方法及び画像圧縮プログラムは以下のとおリである。
請求項 7に記載の発明は、 画像全体を n X m画素 (n , mは 4以上の自然数) のブロックに切リ分けるブロック分割手段と、 前記ブロックの外縁部分のみの画 素値から、 該外縁部分を近似する斜面を特定するパラメータを求める外縁斜面算
出手段と、 前記斜面と前記ブロック内の各画素値との差分を算出することで n X m個の補正値を算出する補正値算出手段と、 前記補正値を非可逆符号化するとと もに、 該符号化補正値と前記斜面を特定するパラメータとを可逆符号化する符号 化手段とを備えたことを特徴とする。
請求項 8に記載の発明は、 前記符号化手段は、 前記 n x m個の補正値の各々に ついて正負を 1ビッ卜で表現する符号計算手段と、 ブロック内の補正値を統計的 に処理することで、 前記ブロックの補正値の変動の大きさを示す値を求める統計 的計算手段を含むことを特徴とする。
請求項 9に記載の発明は、画像データを非可逆圧縮する画像圧縮方法であって、 画像全体を n X m画素 (n, mは 4以上の自然数) のブロックに切り分けるプロ ック分割過程と、 前記ブロックの外縁部分のみの画素値から、 該外縁部分を近似 する斜面を特定するパラメータを求める外縁斜面算出過程と、 前記斜面と前記ブ 口ック内の各画素値との差分を算出することで n X m個の補正値を算出する補正 値算出過程と、 前記補正値を非可逆符号化するとともに、 該符号化補正値と前記 斜面を特定するパラメータとを可逆符号化する符号化過程とを有することを特徴 とする。
請求項 1 0に記載の発明は、 前記符号化過程は、 前記 n X m個の補正値の各々 について正負を 1ビッ卜で表現するとともに、 各補正値の絶対値に対し統計処理 を行い、 補正の大きさを示す統計的指標を求め全ての補正値の振幅値とすること
によリ非可逆符号化することを特徴とする。
請求項 1 1に記載の発明は、 画像データを非可逆圧縮する画像圧縮プログラム であって、 画像全体を n x m画素 (n, mは 4以上の自然数) のブロックに切り 分けるブロック分割処理と、 前記ブロックの外縁部分のみの画素値から、 該外縁 部分を近似する斜面を特定するパラメータを求める外縁斜面算出処理と、 前記斜 面と前記ブロック内の各画素値との差分を算出することで n X m個の補正値を算 出する補正値算出処理と、 前記補正値を非可逆符号化するとともに、 該符号化補 正値と前記斜面を特定するパラメータとを可逆符号化する符号化処理とをコンビ ユータに行わせることを特徴とする。
請求項 1 2に記載の発明は、 前記符号化処理は、 前記 n X m個の補正値の各々 について正負を 1ビッ卜で表現するとともに、 各補正値の絶対値に対し統計処理 を行い、 補正の大きさを示す統計的指標を求め全ての補正値の振幅値とすること によリ非可逆符号化することを特徴とする。 本発明の第 3の実施の形態の目的を解決するための手段である時系列的に求め られる画像圧縮データの符号化装置と方法及びプログラム、 並びに複合化装置と 方法及びプログラムは、 以下のとおりである。
請求項"! 3の圧縮符号化方法は、時系列的に相関のある圧縮対象データ (D 1〉 を符号化して圧縮した圧縮符号データ (D 2 ) を生成する圧縮符号化方法におい て、 時系列的に得られる前記圧縮対象データに含まれるデータ毎の発生確率の変
化暈の大小を判定する判定ステップ (S 3 1 2 ) と、 前記発生確率の変化量が大 であると判定されたデータの発生確率を含む差分確率データ (D 3 ) を生成する 差分確率データ生成ステップ (S 3 1 4 ) と、 前記差分確率データを前記圧縮符 号データに含める合成ステップ (S 3 1 7 ) とを含むことを特徴としている。
この発明の第 3の実施の形態によれば、 圧縮対象データに含まれるデータ毎の 発生確率の変化量の大小を判定し、 変化量が大きいデータの発生確率を含む差分 確率データを生成し、 この差分確率データのみを圧縮符号データに含めるように しているため、 最終的に得られる圧縮符号データの総データ量を低減することが できる。 特に、 圧縮対象データの時系列的な相関関係が高いと、 差分確率データ に含めるべき発生確率が極めて少なくなるため、 圧縮符号データの総データ量を 大幅に低減することができる。
請求項 1 4に記載の圧縮符号化方法は、 前記判定ステップが、 前記データの発 生確率の変化が小さいと仮定して前記データの発生確率を前記差分確率データと して前記圧縮符号データに含めないことによる前記圧縮符号データのデータ量減 少分が、 変化前の発生確率を用いて前記圧縮対象データを符号化した際に発生す る誤差による前記圧縮符号データのデータ量増加分よりも大きくなるよう設定し た閾値を用いて前記判定を行うことを特徴としている。
請求項 1 5に記載の圧縮符号化方法は、 前記閾値が、 前記データ各々について 許容される発生確率の変化量の上限値及び下限値を定めた変化量許容テーブルと
して設定され、 前記判定ステップが、 前記データの発生確率の変化量が前記変化 量許容テーブルで定められた上限値を越えて大きく又は下限値を越えて小さい場 合に、 前記発生確率の変化量が大であると判定することを特徴としている。 請求項 1 6に記載の圧縮符号化方法は、 前記閾値が、 前記データの発生確率及 び当該発生確率の変化量毎に前記データの最大数を示すデータ数条件を定めたデ —タ数条件テーブルで設定され、 前記判定ステップが、 前記圧縮対象データに含 まれるデータのデータ数が前記データ数条件テーブルで定められたデータ数条件 を越えて大きい場合に、 前記発生確率の変化量が大であると判定することを特徴 としている。
請求項 1 7に記載の圧縮符号化方法は、 前記閾値が、 前記データ量減少分に設 定され、 前記判定ステップが、 前記データのデータ数、 発生確率、 及び発生確率 の変化量から求められる前記データ量増加分が前記データ量減少分を越えて大き い場合に、 前記発生確率の変化量が大であると判定することを特徴としている。 請求項 1 8に記載の圧縮符号化方法は、 前記差分確率データ生成ステップが、 前記発生確率の変化量が小であると判定されたデータについて、 発生確率が前回 の発生確率と同じである旨を示す情報を前記差分確率データに含めることを特徴 としている。
請求項 1 9に記載の圧縮符号化装置は、 時系列的に相関のある圧縮対象データ ( D 1 ) を符号化して圧縮した圧縮符号データ (D 2 ) を生成する符号化部 (3
1 5) を備える圧縮符号化装置において、 時系列的に得られる前記圧縮対象デ一 タに含まれるデータ毎の発生確率の変化量の大小を判定する変化量判定部 (31 ) と、 前記発生確率の変化量が大であると判定されたデータの発生確率を含む 差分確率データ (D3) を生成する差分確率データ生成部 (31 2) と、 前記差 分確率データ生成部で生成された差分確率データを前記符号化部で生成された前 記圧縮符号データに含める合成部 (31 6) とを含むことを特徴としている。 請求項 22に記載の圧縮符号化プログラムは、 時系列的に相関のある圧縮対象 データ (D 1 ) を符号化して圧縮した圧縮符号データ (D2) を生成する圧縮符 号化プログラムにおいて、 時系列的に得られる前記圧縮対象データに含まれるデ ータ毎の発生確率の変化量の大小を判定する判定ステップ (S 31 2) と、 前記 発生確率の変化量が大であると判定されたデータの発生確率を含む差分確率デー タ (D3) を生成する差分確率データ生成ステップ (S31 4) と、 前記差分確 率データを前記圧縮符号データに含める合成ステップ (S 31 7) とを含むこと を特徴としている。
請求項 28に記載の復号化方法は、 上記の圧縮符号化方法、 圧縮符号化装置、 又は圧縮符号化プログラムにより生成された圧縮符号データ (D4) に含まれる 差分確率データ (D3) を分割抽出する分割抽出ステップ(S321、 S 322) と、 抽出された前記差分確率データを用いて前記圧縮対象データに含まれるデー タ毎の発生確率を表す発生確率テーブルを更新する更新ステップ(S 323)と、
更新された発生確率テーブルを用いて前記圧縮符号データの復号化を行う復号化 ステップ (S 324) とを含むことを特徴としている。 本発明の第 3に実施の形態の複合化方法は、 圧縮された圧縮符号データに含ま れる差分確率データを分割抽出して差分確率テーブルを更新し、 更新した差分確 率テーブルを用いて分割された圧縮符号データを復号しているため、 圧縮符号時 に用いた発生確率テーブルと同一のものを用いて復号化が行われて正しい復号結 果が得られる。 請求項 29に記載の復号化装置は、 上記の圧縮符号化方法、 圧縮符号化装置、 又は圧縮符号化プログラムにより生成された圧縮符号データ (D4) に含まれる 差分確率データ (D3) を分割抽出する抽出部 (321 ) と、 前記圧縮対象デー タに含まれるデータ毎の発生確率を表す発生確率テーブルを記憶する記憶部 ( 3 23) と、 前記分割抽出部で抽出された前記差分確率データを用いて前記記憶部 に記憶された発生確率テーブルを更新する更新部 (322) と、 更新された発生 確率テーブルを用いて分割された前記圧縮符号データの復号化を行う復号部 (3
24) と、 を含むことを特徴としている。
本発明の第 3の実施の形態の復号化プログラムは、 上記の圧縮符号化方法、 圧 縮符号化装置、 又は圧縮符号化プログラムにより生成された圧縮符号データ (D
4) に含まれる差分確率データ (D3) を分割抽出する分割抽出ステップ (S 3
21、 S 322) と、 抽出された前記差分確率データを用いて前記圧縮対象デー 夕に含まれるデータ毎の発生確率を表す発生確率テーブルを更新する更新ステツ
プ (S 3 2 3 ) と、 更新された発生確率テーブルを用いて前記圧縮符号データの 復号化を行う復号化ステップ (S 3 2 4 ) とを含むことを特徴としている。 図面の簡単な説明
図 1は、 本発明の第 1の実施の形態の構成を示すブロック図である。
図 2は、 図 1に示す装置の動作を示すフローチヤ一トである。
図 3は、 ブロックの外縁部分を示す説明図である。
図 4は、 画素値を模式図で示した説明図である。
図 5は、 求める斜面を示す説明図である。
図 6 A、 6 Bは、 傾きの算出方法を示す説明図である。
図 7は、 ブロックデータの一例を示す説明図である。
図 8は、 画素毎の計算式を示す説明図である。
図 9は、 第 1の斜面の各画素値を示す説明図である。
図 1 0は、 斜面の他の定義方法を示す説明図である。
図 1 1は、 誤差量を示す説明図である。
図 1 2は、 第 2の斜面を算出する対象の画素値を示す説明図である。
図 1 3は、 第 2の斜面の各画素値を示す説明図である。
図 1 4は、 所属斜面マップの一例を示す説明図である。
図 1 5は、 復元画像の画素値を示す説明図である。
図 1 6 A, 1 6 Bは、 本発明による画像圧縮方法の効果を示す説明図である。 図 1 7 A , 1 7 B、 1 7 Cは、 本発明による画像圧縮方法の効果を示す説明図 である。
図 1 8 A、 1 8 B、 1 8 Cは、 本発明による画像圧縮方法の効果を示す説明図 である。
図 1 9は、 本発明の第 2の実施の形態の構成を示すブロック図である。
図 2 0は、 図 1 2に示す装置の動作を示すフローチャートである。
図 2 1は、 ブロックの外縁部分を示す説明図である。
図 2 2は、 画素値を模式図で示した説明図である。
図 2 3は、 求める斜面を示す説明図である。
図 2 4 A、 2 4 Bは、 傾きの算出方法を示す説明図である。
図 2 5は、 画素値が凸面を構成する場合の状態を示す説明図である。
図 2 6は、 ブロックデータの一例を示す説明図である。
図 2 7は、 画素毎の計算式を示す説明図である。 '
図 2 8は、 斜面の各画素値を示す説明図である。
図 2 9は、 斜面の他の定義方法を示す説明図である。
図 3 0は、 補正値を示す説明図である。
図 3 1は、 補正マップの一例を示す説明図である。
図 3 2は、 加減算値の一例を示す説明図である。
図 3 3は、 復元画像の画素値を示す説明図である。
図 3 4は、 補正値の非可逆符号化の効果を示す説明図である。
図 3 5は、 補正値の非可逆符号化の効果を示す説明図である。
図 3 6は、 本発明の一実施形態による圧縮符号化装置の構成を示すブロック図 である。
図 3 7は、 本発明の一実施形態による圧縮符号化装置に入力される圧縮対象デ ータ D 1の一例を示す図である。
図 3 8は、 変化量判定部 1 1で用いられる変化量許容テーブルの一例を示す図 である。
図 3 9 A、 3 9 Bは、 変化量判定部 1 1で用いられるデータ数条件テーブルの 一例を示す図である。
図 4 0は、 本発明の一実施形態による圧縮符号化方法を示すフローチヤ一卜で 図 4 1 Α、 4 1 Βは、 発生確率の変化の様子及び発生確率が大きく変化したデ 一夕の発生確率を抽出した様子の一例を示す図である。
図 4 2は、 本発明の一実施形態による復号化装置の構成を示すブロック図であ る。
図 4 3は、本発明の一実施形態による復号化方法を示すフローチヤ一トである。 発明を実施するための最良の形態
以下、 図面を参照しつつ、 本発明に係る画像圧縮装置、 画像圧縮方法、 画像圧 縮プログラム及び圧縮符号化装置、 方法、 プログラム、 並びにその複合化装置、 方法、 プログラムについて最適な実施例について説明する。 ただし、 本発明は以 下の各実施例に限定されるものではなく、 例えばこれら実施例の構成要素同士を 適宜組み合わせてもよい。 以下、 本発明の一実施形態による画像圧縮装置を図面を参照して説明する。 図 1は同実施形態の構成を示すブロック図である。この図において、符号 1 0 1は、 圧縮対象の画像データを入力する画像入力部であり、 入力した画像データは内部 に保持される。 画像入力部 1内に保持される画像データは、 標本化 "量子化され たデータである。以下の説明においては、各画素を 8ビッ卜の輝度値(以下、 「画 素の輝度値」 を 「画素値」 と称する) で表現する画像データであるものとする。 符号 1 0 2は、 画像入力部 1 0 1に保持されている画像ブロックに分割するプロ ック分割部である。 符号 1 0 3は、 分割されたブロックの外縁部分の画素値に基 づいて、 斜面を算出する第 1斜面算出部である。 符号 1 0 4は、 第 1斜面算出部 3で得られた斜面とブロック内の各画素値との差から誤差量を算出する誤差量算 出部である。 符号 1 0 5は、 誤差量算出部 4において算出された誤差量が予め決 められたしきい値を超える場合に、 このしきい値を超える画素のみによって新た な斜面を算出する第 2斜面算出部である。 符号 1 0 6は、 第 1斜面算出部 3で得 られた斜面と、 誤差量算出部 4で得られた誤差量と、 第 2斜面算出部 5で得られ た斜面とを符号化する符号化部である。 符号 1 0 7は、 各ブロックの符号化され
たデータを多重化することによリ圧縮画像データを出力する画像出力部である。 次に、 図 2を参照して、 図 1に示す画像圧縮装置の動作を説明する。 図 2は、 図 1に示す画像圧縮装置の画像圧縮動作を示すフローチャートである。 まず、 画 像入力部 1 0 1は、 画像データを入力し、 内部に保持する (ステップ S 1 1 1 )。 画像入力部 1内に保持される画像データは、 ビデオ信号等を標本化し、 量子化し たデータなどであり、 画素の位置 (X , y ) と輝度値 (0〜2 5 5 ) で表現され ている。
次に、 ブロック分割部 2は、 画像入力部 1 0 1に画像データが保持されたこと を受けて、入力画像をブロックに分割する (ステップ S 1 1 2 )。 ここでは、説明 を簡単にするために、 4 X 4画素のブロックに分割するものとして説明する。 こ の分割処理によって、 例えば 3 2 X 3 2画素の入力画像であれば、 6 4個のプロ ックに分割されることとなる。 入力画像の分割結果は、 ブロック分割部 2内に保 持される。 なお、 ブロックの X方向の画素数と Y方向の画素数は同数である必要 はなく、 画像全体の画素数に基づいて決定すればよい。
次に、 第 1斜面算出部 1 0 3は、 ブロック分割部 2において分割されたブロッ クのうち 1つのブロック内の画素値を読み出す。 そして、 読み出したブロックの 外縁部分の画素値から斜面を算出する(ステップ S 1 0 3 )。ここでいう斜面とは、 水平面を含む平面である。 また、 外縁部分とは、 図 3に示すように、 ブロックの 上端から縦方向の画素数の 2 5 %、ブロックの左端から横方向の画素数の 2 5 %、
ブロックの下端から縦方向の画素数の 2 5 %、 ブロックのお端から横方向の画素 数の 2 5 %とし、 縦横方向ともに、 外縁部分と外縁部分に囲まれる中央部分の画 素数が同じになるように設定する。 例えば、 コマ撮りを行う警備用ビデオのよう に計算能力が大きく更新レー卜が低いアプリケーションに用いる場合は、 この値 (画素数の 2 5 %) を適用する。 一方、 計算能力が大きいとはいえない携帯端末 や、 高い更新レートの画像を圧縮する高速度の計測装置など、 装置の性能に比し て処理量が多いアプリケーションについては画像の精度に比べ計算量を減らす能 力に重点をおき、 ブロックの大きさに関係なく上下、 左右の端から全て 1画素ず つを外縁部分とする。
ここで、 第 1斜面算出部 1 0 3が斜面を算出する方法について説明する。 例え ば、 4 X 4画素のブロック内の画素値を模式図で表現すると図 1 0 4のようにな る。 そして、 中心部分の 4画素を除く外縁部分の画素値のみに注目し、 これらの 画素値から斜面を求めると、 図 5に示すような斜面を求められる。 斜面は、 斜面 の中心値、 X方向の傾き及び Y方向の傾きで表す。 X方向の傾きは図 6 Aに示す ように、 ブロックの左端に沿った外縁部分(「 +」が記入してある部分) の平均値 から、 ブロックの右端に沿った外縁部分(「一 Jが記入してある部分) の平均値を 減算した値 (小数点以下切り捨て) とする。 また、 Y方向の傾きも同様に図 6 B に示す「 +」が記入してある外縁部分の平均値から、 「一」が記入してある外縁部 分の平均値を減算した値(小数点以下切り捨て)とする。また、傾斜の中心値は、
外縁部分の画素値の平均値 (小数点以下四捨五入) で求める。
次に、 具体例を挙げて、 斜面の中心値、 X方向の傾き及び Y方向の傾きを求め る算出方法を説明する。 図 7に分割したブロックの一例を示す。 図 7に示す数値 は、各画素の画素値である。まず左端の外縁部分の平均値を求めると、 (24 + 2 1 +14+1 1 ) 4=1 7. 5となる。 次に、 右端の外縁部分の平均値を求め ると、 (54 + 51 +44 + 41 ) Z4 = 47. 5となる。 この 2つの平均値から X方向の傾きを求めると、 1 7. 5-47. 5=— 30となる。 同様に、 上端、 下端の平均値を求めると、それぞれ(24 + 36 + 44 + 54)ノ 4 = 39. 5、 (1 1 +10 + 29 + 41 ) =22. 75となり、 Y方向の傾きは 39. 5-2 2. 75=1 6 (小数点以下切り捨て) となる。 一方、 傾斜面の中心値 (24 +36+44+54+21 +51 +14+44+1 1 +1 0+29+41 ) / 1 2 = 32 (小数点以下四捨五入) となる。
この結果、 X方向傾き一 30、 Y方向傾き 1 6、 斜面の中心値 32が斜面を示 すパラメータとなる。
なお、 斜面算出方法は、 周知の平面算出方法で求めてもよく、 例えば、 最小二 乗法等で求めた平面を定義するパラメータを用いるようにしてもよい。
続いて、 先に求めたパラメータに基づく斜面をブロック内において表現した場 合の各画素の値を求める。 各画素値を計算する計算式を図 8に示す。 図 8におい て、 mは、斜面の中心値 (この例では 32)、 d Xは、 X方向の傾き Zブロックの
X方向の画素数(この例では一 7. 5)、 d yは、 Y方向の傾き Zブロックの Y方 向の画素数 (この例では 4) である。 図 8に示す計算式によって各画素値を求め た結果 (小数点以下四捨五入) を図 9に示す。 この処理によって、 外縁部分から 斜面が求められたこととなる。
なお、 斜面を定義する方法として、 図 1 0に示すように、 最も傾斜が大きくな る方向 (図 1 0に示す太い矢印の水平回転角度) を探し出し、 その方向にそって 傾斜を計算し、 傾斜面の中心 (平均値) mと傾斜方向 rと傾斜量 dを求める方法 を用いてもよい。
次に、 第 1斜面算出部 1 03が斜面を求めたのを受けて、 誤差量算出部 1 04 は、各画素の誤差量を算出する (ステップ S 1 04)。 ここでいう誤差量とはプロ ック内の実際の画素値と先に求めた斜面との差を意味する値のことであり、 図 7 に示す実際の画素値から図 9に示す斜面の画素値を減算した結果の値である。 す なわち、 ブロック中の実際の値を B ( X , y)、 斜面に基づく値を S ( X , y)、 誤差量を R ( X , y) とすると、 R ( X , y) =B (x, y) 一 S (x, y) に よって誤差量を算出する。 ここで、 x、 yはブロック内の画素位置であり 1〜4 の整数となる。 この計算式によって求めた各誤差量を図 1 1に示す。 この処理に よってブロック内の各画素の斜面との誤差量が求められたこととなる。
次に、 誤差量算出部 1 04が誤差量を求めたのを受けて、 第 2斜面算出部 1 0 5は、 求めた誤差量のそれぞれについて、 各誤差量の絶対値が予め決められたし
きい値を超える画素があるかを判定する(ステップ S 1 05)。 ここで用いるしき い値は、 誤差量の絶対値の平均値 (誤差量の絶対値を全て加算し、 ブロック内の 画素数 1 6で除算した値) と、 画素値を量子化する場合のビット数で表現できる 値の 2. 5%の値 (8ビットの場合、 255 X 0. 025 = 6) とのいずれか大 きい値とする。 この 2. 5%という値は必要な画像の精度に応じて、 詳細画質が 必要な場合ほど小さくなるように 1 Z2〜 2倍の間で変化させて用いてもよい。 この変化量は人間が変化のある画像中において見つけ出すことのできる最低画像 変化量が 1. 25%であり、 人間が無視できない画面中の構造の画素値変化量が 5%であことから、 2. 5 X 1Z2〜2. 5 X 2までを許容範囲とし、 その指数 的中間値である 2. 5を標準的な値とした。
図 1 1に示す例では、 誤差量の絶対値の平均値は、 4. 3となり、 8ビットで 表現できる値の 2. 5%は 6であるので、しきい値は 6となる。この判定の結果、 しきい値を超える画素がない場合は、 ステップ S 1 07へ進む。 図 1 1に示す誤 差量に基づいて判定することにより、 しきい値を超える画素を判定すると図 1 2 に示す画素が抽出される。 しきい値を超える画素がある場合、 第 2斜面算出部 5 は、誤差量がしきい値を超える画素値のみに基づいて、新たな斜面を算出する(ス テツプ S 1 06)。斜面の算出方法は、周知の方法で算出すればよく、例えば、最 小二乗法を用いて算出する。 このとき、 第 2の斜面を算出するための画素値の数 が 2以下、 もしくは直線にならんでしまった場合には最も離れている 2画素で X
座標の差と Y座標の差を求め、 その差が小さい方向には傾斜が無いと仮定して、 距離の差が大きい座標軸へのみの傾きを持った平面としてパラメータを求める。 さらには、 属さない画素数が 1の場合には傾き 0の平面としてパラメータを求め る。
次に、 第 2斜面算出部 1 0 5は、 ここで求めた斜面をブロック内において表現 した場合の各画素の値を求める。 4つの画素値に基づいて求めた斜面をブロック 内において表現した場合の各画素の値を図 1 3に示す。 この斜面を定義するため のパラメータは、 先に説明した斜面と同様に、 X方向傾き、 Υ方向傾き、 斜面の 中心値とする。
以上の処理動作によって、 ブロックの外縁部分の画素値から算出した斜面 (こ れを第 1の斜面という)と誤差量がしきい値を超える画素値から算出した斜面(こ れを第 2の斜面という) の 2つの斜面 (図 9、 図 1 3に示す斜面) が得られたこ ととなる。
なお、 前述した説明においては、 2つの斜面を用いて、 ブロック内の画素値を 近似するものとして説明したが、 さらに第 2の斜面との誤差量を求め、 所定のし きい値を超える画素がある場合は、 第 3の斜面を算出するようにしてもよい。 こ のとき、 幾つの斜面を算出するかを決定するする必要がある場合は、 誤差量が所 定のしきい値を超える画素の個数が所定の個数以下になった場合に処理の続行を 止めるようにしてもよい。 これは、 ブロック内の画素数が多くなつた場合におい
て有効である。
次に、 2つの斜面が求められたことを受けて、 符号化部 1 0 6は、 2つの斜面 の符号化することにより、ブロック内の画素値を符号化する(ステップ S 1 0 7 )。 符号化は、 先に求めた 2つの斜面をそれぞれ符号化してもよいが、 より正確な近 似データを求めるため、 各画素がいずれの斜面に属するかを決定する。 所属する 斜面の判定は、 |画素値一第 1の斜面の値 |≤ |画素値一第 2の斜面の値 |であ れぱ、 この画素は第 1の斜面に属するものとし、 |画素値一第 1の斜面の値 | > I画素値一第 2の斜面の値 Iであれば、 この画素は第 2の斜面に属するものとす る。 そして、 第 1の斜面に属する画素を 「0」、 第 2の斜面に属する画素を 「1」 として、所属斜面マップを作成する。この所属斜面マップの一例を図 1 4に示す。 なお、 近似に用いる斜面の数が 3以上である場合は、 所属斜面マップの値を斜面 数に応じた多値とすればよい。
次に、 符号化部 1 0 6は、 先に求めた 2つの斜面 (第 1の斜面と第 2の斜面) のそれぞれを表現するパラメータ (この例では、 X方向傾き、 Y方向傾き、 斜面 の中心値) と斜面の数 (この例では 2 ) と所属斜面マップをエントロピー符号化 することにより可逆圧縮を行う。 エントロピー符号化にはハフマン符号化、 算術 符号化、 レンジコーダ法などが使用可能である。 また、 データ毎にこれらの方法 を使いわけても良い。
次に、 1つのブロックに対する符号化処理を全てのブロックに対して施す (ス
テツプ S 1 0 8 ) ことにより、 画像全体の符号化がされる。 そして、 画像出力部 1 0 7は、 各符号化データを多重化して出力する (ステップ S 1 0 9 )。
なお、 エントロピー符号化の前段階にデータを蓄積するバッファを設け一括で ェントロピー符号化を行う方法やブロック符号化する方法、 量子化によリデータ が出力されるたびに逐次にエントロピ一符号化を行いその結果を蓄積する方法等 を用いてもよい。 また、 動画像を扱う場合には、 本発明の第 3の実施の形態を使 用し、 よりデータの低減を図ることが好ましい。
次に、 前述した方法で符号化した画像データを復号化する動作を簡単に説明す る。 まず、 エントロピー復号化によって、 第一の傾斜面及び第 2の斜面を表すパ ラメータ、 斜面の数、 所属斜面マップを復元する。 そして、 斜面のパラメータに 基づいて斜面を復元すると、 図 9、 図 1 3に示す斜面を復元することができる。 この 2つの斜面のデータと所属斜面マップを参照して、 ブロック内の画素値を復 元すると、 図 1 5に示す画素値が復元できる。
結果として得られた画像 (図 1 5に示す画素値) は、 元画像 (図 7に示す画素 値) と比べると誤差が含まれている。 しかし、 全体的な傾き具合 (右上に向かつ て輝度が大きくなる) が保存され、 大きな画像の一部として見た場合には良く似 た画像として認識される。 また、 4 X 4画素といった小さい範囲でこの例に示さ れたほど変化するデータは実際の画像ではまれであり、 このような場合でも視覚 的特長が保存されていることが分かる。
このように、 グラデーションの部分について傾斜した画素値にいくらかの揺ら ぎがあるような原画像 (図 1 6 A ) を画像圧縮した場合、 図 1 6 Bに示すように グラデーションにフイツ卜する傾斜面のパラメータを取り出し、 画像の復元時に はその傾斜面として再現するようにしたため、 グラデーションに含まれる斜面か らの揺らぎ部分については人間が認識できない程度の変化となるため、 グラデー ション部分は感覚的に再現性が高い画像とすることができる。
また、 図 1 7 Aのように色の境界によるエッジにおいても、 図 1 7 Bに示すよ うに境界で区切られた両側の領域の色変化にそれぞれフイツ卜する色の斜面のパ ラメータを求め、 また、 各画素ごとにどちらの領域に属するかを示す情報と併せ て画像を表現するようにしたため、 復元時には 2つの色斜面を再現しておき、 そ れぞれの画素は対応する所属情報が示す色の斜面として塗り分けることができる (図 1 7 C )。色の境界でもグラデーシヨンと同様に色境界で区切られたそれぞれ の領域の中にいくらかの揺らぎがあるが、 人間はエッジのような強い変化に注目 するため小さな揺らぎは気づきにくいため、 再現性が高い画像とすることができ る。
また、 図 1 8 Aのように背景に別の色のラインが重なっている画像では、 背景 にフィットする色 (画素値) の斜面のパラメータとラインにフィットする色 (画 素値) の傾斜面のパラメータを求め、 さらに、 各画素毎にどちらの斜面に属する かを示す所属情報を得てブロックの画像を示すパラメータとしたため、 復元時に
は 2つの色斜面を再現しておき、 それぞれの画素は対応する所属情報が示す色の 斜面として塗り分けることができる(図 1 8 C )。人間はラインと背景の境目ゃラ インの形状などに注目し、 ラインの中の色の小さな変化などには気づきにくいた め、 画像の背景とラインの重なリ部分は感覚的に再現性が高い画像とすることが できる。
また、 大きなサイズの画像を一度に処理する場合には以上の画像パターンが複 合して存在する場合にも対処できる必要があるが、 本発明では小さなサイズのブ ロック内で独立に処理をするため、 各処理中に複数の認識パターンは混在しにく く、 以上のパターンをブロック内で個々に再現する機能を有することで、 画像中 の構造を抽出するような複雑な計算なしで上記 3つの特徴について人間の感覚的 に高い再現性を得ることが可能となる。
以上のように本発明では、 人間が画像を認識する際に着目する 3つの特徴につ いて高い再現性を残しながら画像を圧縮する機能をもつことにより、 見た目の画 質低下、 画像内容の判別しやすさの低下が少ない非可逆圧縮を行うことが可能と なる。 また、 外縁部分を近似する斜面を基準にすることで、 強い傾斜をもったブ ロックが連続してもブロックの継ぎ目で色が急激に変化することがないため、 ブ ロック境界ノイズが発生しなくなり画質を向上させることが可能となる。
なお、 図 1における各処理部の機能を実現するためのプログラムをコンビユー タ読み取り可能な記録媒体に記録して、 この記録媒体に記録されたプログラムを
コンピュータシステムに読み込ませ、 実行することにより画像圧縮処理を行って もよい。 なお、 ここでいう 「コンピュータシステム」 とは、 O Sや周辺機器等の ハードウェアを含むものとする。また、 「コンピュータシステム」は、ホームぺー ジ提供環境 (あるいは表示環境) を備えた WWWシステムも含むものとする。 ま た、 「コンピュータ読み取り可能な記録媒体」 とは、 フレキシブルディスク、光磁 気ディスク、 R O M、 C D— R O M等の可搬媒体、 コンピュータシステムに内蔵 されるハードディスク等の記憶装置のことをいう。 さらに 「コンピュータ読み取 リ可能な記録媒体」 とは、 インターネット等のネットワークや電話回線等の通信 回線を介してプログラムが送信された場合のサーバやクライアントとなるコンビ ユータシステム内部の揮発性メモリ (R A M) のように、 一定時間プログラムを 保持しているものも含むものとする。
また、 上記プログラムは、 このプログラムを記憶装置等に格納したコンビユー タシステムから、 伝送媒体を介して、 あるいは、 伝送媒体中の伝送波により他の コンピュータシステムに伝送されてもよい。 ここで、 プログラムを伝送する 「伝 送媒体」 は、 インターネット等のネットワーク (通信網) や電話回線等の通信回 線 (通信線) のように情報を伝送する機能を有する媒体のことをいう。 また、 上 記プログラムは、 前述した機能の一部を実現するためのものであっても良い。 さ らに、 前述した機能をコンピュータシステムにすでに記録されているプログラム との組み合わせで実現できるもの、 いわゆる差分ファイル (差分プログラム) で
あっても良い。
以上説明したように、 本発明の第 1の実施の形態によれば、 人間が画像を認識 する際に着目する特徴について高い再現性を残しながら画像を圧縮する機能をも つことにより、 見た目の画質低下、 画像内容の判別しやすさの低下が少ない非可 逆圧縮を行うことが可能になるという効果が得られる。 また、 外縁部分を近似す る斜面を基準にすることで、 強い傾斜をもったブロックが連続してもブロックの 継ぎ目で色が急激に変化することがないため、 プロック境界ノイズが発生しなく なり画質を向上させることが可能になるという効果も得られる。 以下、 本発明の第 2の実施の形態による画像圧縮装置を図 1 9— 3 5を参照し て説明する。
図 1 9は本実施形態の構成を示すブロック図である。 この図において、 符号 2 0 1は、 圧縮対象の画像データを入力する画像入力部であり、 入力した画像デー タは内部に保持される。画像入力部 2 0 1内に保持される画像データは、標本化- 量子化されたデータである。 以下の説明においては、 各画素を 8ビットの輝度値 (以下、 「画素の輝度値」 を「画素値」 と称する) で表現する画像データであるも のとする。 符号 2 0 2は、 画像入力部 1に保持されている画像ブロックに分割す るブロック分割部である。 符号 2 0 3は、 分割されたブロックの外縁部分の画素 値に基づいて、 斜面を算出する外縁斜面算出部である。 符号 4は、 外縁斜面算出
部 2 0 3で得られた斜面とブロック内の各画素値との差から補正値を算出する補 正値算出部である。 符号 2 0 5は、 外縁斜面算出部 2 0 3で得られた斜面と、 補 正値算出部 4で得られた補正値とを符号化する符号化部である。 符号 2 0 6は、 各プロックの符号化されたデータを多重化することによリ圧縮画像データを出力 する画像出力部である。
次に、 図 2 0を参照して、 図 1 9に示す画像圧縮装置の動作を説明する。 図 2 0は、 図 1 9に示す画像圧縮装置の画像圧縮動作を示すフローチャートである。 まず、 画像入力部 2 0 1は、 画像データを入力し、 内部に保持する (ステップ S 2 0 1 )。画像入力部 2 0 1内に保持される画像データは、 ビデオ信号等を標本化 し、 量子化したデータなどであり、 画素の位置 (X , y ) と輝度値 (0〜2 5 5 ) で表現されている。
次に、 ブロック分割部 2 0 2は、 画像入力部 2 0 "Iに画像データが保持された ことを受けて、 入力画像をブロックに分割する (ステップ S 2 0 2 )。 ここでは、 説明を簡単にするために、 4 X 4画素のブロックに分割するものとして説明する。 この分割処理によって、 例えば 3 2 X 3 2画素の入力画像であれば、 6 4個のブ ロックに分割されることとなる。 入力画像の分割結果は、 ブロック分割部 2 0 2 内に保持される。 なお、 ブロックの X方向の画素数と Y方向の画素数は同数であ る必要はなく、 画像全体の画素数に基づいて決定すればよい。
次に、 外縁斜面算出部 2 0 3は、 ブロック分割部 2 0 2において分割されたブ
ロックのうち 1つのブロック内の画素値を読み出す。 そして、 読み出したブロッ クの外縁部分の画素値から斜面を算出する(ステップ S 2 0 3 )。 ここでいう斜面 とは、 水平面を含む平面である。 また、 外縁部分とは、 図 2 1に示すように、 ブ ロックの上端から縦方向の画素数の 2 5 %、 ブロックの左端から横方向の画素数 の 2 5 %、 ブロックの下端から縦方向の画素数の 2 5 %、 ブロックの右端から横 方向の画素数の 2 5 o/oとし、 縦横方向ともに、 外縁部分と外縁部分に囲まれる中 央部分の画素数が同じになるように設定する。 例えば、 コマ撮りを行う警備用ビ デォのように計算能力が大きく更新レー卜が低いアプリケーションに用いる場合 は、 この値 (画素数の 2 5 %) を適用する。 一方、 計算能力が大きいとはいえな い携帯端末や、 高い更新レートの画像を圧縮する高速度の計測装置など、 装置の 性能に比して処理量が多いアプリケーションについては画像の精度に比べ計算量 を減らす能力に重点をおき、 ブロックの大きさに関係なく上下、 左右の端から全 て 1画素ずつを外縁部分とする。
ここで、 外縁斜面算出部 2 0 3が斜面を算出する方法について説明する。 例え ば、 4 X 4画素のブロック内の画素値を模式図で表現すると図 2 2のようになる。 そして、 中心部分の 4画素を除く外縁部分の画素値のみに注目し、 これらの画素 値から斜面を求めると、 図 2 3に示すような斜面を求められる。 斜面は、 斜面の 中心値、 X方向の傾き及び Y方向の傾きで表す。 X方向の傾きは図 2 4 Aに示す ように、 ブロックの左端に沿った外縁部分(「 +」が記入してある部分) の平均値
から、 ブロックの右端に沿った外縁部分(「一」が記入してある部分)の平均値を 減算した値 (小数点以下切り捨て) とする。 また、 Y方向の傾きも同様に図 24 Bに示す「 +」が記入してある外縁部分の平均値から、 「一」が記入してある外縁 部分の平均値を減算した値 (小数点以下切り捨て) とする。 また、 傾斜の中心値 は、 外縁部分の画素値の平均値 (小数点以下四捨五入) で求める。
なお、 図 25に示すように、 ブロック内の中心部 (外縁部分でない部分) の平 均値が外縁部分の画素値範囲 (画素値の最小値から最大値の範囲) に比べて極端 に大きい値、 もしくは、 小さい値をとっている場合には、 凸面、 凹面である可能 性が高いため例外的に処理をする。 この例外処理時には傾斜面のパラメータを斜 面の傾き =0 (X, Y共)、斜面の中心はブロック内すベての画素の平均値とする。 次に、 具体例を挙げて、 斜面の中心値、 X方向の傾き及び Y方向の傾きを求め る算出方法を説明する。 図 26に分割したブロックの一例を示す。 図 26に示す 数値は、各画素の画素値である。まず左端の外縁部分の平均値を求めると、 (24 + 1 9 + 1 6 + 9) /4=1 7となる。 次に、 右端の外縁部分の平均値を求める と、 (54 + 49 + 46 + 39) 4 = 47となる。この 2つの平均値から X方向 の傾きを求めると、 1 7— 47=— 30となる。 同様に、 上端、 下端の平均値を 求めると、 それぞれ(24 + 40 + 44 + 54) Z4 = 40. 5、 (9 + 21 +2 7 + 39〉 =24となり、 Y方向の傾きは 40. 5-24= 1 6 (小数点以下切 リ捨て) となる。 一方、 傾斜面の中心値 (24 + 40 + 44 + 54+ 1 9 + 4
9 +1 6 + 46 + 9 + 21 +27 + 39) ノ 1 2 = 32 (小数点以下四捨五入) となる。 また、 外縁部分の値の範囲が 9〜 54であるので外縁部分ではない画素 の平均 (39 + 40 + 40 + 42) /4 = 40. 25が含まれているため、 凹凸 面時の例外処理は実施されない。
この結果、 X方向傾き一 30、 Y方向傾き 1 6、 斜面の中心値 32が斜面を示 すパラメータとなる。
続いて、 先に求めたパラメータに基づく斜面をブロック内において表現した場 合の各画素の値を求める。 各画素値を計算する計算式を図 9に示す。 図 27にお いて、 mは、斜面の中心値 (この例では 32)、 d Xは、 X方向の傾き /ブロック の X方向の画素数(この例では一 7. 5)、 d yは、 Y方向の傾きノブロックの Y 方向の画素数 (この例では 4) である。 図 27に示す計算式によって各画素値を 求めた結果 (小数点以下四捨五入) を図 28に示す。 この処理によって、 外縁部 分から斜面が求められたこととなる。
なお、 斜面を定義する方法として、 図 29に示すように、 最も傾斜が大きくな る方向 (図 29に示す太い矢印の水平回転角度) を探し出し、 その方向にそって 傾斜を計算し、 傾斜面の中心 (平均値) mと傾斜方向 rと傾斜量 dを求める方法 を用いてもよい。
次に、 外縁斜面算出部 203が斜面を求めたのを受けて、 補正値算出部 204 は、各画素の補正値を算出する (ステップ S 203)。 ここでいう補正値とはプロ
ック内の実際の画素値と先に求めた斜面との差を意味する値のことであり、 図 2 6に示す実際の画素値から図 28に示す斜面の画素値を減算した結果の値である。 すなわち、ブロック中の実際の値を B (x, y)、斜面に基づく値を S ( X , y)、 補正値を R ( X , y) とすると、 R ( X , y) =B (x, y) 一 S (x, y) に よって補正値を算出する。 ここで、 x、 yはブロック内の画素位置であり "!〜 4 の整数となる。 この計算式によって求めた各補正値を図 30に示す。 この処理に よってブロック内の各画素の補正値が求められたこととなる。
次に、 補正値算出部 204力《補正値を求めたのを受けて、 符号化部 205は、 ブロック内の画素値を符号化する (ステップ S 205)。符号化は、 まず、値が正 の値か負の値かによつて先に求めた補正値を 2値化する。 この 2値化処理によつ て得られた結果を補正マップと呼ぶ。 図 31は図 30に示す補正値を 2値化して 得られた補正マップの一例である。図 31において、 「1」は、補正値が正である ことを示し、 「0」は補正値が負であることを示す。そして、正の補正値の絶対値 の平均と負の補正値の絶対値の平均を計算し、その 2つの重み付け平均値を求め、 補正値の値の大きさを示す振幅指標とする。 図 30に示す例においては、 正の部 分は 7画素あり、 平均の絶対値は | 46Z7 | =6. 6となる。 また、 負の部分 は 9画素あり、 平均の絶対値は |一 34 9 | =3. 3となる。 これらの重み付 け平均値を求めると、 (6. 6 7 + 3. 3 X 9) /1 6 = 5となる。 また、 この 補正値の大きさを指標化する方法として、 絶対値の平均の代わリに 2乗平均
—^—Y (x, yf を用いてもよい。
n— m
これによリ各ブロックの補正値は、 補正マップの 1 6ビットと振幅指標の 8ビ ッ卜の合計 2 4ビットで表現できることになる。
なお、 補正値が大きい場合には、 データ削減処理をさらに施すようにする。 例 えば、 X , Y方向の傾きより補正値が十分大きく、 X , Y方向の内変化が大きい 方向への 1画素分の傾き 1 . 5倍 (誤差による揺らぎを吸収できる値) 以上に大 きい画素値の変化が振幅指標として補正の指示があった場合、 視覚的に作用する のは起伏の補正値による部分が大きくなる。 この場合には、 傾き (X , Y方向) を 0にしたデータを作成して、 補正値の再計算および補正値の再符号化を実施す る。 これにより、 もともと 0に近い値が大きい確率で発生している傾きデータを さらに 0での発生確率を増加させることで再現時の画像を視覚的にほとんど変化 させずに後に行うエントロピー符号化した際のデータ量を減少させる。 傾きを削 除する条件は、 X , Y方向の各傾きの最大値 (M a x ( d x , d y ) ) Zブロック の幅 x 1 . 5が、 振幅指標よリ小さい場合である。
また、 振幅指標が小さい場合には、 データ削減処理をさらに施すようにする。 例えば、 補正値が小さく、 補正の効果が視覚的に見て意味がない場合がある。 す なわち先に求めた振幅指標が一般的な画像中で視覚的に判別できない程度の変化 より小さい場合には、 補正処理用のデータを生成しないことにより復元時の画像 を視覚的にほとんど変化させずにデータを削減する。 この削減の方法としては、
削減時には補正量を 0と表すとともに補正量が 0の時には補正マツプをデータに 含めないものとする。 これにより補正マップ分の 2バイ卜の削減が可能である。 復元時には補正量 0を指標に補正マップを読み飛ばし、 全ての補正値を 0とする ことで削減を再現する。 ここで、 視覚的に判別できない程度の変化とは、 実験的 に求めた結果であり、 データの取りうる値の範囲 (画素値が 8ビットの場合は 2 5 6 ) の 6 0分の 1 (画素値が 8ビットの場合は 4 ) 程度の変化のことをいう。 この無視する値は必要に応じてパラメータとして値の範囲の 2 0分の 1 (画像中 の目を引く変化の最小値を実験で求めた値) まで変化させて、 上記の設定の場合 より目に付く画質の劣化と引き換えにデータの削減量を増やして、 画質と圧縮率 のバランスを変化させるようにしてもよい。
この例では、 振幅指標が 5であり、 振幅指標 (5 ) <傾斜量の大きいほうの値 ( 7 . 5 ) X 1 . 5となり、 前述した振幅指標が大きい場合に相当せず、 また、 振幅指標が 5の場合は 4 (視覚的に判別できない程度の変化量) より小さくもな いので、 前述した補正値を削除する場合にも相当しない。 したがって、 補正値を 符号化した値は以下の 1 6ビッ卜と 8ビッ卜の値としてと符号化される。
'補正マップ = 1 0 1 1 1 0 1 1 0 0 0 0 1 0 1 1 ( 2進数)
■振幅指標 = 5 ( 1 0進数)
次に、 符号化部 2 0 5は、 先に求めた斜面の中心値、 X方向の傾き、 Y方向の 傾き、 振幅指標及び補正マップの 5つの値をェントロピー符号化することにより
データ量をさらに減少させる。 これらの 5つの値はその値の発生頻度に偏リがあ るためエントロピ一符号化によってデータ量をさらに減少させることが可能とな る。 ここで用いることができる符号化方法にはハフマン符号化、 算術符号化、 レ ンジコーダ法などがある。
次に、 1つのブロックに対して符号化処理を全てのブロックに対して施す (ス テツプ S 2 0 6 ) ことにより、 画像全体の符号化がされる。 そして、 画像出力部 2 0 6は、 各符号化データを多重化して出力する (ステップ S 2 0 6 )。
なお、 エントロピー符号化の前段階にデータを蓄積するバッファを設け一括で ェントロピー符号化を行う方法やブロック符号化する方法、 量子化によりデータ が出力されるたびに逐次にエントロピー符号化を行いその結果を蓄積する方法等 を用いてもよい。 また、 動画像を扱う場合には、 本発明の第 3の実施の形態を使 用し、 よりデータ量の低減を図ることが好ましい。
次に、 前述した方法で符号化した画像データを復号化する動作を簡単に説明す る。 まず、 エントロピー符号化したデータを復号する。 これにより、 斜面の中心 値、 X方向の傾き、 Y方向の傾き、 振幅指標及び補正マップの 5つの値が復元さ れる。 そして、 図 2 7に示す計算式によって斜面をブロック内において表現した 場合の各画素の値を求める。 斜面の中心値、 X方向の傾き及び Y方向の傾きは、 可逆のデータであるので、 各画素の値は、 図 2 8に示す値となる。
次に、 復号した補正マップと振幅指標 (ここでは 5 ) に基づいて、 各画素毎の
加減算値を求める。 補正マップの値が 「1」 であれば、 1 X振幅指標 = 5、 補正 マップの値が 「0」 であれば、 一1 X振幅指標 =—5となる。 この結果、 図 3 2 に示すように各画素毎の加減算値が得られる。 この加減算値と図 2 8に示す斜面 の画素値とを加算することにより、 ブロック内の画像を復元する。 この処理によ つて復元した画像の画素値を図 3 3に示す。
結果として得られた画像 (図 3 3に示す画素値) は、 元画像 (図 2 6に示す画 素値) と比べると誤差が含まれている。 しかし、 全体的な傾き具合 (右上に向か つて輝度が大きくなる) や、 大きな変化がある (図 3 3に示す太い実線の画素境 界) 部分といった視覚的特長が保存され、 大きな画像の一部として見た場合には 良く似た画像として認識される。 また、 4 X 4画素といった小さい範囲でこの例 に示されたほど変化するデータは実際の画像ではまれであり、 このような場合で も視覚的特長が保存されていることが分かる。
次に、 3 2 X 3 2画素の画像を対象にして、 本発明による画像圧縮方法と従来 技術による画像圧縮方法の比較結果について説明する。
く圧縮率の比較 >
本発明の第 2の実施の形態の方法において、 4 4画素のブロックを用いて画 像圧縮を行った場合、 6 4個のブロックに分割される。 各ブロックについて、 斜 面の中心値 (1バイト)、 X方向の傾き (1バイト)、 Y方向の傾き (1バイト)、 振幅指標及び補正マップ (2 4ビット = 3バイト) のデータを持つ必要があるの
で、 1ブロック当たり、 6バイトのデータ量となる。 画像全体では、 6 4ブロッ クであるので、 6バイト X 6 4ブロック = 3 8 4バイ トとなる。 本画像は、 1バ イト X 3 2画素 X 3 2画素 = 1 0 2 4バイ卜であるため、 最も圧縮率が悪い場合 でも 3 7 . 5 %に圧縮される。さらに前述した補正値情報のデータ削減処理で 3
8 4バイ卜からさらに最大 1 2 8バイ卜 (2バイ ト X 6 4ブロック) のうち減少 処理対象となつたブロック比のデータ量を減少させたデータにすることも可能で ある。 自然画におけるこの減少量ははほとんどが最大減少量の 3 0〜9 0 %とな る。 比較条件時にこの減少処理を適用した場合の減少量を調べた結果、 4 0バイ 卜となっていた。 ,
—方、 D C T符号化を利用した圧縮手法として J P E Gが最も標準的手法とな つている。 この J P E G手法をモノクロ (グレースケール) 限定、 Quality= 6 0 ( 0 :圧縮率優先〜 1 0 0 :画質優先、 実質 2 0〜 9 0での利用が勧められてい る) で同じような画質に圧縮を行った結果、 3 8 0バイ トのデータとなった。 また、 本発明の第 2の実施の形態のエントロピー符号化によればさらに高い圧 縮率を得ることが可能になる。 ただし、 この画像サイズでは発生率など符号化に 必要な補助情報と相殺となる、 もしくは、 動的エントロピ一符号化を行っても効 果が充分出るデータ量ではなく圧縮率の向上は限られているため、 このままの圧 縮率でェントロピー符号化済みの J P E Gと比較し同程度の値と言える。
<計算時間の比較 >
本発明による方法において、 発生する回数が多い計算は各画素毎に、 傾きを決 めるため外縁部分の平均 (加算)、斜面計算 (加算 3回)、補正値算出 (減算)、補 正値の平均(加算)、補正値の符号化(ビット演算)がー回づっ発生する。つまり、 各画素に対して加減算 5回、 ビット演算 2回の計算が必要になり、 さらに、 傾き よリ起伏が大きく傾きを無視する場合には再計算となリ補正値の計算が 2回繰り 返されるため、 合計で加減算 6回、 ビット演算 1回が行われる。 したがって、 加 減算は、 3 2画素 X 3 2画素 X 6回 =約 6千回、 ビット演算は 3 2画素 X 3 2画 素 X 1回=約1千回となリ、 合計で約 7千回の演算が発生する。
一方、 D C Tの計算を用いた場合には D C Tは座標軸ごとに分離可能なので 2 次元 D C T中における X方向の 1次元 D C Tの計算だけで考えると以下の回数と なる。 Internatilnal Com. on Acoustic, Speech, and, Signal
Process.pp988_991(1989.May)に Loeffler,A.Ligtenbei'g,G.S.Moschytzら力 rPractical fast I'D DCT algorithm with 11 multiplicationsjに提案した高速化 した D C Tでも 8 x 1画素毎に 1 1回の乗算と 2 9回の加算が必要である。 この 場合には、 全画面で 4 3 2 1 1回の乗算と 4 X 3 2 X 2 9回の加算を行う事 になる。 この計算は Y方向の 1次元 D C Tでも同じ回数だけ計算を行うため 2次 元 D C Tの計算量は高速化した場合でも、 乗算が 2 . 8千回、 加算が 7 . 2千回 となる。 D C Tを用いた方法は本発明で提案する手法に比べ、 乗算と加減算の計 算時間が等しいとしても計算時間が約 4 0 %増し、乗算が(桁数が倍になるため)
計算時間が倍になる場合には約 8 0 0/0増しの処理時間となっている。 このように、 本発明が提案する手法を導入することにより、 画質を劣化させる ことなく、 処理時間を短縮させることができる。
く画質の比較 >
人間が画像を認識しょうとする際に着目しやすい、 エッジや線画、 そして、 グ ラデーシヨンといった部分について、 B T C法を用いた方法と比較した結果、 本 発明による方法は、 エッジではやや色むらが発生する問題と引き換えに、 グラデ ーシヨン部を中心に画質が向上している。
<補正値の非可逆符号化 >
斜面からの差分として得られた補正値は、 D C Tなど、 その他の符号化モデル で圧縮することも可能であるが、 本発明では特に各画素毎の起伏の正負を表す信 号を集めた値とその平均振幅量を表す数値の 2つで表すものとし、 以下に効果を 説明する。 説明は、 傾きに比べて起伏か大きい場合とそれ以外でブロック内の人 間の認識の仕方が変わるのでそれぞれについて説明する。
( 1 ) 傾きに比べて起伏が大きくない場合
ブロック内といった小さな領域での部分画像を人間が認識する際にはその意識 は一番特徴的なものに引きずられる。 傾きに比べて起伏やエッジが大きくなけれ はブロックの全体的な傾向かつ簡単な特徴である傾きに引きずられる。 この様に 画素値の傾きに注意を奪われている状態で、 傾き以外に認識できる構造があると
しても傾きの表面が荒れる感じや、 傾きの変化に模様が重なっている感じとして 理解される。 荒れている場合にはその荒れている色の変化量がまず認識され、 一 方、 画素値が傾斜している背景に色が上乗されている模様として見る場合には模 様の形状とその濃度が認識される。 画素値の傾きと大まかな傾斜に付加する情報 として認識を行っている場合には、 周囲のブロックも含めて起伏の正負が不規則 に並ぶことで荒れていることをまた、 正負の分布で模様の形状の概形表現するこ とで充分な形に閲する情報となる。 さらに、 荒れていると見える場合には画素間 での変化量がその荒れ具合の強さとして認識される。 一方、 模様の場合にも模様 の明るい部分と暗い部分に分けその濃度差を量として認識するだけである。 これ らの場合、 細かい量的な分布の変化、 つまり、 濃度差が細かく変化する形では認 識されない(図 3 4の濃度差)。起伏の基準面からの各画素の変化量を正の方向へ の偏移、 負の方向への偏移を加味した両方向のブレの大きさを表した値が模様や 荒れの濃度であるが、 これは補正値の絶対値を平均などの統計処理を行った結果 を用いることで得られるものである。 よって、 本手法による補正値をさらに少な い情報量にする符号化を行っても、 表面への荒れや、 模様を乗せる形での再現か 行え、 人間の視覚の特性下において同様に認識されうる画像として再現すること が可能となる。
( 2 ) 傾きに比べ起伏が大きい場合
ブロック内といった小さな領域で部分画像を人間が認識する際には、 その意識
は一番特徴的なものに引きずられる。 大きな起伏を含む場合には、 その起伏の形 状やエッジに注意を奪われそれ以外の構造を意識しない傾向がある。 このように 見落とされる部分としては、 明るい部分の中ての微妙な輝度変化や暗い部分の中 での微妙な変化がある (図 3 5の (A ) 部分に相当)。 さらには、 エッジの周囲で は明るい部分の輝度、 暗い部分の輝度についても、 それぞれが元々の値から多少 ずれたとしてもエツジで発生する輝度変化の大きさに意識を奪われるがために無 視される傾向がある (図 3 5の (B )部分に相当)。 このため、 エッジを境とした 両側の画素の変化量と各画素が明るい部分、 暗い部分のどちらに属しているかを 表現できることで人間の視覚的特性に合った符号化となる。 よって、 本手法用い ることで補正値をさらに少ない情報量にする符号化を行ってもエッジの形状とそ の変化が再現され、 人間の視覚の特性下において同様と認識されうる画像として 再現が可能となる。
一方、 この補正値に D C Tを適用しデータ量を少なくしたとき、 傾きに比べて 起伏が大きくない場合では問題が少ないが、 傾きに比べ起伏が大きい場合の補正 量の形状がなまる、 もしくは、 エッジ部分について高周波を削った影響の局所的 で大きなノイズが乗る部分について人間の視覚特性下で同様に認識されにくくな る場合がある。 このように、 ただ単純に効率の良い符号化方法を用いれは良いと いうわけではない。 ところが、 本手法を用いると傾きに比べて起伏が大きくない 場合、 傾きに比べ起伏が大きい場合の両方に対して同じ手法で斜面からの補正値
として必要な人間の視覚特性に合わせた特徴の部分を表現することが可能となる。 このように、 画像の圧縮率を D C Tによる方法と同程度に圧縮した場合であつ ても、 大幅に処理時間を短縮することが可能となる。 また、 B T Cによる方法に おいて発生しやすいグラデーション部の画質劣化を防止することができる。 した がって、 D C Tと B T Cを組み合わせた方法によって得られる画質の画像を短時 間で得ることが可能となる。
なお、 前述した説明においては、 各画素が輝度値のみを有している画像につい て説明したが、 本発明による方法が扱うデータとして R G Bを独立したデータと して扱っても、 R G Bを組み合わせ 3次元のべクトル値として一括処理しても、 また、 Y U Vを独立したデータとして扱っても、 Y U Vを組み合わせ 3次元べク トル値として一括処理しても、 さらには、 Yを独立したデータ、 U Vを 2次元べ クトル値として一括処理しても同様の効果を得ることが可能である。
なお、 図 1 9における各処理部の機能を実現するためのプログラムをコンビュ ータ読み取り可能な記録媒体に記録して、 この記録媒体に記録されたプログラム をコンピュータシステムに読み込ませ、 実行することによリ画像圧縮処理を行つ てもよい。 なお、 ここでいう 「コンピュータシステム」 とは、 O Sや周辺機器等 のハードウエアを含むものとする。 また、 Γコンピュータシステム Jは、ホームぺ —ジ提供環境 (あるいは表示環境) を備えた WWWシステムも含むものとする。 また、 「コンピュータ読み取り可能な記録媒体」 とは、 フレキシブルディスク、光
磁気ディスク、 R O M、 C D— R O M等の可搬媒体、 コンピュータシステムに内 蔵されるハードディスク等の記憶装置のことをいう。 さらに 「コンピュータ読み 取り可能な記録媒体」 とは、 インターネット等のネットワークや電話回線等の通 信回線を介してプログラムが送信された場合のサーバやクライアントとなるコン ピュータシステム内部の揮発性メモリ (R A M) のように、 一定時間プログラム を保持しているものも含むものとする。
また、 上記プログラムは、 このプログラムを記憶装置等に格納したコンビユー タシステムから、 伝送媒体を介して、 あるいは、 伝送媒体中の伝送波により他の コンピュータシステムに伝送されてもよい。 ここで、 プログラムを伝送する 「伝 送媒体 j は、 インターネット等のネットワーク (通信網) や電話回線等の通信回 線 (通信線) のように情報を伝送する機能を有する媒体のことをいう。 また、 上 記プログラムは、 前述した機能の一部を実現するためのものであっても良い。 さ らに、 前述した機能をコンピュータシステムにすでに記録されているプログラム との組み合わせで実現できるもの、 いわゆる差分ファイル (差分プログラム) で あっても良い。
以上説明したように、 この発明の第 2の実施の形態によれば、 外縁部分を近似 する傾斜面を基準にすることで、 強い傾斜をもったブロックが連続してもブロッ クの維ぎ目で色が急激に変化することがないため、 ブロック境界ノイズが発生し なくなり画質を向上させることができるという効果が得られる。
また、 エツジを圧縮する再には傾斜で表現しきれない急激な変化については、 エッジ特有の極端な起伏を各画素ごとに凹、 凸を切り替えることで、 元画像の細 部まで再現するモデルとして補正値を近似し、 その近似値を傾斜情報に付加する ことで、 エッジ部分のなまり、 エッジ部分に沿ったノイズの発生といった画質低 下が発生しなくなり、 画質を向上させることができるという効果も得られる。 また、 符号化処理において、 簡単な加減算のみで処理を行うことが可能となる ため、 D C Tなどのようにブロック毎にブロックの面積の 1 . 2 5乗回から 1 . 5乗回 (正確には F F Tで n X m X m + n X n X m回) のオーダの計算を行う手 法に比べ計算量が少なくて済み、 さらに、 ブロック面積が大きくなつたときの計 算量増加も限定される。 このため、 高速に画像を処理することが可能になり、 ブ ロックサイズの変化にも柔軟に対応できるため、 最適なブロックサイズを選んで ェンコ一ドできるため、圧縮率を向上させることができるという効果も得られる。 以下、 図 3 6〜4 3を参照して本発明の第 3の実施の形態による圧縮符号化方 法、 装置、 及びプログラム、 並びに復号方法、 装置、 及びプログラムについて詳 細に説明する。 〔圧縮符号化方法、 装置、 及びプログラム〕
図 3 6は、 本発明の一実施形態による圧縮符号化装置の構成を示すブロック図 である。図 3 6に示す通り、本実施形態の圧縮符号化装置は、頻度集計部 3 1 0、 変化量判定部 3 1 1、 差分確率データ生成部 3 1 2、 発生確率テーブル再構成部 3 1 3、 発生確率テーブルバッファ 3 1 4、 エントロピー符号化部 3 1 5、 及び
合成部 3 1 6を含んで構成される。
頻度集計部 3 1 0は、 連続して又は間欠的に入力される圧縮対象データ D 1を 収集し、 収集した圧縮対象データ D 1に含まれるデータ各々についての出現頻度 を集計してデータ毎の発生確率を求めて発生確率テーブルを生成する。 尚、 頻度 集計部 3 1 0は入力された圧縮対象データ D 1の総データ数も算出する。ここで、 圧縮対象データ D 1は、 例えばプラントに設けられた監視装置から出力される監 視データであって、 時系列的に相関関係があるデータである。 この監視データと しては、 例えば温度を計測して得られた温度データ、 音を計測して得られたスぺ クトルデータ、 又は監視カメラにより撮像された画像データ等のデータである。 尚、 以下の説明においては、 圧縮対象データ D 1が画像データであるとする。 ここで、 圧縮対象データ D 1について説明する。 図 3 7は、 本発明の一実施形 態による圧縮符号化装置に入力される圧縮対象データ D 1の一例を示す図である。 いま、 監視装置に設けられるカメラ等の撮像装置 (不図示) により、 移動物体 O B 1と静止物体 O B 2とが撮像されているとする。 尚、 簡単のため、 背景の時間 的変化は無いものとする。
このような移動物体 O B 1及び静止物体 O B 2を撮像装置で撮像すると、 時刻 ( t一 2 )、 時刻 (t—1 )、 及び時刻 tのぞれぞれにおいて、 図 3 7に示す通り 移動物体 O B 1の位置のみが変化した圧縮対象データ D 1が得られる。 このよう に圧縮対象データ D 1は、 頻繁にその内容が変化して前後の時間における圧縮対
象データ D 1間に全く関連性が無くなる訳ではなく、 ある程度の相関関係を有し ている。
このような時系列的に相関関係がある圧縮対象データ D 1について、 前後で得 られた圧縮対象データ D 1の差分を求めると、 例えば図 3 7に示す差分データ F 1 , F 2が得られる。 差分データ F 1は、 時刻 (t— 2 ) で得られる圧縮対象デ ータ D 1と時刻 ( t— 1 ) で得られる圧縮対象データ D 1との差分を取って得ら れたデータであり、 移動物体 O B 1を表す情報の減少を意味するデータ d 1 1と 移動物体 O B 1を表す情報の増加を意味するデータ d 1 2とからなる。 差分デー タ F 2は、 時刻 ( t一 1 ) で得られる圧縮対象データ D 1と時刻 tで得られる圧 縮対象データ D 1 との差分を取って得られたデータであり、 移動物体 O B 1を表 す情報の減少を意味するデータ d 2 1と移動物体 O B 1を表す情報の増加を意味 するデータ d 2 2とからなる。
圧縮対象データ D 1の時系列的な相関関係が高いと、 差分データ F 1, F 2の データ量はより少なくなる。 この差分データ F 1 , F 2のデータ量が小さいと前 後で得られる圧縮対象データ D 1の内容の変化が小さく、 各々の時刻で得られる 圧縮対象データ D 1に含まれるデータ各々の発生確率分布の変化は小さい。逆に、 差分データ F 1, F 2のデータ量が大きいと前後で得られる圧縮対象データ D 1 の内容の変化が大きく、 各々の時刻で得られる圧縮対象データ D 1に含まれるデ —タ各々の発生確率分布が大きく変化する。 頻度集計部 3 1 0は、 各時刻で得ら
れる圧縮対象データ D 1を収集して、 圧縮対象データ D 1に含まれるデータ各々 についての出現頻度を集計してデータ毎の発生確率を求めて発生確率テーブルを 生成する。
図 3 6に戻り、 変化量判定部 1 1は、 頻度集計部 1 0で生成された発生確率テ —ブル、 発生確率テーブルバッファ 1 4に格納されている発生確率テーブル、 及 び Z又は入力された圧縮対象データ D 1の総データ数を用いて発生確率テーブル の変化量の大小を判定する。 この判定にあたって変化量判定部 1 1は予め設定さ れた閾値を用い、 圧縮対象データ D 1に含まれるデータの各々についての発生確 率の変化量が上記閾値を越えているか否かを判定する。 ここで、 頻度集計部 3 1 0で生成された発生確率テーブルは、 現在入力された圧縮対象データ D 1から得 られたものであり、 発生確率テーブルバッファ 1 4に格納されている発生確率テ 一ブルは、 前回又は前回以前に入力された圧縮対象データ D 1から得られたもの である。 変化量判定部 3 1 1で用いられる閾値は、 最終的に出力する圧縮符号デ ータ D 4の総データ量が減少するように設定される。 閾値の設定方法は複数種類 用意されており、 これらの何れか 1つを用いて閾値が設定される。 尚、 閾値の設 定方法の詳細については後述する。
差分確率データ生成部 3 2は、 変化量判定部 3 1 1において発生確率亍ーブ ルの変化量が予め設定された閾値を越えていると判定された場合に、 発生確率テ 一ブルの差分からなる差分確率データ D 3を生成する。 ここで、 差分確率テープ
ルの差分とは、 圧縮対象データ D 1に含まれるデータの内の発生確率が大きく異 なるデータについての発生確率を集めたデータである。 尚、 差分確率データ生成 部 3 1 2は、 変化量判定部 3 1 1において発生確率テーブルの変化量が予め設定 された閾値を越えていないと判定されたデータについては、 発生確率が前回の発 生確率と同じである旨を示す情報からなる差分確率データ D 3を生成する。
発生確率テーブル再構成部 3 1 3は、 変化量判定部 3 1 1において発生確率亍 一ブルの変化量が予め設定された閾値を越えていると判定されたデータについて、 発生確率テーブルバッファ 1 4に格納されている発生確率テーブルを、 頻度集計 部 3 1 0で生成された発生確率テーブルに更新する。 発生確率テーブルバッファ 1 4は、 圧縮対象データ D 1を符号化して圧縮する際に用いる発生確率テーブル 又は過去の圧縮対象データ D 1を符号化した際に用いた発生確率テーブルを一時 的に記憶する。
エントロピ一符号化部 3 1 5は、 発生確率テーブルバッファ 1 4に一時的に格 納されている発生確率テーブルを用いて圧縮対象データ D 1を符号化して圧縮し、 圧縮符号データ D 2を生成する。 合成部 3 1 6はエントロピー符号化部 3 1 5で 生成された圧縮符号データ D 2と差分確率データ D 3とを合成して、 差分確率デ ータ D 3を圧縮符号データ D 2に含めた圧縮符号データ D 4を生成する。
以上、 本発明の一実施形態による圧縮符号化装置の構成について説明したが、 次に変化量判定部 3 1 1で用いられる閾値の設定方法について説明する。 前述し
た通り、 閾値は最終的に出力する圧縮符号データ D 4の総データ量が減少するよ うに設定されるが、 より具体的には、 圧縮対象データ D 1の発生確率分布が変化 した場合に、 その変化量が少ないと仮定して該当する差分確率データ D 3を圧縮 符号データ D 4に含めないことで得られる圧縮符号データ D 4のデータ量減少分 が、 変化前の発生確率テーブルを用いて符号化を行った際に発生する誤差による 圧縮符号データ D 4のデータ量増加分よリも大きくなるように閾値を設定する。 ここで、 誤差が生ずるのは圧縮対象データ D 1の実際の確率分布とは異なる発生 確率を有する変化前の発生確率テーブルを用いて符号化を行うためである。以下、 閾値の設定方法について詳細に説明する。
まず、 以下の変数を定義する。
P x t :現在入力された圧縮対象データ D 1から求めたデータ Xの発生確率 Pノー1 :前回入力された圧縮対象データ D 1から求めたデータ Xの発生確率 m : 1つのデータについての差分確率データ D 3のデータ量 (ビット) r : 1つのデータについての発生確率が前回の発生確率と同じである旨を 示す情報からなる差分確率データ D 3のデータ量 (ビット)
L :圧縮対象データ D 1の総データ数 (個)
いま、 データ番号 X = Xのデータの発生確率 P xが α倍に変化して誤差付き発 生確率 ρ Λ χ =α ρ χになった場合を考える。 尚、 表記の都合上、 記号 Γ ρ」 の上 部にハット記号 「Λ」 が付された記号を Γ ρ Λ」 と表記する場合がある。 1つの
データについての発生確率が α倍に変化した場合には、 データ X以外のデータの 発生確率は、 各々の間の発生確率の比が保たれるように変化すると考えると、 デ —タ X以外のデータ i ( i≠X) の発生確率は Ρ Λ , = P ■ (1 - Px) / (1 -α Px) となる。
データ Xの発生確率が変化しない場合 (発生確率 Pxの場合) に、 エントロピ 一圧縮を行ったときの 1つのデータについての平均データ量 (ビット数) Eは以 下の (1 ) 式で表され、 総データ量 Sは以下の (2) 式で表される。
E = Y:Pxlog2(l/Px) • (1)
一方、データ Xの発生確率が誤差付き発生確率 Ρ Λ χ=αΡχに変動した場合に、 エントロピー圧縮を行ったときの 1つのデータについての平均データ量 (ビット 数) Ε Λは (3) 式で表され、総データ量 S Λは以下の (4) 式で表される。 尚、 表記の都合上、 記号 「Ε」 の上部にハット記号 「Λ」 が付された記号を 「Ε Λ」 と表記する場合があり、 記号 「S」 の上部にハツ卜記号 「Λ」 が付された記号を 「S Λ」 と表記する場合がある。
^ = Alog2(l/ ) ····(3)
ここで、データが Xでないことが判った際にデータが iである発生確率を Px i と表すと、 上記 (1 ) 式は以下の (5) 式の通り表すことができる。 尚、 P i = (1 — Px) Px iである。
=
6 ^ ί ηη . ,
一方、 データ Xの発生確率が α倍に変化したときのデータ X以外のデータ iの 発生確率 P iは、 データが Xでない確率 (1— αΡχ) と上記の発生確率 Px iとか ら、 P ,' = ( 1 ~αΡχ) Ρχ ίと求まるので、 上記の (3) 式は、 以下の (6) 式
,— ^ = UM
Η Η
上記 (5) 式及び (6) 式から、 データ Xの発生確率が α倍に変化した場合の
符号化対象データ 1つ当たりの圧縮符号データの増加量 ΔΕは以下の (7) 式で 表すことができる。 Ε= Ε-Ε
= Ρχ {log2(l - log2(l/P )}
+(1― Px) {log2(l/(l― αΡχ))一 log2(l/(l一 Ρχ))}
= Px log2(l/a) + (1— Fx) log2((l― Ρχ)/(1 - αΡχ)) … ·( 7 ) 上記 (7) 式で表される増加量 ΔΕを発生確率 Ρ及び変化量 αの関数と考えて ΔΕ (Ρ, α) と表すと、 総データ量の増加量は LAE (Ρ, α) となる。
圧縮対象データ D 1に含まれる 1つのデータについて、 その発生確率が殆ど変 化していないとして発生確率を示す情報を圧縮符号データに含めない場合には、 差分確率データ D 3を m— rビットだけ減少させることができる。 一方、 α倍に 変化した発生確率を用いて符号化を行った場合に増加する圧縮符号データ D 2の データ量は Ι_ΔΕ (Ρ, α) ビットである。 従って、 上記のデータ量減少分 m— r が上記のデータ量増加分 1_ΔΕ (Ρ, α) よりも大きい場合に、 発生確率の変化量 が殆ど変化していないとして発生確率を示す情報を圧縮符号データに含めないよ うにすれば最終的に得られる圧縮符号データ D 4の総データ量を減少させること ができる。
本実施形態において、 圧縮符号データ D 4の総データ量を減少させることがで
きる条件式は、 以下の (8) 式で表される m-r > L-{Px log2(l/a) + (1 - Ρχ) log2((l― Ρχ)/{1― αΡχ))}
·*·' (8) 上記 (8) 式を参照すると、 左辺に示すデータ量減少分 m— rは定数であり、 右 辺に示すデータ量増加分 |_ΔΕ (Ρ, α) は圧縮対象データ D 1のデータ数し、 デ ータ Xの発生確率が変動しない場合の発生確率 P X、 及び発生確率の変動量 αで 表される関数である。 従って、 上記 (8) 式の条件式が満たされるためには、 発 生確率の変化量 αが 「1」 に近い値であること (変化量 αが小さいこと) が重要 になる。 このため、 変化量判定部 3 1 1に設定される閾値は基本的には発生確率 の変化量 αに基づいて定められる。 以下、 閾値の設定方法について説明する。
[閾値の第 1設定方法]
第 1設定方法は、 発生確率テーブルの変化量 α
に対する上 限値 Tma x及び下限値 Tm i nを設定した変化量許容テーブルを作成しておき、 こ れを閾値とするものである。 つまり、 圧縮対象データ D 1に含まれるデータを X としたときに、 前回入力された圧縮対象データ D 1に含まれていたデータ Xの発 生確率 -1に対して現在入力された圧縮対象データ D 1に含まれるデータ X の発生確率 の変化量が以下の (9) 式に示す不等式の範囲であるか否かを判 定する。 データ Xの発生確率 の変化量が下記 (9) 式に示す不等式の範囲内 である場合には、データ Xの発生確率 の変化量が僅かであって閾値を越えて
いないと判定する
上記 (9) 式中の上限値 Tmax及び下限値 Tmi nはデータ Xの発生確率 毎 に設定される。 上限値 Tm3Xはデータ Xの発生確率 P が増加するにつれて減少 又は同じ値を維持し、 最も値が大きい発生確率 について値" 1"に収束するよ う設定される。 下限値 T m ,。はデータ Xの発生確率 P x 1が増加するにつれて増加 又は同じ値を維持し、 最も値が大きい発生確率 P について値" 1"に収束するよ う設定される。
以上の変化量許容テーブルを閾値として用いる方法は、 圧縮対象データ D 1の 総データ量が時間的にさほど変化しない場合 (つまり、 上記 (8) 式右辺のデ一 タ数しがほぼ一定であると仮定した場合) に適用したものである。 例えば、 圧縮 対象データ D 1が画像データ (動画データ) である場合であるが、 J P EG ( I SO I TEC 1 091 8— 1 ) 等で決められているように、 エントロピ一符 号化を行う前に、 画像データを 8X8画素のブロック毎に切り出して DC (直流) 成分と AC (交流) 成分とに分離して、 その後それぞれをエントロピー圧縮する ことが多い。 圧縮対象データ D 1の画素数が 640X480画素である場合には、 データ数しの最大値は (640/8) X (480X8) =4800個であり値は 殆ど変化しない。 ちなみに、 本発明の第 1及び第 2の実施の形態では、 4 X4画
素のブロックであるため、 ブロック毎のデータは、それぞれ(640ノ 4) X (4 80/4) =1 9200個となる。
このような圧縮対象データ D 1に対して、 データの発生確率情報の量子化精度 が 8ビットである場合、 データ量 mを 「8」 とし、 データ量 rを ONZO F Fを 示すビット等を用いるとして 「1」 とすると、 例えば図 38に示す変化量許容テ 一ブルが設定される。 図 38は、 変化量判定部 31 1で用いられる変化量許容テ 一ブルの一例を示す図である。 図 38を参照すると、 発生確率 Pが増加するにつ れて上限値 Tmaxは減少して値" 1"に収束するよう設定され、下限値 Tmi nは増加 して値" 1"に収束するよう設定される。
[閾値の第 2設定方法]
上記の第 1設定方法は、 圧縮対象データ D 1の総データ量の時間的変動がさほ ど生じない場合、 つまり上記 (8) 式右辺のデータ数 Lがほぼ一定であると仮定 した場合に適用される方法であるが、 ここで説明する第 2設定方法は、 圧縮対象 データ D 1の総データ量の時間的変動をも考慮して閾値を設定するものである。 第 2設定方法は、 データ Xの発生確率 P 及び発生確率の変化量 α (Ρχ ι一1 ノ) の値を変えて上記 (8) 式に代入し、 各々の値を代入したときに (8) 式に示す条件式が満たされるデータ数条件 L t hを設定したデータ数条件亍一ブ ルを作成しておき、 これを閾値とする。 入力される圧縮対象データ D 1に含まれ るデータ Xのデータ数が、発生確率 及び変化量 αに応じて設定されたデータ
数条件 Lt h以下である場合に、データ Xの発生確率 Pノの変化量が僅かであって 閾値を越えていないと判定し、 データ数条件 Lt hよりも大きい場合に、 データ X の発生確率 P x 1の変化量が大きく閾値を越えていると判定する。
図 39は、 変化量判定部 31 1で用いられるデータ数条件テーブルの一例を示 す図であって、 39 Aは発生確率の変化量 αが 1よりも大きいときのデータ数条 件テーブルの一例を示す図であリ、 39 Βは発生確率の変化量 αが 1よリも小さ いときのデータ数条件テーブルの一例を示す図である。いま、図 39 Αにおいて、 発生確率が 「0. 1 25 (1ノ 8)」 であって、 発生確率の変化量 αが 「1. 2J であるデータに着目すると、 このデータに対してはデータ数条件し が 「1 88 5 J に設定されている。 このため、 このデータのデータ数が 「1 885」 以下で ある場合には閾値を越えていないと判定され、 「1 885」よりも大きい場合には 閾値を越えていると判定される。
また、 発生確率が ΓΟ. 1 25 (1 8)」 であって、 発生確率の変化量ひが 「2 Jであるデータに着目すると、このデータに対してはデータ数条件 Lt hが「1
01 J に設定されており、 上記の場合よりも小さな値が設定されている。 このよ うに、発生確率 Pが同じものに着目すると、 データ数条件 Lt hは発生確率の変化 量 αが大きくなるにつれて (変化量 αの値 「1」 に対するずれ量が大きくなるに つれて) 値が小さくなるように設定されている。 これは、 発生確率の変化量 αが 大きくなるにつれて符号化時に生ずる誤差も大きくなつて、 上記 (8) 式の右辺
の値が大きくなるため、 データ数条件 L t hの値を小さくすることで、 (8 ) 式に 示す条件式が満たされるようにしている。 尚、 発生確率の変化量 ctが同じものに 着目すると、データ数条件 L t hは発生確率が大きいものには小さな値が設定され、 逆に発生確率が小さいものには大きな値が設定されている。 [閾値の第 3設定方 法]
上記第 1, 第 2設定方法は、 何れもテーブルを予め求めて閾値としていたが、 第 3設定方法は上記 (8 ) 式に示す条件式の左辺を閾値とするものである。 つま リ、 変化量判定部 3 1 1は、 圧縮対象データ D 1のデータ数し、 データ Xの発生 確率が変動しない場合の発生確率 p x、及び発生確率の変動量 αを用いて上記( 8 ) 式の右辺の値を求め、 この値が (8 ) 式の値以上であるか否かを判定する。 (8 ) 式のお辺の値が左辺の値以下であリ、 ( 8 )式に示す条件式が満たされる場合には 発生確率の変化量が小さく閾値を越えていないと判定し、 満たされない場合には 発生確率の変化量が大きく閾値を越えていると判定する。
以上、 閾値の設定方法について説明したが、 上述した第 1設定方法は圧縮対象 データ D 1のデータ数 Lが時間的にさほど変化しない場合に用い、 第 2設定方法 は圧縮対象データ D 1のデータ数 Lが時間的に大きく変化する場合に用いるとい つた具体に、 圧縮対象データ D 1の性質に応じて使い分けるのが好適である。 ま た、 上述した第 3設定方法は、 数式を用いた判定を行っているため、 変化量判定 部 3 1 1の演算能力に余裕があるときに用いることが好ましい。
次に、 本発明の一実施形態による圧縮符号化装置の動作、 つまり本発明の一実 施形態による圧縮符号化方法について説明する。 図 4 0は、 本発明の一実施形態 による圧縮符号化方法を示すフローチャートである。 尚、 以下の説明では、 簡単 のために、 圧縮対象データ D 1は時間的なデータ数 Lの変化量が僅かであり、 変 化量判定部 3 1 1には上述した第 1設定方法により変化量許容テーブルが設定さ れているとする。 また、 3 6に示す発生確率テーブルバッファ 1 4には前回入力 された圧縮対象データ D 1の発生確率テーブルが格納されているものとする。 新たな圧縮対象データ D 1が入力されると、 頻度集計部 3 1 0において入力さ れた圧縮対象データ D 1が収集され(ステップ S 3 1 0 )、収集された圧縮対象デ ータ D 1に含まれるデータ各々についての出現頻度が集計され、 データ毎の発生 確率が求められて発生確率テーブルが生成される (ステップ S 3 1 1 )。次に、変 化量判定部 3 1 1は、 頻度集計部 3 1 0において生成された発生確率テーブルと 発生確率テーブルバッファ 1 4に一時的に記憶されている発生確率テーブルとを 比較し、 上記の変化量許容テーブル (図 3 8参照) を用いて発生確率の変化量の 大小を判定し、発生確率が大きく変化したデータを検出する(ステツプ S 3 1 2 )。
図 4 1は、 発生確率の変化の様子及び発生確率が大きく変化したデータの発生 確率を抽出した様子の一例を示す図である。 図 4 1 Aにおいて、 符号 T 1を付し た曲線は発生確率テーブルバッファ 1 4に一時的に格納されている発生確率分布 (前回入力された圧縮対象データ D 1から得られた発生確率分布)を示しておリ、
符号 T 2を付した曲線は今回入力された圧縮対象データ D 1から得られた発生確 率分布を示している。 図 4 1 Αに示す例では符号 G 1 , G 3を付した範囲に属す るデータの発生確率の変化量は小さく、 符号 G 2を付した範囲に属するデータの 発生確率の変化量は大きいと判定されて、 符号 G 2を付した範囲に属するデータ が検出される。
次に、 差分確率データ生成部 3 1 2は、 変化量判定部 3 1 "Iの判定結果から得 られた検出結果に基づいて、 頻度集計部 3 1 0で生成された発生確率テーブルか ら発生確率が大きく変化したデータの発生確率を抽出する (ステップ S 3 1 3 )。 図 4 1 Bは、 差分確率データ生成部 3 1 2により抽出された発生確率の一例を示 す図である。 図 4 1 Bに示す例では、 図 4 1 A中の符号 G 2を付した範囲に属す るデータの発生確率 (今回入力された圧縮対象データ D 1から得られた発生確率) が抽出された様子を示しておリ、 符号 T 3を付して示す曲線が抽出された発生確 率の分布を示している。
次に、 差分確率データ生成部 3 1 2は、 抽出した差分確率データを用いて差分 確率データ D 3を生成する (ステップ S 3 1 4 )。 このとき、差分確率データ生成 部 3 1 2は発生確率の変化量が大きなデータについてはステップ S 3 1 3で抽出 した発生確率を含め、 発生確率の変化量が小さなデータについては発生確率が前 回の発生確率と同じである旨を示す情報を含めて差分確率データ D 3を生成する。 つまり、 図 4 1 Aに示す例では、 符号 G 2を付した範囲に属するデータについて
は、 図 4 1 Bに示す発生確率を含め、 符号 G 1 , G 2を付した範囲に属するデー タについては、 発生確率が前回の発生確率と同じである旨を示す情報を含めた差 分確率データ D 3を生成する。
以上の処理が終了すると、 発生確率テーブル再構成部 3 1 3は、 変化量判定部 3 1 1の判定結果から得られた検出結果に基づいて、 発生確率テーブルバッファ 3 1 4に格納されている発生確率テーブルを更新する(ステップ S 3 1 5 )。例え ば、 図 4 1 Aに示す例においては符号 T 1を付した発生確率分布の内の符号 G 2 を付した範囲のデータに関する発生確率を図 4 1 Bに示す発生確率に更新する。 発生確率テーブルバッファ 1 4の更新が完了するとエントロピー符号化部 3 1 5は、 更新された発生確率テーブルを用いて今回入力された圧縮対象データ D 1 をエントロピー符号化して圧縮し、 圧縮符号データ D 2を生成する (ステップ S 3 1 6 )。圧縮対象データ D 1の符号化が終了すると、差分確率データ生成部 3 1 2で生成された差分確率データ D 3とエントロピー符号化部 3 1 5で生成された 圧縮符号データ D 2とが合成部 3 1 6で合成され、 差分確率データ D 3が圧縮符 号データ D 2に含められた圧縮符号データ D 4が生成される(ステップ S 3 1 7 )。 以上、 圧縮対象データ D 1が入力されたときの処理について説明したが、 圧縮 対象データ D 1が時間的に連続して又は間欠的に連続して入力される度に以上説 明した処理と同様の処理が行われる。 このように、 本実施形態においては、 発生 確率の変化量の大小を判定し、 発生確率の変化量が大きいデータの発生確率のみ
を差分確率データ D 3に含めて、 発生確率の変化量が小さいデータについては発 生確率が前回の発生確率と同じである旨を示す情報を差分確率データ D 3に含め ているため、最終的な圧縮符号データ D 4の総データ量を低減することができる。 特に、 圧縮対象データ D 1の時系列的な相関関係が高いと、 差分確率データ D 3 に含めるべき発生確率が極めて少なくなるため、 圧縮符号データ D 4の総データ 量を大幅に低減することができる。
尚、 以上の実施形態においては、 過去に少なくとも 1度、 圧縮対象データ D 1 が圧縮符号化装置に入力されている場合の動作について説明したが、 圧縮符号化 装置に最初に入力された圧縮対象データ D 1については、 圧縮対象データ D 1に 含まれる全てのデータの発生確率が差分確率データ D 3に含められ、 この差分確 率データ D 3が圧縮符号データ D 2に含められた圧縮符号データ D 4が生成され る。
また、 以上の実施形態においては、 図 3 6に示す各ブロックをハードウェア的 に構成し、 これらを組み合わせて圧縮符号装置を構成する場合を例に挙げて説明 した。 しかしながら、 ハードウ:!:ァ的には圧縮符号装置を計算機システムとして 構成し、 圧縮符号装置を構成する各ブロックの機能をプログラムによって実現す ることも可能である。
また、 圧縮符号装置を計算機システムとして構成した場合には、 圧縮符号装置 を構成する上記の各ブロックの機能を実現するためのプログラムの全てを予め圧
縮符号装置に内蔵することは必ずしも必須ではない。 例えば、 上記の各ブロック の機能を実現するためのプログラムを格納した記録媒体 (図示省略) を用意する とともに、 この記録媒体からプログラム内容を読み出し可能であり、 かつ、 記録 媒体を着脱可能な読取装置 (図示省略) を計算機システムとして構成された圧縮 符号装置に接続し、 圧縮符号装置が読取装置に装填された記録媒体から機能実現 のために必要なプログラム内容を読み出し、 読み出したプログラムを実行するよ うに構成することができる。
また、 圧縮符号装置が読取装置に装填された記録媒体からプログラム内容を読 み出して、 内部にインストールする構成とすることができる。 更に、 インターネ ット等を利用し、 通信ネッ卜ワークを介して機能実現のために必要となるプログ ラム内容を圧縮符号装置にィンストールする構成とすることもできる。
尚、 上記の記録媒体としては、 磁気的に記録するもの (磁気ディスク、 磁気テ ープ等)、 電気的に記録するもの (PROM、 バッテリ ■バックアップ付 RAM、 EEPROM、その他の半導体メモリ等)、光磁気的に記録するもの (光磁気ディ スク等)、 電気磁気的に記録するもの (デジタルオーディオテープ (DAT) 等) 等、 光学的に記録するもの (コンパクトディスク (CD)、 DVD (登録商標)) 等の種々の記録形態で記録するものを採用することができる。 以上のように、 機 能を実現するためのプログラム内容を記録した記録媒体を使用したリ、 インスト —ルしたりすることが可能なように構成することにより、 後におけるプログラム
内容の修正や、 性能向上のためのバージョンアップ等を容易に行うことができる ようになる。 〔符号化方法、 装置、 及びプログラム〕
図 4 2は、 本発明の一実施形態による復号化装置の構成を示すブロック図であ る。 図 4 2に示す通り、 本実施形態の復号化装置は、 入力部 3 2 0、 圧縮符号デ 一夕分割部 3 2 1、 発生確率テーブル更新部 3 2 2、 発生確率テーブルバッファ 3 2 3、 復号部 3 2 4、 及び出力部 3 2 5を含んで構成される。
入力部 3 2 0は、 上述した圧縮符号装置、 方法、 又はプログラムを用いて符号 化により圧縮された圧縮符号データ D 4を入力する。 この入力部 3 2 0は、 例え ば、 圧縮符号データ D 4がハードディスク等の記録装置に記録されている場合に はその記録された圧縮符号データ D 4を読み出す読出部に相当する機能を有し、 圧縮符号データ D 4が送信される場合には送信されてくる圧縮符号データ D 4を 受信する受信部に相当する機能を有する。
圧縮符号データ分割部 3 2 1は、 入力部 3 2 0から入力された圧縮符号データ D 4に含まれる圧縮符号データ D 2と差分確率データ D 3とを分割し、 差分確率 データ D 3を抽出する。 発生確率テーブル更新部 3 2 2は、 圧縮符号データ分割 部 2 1において抽出された差分確率データ D 3を用いて発生確率テーブルバッフ ァ 2 3の内容を更新する。 発生確率テーブルバッファ 2 3は、 圧縮符号データ分 割部 2 1で分割された圧縮符号データ D 2を復号する際に用いる発生確率テープ ルバッファを一時的に記憶する。 復号部 3 2 4は、 発生確率テーブルバッファ 2
3に一時的に記憶された発生確率テーブルを用いて圧縮符号データ分割部 3 2 1 で分割された圧縮符号データ D 2を復号する。 出力部 3 2 5は復号部 3 2 4で復 号された復号データ D 5を出力する。
次に、 本発明の第 3の実施の形態による復号化装置の動作、 つまり本発明の一 実施形態による復号化方法について説明する。 図 4 3は、 本発明の一実施形態に よる復号化方法を示すフローチャートである。 尚、 以下の説明では、 簡単のため に、 図 4 2に示す発生確率テーブルバッファ 2 3には前回入力された圧縮符号デ —タ D 4から抽出された発生確率テーブルが格納されているものとする。
新たな圧縮符号データ D 4が入力されると、 入力部 3 2 0において獲得される (ステップ S 3 2 0 )。 入力部 3 2 0で獲得された新たな圧縮符号データ D 4は、 圧縮符号データ分割部 3 2 1で圧縮符号データ D 2と差分確率データ D 3とに分 割され(ステップ S 3 2 1 )、差分確率データ D 3が抽出される (ステップ S 3 2 2 )。抽出された差分確率データ D 3は発生確率テーブル更新部 3 2 2に出力され て、 発生確率テーブルバッファ 2 3の更新に用いられる (ステップ S 3 2 3 )。 差分確率データ D 3には、 圧縮符号時において発生確率の変化量が大きいデー タの発生確率のみが含められ、 発生確率の変化量が小さいデータについては発生 確率が前回の発生確率と同じである旨を示す情報が含められている。 発生確率テ 一ブル更新部 3 2 2は、 発生確率テーブルバッファ 2 3に記憶されている発生確 率テーブルのうち、 差分確率データ D 3に発生確率が含まれているデータのみに
ついて更新を行い、 発生確率が前回の発生確率と同じである旨を示す情報が含ま れているデータについては発生確率の更新は行わない。
発生確率テーブルバッファ 3 2 3が更新されると、 更新された発生確率テープ ルを用いて復号部 2 4が圧縮符号データ分割部 2 1で分割された圧縮符号データ D 2を復号する(ステップ S 3 2 4 )。復号部 2 4で復号された復号データは出力 部 2 5から復号データ D 5として出力される (ステップ S 3 2 5 )。
以上、 圧縮符号データ D 4が入力されたときの処理について説明したが、 圧縮 符号データ D 4が時間的に連続して又は間欠的に連続して入力される度に以上説 明した処理と同様の処理が行われる。 このように、 本実施形態においては、 圧縮 符号データ D 4に含まれる圧縮符号データ D 2と差分確率データ D 3とを分割し て差分確率データ D 3を抽出し、 抽出した差分確率データ D 3を用いて発生確率 テーブルバッファ 2 3の内容を更新し、 更新後の発生確率テーブルを用いて復号 している。 このため、 圧縮符号データ D 2は、 圧縮符号データ D 2を符号化する ときに用いた発生確率テーブルと同一のものを用いて復号されるため、 正しい復 号結果が得られる。
尚、 以上の実施形態においては、 過去に少なくとも 1度、 圧縮符号データ D 4 が復号化装置に入力されている場合の動作について説明した。 復号化装置に最初 に入力された圧縮符号データ D 4については、 圧縮対象データ D 4に含まれる差 分確率データ D 3に圧縮対象データ D 1に含まれる全てのデータの発生確率が含
められているため、 この差分確率データ D 3の内容の全てを発生確率テーブルバ ッファ 2 3に格納して復号を行えば、 問題なく復号を行うことができる。
また、 以上の実施形態においては、 図 4 2に示す各ブロックをハードウェア的 に構成し、 これらを組み合わせて復号化装置を構成する場合を例に挙げて説明し た。 しかしながら、 ハードウェア的には復号化装置を計算機システムとして構成 し、 複号化装置を構成する各ブロックの機能をプログラムによって実現すること も可能である。
また、 復号化装置を計算機システムとして構成した場合には、 前述した圧縮符 号装置と同様に、 復号化装置を構成する上記の各ブロックの機能を実現するため のプログラムの全てを予め復号化装置に内蔵することは必ずしも必須ではない。 例えば、 上記の各ブロックの機能を実現するためのプログラムを格納した記録媒 体 (図示省略) を用意するとともに、 この記録媒体からプログラム内容を読み出 し可能であり、 かつ、 記録媒体を着脱可能な読取装置 (図示省略) を計算機シス テムとして構成された復号化装置に接続し、 復号化装置が読取装置に装填された 記録媒体から機能実現のために必要なプログラム内容を読み出し、 読み出したプ ログラムを実行するように構成することができる。
また、 復号化装置が読取装置に装填された記録媒体からプログラム内容を読み 出して、 内部にインストールする構成とすることができる。 更に、 インタ一ネッ ト等を利用し、 通信ネットワークを介して機能実現のために必要となるプログラ
厶内容を復号化装置にインストールする構成とすることもできる。 尚、 上記の記 録媒体としては、 前述したものと同様のものを採用することができる。 このよう に、 機能を実現するためのプログラム内容を記録した記録媒体を使用したり、 ィ ンストールしたりすることが可能なように構成することにより、 複合装置におい ても、 後におけるプログラム内容の修正や、 性能向上のためのバージョンアップ 等を容易に行うことができるようになる。
以上、 本発明の一実施形態による圧縮符号化方法、 装置、 及びプログラム、 並 びに復号方法、 装置、 及びプログラムについて説明したが、 本発明は上記実施形 態に制限されず、 本発明の範囲内で自由に変更が可能である。
本発明の第 3の実施の形態によれば、 圧縮対象データに含まれるデータ毎の発 生確率の変化量の大小を判定し、 変化量が大きいデータの発生確率を含む差分確 率データを生成し、 この差分確率データのみを圧縮符号データに含めるようにし ているため、 最終的に得られる圧縮符号データの総データ量を低減することがで きるという効果がある。 特に、 圧縮対象データの時系列的な相関関係が高いと、 差分確率データに含めるべき発生確率が極めて少なくなるため、 圧縮符号データ の総データ量を大幅に低減することができるという効果がある。
また、 本発明によれば、 圧縮された圧縮符号データに含まれる差分確率データ を分割抽出して差分確率テーブルを更新し、 更新した差分確率テーブルを用いて 分割された圧縮符号データを復号しているため、 圧縮符号時に用いた発生確率テ 一ブルと同一のものを用いて復号化が行われて正しい復号結果が得られるという
効果がある
産業上の利用の可能性
本発明は、 計算処理を長くさせずに画質を向上させることの可能な画像圧縮装 置、 方法、 及びそのプログラム、 さらに、 発生確率を含める場合であっても、 総 データ量の低減を図ることができる圧縮符号化方法、 装置、 プログラム、 並びに 符号化された圧縮符号データの複号化方法、 装置、 プログラムを提供しているの で、 画像圧縮、 圧縮データの符号化、 その符号化データの複号に利用することが できる。 特に、 動画像の圧縮においては、 本発明の第 1の実施の形態と、 本発明 の第 3の実施の形態を組み合わせた圧縮符号化方法、 装置、 プログラム、 もしく は、 本発明の第 2の実施の形態と本発明の第 3の実施の形態を組み合わせた圧縮 符号化方法、 装置、 プログラム、 を利用することで、 画質の低下を抑えつつ、 さらにデータ量の低減を図ることができる。