WO2001093584A1

WO2001093584A1 - Data processing system and method, communication system and method, and charging device and method

Info

Publication number: WO2001093584A1
Application number: PCT/JP2001/004670
Authority: WO
Inventors: Tetsujiro Kondo; Yoshinori Watanabe
Original assignee: Sony Corporation
Priority date: 2000-06-02
Filing date: 2001-06-01
Publication date: 2001-12-06
Also published as: JP2001344098A; US7313386B2; US20070177003A1; US7869797B2; US7856227B2; US20080227431A1; JP4560897B2; US20020181586A1; US7966005B2; US20080279276A1

Description

明細書データ処理システム及びその方法、通信システム及びその方法、課金処理装置及ぴその方法技術分野本発明は、送受信されたデータに応じた利用料金を支払う処理装置及びその方法、送受信されたデータに応じた課金を行う課金管理装置及びその方法、通信システム及びその方法、通信システムを構成する通信装置及びその方法、送受信されたデ一夕に応じた課金処理を情報処理装置に実行させるプログラムを記憶した媒体に関する。冃景技術例えば、データ提供者と、そのデ一夕提供者より提供されるデ一夕を利用する利用者とからなるようなデ一夕提供サービスなどにおいて、その提供したデータの利用料を利用者から徴収する場合の課金形態には、例えば、提供されたデータ量に応じた従量制の課金や、デ一夕量によらない定額制の課金などがある。

また、 U S P 6 0 4 1 3 1 6には、通常提供されるデ一夕は低品質であるが、ユーザが利用料を追加することにより、より高品質なデータを要求することが可能なネヅトワークシステムが鬨示されている。

また、特開平 1 0— 1 6 4 5 5 2号公報には、例えば視聴者の希望する画質に対応した映像番組を供給可能にするとともに、その希望した画質に応じた課金を行うビデオデマンド送信装置及び端末装置が開示されている。この公報に記載された技術は、供給された映像番組の画質を決定する処理方法として、 M P E G 1、 M P E G 2のような同種のアルゴリズムを用いており、これら M P E G 1、 M P E G 2のいずれかを用いて圧縮された映像番組を供給したかによつて課金額が変えられる。このように、ユーザに対して供給されるデータに対する信号処理手法などの、装置のアプリケーション層の機能に応じてユーザに対する課金を変更するが技術が鬨示されている。

しかし、装置には、装置の内部回路に電力供給をするなどのハードウェア制御層の記録再生のも有するものであるが、ハードウェア制御層をユーザが選択的に高機能化するようなシステムは開示されていない。

また、上述の技術では、ユーザが指定した信号処理手法に固定されてしまい、伝送状態などが変更しても、品質、信号処理手法は固定され、ユーザにとって最適なサービスが提供されていない。発明の開示そこで、本発明はこのような状況に鑑みてなされたものであり、利用者の様々な要求に応じたデータ提供及び課金、すなわち、利用者が受ける利益に応じた課金を可能にするとともに、デ一夕提供者にとっても提供するデータの価値に応じた適正な課金を実現可能とする、データ処理装置及びその方法、課金管理装置及びその方法、通信システム及びその方法、通信装置及びその方法、さらにデータ処理装置等で実行されるプログラムを記憶した記憶媒体を提供することを目的とする。

上記のような目的を達成するために提案される本発明に係るデータ処理システムは、少なくともアプリケ一シヨン層とハ一ドウヱァ制御層に対して所望のメソッドを指示可能な指示入力部と、アプリケーション層に関わるメソッドを選択的に実行可能な信号処理部と、ハ一ドウエア制御層に関わるメソヅドを選択的に実行可能なハードウェア制御部と、指示入力部からの指示に応じて、信号処理部或いはハードウェア制御部が指示されたメソッドを実行するように制御する制御部とを備える。

ここで、信号処理部は、複数のメソッドを記憶する記憶部を備える。そして、制御部は、指示入力部からの指示に応じて一のメソッドを記憶部から読み出すと共に実行する。本発明に係るデータ処理システムは、更に、コンテンツデータを送信する送信部と、送信されたコンテンツデ一夕を受信する受信部と、受信されたコンテンツデータを出力する出力部とを備える。信号処理部は、制御部の制御に基づいて、指示入力部からの指示に応じて特定されたメソッドを実行することにより、入力されるコンテンヅデ一夕に対して信号処理し、この信号処理されたコンテンヅデ一夕を送信部に出力する。

また、本発明は、課金管理装置を備えた通信システムであり、少なくともアブリケーシヨン層とハードウヱァ制御層に対して所望のメソヅドを指示可能な指示入力部と、指示入力部により指示されたメソッドを要求する要求信号を送信する要求信号送信部と、要求信号に対する返信を受信する受信部と、アプリケーション層に関わるメソッドを選択的に実行可能な信号処理部と、ハードウエア制御層に関わるメソッドを選択的に実行可能なハードウェア制御部と、指示入力部の指示に応じて、信号処理部或いはハードウェア制御部が指示されたメソッドを実行するように制御する制御部とを備える処理装置と、要求信号を受信する要求信号受信部と、受信された要求信号に基づいてメソッドの利用可否を判断する判断部と、判断部で判断された判断結果を受信部に送信する判断結果送信部と、信号処理部或いはハ一ドウエア制御部が記憶する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶部と、利用料金記憶部に記憶された情報に基づいて、指示入力部に対して指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する演算手段と備える課金管理装置とを備える。

本発明において用いられる課金処理装置は、外部装置から、当該外部装置のァプリケーシヨン層とハードウヱァ制御層の所望のメソッドの利用許可を要求する要求信号を受信する要求信号受信部と、この受信部により受信された要求信号に基づいてメソッドの利用可否を判断する判断部と、この判断部の判断結果を受信部に送信する判断結果送信部と、複数のメソッドの各々の利用料金情報を記憶する利用料金記憶部と、利用料金記憶部に記憶された利用料金情報に基づいて、指示入力部に対して指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する演算部とを備える。

ここで、金額情報を演算する演算部は、利用料金記憶部に記憶された情報に基づいて、複数のメソッドから一のメソッドを自動的に選択する自動選択メソッドの利用料金と、当該自動選択メッツドが選択した圧縮アルゴリズムに対応するメソッドの利用料金との和により金額情報を演算する。

更に、本発明は、第 1の通信装置、第 2の通信装置及び課金処理装置からなる通信システムであり、この通信システムを構成する第 1の通信装置は、少なくとも送信装置のアプリケーション層と受信装置のハードウェア制御層に対して所望のメソッドを指示可能な指示入力部と、この指示入力部により'指示されたメソッドを要求する要求信号を送信する要求信号送信部と、要求信号送信部に応じたメソヅドにより処理されたコンテンツデータを受信する受信部と、ハードウェア制御層関わるメソッドを選択的に実行可能なハードウェア制御部と、指示入力部の指示に応じて、ハードゥヱァ制御部が指示されたメソッドを実行するように制御する第 1の制御部を備える。また、第 2の通信装置は、アプリケーション層に関わるメソヅドを選択的に実行し、入力されるコンテンヅデ一夕に対して信号処理する信号処理部と、要求信号送信部から送信される送信される要求信号に応じて、信号処理部が指示されたメソッドを実行するように制御する第 2の制御部と、信号処理されたコンテンツデータを外部に送信する送信部とを備える。課金処理装置は、信号処理部或いはハードゥヱァ制御部が有する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶部と、利用料金記憶部に記憶された情報にに基づいて、指示入力部に対して指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する演算部とを備える。

また、本発明に用いられる通信装置は、コンテンツデータの通信を行う通信装置であり、外部からのアプリケーション層のメソ 'ソドの実行を要求する要求信号を受信する受信部段と、アプリケーション層に関わるメソ、ソドを選択的に実行し、入力されるコンテンヅデ一夕に対して信号処理する信号処理部と、受信される要求に信号に応じて、信号処理部が指示されたメソッドを実行するように制御する制御部と、信号処理されたコンテンヅデ一夕を外部に送信する送信部とを備える _c そして、本発明は、コンテンツデ一夕の通信を行う通信方法及びこの通信方法を実行する通信システムを制御するプログラムであり、この方法及びプログラムは、少なくとも上記送信装置のアブリケーション層と上記受信装置のハードゥエァ制御層に対して所望のメソッドを指示し、この指示されたメソ、ソドを要求する要求信号を送信し、送信される要求信号に応じて、メソッドを実行することにより上記送信装置に入力されるコンテンツデータに対して信号処理手段が信号処理し、この信号処理されたコンテンツデータを送信装置から受信装置に送信する。ここで、受信装置は、送信されたコンテンツデータを受信し、指示されたメソヅドに応じて、ハードウエア制御部により実行されるメソッドが受信装置の内部回路に対する電力供給を制御し、信号処理部或いはハードウエア制御部が有する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段に記憶された情報に基づいて、指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。図面の簡単な説明図 1は、本発明を適用した伝送システムの一構成例を示すプロック図である。図 2は、図 1に示す伝送システムを構成する送信装置を示すプロック図であり、図 3は、図 2に示す送信装置の処理を説明するためのフローチャートである。図 4は、図 1に示す通信システムを構成する受信装置を示すブロック図であり、図 5は、図 4に示す受信装置の処理を説明するためのフローチャートである。図 6は、図 2に示す送信装置を構成する送信処理部を示すブロック図である。図 7は、図 6に示す送信処瑪部の符号化部を示すプロック図である。

図 8 A、図 8 B及び図 8 Cは、階層符号化/復号を説明するための図である。図 9は、図 6に示す送信処理部による送信処理を説明するためのフローチヤ一トである。

図 1 0は、図 4に示す受信装置を構成する受信処理部を示すプロック図である _c 図 1 1は、図 1 0に示す受信処理部を構成する復号部を示すブロック図である c 図 1 2は、図 4に示す受信装置の合成処理部の構成例を示すプロック図である _c 図 1 3は、図 1 2に示す合成処理部による合成処理を説明するためのフローチヤートである。

図 1 4 A、図 1 4 B及び図 1 4 Cは、図 4に示す受信装置の画像出力部における画像の表示例を示す図である。

図 1 5 A及び図 1 5 Bは、図 1に示す伝送システムを構成する送信装置から受信装置に送信される画像の空間解像度と時間解像度との関係を説明するための図である。

図 1 6は、興味の注目点の予測を行う場合の図 6に示す送信処理部を構成する制御部の主要部の構成例を示すプロック図である。

図 1 7は、ユーザが注目する傾向を反映する特徴量の具体例の説明に用いる図である。

図 1 8は、興味の注目点の予測を行う場合の図 6に示す送信処理部を構成する制御部の動作を説明するためのフローチャートである。

図 1 9は、メソヅドが予めィンストールされている処理装置と管理セン夕との間における課金処理のモデルについて説明するためのプロヅク図である。

図 2 0は、メソヅドを管理センタから取得する場合の課金処理のモデルについて説明するためのプロヅク図である。

図 2 1は、課金処理モデルを実際のシステム構成に適用した場合の送信装置、受信装置の主要部の構成を示すプロック図である。

図 2 2は、課金処理モデルを実際のシステム構成に適用した場合の図 2 1に示す送信装置における処理の流れを説明するためフローチャートである。

図 2 3は、課金処理モデルを実際のシステム構成に適用した場合の図 2 1に示す受信装置における処理の流れを説明するためフローチヤ一トである。

図 2 4は、課金処理モデルを実際のシステム構成に適用した場合の図 2 1に示す管理セン夕における処理の流れを説明するためのフローチャートである。図 2 5は、アルゴリズム自動選択のための最適化アルゴリズムによる処理の流れを説明するためのフローチヤ一トである。

図 2 6 A及び図 2 6 Bは、画像から抽出されるオブジェクトとその動きの説明に用いる図である。

図 2 7は、オブジェクト符号圧縮処理の流れを説明するためのフローチヤ一トである。

図 2 8 A及び図 2 8 Bは、時空間モデルで画像を記述することについての説明に用いる図である。

図 2 9は、クラス分類適応予測符号における予測符号化回路の係数を決定するためになされる学習のための構成の一構成例を示すプロック図である。

図 3 0は、クラス分類適応予測符号における予測符号化回路の一例を示すプロヅク図である。

図 3 1は、クラス分類適応予測符号における予測符号化回路の他の例を示すブロック図である。

図 3 2は、クラス分類適応予測符号におけるクラス分類回路の一例を示すプロヅク図である。

図 3 3は、クラス分類適応予測符号における復号装置の一例を示すブロック図である。

図 3 4は、消費電力の自動制御における 1プロセス（ 1クロック）毎の処理の概念を説明すために用いる図である。

図 3 5は、消費電力自動制御アルゴリズムにおいて、処理手法に応じて電力制御を実行するか否かを判断する際の流れを説明するためのフローチャートである図 3 6は、電力制御機能を実行する場合の処理の流れを説明するためのフローチャートである。

図 3 7は、本発明が適用されたコンピュータを示すプロック図である。発明を実施するための最良の形態ここで、本願出願人が既に出願している P C T出願公開番号 W O 0 1 / 1 1 8 8 9 A 1には、データを受信する受信側でマウスなどでクリヅク指示した領域の情報量制御として、特開平 1 0— 1 1 2 8 5 6号公報において開示される空間方向の解像度制御のみでなく、時間方向の解像度制御も行う画像処理装置が開示されている。

更に、 P C T出願公開番号 W O 0 1 / 1 1 8 8 9 A 1には、受信側のュ一ザによりマウスなどでクリックされた位置及びそのクリックの時間間隔より、ユーザの興味ある対象であるオブジェクトを抽出するアルゴリズムが開示されている。更には、過去にユーザの興味の対象となったオブジェクトの特徴よりユーザの嗜好を学習し、自動的に、ユーザの興味の対象となるオブジェクトを予測し、そのオブジェクト画像を高品質にする技術が鬨示されている。

以下、本発明を適用した好ましい形態について、図面を参照しながら説明する本発明が適用されたデータ通信システムは、図 1に示すような構成を備える。ここで、システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない。

図 1に示すデータ通信システムは、例えば携帯電話や P H S (Personal Handy -phone System：登録商標）等からなる少なくとも 2台の端未 1及び端末 2と、これら端末 1又は端末 2との間で電波による信号の送受信を行う無線基地局 3又は 5と、これら基地局 3， 5間を結ぶ電話局等の交換局 4とからなる。なお、無線基地局 3， 5は同一又は異なる無線基地局である。この構成により、端末 1と端末 2との間では、無線基地局 3， 5及び交換局 4等から構成される伝送路を介して、双方がそれそれ相手方に信号を送信し、相手方から送信されてきた信号を受信可能となされている。

本発明において、データの提供やデータ受信に応じて行われる課金、例えば、図 1の管理セン夕 1 0 3を通じて行われる端末 1や端末 2へのデータ提供や端末 1と端末 2との間でのデータ送受信に応じた課金などの流れ及びそのためのシステム構成の詳細については後述する。

また、図 1に示すシステムにおいて、携帯電話や P H S等からなる端末 1及び 2は、電話番号や文字、記号等を入力するためのキー部 8と、音声を入力するためのマイクロホン 1 0と、音声を出力するためのスピーカ 9と、それそれ静止画や動画像を撮影可能な撮像素子及び光学系を有するビデオカメラ部 6と、文字や記号だけでなく画像をも表示可能な表示部 7とを少なくとも備えている。

これら端末 1と端末 2との間では、音声信号の送受信だけでなく、ビデオカメラ部 6にて撮影した画像データを送受信することも可能となされている。したがつて、端末 1と端末 2は、それそれ相手方が撮影した画像を表示部 7に表示可能となる。

ここで、例えば、端末 1が画像データを送信する送信装置となり、当該送信装置、すなわち端末 1から送信された画像デ一夕の受信装置が端末 2となっている場合を一例として説明を行う。また、以下、適宜、端末 1又は端末 2を、それそれ送信装置 1又は受信装置 2と記述する。

この場合、送信装置 1から送信された画像デ一タは、フレームレートの情報と共に、基地局 3， 5及び交換局 4等から構成される伝送路を介して受信装置 2に送られる。受信装置 2では、送信装置 1から送信されてきた画像データを受信し、例えば液晶ディスプレイ等で構成される表示部 7に、その受信されたフレームレート情報で受信された画像データに基づく動画像を表示する。一方、受信装置 2 からは、当該表示部 7に表示される画像の空間解像度及び時間解像度を制御するための制御情報が、伝送路を介して送信装置 1に送信される。すなわち、受信装置 2からは、この受信装置 2のユーザの興味対象領域を送信装置 1側において特定する際に用いられる制御情報（後述する指示データとしてのクリックデータ）が、送信装置 1に送信される。

送信装置 1は、受信装置 2からの制御情報（以下、クリックデータとする）を受信すると、そのクリックデ一夕に基づいて、受信装置 2において表示されることになる画像、例えば、送信装置 1のビデオカメラ 6で撮影した画像の中から受信装置 2のユーザが注目する画像領域（興味対象領域）を特定する。更に、送信装置 1は、その特定した画像領域の空間解像度及び時間解像度が所定の条件を満たしながら変更されるように、受信装置 2に送信する画像データの情報量を制御する。なお、送信装置 1及び受信装置 2として、例えば P H S用の端末を用いた場合、伝送路は 1 8 9 5 . 1 5 0 0〜： L 9 0 5 . 9 5 0 0 M H z帯域の伝送路となり、その伝送レートは 1 2 8 k b p s (Bit Per Second)となる。

次に、図 2に、図 1に示す通信システムを構成する送信装置 1を示す。この送信装置は、例えば撮像素子（C C D ： Charge Coupled Device等）及び光学系からなるビデオカメラ部 6とこのビデオカメラ部 6により得られた撮像信号から画像デーダを生成する画像信号処理回路等で構成された画像入力部 1 1を備える。すなわち、この画像入力部 1 1からは、送信装置 1のユーザが所望の被写体をビデォカメラ部 6で撮影し、さらに画像信号処理回路にて生成された画像データが出力され、その画像データが前処理部 1 2に送られる。

詳細な構成については後述するが、この前処理部 1 2は、大別して背景抽出部 1 3と、オブジェクト抽出部 1 4と、付加情報算出部 1 5とで構成される。この前処理部 1 2のオブジェクト抽出部 1 4は、受信装置 2から送信されてきたクリヅクデータに基づいて、画像入力部 1 1のビデオカメラ部 6が撮影した画像の中で、受信装置 2のユーザが注目している画像領域、すなわち興味対象領域を抽出し、その抽出した興味対象領域に対応する画像デ一夕を送信処理部 1 6に供給する。なお、画像入力部 1 1のビデオカメラ部 6が撮影した画像の中に、受信装置 2のユーザが注目する興味対象領域が複数存在する場合、当該オブジェクト抽出部 1 4は、それら複数の興味対象領域の画像データを送信処理部 1 6に供給する。また、ォブジヱクト抽出部 1 4で抽出された興味対象領域の画像デ一夕は、付加情報算出部 1 5にも供給される。

ここで、ユーザが注目する興味対象領域として、画像内の物体等のオブジェクトを例に挙げている。なお、本発明においてオブジェクトとは、画像をある単位毎に分割し、その単位毎に処理することができる領域のことであり、特に、画像内に存在する物体に着目し、その物体毎に処理を行う場合には、この物体をォブジェクトと定義している。本発明では、画像からクリヅクデ一夕に基づいてォプジェクトデータを抽出し、当該オブジェクト単位で処理を行うよ""うな例を挙げている。なお、このオブジェクトの作成の仕方は、要求される画像の内容によって異なる。

以下、オブジェクト抽出部 1 4において、興味対象領域の一例としてオブジェクト（以下、適宜オブジェクト画像と呼ぶ。）を抽出する場合を例に挙げて説明することにする。なお、上記興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、後述する背景画像部分等であっても良いが、本発明では、興味対象領域としてオブジェクトを例に挙げて説明する。

オブジェクト画像の抽出方法は、画像に対するユーザのクリツクデータに対応する小オブジェクト画像デ一夕を抽出し、小オブジェクト画像デ一夕の連結、非連結によりオブジェクト画像デ一夕を抽出することにより、オブジェクト画像を抽出する方法を本発明の実施例としている。

また、オブジェクト抽出部 1 4では、受信装置 2のユーザの興味が変化し、興味対象領域が変化したような場合、その興味の変化を検出し、当該興味の変化の検出結果に基づいて新たな興味対象領域であるオブジェクト画像を抽出する。ォブジェクト抽出部 1 4において行われるオブジェクト抽出、すなわち興味対象領域の特定処理と興味対象の変化検出の詳細についての説明は後述する。

次に、前処理部 1 2の背景抽出部 1 3は、オブジェクト抽出部 1 4によるォブジェクト抽出結果に基づいて、画像入力部 1 1により供給された画像データから画像の背景部分（興味対象領域以外の画像領域、以下、背景画像と呼ぶ。）に相当する信号（以下、背景画像データと呼ぶ。）を抽出し、その抽出した背景画像データを送信処理部 1 6と付加情報算出部 1 5に供給する。ここで、ァクテイビティが小さく、画像として特別意味を持たないような平坦な画像領域を背景画像としている。もちろん、背景画像は特別な意味を持たない画像だけでなく、ユーザの興味対象となっていないオブジェクト等も含まれるが、説明を簡単にするため、上述のように平坦な画像領域を背景画像として説明する。

付加情報算出部 1 5は、背景抽出部 1 3から供給された背景画像デ一夕に基づいて、画像の撮影時に、画像入力部 1 1の撮影方向が動くことによる背景の動き、例えばパン、チルト画像を表す背景動きベクトルを検出する。また、付加情報算出部 1 5は、オブジェクト抽出部 1 4から供給されたォブジェクトの画像デ一夕 (以下、オブジェクト画像データと呼ぶ）に基づいて、オブジェクトの動きを表すォブジヱクト動きベクトルを検出する。そして、付加情報算出部 1 5は、それら動きベクトルを付加情報として、送信処理部 1 6に供給する。また、付加情報算出部 1 5は、オブジェクト抽出部 1 4から供給されたオブジェクト画像データに基づいて、画像入力部 1 1のビデオカメラ部 6により撮影された画像、すなわちフレーム画像内におけるオブジェクトの位置や形状を表す輪郭等のようなォブジェクトに関連する情報も、付加情報として送信処理部 1 6に供給する。すなわち、オブジェクト抽出部 1 4は、オブジェクト画像を抽出する際に、そのォブジェクトの位置や形状等のオブジェクトに関連する情報も抽出し、付加情報算出部 1 5に供給する。付加情報算出部 1 5は、そのオブジェクトに関連する情報も付加情報として出力するようになっている。

送信処理部 1 6は、受信装置 2から供給されたクリックデータに基づいて、受信装置 2において表示されることになる画像の内の前記ォブジヱクト画像についての空間解像度あるいは時間解像度を高めつつ、伝送路で伝送可能なデータレートの条件を満たすように、オブジェクト抽出部 1 4からのオブジェクト画像デー夕と、背景抽出部 1 3からの背景画像デ一夕と、付加情報算出部 1 5からの付加情報を符号化する。更に、送信処理部 1 6は、それら符号化後のオブジェクト画像デ一夕（以下、オブジェクト符号化デ一夕と呼ぶ。）、背景画像デ一夕（以下、背景符号化データと呼ぶ。）、付加情報（以下、付加情報符号化データと呼ぶ。）を多重化し、その多重化デ一夕を、フレームレート情報と共に伝送路を介して受信装置 2へ送信する。

次に、図 3に示すフローチャートを参照して、図 2に示す送信装置 1.の処理の概要について説明する。

図 3において、先ずステップ S 1として、送信装置 1の画像入力部 1 1では、ビデオカメラ部 6により画像の撮影がなされ、その画像デ一夕が前処理部 1 2に送られる。

次に、ステップ S 2において、送信装置 1は、受信装置 2から送信されてきたクリヅクデ一夕を受信し、そのクリヅクデ一夕を前処理部 1 2に入力する。

画像データとクリックデ一夕を受け取った前処理部 1 2は、ステップ S 3において、背景抽出、オブジェクト抽出、付加情報算出の前処理を行い、当該前処理にて得られた背景画像データ、オブジェクト画像デ一タ、付加情報を送信処理部 1 6に送る。ここで、オブジェクト抽出には、興味対象の変化検出も含む。

送信処理部 1 6では、ステップ S 4の処理として、伝送路で伝送可能なデータレートの条件を満たすように、オブジェクト画像データと背景画像データ及び付加情報のデータ量を計算し、そのデ一夕量に応じて、それらオブジェクト画像デ一夕と背景画像データ、付加情報を、後述するように符号化して多重化する。その後、当該多重化デ一夕をフレームレート情報と共に伝送路を介して受信装置 2 へ送信する。これ以後、ステップ S Iに戻り、以下、同様の処理が繰り返される。

次に、図 1に示す通信システムを構成する受信装置 2を図 4·に示す。

伝送路を介して、送信装置 1から送信されてくる多重化データは、図 4に示す受信装置 2の受信処理部 2 1で受信される。受信処理部 2 1は、受信した多重化デ一夕から、それぞれ背景符号化デ一夕、オブジェクト符号化データ及び付加情報符号化デ一夕を分離して復号し、その復号された背景画像データ、オブジェクト画像デ一夕及び付加情報を合成処理部 2 2に送る。

合成処理部 2 2は、受信処理部 2 1から供給された復号後の背景画像デ一夕、オブジェクト画像データ、及び付加情報を用いて画像を合成し、その合成された画像の信号を画像出力部 2 3に供給する。また、合成処理部 2 2は、クリックデ一夕入力部 2 4から供給されるクリックデ一夕に基づき、合成する画像の空間解像度及び時間解像度を制御するようになされている。

画像出力部 2 3は、供給された画像データに基づいて、表示部 7の例えば液晶ディスプレイ等を駆動するための駆動信号を生成して当該液晶ディスプレイ等に、上述の多重化データと共に受信されたフレームレート情報に基づくフレームレ一トで送ることにより、合成処理部 2 2にて合成された画像を表示部 7に表示させる。

クリックデ一夕入力部 2 4は、表示部 7上の画像の座標位置を指定するためのポィンティングデバイスとしての機能を有するキー部 8をユーザが操作した時に、そのユーザによるキー部 8の操作に応じたクリック位置、すなわち座標位置及びクリック時刻を表すクリックデ一夕を発生する。すなわち、表示部 7に表示されている画像のうちの所望の画像部分である興味対象領域を、ユーザがキー部 8をクリック操作することにより指定すると、クリックデ一夕入力部 2 4は、そのクリック位置の座標情報及びそのクリヅク時刻を表すクリックデ一夕を発生する。クリヅクデ一夕入力部 2 4により発生されたクリヅクデ一夕は、合成処理部 2 2 とクリックデ一夕送信部 2 5に送られる。

クリックデ一夕送信部 2 5は、クリックデータ入力部 2 4からクリックデータを受け取ると、そのクリヅクデ一夕を伝送路を介して送信装置 1に送信する。次に、図 5のフローチャートを参照して、図 4に示す受信装置 2の処理の概要について説明する。

図 5において、受信装置 2の受信処理部 2 1では、先ず、ステヅプ S 1 1として、送信装置 1から伝送路を介して送信されてくる多重化デ一夕を受信する。次に、受信処理部 2 1では、ステヅプ S 1 2において、その多重化データから、背景符号化データとオブジェクト符号化データ及び付加情報符号化デ一夕を分離し、さらにそれら分離した符号化デ一夕を復号する。復号された背景画像データとオブジェクト画像デ一夕及び付加情報は、合成処理部 2 2に送られる。

受信装置 2のクリックデータ入力部 2 4では、ステップ S 1 3において、ユーザによるキー部 8のクリック操作に基づくクリックデ一夕を取得して合成処理部 2 2に送ると共に、そのクリヅクデータをクリックデ一夕送信部 2 5に送り、当該クリックデー夕送信部 2 5から送信装置 1に送信する。

次に、合成処理部 2 2では、ステップ S 1 4において、受信処理部 2 1から供給された背景画像データとオブジェクト画像データ及び付加情報と、クリックデ一夕入力部 2 4から供給されたクリヅクデータとに基づいて、画像を合成すると共に、その合成される画像の空間解像度及び時間解像度を制御する。

その後、画像出力部 2 3は、ステップ S 1 5において、合成処理部 2 2にて合成された画像を、多重化データと共に受信されたフレームレート情報に基づいて表示部 7の液晶ディスプレイ等に表示させる。

これ以後、ステヅプ S 1 1に戻り、以下、同様の処理が繰り返される。

次に、図 2に示す送信装置 1を構成する送信処理部 1 6の具体的な例を図 6に示す。

図 6に示す送信処理部 1 6には、図 2に示した前処理部 1 2からの背景画像デ一夕、オブジェクト画像デ一夕及び付加情報が供給される。これら背景画像デー夕、オブジェクト画像データ及び付加情報は、符号化部 3 1と制御部 3 5に入力される。

符号化部 3 1は、供給された背景画像データ、オブジェクト画像デ一夕及び付加情報を後述するように階層符号化し、その結果得られる各符号化デ一夕を M U X (マルチプレクサ） 3 2に供給する。

M U X 3 2は、制御部 3 5による制御の元で、符号化部 3 1から供給された背景符号化データ、オブジェクト符号化データ、付加情報符号化データを選択し、多重化データとして送信部 3 3に供給する。

送信部 3 3は、 M U X 3 2からの多重化デ一夕を上述のフレームレート情報と共に後段の伝送路の伝送規格に応じて変調等し、その伝送路を介して受信装置 2 に送信する。

また、データ量計算部 3 4は、 M U X 3 2が送信部 3 3に出力する多重化デ一夕を監視しており、そのデータレートを算出し、制御部 3 5に供給する。

制御部 3 5は、データ量計算部 3 4にて算出されたデータレートが、伝送路の伝送レートを越えないように、 M U X 3 2による多重化デ一夕の出力を制御すると共に、伝送路を介して受信装置 2から送信されて受信されたクリックデ一夕を受け取り、そのクリヅクデ一夕に基づいて、 M U X 3 2における符号化デ一夕の多重化を制御する。

次に、図 6に示す符号化部 3 1の具体的構成例を図 7に示す。

図 7に示す符号化部 3 1において、背景画像デ一夕は、差分計算部 4 1 Bに入力される。差分計算部 4 1 Bは、ローカルデコーダ 4 4 Bから供給される、現時点で処理しょうとしている画像フレーム（以下、適宜、現フレームと呼ぶ。）に含まれる背景画像デ一夕から、既に処理した 1 フレーム前の背景画像データを減算し、その減算結果としての背景画像の差分デ一夕（以下、背景画像差分デ一夕と呼ぶ。）を階層符号化部 4 2 Bに供給する。

階層符号化部 4 2 Bは、差分計算部 4 1 Bからの背景画像差分データを後述するように階層符号化し、その符号化により得られたデ一夕、すなわち背景符号化データを記憶部 4 3 Bに供給する。

記憶部 4 3 Bは、階層符号化部 4 2からの背景符号化デ一夕を一時記憶する。記憶部 4 3 Bに記憶された背景符号化データは、背景符号化データとして図 6に示した M U X 3 2に送られる。

さらに、記憶部 4 3 Bに記憶された背景符号化データは、ローカルデコーダ 4 4 Bに供給される。ローカルデコーダ 4 4 Bでは、その背景符号化データを局所復号して、元の背景画像データを復号し、その復号後の背景画像データを差分計算部 4 1 Bに供給する。このように、ローカルデコーダ 4 4 Bによって復号された背景画像デ一夕は、差分計算部 4 1 Bにおいて次のフレームの背景画像デ一夕との差分データを求めるのに用いられる。

また、図 7に示す符号化部 3 1において、オブジェクト画像デ一夕は、差分計算部 4 1 Fに供給される。差分計算部 4 1 Fは、ローカルデコーダ 4 4 Fから供給される、現時点で処理しょうとしている画像フレーム（現フレーム）に含まれるォブジェクト画像データから、既に処理した 1 フレーム前のオブジェクト画像データを減算し、その減算結果としてのオブジェクトの差分データ（以下、ォブジェクト画像差分データと呼ぶ。）を、階層符号化部 4 2 Fに供給する。

階層符号化部 4 2 Fは、差分計算部 4 1 Fからのオブジェクト画像差分デ一夕を後述するように階層符号化し、その符号化により得られたデータ（オブジェクト符号化データ）を、記憶部 4 3 Fに供給する。

記憶部 4 3 Fは、階層符号化部 4 2からのオブジェクト符号化デ一夕を一時記憶する。記憶部 4 3 Fに記憶されたオブジェクト符号化デ一夕は、図 6に示した M U X 3 2に送られる。

さらに、記憶部 4 3 Fに記憶されたオブジェクト符号化デ一夕は、ローカルデコーダ 4 4 Fに供給される。当該ローカルデコーダ 4 4 Fでは、そのオブジェクト符号化データを局所復号して、元のオブジェクト画像データを復号し、その,復号後のオブジェクト画像デ一夕を差分計算部 4 1 Fに供給する。このように、口一カルデコーダ 4 4 Fによって復号されたオブジェクト画像データは、差分計算部 4 1 Fにおいて、次のフレームのオブジェクト画像データとの差分データを求めるのに用いられる。

なお、オブジェク卜が複数（オブジェクト # 1， # 2， # 3 , ···) 存在する場合は、それら複数のオブジェクトの画像データそれそれに対して、差分計算部 4 1 F、階層符号化部 4 2 F、記憶部 4 3 F及びローカルデコーダ 4 4 Fにおいて上述したような差分計算、階層符号化、記憶、ローカルデコードの処理を行う。また、図 7に示す符号化部 3 1において、付加情報は、 V L C (可変長符号化）部 4 5に供給される。 0部4 5では、付加情報を可変長符号化する。ここで、可変長符号化の手法としては冗長度を削減することによりデータを圧縮する手法であれば良く、ランレングス符号化、ハフマン符号化などを用いることができる。この可変長符号化された付加情報は、前記付加情報符号化データとして図 6に示した M U X 3 2に送られる。

次に、図 8を参照して、図 7の符号化部 3 1において行われる階層符号化と、受信側において階層符号化に対応して行われる復号について説明する。

ここで、図 7の符号化部 3 1は、階層符号化として、例えば下位側の階層における水平方向 2画素及び垂直方向 2画素からなる 4つの画素の平均値（画素値の平均）を、当該下位階層よりも一つ上の上位階層における 1画素の画素値とするような処理が、例えば 3階層分にわたって行われる。なお、ここで説明する画素値とは、階層符号化の前段の処理として行われる前記差分計算により得られた差分値、すなわち画素毎の差分値である。もちろん、階層符号化の前段で差分計算を行わない場合は、通常の画素値となる。

この場合、最下位階層（第 1階層）の画像として、例えば図 8 Aに示すように水平方向 4画素及び垂直方向 4画素からなる画像（以下、 4 X 4画素と呼ぶ。）を考えると、階層符号化では、当該 4 X 4画素のうち左上側の水平方向 2画素及び垂直方向 2画素（以下、 2 X 2画素と呼ぶ。）を構成する 4つの画素 h 0 0， h 0 1 , h 0 2 , h 0 3の平均値が演算され、この平均値が第 2階層の左上の 1 画素 m 0の画素値とされる。同様に、第 1階層の 4 X 4画素のうち右上側の 2 X 2画素 h 1 0 , h 1 1 , h 1 2 , h 1 3の平均値は、第 2階層の右上の 1画素 m 1の画素値となされ、第 1階層の 4 X 4画素のうち左下側の 2 X 2画素 h 2 0， h 2 1 , h 2 2 , h 2 3の平均値は、第 2階層の左下の 1画素 m 2の画素値となされ、第 1階層の 4 X 4画素のうち右下側の 2 X 2画素 h 3 0 , h 3 1 , h 3 2 ₅ h 3 3の平均値は第 2階層の右下の 1画素 m 3の画素値となされる。階層符号化では、さらに、第 2階層の 2 X 2画素を構成する 4つの画素 m O， m l， m 2 , m 3の平均値を求め、この平均値が第 3階層（最上位階層）の 1つの画素 qの画素値となされる。

図 7の符号化部 3 1では、以上のような階層符号化を行う。なお、このような階層符号化によれば、最上位階層（第 3階層）の画像の空間解像度は最も低くなり、階層が低くなるにつれて画像の空間解像度が向上し、最下位階層（第 1階層）の画像の空間解像度は最も高くなる。ところで、以上の画素 h 00乃至 h 0 3、 h 1 0乃至 h 1 3、 h 20乃至 h 2 3、 h30乃至 h 33、 1110乃至1113、 qを全部送信するようにした場合は、最下位階層の画像だけを送信する場合に比較して、より上位側の階層である第 2階層の画素 m0乃至 m3と第 3階層の画素 qの分だけ、デ一夕量が増加することとなる。

そこで、送信するデ一夕量を減らしたい場合には、例えば図 8 Bに示すように、第 2階層の画素 m 0乃至 m 3のうちの例えば右下の画素 m 3に替えて第 3階層の画素 qを埋め込み、それら画素 mO， m l , m2と qからなる第 2階層のデ一夕と、第 1階層のデ一夕とを送信するようにする。これによれば、第 3階層分のデ一夕量を減らすことができる。

また、図 8 Bの場合よりも更にデ一夕量を減らしたいときには、図 8 Cに示すように、第 2の階層の画素 mOを、それを求めるのに用いた第 1階層の 2 X 2画素 h 00乃至 h 03のうちの例えば右下の画素！ 103に替え、同様に、第 2の階層の画素 m 1を、それを求めるのに用いた第 1階層の 2 X 2画素 h 1 0乃至 h 1 3のうちの例えば右下の画素 h 1 3に替え、また、第 2の階層の画素 m 2を、それを求めるのに用いた第 1階層の 2 X 2画素 h 2 0乃至 h 23のうちの例えば右下の画素 h2 3に替え、さらに、図 8 Bのようにして第 2階層の画素 mO乃至 m 3の右下の画素に埋め込まれた第 3階層の画素 qを、第 1階層の 2 X 2画素 h 3 0乃至 h 33のうちの例えば右下の画素 h 33に替えて送信するようにする。これによれば、第 3階層と第 2階層分のデータ量を減らすことができる。すなわち、図 8 Cに示す例では、送信する全画素数は 4 X 4画素の 1 6画素分となり、図 8 Aに示した最下位階層（第 1階層）の画素数と変わらない。したがって、この場合、第 1階層から第 3階層までの各階層に相当する画素デ一夕を送信可能となるだけでなく、送信するデータ量の増加を最も抑えることが可能となる。

なお、図 8 Bにおいて画素 qと替えられた第 2階層の画素 m3と、図 8 Cにおいて画素 mO， m 1 , m2及び qとそれそれ替えられた第 1階層の画素 h 03 , h 1 3 , h 23 , h33は、以下のようにして復号することができる。

すなわち、画素 qの値は、画素 mO乃至 πι3の各画素値の平均値であるから、 q = (m 0 +m 1 +m 2 +m3 ) / 4の式が成り立つ。したがって、 m3 = 4 x q - (m 0 +m 1 +m 2 ) の式により、第 3層の画素 q及び第 2階層の画素 m 0 乃至 m2を用いて、第 2層の画素 m3を求める（復号する）ことができる。

また、画素 m0の値は、画素 hO 0乃至 hO 3の平均値であるから、 m0 = (hO 0 +h0 1 +h02 +h03) / 4の式が成り立つ。したがって、 hO 3 = 4 xm 0 - (h00 +h0 1 + h02) の式により、第 2階層の画素 mO及び第 1階層の画素 h 00乃至 h 02を用いて、第 1階層の画素 h 03を求めることができる。同様にして、各画素 h 13 , h 23 , h33も求めることができる。以上のように、ある階層において送信されない画素は、その階層において送信される画素と、その 1つ上位の階層において送信される画素とから復号することができる。

次に、図 9に示すフローチャートを参照して、図 6に示す送信処理部 1 6において行われる送信処理について説明する。

最初に、送信処理部 1 6の制御部 35は、ステップ S 2 1において、受信装置 2からクリヅクデ一夕が送信されてきたか否かを判定する。ステヅプ S 2 1において、受信装置 2からクリックデ一夕が送信されてきていないと判定された場合、すなわち制御部 35がクリヅクデ一夕を受け取つていない場合、制御部 35は、ステップ S 22として、 MUX 32を制御し、受信装置 2において通常の時間解像度、例えばデフォルト設定されている時間解像度で画像の表示が可能なように、背景、オブジェクト、及び付加情報の各符号化デ一夕を選択させて多重化させる _c すなわち、通常の時間解像度として例えば 30フレーム/秒が設定されている場合、受信装置 2では 30フレーム/秒で画像を表示することになり、このときの MUX 32は、当該 30フレーム/秒の時間解像度を維持しつつ、多重化デー夕を伝送路の伝送レートで送信したときに、受信装置 2側において表示される画像の空間解像度が最も高くなるように、背景、オブジェクト、及び付加情報の各符号化デ一夕を選択して多重化する。

より具体的に説明すると、例えば上述のように 3階層の階層符号化が行われている場合において、 30フレーム/秒で画像を表示するのに、伝送路の伝送レートでは第 3階層のデ一夕しか送信することができないとき、当該 MPX 32は、この第 3階層の画像を表示するための背景、ォブジヱクト及び付加情報の各符号化データを選択する。この場合の受信装置 2では、 3 0フレーム/秒の時間解像度で且つ、水平方向及び垂直方向の空間解像度が何れも元の画像である第 1階層の画像の 1 / 4となった画像が表示されることになる。

次に、当該送信処理部 1 6では、ステップ S 2 3において、 M U X 3 2からの多重化データを、上述の設定されているフレームレート情報と共に送信部 3 3から伝送路を介して送信し、その後、ステヅプ S 2 1に戻る。 - また、ステヅプ S 2 1において、制御部 3 5が受信装置 2からクリックデータが送信されてきたと判定した場合、すなわち制御部 3 5がクリックデータを受け取った場合、制御部 3 5は、ステップ S 2 4として、そのクリックデータに基づいて、ユーザが受信装置 2のクリヅクデ一夕入力部 2 4を操作することにより指定した注目点の座標であるクリック位置及びクリック時刻を認識する。

次に、詳細については後述するが、制御部 3 5は、ステヅプ S 2 5の処理として、注目点の座標、すなわちクリヅク位置及びクリック時刻に基づいて、受信装置 2側のユーザが注目している興味対象領域を特定し、その特定した興味対象領域を、受信装置 2側で表示される画像のうちで空間解像度を優先的に向上させる優先範囲として設定し、その優先範囲内の画像とそれに対応する付加情報を検出する。なお、半発明において、優先範囲内の画像は、オブジェクト画像に対応し、優先範囲外の画像は、例えば背景画像のような興味対象領域以外の画像に対応する。

制御部 3 5は、ステヅプ S 2 6として、 M U X 3 2を制御し、受信装置 2において、上記優先範囲内の画像が、より高い空間解像度で表示されるように、その優先範囲内領域の画像（オブジェクト画像）と当該優先範囲外の画像（背景画像）及び付加情報の符号化データを選択させ、多重化させる。すなわち、制御部 3 5は、受信装置 2からのクリックデータを受信した場合、時間解像度を犠牲にして、優先範囲内の画像の空間解像度を向上させるように、 M U X 3 2を制御する。

上述の説明では、制御部 3 5は、優先範囲内の画像の空間解像度を向上するように制御したが、優先範囲内の画像の時間解像度を向上する、すなわち、優先範囲内の画像のフレームレートが向上するように制御してもよい。このとき、制御部 3 5は、空間解像度を犠牲にするようにしてもよいが、優先範囲外である背景画像データに対応する画像を静止画像とすることにより全体の情報量制御を行うようにしてもよい。

これにより、 M U X 3 2は、例えば、優先範囲内の画像については、第 3階層の他、第 2階層の画像を表示するための符号化デ一夕を優先的に選択して多重化し、その多重化デ一夕を出力する。

さらに、制御部 3 5は、ステヅプ S 2 6として、多重化デ一夕として選択する付加情報に、優先範囲の位置と大きさ等の情報（以下、適宜、高解像度情報という。）を挿入するように、 M U X 3 2を制御し、ステヅプ S 2 3に進む。

ステヅプ S 2 3に進むと、送信部 3 3では、 M U X 3 2が出力する多重化デー夕を、フレームレート情報と共に伝送路を介して送信した後、ステップ S 2 1に戻る。

ここで、説明を簡単にするために、ステップ S 2 6において、優先範囲外の画像、例えば背景画像については、第 3階層の画像を表示するための符号化デ一夕を、ステップ S 2 2における場合と同様に選択し続けるとすると、制御部 3 5では、ステップ S 2 6の場合の多重化デ一夕のデータ量は、ステヅプ S 2 2の場合に比較して、空間解像度を高めた優先範囲内の画像、オブジェクト画像についての第 2階層のデ一夕の分だけデータ量が増加することになる。

このとき、例えば 3 0フレーム/秒で画像を表示することを考えた場合、前述したように、伝送路の伝送レートでは、第 3階層のデータしか送信することができないから、ステップ S 2 6で得られた第 2階層のデータを含む多重化データは、画像を 3 0 フレームノ秒で表示可能なデータにはならない。

このような場合、送信部 3 3から例えば 3 0フレーム/秒より低いレート、最も極端な例では、 0フレーム/秒、すなわち静止画像となる多重化データを送信する。これにより、受信装置 2では、上記優先範囲内の画像について、水平方向及び垂直方向の空間解像度がいずれも、元の画像（第 1階層の画像）の 1 / 2となった画像、すなわち、水平方向及び垂直方向の空間解像度がいずれも、いままで表示されていた第 3階層の画像の 2倍になった画像（第 2階層の画像）が表示されることになる。但し、このとき受信装置 2に表示される画像の時間解像度は 3 0フレームノ秒未満となる。

以上のようにして、優先範囲内の画像について第 2階層のデータが送信された後、ステヅプ S 2 1において、前回に続いて受信装置 2からクリックデ一夕が送信されてきたと判定された場合、すなわち、ユーザがクリックデ一夕入力部 2 4 を操作し続け、以前と同一の或いはその近傍の注目点を指定し続けている場合は、ステップ S 2 4において前回と同一或いはその近傍の注目点が認識され、ステヅプ S 2 5において前回と同一の優先範囲が設定され、ステヅプ S 2 6に進む。これにより、制御部 3 5は、ステップ S 2 6において M U X 3 2を制御し、受信装置 2にて優先範囲内の画像がより高い空間解像度で表示されるように、符号化デ一夕を選択させ、多重化させる。

この場合の優先範囲内の画像については、既に、第 3階層の他、第 2階層の画像及びそれらの付加情報の符号化デ一夕が優先的に選択されるようになているので、ここでは更に第 1階層の画像及び付加情報の符号化データも優先的に選択され、多重化デ一夕として出力される。また、ステップ S 2 6において上述したように高解像度情報が付加情報に挿入され、ステップ S 2 3において M U X 3 2 からの多重化データが、フレームレート情報と共に送信部 3 3から伝送路を介して送信された後、ステップ S 2 1に戻る。

この場合、受信装置 2では、優先範囲内の画像が元の画像（第 1階層の画像）と同一の空間解像度の画像、すなわち水平方向及び垂直方向の空間解像度が、何れも最初に表示されていた第 3階層の画像の 4倍になった画像（第 1階層の画像）が表示されることになる。但し、その時間解像度は上記 3 0フレ一ムノ秒よりも低い画像、 0フレーム Z秒となった場合は静止画となされる。

以上から、受信装置 2のユーザがクリヅクデータ入力部 2 4を操作し続けて、例えば同一の注目点、すなわち興味対象領域を指定し続けると、注目点を含む優先範囲内の画像、すなわち興味対象領域、例えばオブジェクト画像について、空間解像度をより向上させるためのデ一夕が優先的に送信されるので、当該注目点を含む優先範囲内の画像の空間解像度は徐々に向上し、その結果、優先範囲内の画像は、より鮮明に表示されるようになる。すなわち、受信装置 2側においてュ一ザが注目している部分の画像である興味対象領域、例えばオブジェクト画像は、より鮮明に表示される。

以上のように、クリックデータに基づく注目点によって特定された優先範囲内の画像である興味対象領域、例えばオブジェクト画像の空間解像度あるいは時間解像度が、伝送路の伝送レートに応じた解像度の範囲内で変更されるように、画像デ一夕の送信が制御されるので、限られた伝送レート内において、受信装置 2 に表示される注目点に対応する画像の空間解像度を、より向上させることができる。すなわち、画像の時間解像度を犠牲にして、優先範囲内のオブジェクト画像の空間解像度を向上させることで、限られた伝送レート内で受信装置 2に表示される当該オブジェクト画像をより鮮明に表示させる、すなわち、空間解像度をより向上させることが可能となる。

次に、図 4に示す受信装置 2を構成する受信処理部 2 1の具体的な構成を図 1 0を参照して説明する。

この図 1 0において、伝送路を介して供給された多重化データは、受信部 5 1 にて受信され、復調等された後、 D M U X (デマルチプレクサ） 5 2に供給される。

D M U X 5 2は、受信部 5 1から供給された多重化データを、背景符号化デ一夕、オブジェクト符号化データ及び付加情報符号化デ一夕に分離し、復号部 5 3 に供給する。

復号部 5 3は、背景、オブジェクト、又は付加情報の各符号化データ（本実施の形態では前記差分値を符号化したデータ）を、前記符号化時とは逆の処理によりそれそれ元のデータに復号し、図 4に示した合成処理部 2 2に出力する。ここで、図 1 1に図 1 0に示す復号部 5 3の具体的な構成例を示す。

図 1 1において、背景符号化デ一夕である階層符号化されている背景画像差分データは、加算器 6 1 Bに供給される。加算器 6 1 Bには、さらに記憶部 6 2 B に記憶された、既に復号されている 1フレーム前の背景画像データも供給されるようになつている。加算器 6 1 Bは、入力された背景画像差分データに、記憶部 6 2 Bからの 1 フレーム前の背景画像データを加算することで、現フレームで必要な階層の背景画像デ一夕を復号する。この復号された背景画像データは、記憶部 6 2 Bに供給されて記憶された後に読み出され、加算器 6 1 Bに供給されるとともに図 4に示す合成処理部 2 2に送られる。

オブジェクト符号化データである階層符号化されたオブジェクト画像差分デー夕は、加算器 6 1 Fに供給される。加算器 6 1 Fには、さらに記億部 6 2 Fに記憶された、既に復号されている 1フレーム前のオブジェクト画像データも供給される。加算器 6 1 Fは、上記入力されたオブジェクト画像差分データに、記憶部

6 2 Fからの 1フレーム前のォブジェクト画像デ一夕を加算することで、現フレームで必要な階層のオブジェクト画像データを復号する。この復号されたォブジェクト画像データは、記憶部 6 2 Fに供給されて記憶された後に読み出され、加算器 6 1 Fに供給されるとともに、図 4に示す合成処理部 2 2に送られる。なお、ォブジヱクトが複数存在する場合は、加算器 6 1 F及び記憶部 6 では、複数のオブジェク卜の差分データそれぞれに対して上述したように階層復号がなされる。

付加情報符号化データである、前記可変長符号化された付加情報は、逆 V L C 部 6 3に入力し、ここで可変長復号される。これにより、元の付加情報に復号され、合成処理部 2 2に供給される。

なお、前述した図 7に示すローカルデコーダ 4 4 Bは、加算器 6 1 B及び記憶部 6 2 Bと同様に構成され、また、図 7のローカルデコーダ 4 4 Fは、加算器 6 1 F及び記憶部 6 2 Fと同様に構成されている。

次に、図 4に示す受信装置 2を構成する合成処理部 2 2の具体的な構成を図 1 2に示す。

この図 1 2において、図 1 0に示した復号部 5 3から出力された背景画像デ一夕は背景書き込み部 7 1に入力し、オブジェクト画像データはオブジェクト書き込み部 7 2に入力し、付加情報は背景書き込み部 7 1とオブジェクト書き込み部

7 2及び合成部 7 7に入力する。

背景書き込み部 7 1は、供給された背景画像データを、背景メモリ 7 3に順次書き込む。ここで例えば、前記送信装置 1のビデオカメラ部 6での撮影時に、パンニングゃチルティングされて撮影が行われることによって背景に動きがあるような場合、背景書き込み部 7 1は、付加情報に含まれる背景動きベクトルに基づいて背景の位置合わせを行った状態で、背景メモリ 7 3への背景画像データの書き込みを行うようになされている。したがって、背景メモリ 7 3は、 1フレーム分の画像よりも空間的に広い画像のデ一夕を記憶することができるようになされている。

オブジェクト書き込み部 7 2は、供給されたオブジェクト画像データを、ォブジェクトメモリ 7 5に、順次書き込む。なお、例えばオブジェクトが複数存在する場合、オブジェクト書き込み部 7 2は、複数のオブジェクトの画像デ一夕それそれを、各オブジェクト毎にオブジェクトメモリ 7 5に書き込む。また、ォブジェクト書き込み部 7 2は、同一のオブジェクトである後述する同一のオブジェクト番号が付されているォブジヱクトの画像データの書き込みを行う場合、既にォブジェクトメモリ 7 5に書き込まれているオブジェクト画像データに代えて、新しいオブジェクト画像デ一タ、すなわち、新たに、オブジェクト書き込み部 7 2 に供給されるォブジェクト画像データを書き込むようになつている。

さらに、オブジェクト書き込み部 7 2は、空間解像度の高いオブジェクトを、オブジェクトメモリ 7 5に書き込んだ場合、そのオブジェクトを構成する各画素に対応してォブジェクトフラグメモリ 7 6のァドレスに記憶されるオブジェクトフラグを" 0 " から" 1 " にするようになっている。すなわち、オブジェクト書き込み部 7 2は、オブジェクトメモリ 7 5にォブジェクト画像デ一夕を書き込む際に、オブジェクトフラグメモリ 7 6を参照するようになつており、オブジェクトフラグが" 1 " になっているオブジェクト、つまり既に空間解像度の高いォブジェクトの画像データが記憶されているオブジェクトメモリ 7 5には、空間解像度の低いォブジェクト画像データの書き込みは行わないようになつている。したがって、オブジェクトメモリ 7 5は、基本的に、オブジェクト書き込み部 7 2にオブジェクト画像データが供給されるたびに、そのオブジェクト画像データが書き込まれるが、既に空間解像度の高いォブジェクト画像データが記憶されているオブジェクトメモリ 7 5には、空間解像度の低いオブジェクト画像データの書き込みを行わない。その結果、オブジェクトメモリ 7 5においては、オブジェクト書き込み部 7 2に空間解像度の高いォブジヱクト画像データが供給される毎に、空間解像度の高いォブジヱクト画像の数が増加していくことになる。

合成部 7 7は、背景メモリ 7 3に記憶された背景画像データから、現時点で表示を行うべきフレームである現フレームの背景画像を、付加情報に含まれる背景動きべクトルに基づいて読み出すとともに、その背景画像上 Γ ブジェクトメモリ 7 5に記憶されたオブジェクト画像を、付加情報に含まれるオブジェクト動きベクトルに基づいて合成し、これにより、現フレームの画像を構成して、表示メモリ 7 8に供給するようになっている。

さらに、合成部 7 7は、図 4のクリックデ一夕入力部 2 4から、クリヅクデー夕を受信した場合、そのクリツクデ一夕に含まれる注目点の座標位置を含むォブジェクト画像デ一夕を、オブジェクトメモリ 7 5から読み出し、サブウインドウメモリ 7 9に供給するようになっている。

表示メモリ Ί 8は、いわゆる V R A M (Video Read Only Memory)として機能するメモリであり、合成部 7 7からの現フレームの画像を一時記憶した後に読み出して図 4の画像出力部 2 3に供給する。また、サブウィンドウメモリ 7 9は、合成部 7 7からのォブジェクト画像デ一夕を一時記憶した後読み出し、図 4に示す画像出力部 2 3に供給する。このとき、当該画像出力部 2 3により駆動される表示部 7上には、現フレームの画像と共に後述するサブウィンドウが表示され、ォブジェクト画像は当該サブウインドウ上に表示される。

次に、図 1 3のフローチャートを参照して、図 1 2に示す合成処理部 2 2で行われる合成処理について説明する。

先ず最初に、オブジェクト書き込み部 7 2は、ステヅプ S 3 1において、図 1 0の復号部 5 3から供給されたオブジェクト画像データを、オブジェクトフラグメモリ 7 5に記憶されたォブジェクトフラグに基づいて、上述したようにして書き込む。

すなわち、オブジェクト書き込み部 7 2は、オブジェクトフラグメモリ 7 6に記憶されているオブジェクトフラグを参照し、当該オブジェクトフラグが" 0 " になっている画素に対応するォブジェクトメモリ 7 5のアドレスには、そこに供給されるオブジェクト画像データを書き込み、ォブジヱクトフラグが" 1 " になつている画素に対応するォブジェクトメモリ 7 5のァドレスには、そこに供給されるオブジェクト画像デ一夕が、空間解像度の高いものである場合にのみ、その空間解像度の高いオブジェクト画像デ一夕を書き込む。なお、オブジェクトメモリ 7 5の既にオブジェクト画像データが記憶されているアドレスに、オブジェクト画像デ一夕を書き込む場合には、その書き込みは、上書きする形で行われる。

その後、ステヅプ S 3 2に進み、オブジェクト書き込み部 7 2では、付加情報に、高解像度情報が含まれているかどうかが判定される。ステヅプ S 3 2において、付加情報に、高解像度情報が含まれていると判定された場合、すなわち受信装置 2のユーザが図 4のクリツクデ一夕入力部 2 4を操作することにより、送信装置 1にクリックデ一夕が送信され、これにより、前述したようにして送信装置 1から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデ一夕が送信されてきた場合、ステップ 3 3に進み、オブジェクト書き込み部 7 2において、オブジェクトフラグメモリ 7 6の所定のオブジェクトフラグが" 1 " にされる。

すなわち、送信装置 1から、優先範囲内の画像について空間解像度の高いォブジヱクト画像のデ一夕が送信されてきた場合には、ステップ S 3 1において、ォブジェクトメモリ 7 5に、その空間解像度の高いオブジェクト画像デ一夕が書き込まれる。このため、ステヅプ S 3 3では、その空間解像度の高いオブジェクト画像を構成する画素についてのオブジェクトフラグが" 1 " とされる。

その後、ステップ S 3 4に進み、合成部 7 7は、優先範囲内にあるオブジェクト画像データを、オブジェクトメモリ 7 5から読み出し、サブウィンドウメモリ 7 9に書き込む。

すなわち、ステップ S 3 2において、付加情報に高解像度情報が含まれていると判定される場合というのは、上述したようにユーザがクリックデータ入力部 2 4を操作することにより、送信装置 1にクリックデータが送信され、これにより、上述したようにして送信装置 1から優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合である。また、送信装置 1に送信されるクリックデータは、合成部 7 7にも供給される。そこで、合成部 7 7は、クリックデータを受信すると、ステップ S 3 4において、そのクリヅクデ一夕に含まれる注目点の座標及びクリック時刻から、優先範囲を認識し、送信装置 1から送信されてくる優先範囲内にある空間解像度の高いオブジェクトを、オブジェクトメモリ 7 5から読み出し、サブウインドウメモリ 7 9に書き込む。

そして、ステップ S 3 5に進み、合成部 7 7は、背景メモリ 7 3に記憶された背景画像データの中から、現フレームの背景画像データを、付加情報に含まれる背景動きべクトルに基づいて読み出すとともに、現フレームに表示すべきォブジェクト画像デ一夕をオブジェクトメモリ 7 5から読み出し、さらに、現フレームの背景画像データと、オブジェクトメモリ 7 5から読み出したオブジェクト画像デ一夕とを、付加情報に含まれるォブジヱクト動きべクトルに基づいて合成する _c これにより、現フレームの画像を構成して、表示メモリ 7 8に書き込む。すなわち、合成部 7 7は、例えば表示メモリ 7 8に対して、背景画像デ一夕を書き込み、その後、オブジェクト画像データを上書きすることで、背景画像とオブジェクト画像を合成した現フレームの画像データを、表示メモリ 7 8に書き込む。

以上のようにして、表示メモリ 7 8に書き込まれた現フレームの画像デ一夕、及びサブウインドウメモリ 7 9に書き込まれたオブジェクト画像デ一夕は、図 4 の画像出力部 2 3に供給され、表示部 7に表示されることになる。

一方、ステップ S 3 2において、付加情報に高解像度情報が含まれていないと判定された場合、すなわち受信装置 2のユーザがクリックデ一夕入力部 2 4を操作していない場合は、ステップ S 3 3及び S 3 4の処理がスキップされ、ステツプ S 3 5に進み、上述したように合成部 7 7において背景メモリ Ί 3から現フレームの背景画像デ一夕が読み出されるともに、オブジェクトメモリ 7 5から必要なォブジェクト画像データが読み出され、現フレームの背景画像とオブジェクトメモリ 7 5から読み出したオブジェクト画像とが、付加情報にしたがって合成される。これにより、現フレームの画像データが構成され、表示メモリ 7 8に書き込まれる。そして、ステヅプ S 3 1に戻り、以下、同様の処理が繰り返される。以上のような合成処理によれば、受信装置 2のユーザがクリックデ一夕入力部 2 4を操作していない場合、すなわちクリヅクデ一夕入力部 2 4にてクリヅクが行われていない場合には、図 1 4 Aに示すように、表示部 7の表示画面上には空間解像度の低い画像がデフォルトの時間解像度で表示される。なお、図 1 4 Aにおいては、空間解像度の低い背景画像の上を、空間解像度の低いオブジェクト画像が、右方向に移動しているときの画像例を示している。そして、受信装置 2のユーザが、クリックデ一夕入力部 2 4を操作して、カーソルをオブジェクト画像上に移動させ、その位置でクリックを行うと、上述したように、送信装置 1にクリックデ一夕が送信され、送信装置 1では、そのクリヅクデ一夕に基づいて特定した優先範囲の画像を、空間解像度の高い画像として表示するためのデータが、時間解像度を犠牲にして送信されてくる。その結果、図 1 4 Bに示すように、表示部 7の表示画面上には、時間.解像度は低いが、クリツクが行われている位置を中心とする優先範囲内にあるオブジェクト画像の空間解像度が徐々に向上していく画像が表示される。すなわち、表示される画像は、クリックが行われている時間に応じて、優先範囲内の画像の空間解像度が徐々に向上していく。

さらに、この場合、表示部 7上には、図 1 4 Bに示すように、サブウィンドウがオープンされ、そのサブウインドウにクリヅクが行われている位置を含んで抽出された優先範囲内にあるオブジェクトの空間解像度が徐々に向上するような表示がなされる。

その後、受信装置 2のュ一ザが、クリックデータ入力部 2 4によるクリックを停止すると、合成部 7 7は、上述したようにステヅプ S 3 5において背景メモリ 7 3から現フレームの背景画像データを読み出すともに、オブジェクトメモリ 7 5からオブジェクト画像データを読み出し、現フレームの背景画像デ一夕とォブジ工クト画像データとを、付加情報にしたがって合成し、表示メモリ 7 8に書き込む。上述したように、クリックされることにより空間解像度が高くなつたォブジェクト画像データは、そのままオブジェクトメモリ 7 5に記憶され続けるので、表示部 7においては、図 1 4 Cに示すように、クリヅクされることにより空間解像度が高くなつたオブジェクト画像が、付加情報の動きべクトルに基づいて移動し、現フレーム上で表示されるべき位置に表示される。

したがって、受信装置 2のユーザは、詳細を見たいオブジェクト画像が表示されている位置でクリックを行うことにより、空間解像度が高くなつたオブジェクト画像を見ることが可能となる。すなわち、オブジェクトの詳細な画像を見ることが可能となる。

なお、背景画像データは、上述したように背景メモリ 7 3に記憶されるので、送信装置 1においては一度送信した空間解像度の低い背景を送信する必要はなく、従って、その分の伝送レートを、より空間解像度の高いオブジェクト画像デ一夕の送信に優先的に割り当てることが可能である。

また、上述の場合においては、クリックされることにより空間解像度が高くなつたオブジェクト画像デ一夕を、オブジェクトメモリ 7 5に記憶しておき、クリックが停止された後は、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたため、受信装置 2において表示されるオブジェクト画像は、空間解像度の高いものとなるが、このときのオブジェクト画像には、送信装置 1 で撮影されたオブジェクト画像の状態の変化は反映されないことになる。

そこで、クリヅクが停止された後は、オブジェクトフラグを無視し、図 1 1に ^す復号部 5 3の記憶部 6 2 Fに記憶されたオブジェクト画像データを、ォブジヱクトメモリ 7 5に記憶された高い空間解像度であるオブジェクト画像デ一夕に対して上書きすることが可能である。すなわち、復号部 5 3の記憶部 6 2 Fには、送信装置 1から送信されてくるオブジェクト画像デ一ダが順次記憶されるから、そのオブジェクト画像データを、オブジェクトメモリ 7 5に書き込むことで、上述したようにして表示部 7に表示される画像のうちのオブジェクト画像は、送信装置 1で撮影されたオブジェクトの状態の変化が反映されたものとなる。但し、表示されるオブジェクト画像は、空間解像度の低いものとなる。

次に、図 1 5を参照して、送信装置 1から、伝送路を介して、受信装置 2に送信される画像の空間解像度と時間解像度との関係について説明する。

なお、伝送路の伝送レ一トは R [bps]とし、さらに、ここでは、背景画像と 3つのオブジェクト画像 # 1乃至 # 3からなるデータを送信するとする。また、ここでは、説明を簡単にするために、付加情報は考えないこととし、さらに、背景画像、オブジェクト画像 # 1乃至 # 3それぞれを、ある空間解像度で表示するためには、同一のデ一夕量のデータが必要であるとする。

この場合、送信装置 1では、受信装置 2でクリックが行われていない場合、図 1 5 Aに示すように、背景画像、オブジェクト画像 # 1乃至 # 3それそれが、伝送レート Rを 4等分したレート R / 4 [bps]で送信される。なお、通常の時間解像度が 1 / Tフレーム/秒であるとすると、送信装置 1は、背景画像、オブジェクト画像 # 1乃至 # 3それそれの 1フレーム分のデ一夕の送信を、長くても T秒で完了することができるように行う。したがって、この場合、受信装置 2では、 1 フレーム当たり T X R / 4ビヅ卜のデータで得られる空間解像度の背景画像、ォブジェクト画像 # 1乃至 # 3がそれぞれ表示される。

そして、ある時刻 t lにおいて、例えばオブジェクト画像 # 1の位置で、ユーザがクリックを行うと、送信装置 1は、例えば図 1 5 Aに示すように、背景画像並びにォブジェクト画像 # 2及び" # 3のデータ送信を例えば停止し、オブジェクト画像 # 1のみを、伝送路の伝送レート Rすべてを用いて送信する。その後、時刻 t から時間 4 Tだけ経過した時刻 ₂において、ユーザがクリヅクを停止したとすると、送信装置 1は、再び、背景画像、オブジェクト画像 # 1乃至 # 3それそれを、伝送レート R Z 4で送信する。

したがって、クリヅクが行われている間においては、オブジェクト画像 # 1については、 4 T X Rビットのデータが送信されるので、クリックが行われている間の時間解像度を 0フレーム Z秒とすると、受信装置 2では、 1フレーム当たり 4 T X Rビットのデ一夕で得られる空間解像度のオブジェクト画像 # 1が表示される。すなわち、水平方向及び垂直方向の空間解像度を同じだけ向上させた場合、受信装置 2では、時間解像度は 0フレーム/秒になるが、ュ一ザがクリヅクしたオブジェクト画像 # 1については、水平方向及び垂直方向の両方の空間解像度が、クリックが行われる前の 4倍（= ( 4 Τ Χ R / ( T X R / 4ビツト）））となつたものが表示されることになる。

このように、時間解像度を犠牲にすることにより、空間解像度をより向上させることができ、更に時間解像度を犠牲にしない場合に比較して、ユーザが注目しているォブジヱクト画像の空間解像度を、より迅速に向上させることができる。なお、図 1 5 Aに示す例では、オブジェクト画像 # 1のクリヅクが行われている間、背景画像並びに他のォブジヱクト画像 # 2及び # 3のデータの伝送レートを 0フレーム/秒としてそれらを完全に送信しないようにしたが、例えば図 1 5 Bに示すように、オブジェクト# 1のデ一夕の送信には高い伝送レートを割り当て、背景画像並びに他のオブジェクト画像 # 2及び # 3のデ一夕の送信には、低い伝送レートを割り当てるようにすることも可能である。また、クリックが行われても、背景画像、オブジェクト画像 # 1乃至 # 3それそれの送信に割り当てる伝送レートは、 R / 4のまま変えないことも可能である ₍ すなわち、この場合は、時間解像度を犠牲にして、空間解像度を向上させるため、伝送レートの割り当てを変えなくても、時間は要するようになるが、空間解像度を向上させることができる。

上述したように、クリックされることにより空間解像度が高くなつたオブジェクト画像を、オブジェクトメモリ 7 5に記憶しておき、クリックが停止された後に、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたが、この空間解像度の高いオブジェクト画像を、背景画像のどの位置に貼り付けるかは、その後に送信装置 1から送信されてくる、そのオブジェクトについての付加情報に含まれるォブジェクト動きべクトルに基づいて決定される。

したがって、受信装置 2は、あるフレームのオブジェクト画像が、そのフレームに隣接するフレームのどのオブジェクト画像に対応するのかということを認識する必要があり、送信装置 1のオブジェクト抽出部 1 4は、オブジェクトの抽出にあたり、受信装置 2が、そのような認識を行うための情報を付加するようにもなっている。

上述の説明では、受信装置 2のユーザがクリックデ一夕入力部 2 4を操作することにより注目点を指定したときには、送信装置 1において、画像の時間解像度を犠牲にして、注目点を含む有線範囲の画像の空間解像度を向上させるように、データの送信制御を行う例を述べたが、送信装置 1では、例えば受信装置 2のュ一ザの嗜好を学習し、その学習結果に基づいて、受信装置 2のユーザが高い空間解像度での表示を希望していると考えられるォブジェクト等を予測検出して、そのォブジェクトが高い空間解像度で表示されるように、デ一夕の送信制御を行うことも可能である。

図 1 6には、そのような送信制御を行う場合の、図 6の制御部 3 5の構成例を示している。

この図 1 6において、優先範囲設定部 9 1は、受信装置 2から送信されてくるクリックデ一夕を受信し、前述同様に優先範囲を設定するようになされており、その設定された優先範囲は、選択制御部 9 2及び特徴量抽出部 9 3に供給される _c 選択制御部 9 2は、上記優先範囲設定部 9 1から供給される優先範囲を示す信号と図 6のデータ量計算部 3 から供給されるデ一夕レートの情報と後述するォ' ブジェクト検出部 9 5からの情報に基づいて、 M U X 3 2による背景画像、ォブジェクト画像、付加情報の各データの選択を制御する。すなわち、選択制御部 9 2は、優先範囲設定部 9 1から優先範囲を表す信号を受け取った場合、その優先範囲内の画像の空間解像度を、画像の時間解像度を犠牲にして向上させるように、 M U X 3 2での多重化を制御する。また、選択制御部 9 2は、オブジェクト検出部 9 5が検出したオブジェクトを表すラペルの情報を受け取ると、そのラペルが付されたオブジェクトの空間解像度を、画像の時間解像度を犠牲にして向上させるように、 M U X 3 2を制御する。また、選択制御部 9 2には、データ量計算部 3 4から、 M U X 3 2が出力する多重化データのデ一夕レ一トが供給され、選択制御部 9 2は、そのデ一夕レートが伝送路の伝送レートを超えないように、 M U X 3 2によるデ一夕の選択を制御する。

特徴量抽出剖 9 3には、前処理部 1 2が出力する背景画像データ、オブジェクト画像データ、及び付加情報と、優先範囲設定部 9 1が出力する優先範囲を示す信号とが供給されるようになっており、特徴量抽出部 9 3は、優先範囲設定部 9

1により設定された優先範囲内にある画像の特微量を抽出するようになっているすなわち、特徴量抽出部 9 3は、例えば、優先範囲内に存在するオブジェクトについて、受信装置 2のユーザが注目する傾向を反映するような特徴量を抽出する _c 具体的には、図 1 7に示すように、例えば、ある特定の「人」を表すオブジェクトについては、そのオブジェクトが「人」であること、動きが例えば等速であること、オブジェクトの奥行き方向の位置（深度). が手前であること、オブジェクトの画面上の位置が真ん中であること、オブジェクトが速度を持っていること

(オブジェク卜が動いている部分のものであること）、オブジェクトを構成する領域に、例えば目、鼻、口が含まれること（オブジェクトの領域が、目、鼻、口を含んで構成されること）、オブジェクトの模様が例えばしま模様であること

(オブジェクトがしま模様の部分のものであること）、オブジェクトの色が例えば赤いこと（オブジェクトが赤い部分のものであること）等を表す特徴量が抽出される。特徴量抽出部 9 3は、さらに、上記抽出したオブジェクトの各特徴量を要素として構成されるベクトル（特徴量ベクトル）を求めると共に、ヒストグラム記憶部 9 4に記憶されているヒストグラムの、上記求めた特徴量べクトルの度数を 1 だけインクリメントする。

ヒストグラム記憶部 9 4は、特徴量抽出部 9 3で求められる特徴量べクトルのヒストグラムを、受信装置 2のユーザの嗜好の学習結果として記憶する。

次に、オブジェクト検出部 9 5は、前処理部 1 2から供給されるォブジヱクト画像の中から、ヒストグラム記憶部 9 4に記憶されたヒストグラムの最高頻度の特徴量べクトルと同様の特徴量ぺクトルが求められるオブジェクトを検出する。すなわち、オブジェクト検出部 9 5は、前処理部 1 2から供給されるオブジェク卜について、特徴量抽出部 9 3における場合と同様にして、特徴量ベクトルを求める。さらに、オブジェクト検出部 9 5は、ヒストグラム記憶部 9 4に記憶ざれたヒストグラムを参照し、その最高頻度の特徴量ベクトルを中心とする、特徴量べクトル空間の所定の範囲内に、前処理部 1 2からのオブジェクトの特徴量べクトルが存在するかどうかを判定し、存在する場合には、そのオブジェクトは、受信装置 2のユーザが注目する傾向にあるものであるとして予測し、そのオブジェクトを表すラベルを、選択制御部 9 2に供給する。

次に、図 1 8のフローチャートを参照して、図 1 6に示したように動作する制御部 3 5による M U X 3 2の制御処理について説明する。

先ず、最初に、ステップ S 8 1において、優先範囲設定部 9 1は、受信装置 2 からクリヅクデ一夕が送信されてきたかどうかを判定する。ステヅプ S 8 1において、受信装置 2からクリックデ一夕が送信されてきたと判定された場合、ステヅプ S 8 2に進み、優先範囲設定部 9 1は、そのタリヅクデ一夕に基づき、前述したように優先範囲を設定し、その優先範囲を表す信号を選択制御部 9 2及び特徴量抽出部 9 3に供給する。

選択制御部 9 2は、ステップ S 8 3において、上記優先範囲内の画像（ォブジェクト画像）の空間解像度を、画像の時間解像度を犠牲にして向上させるように、 M U X 3 2を制御する。

また、特徴量抽出部 9 3は、ステップ S 8 4において、上記優先範囲内にあるオブジェクトの特徴量を抽出し、その抽出したオブジェクトの各特徴量を要素として構成される特徴量ベクトルを求める。さらに、特徴量抽出部 9 3は、ステヅプ S 8 5において、ヒストグラム記憶部 9 4に記憶されているヒストグラムの、上記求めた特徴量べクトルの度数を 1だけインクリメントし、ステヅプ S 8 1に戻る。

以上のステップ S 8 1乃至 S 8 5の処理が繰り返されることにより、ヒストグラム記憶部 9 4には、受信装置 2のユーザが注目する傾向にあるォブジヱクトの特徴量ベクトルのヒストグラムが形成されていく。すなわちこれにより、受信装置 2のユーザの嗜好が学習されていくことになる。

一方、ステヅプ S 8 1において、受信装置 2からクリヅクデ一夕が送信されてきていないと判定された場合、ステップ S 8 6に進み、オブジェクト検出部 9 5 は、前処理部 1 2から供給されるオブジェクト画像データについて、特徴量抽出部 9 3における場合と同様にして、特徴量ベクトルを求める。さらに、オブジェクト検出部 9 5は、ステヅプ S 8 7において、ヒストグラム記憶部 9 4に記憶されたヒストグラムを参照し、その中で最高頻度の特徴量ベクトルを中心とする、特徴量べクトル空間の所定の範囲内に、前処理部 1 2からのオブジェクト画像の特徴量ベクトルが存在するかどうかを判定する。すなわち、ステヅプ S 8 7では、最高頻度の特徴量べクトルと、前処理部 1 2からのオブジェクト画像の特徴量べクトルとの、特徴べクトル空間における距離が所定値以内であるかどうかが判定される。

ステップ S 8 7において、最高頻度の特徴量ベクトルと、前処理部 1 2からのオブジェクト画像の特徴量べクトルとの距離が所定値以内でないと判定された場合、すなわち、前処理部 1 2からのオブジェクト画像が、過去の傾向からして、受信装置 2のユーザが注目する確率の低いものである場合、ステップ S 8 8に進み、選択制御部 9 2は、受信装置 2において通常の時間解像度及び空間解像度が表示されるように、 M U X 3 2を制御し、ステヅプ S 8 1に戻る。

また、ステヅプ S 8 7において、最高頻度の特徴量ベクトルと、前処理部 1 2 からのオブジェクト画像の特徴量べクトルとの距離が所定値以内であると判定された場合、すなわち、前処理部 1 2からのオブジェクト画像が、過去の傾向からして、受信装置 2のユーザが注目する確率の高いものである場合、ォブジェクト検出部 9 5は、前処理部 1 2からのオブジェクトのラペルを、選択制御部 9 2に出力し、ステヅプ S 8 9に進む。

選択制御部 9 2は、ステップ S 8 9において、オブジェクト検出部 9 5からの上記ラペルが付されたォブジェクト画像の空間解像度を、画像の時間解像度を犠牲にして向上させるように、 M U X 3 2を制御し、ステップ S 8 1に戻る。従って、この場合、受信装置 2では、時間解像度を犠牲にして、オブジェクト検出部 9 5が出力したラベルの付されたオブジェクト画像が、高い空間解像度で表示される。そして、. その後も、そのオブジェクトは、高い空間解像度で表示され続ける。

その結果、受信装置 2では、ユーザがクリヅクデ一夕入力部 2 4を操作しなくても、ユーザが注目する傾向のあるオブジェクトが表示される場合には、そのォブジェクトは、いわば自動的に高い空間解像度で表示され、その後も、その高い空間解像度で表示され続けることになる。

なお、ヒストグラム記憶部 9 4に記憶された、受信装置 2のユーザの嗜好の学習結果としての特徴量ベクトルのヒストグラムは、例えば、定期的または不定期に、或いは受信装置 2のユーザからの要求に対応して、リセットすることが可能である。

次に、本発明において、データの提供やデータ送受信に応じて行われる課金、例えば図 1の管理センタ 1 0 3を通じて行われる端末 1や 2へのデ一夕提供や端末 1と 2の間でのデ一夕送受信に応じた課金などの流れ及びそのためのシステム構成の詳細について、以下に説明する。

一般に、ソフトゥヱァは、様々な処理手法（プログラム）の融合によって構成されているものであり、例えば、表計算ソフトの場合には、単なる四則演算を行うためのプログラムだけでなく、統計処理を行うためのプログラム等も含まれている。通常は、ソフトウエアを構成するそれらの処理手法（プログラム、以下適宜メソヅドと呼ぶ）が記録された C D— R O M等のパヅケージメディァが巿販され、当該パヅケージメディアを購入することで、ユーザはそのソフトウェアの使用権を取得し、利用可能な状態になる。本発明の場合は、パッケージメディアを購入した時点でユーザが利用権を獲得するのではなく、ユーザがソフトウェアを利用する度毎に利用権を獲得し、また、ソフトウエアの機能のうちで必要なメソヅドの利用権を獲得するようなシステムを提供する。したがって、ユーザは、ソフトゥヱァを利用した場合にのみ、また、ソフトウエアの機能のうちで必要なメソッドを使った分だけの料金を支払えば良く、その結果、全てのソフトゥヱァを一括して提供する上記パッケージメディアの場合よりも安価にメソッドを利用することができる。

また、ある一つの処理を行う場合において、その処理結果を得るための手法には様々な手法が考えられる。したがって、例えばよく似た目的を達成する処理であっても、より高度な手法を用いれば、より望ましい結果を得ることができると考えられる。言い換えれば、より高度な手法を用いることで、ユーザにメリットを提供することが可能となる。

本発明の場合は、複数用意されたそれそれ異なるアルゴリズムの中から、ユーザが利用するァルゴリズムを選択し、そのアルゴリズムの高度さに応じて異なる料金を徴収するシステムを提供する。つまり、本発明では、ユーザが受けるメリトに応じた料金をユーザに対して課金するシステムを構築している。

例えば画像通信を例に挙げて説明すると、当該画像通信の場合は、より高度な圧縮手法（アルゴリズム）を用いることで全体のデ一夕量を高品質を維持したまま削減することが可能となるので、データ通信の帯域が限られている場合には、より高度なアルゴリズムを用いることで、より高品質、すなわち、高解像度、歪みがなく、ノィズのない画像を手に入れることが可能になる。

そこで、本発明では、例えば画像通信において、同画質の場合の圧縮率が低い手法を相対的に低度なアルゴリズム、例えば高圧縮を実現する手法を相対的に高度なアルゴリズムと定義し、上記高度なアルゴリズムを用いた場合には低度なァルゴリズムを用いた場合に比べて高い料金を支払ってもらうこととする。もちろん、本発明は、画像通信における画像圧縮のためのアルゴリズムに限定されるものではなく、例えば、データ通信のアルゴリズムや音声処理のアルゴリズムなど、各種様々なアルゴリズムを用いた処理においても適用可能であり、アルゴリズムの高度さに応じた課金を行うこととする。図 1 9には、上述したような課金が行われる一例として、メソッドが予めインストールされている端末としての処理装置 1 0 0と管理セン夕 1 0 3との間における課金処理の基本モデルを示す。なお、図 1の管理セン夕 1 0 3を通じて行われる端末 1や 2へのデータ提供や端末 1 と 2の間での実際のデータ送受信に応じた課金処理については後述する。

この図 1 9の処理装置 1 0 0には、それそれが個々に異なる種類のァルゴリズム（プログラム）を用いて処理を行う複数の処理部 1 0 2 ,〜 1 0 2 »を備えたアルゴリズム処理部 1 0 2と、それら各処理部 1 0 2 〜 1 0 2 の各アルゴリズムの利用を管理する利用処理管理部 1 0 1とが設けられている。なお、この図 1 9の例の場合、当該アルゴリズム処理部 1 0 2の各処理部 1 0 2 !〜 1 0 2 «のァルゴリズムは、ユーザが自由に利用することができないものである。

また、管理セン夕 1 0 3は、処理装置 1 0 0が正当な装置であるか（ユーザが正当なュ一ザであるか）否かの認証情報を保持する認証用メモリ 1 0 4と、ユーザ（処理装置 1 0 0 ) によるアルゴリズムの利用履歴と料金計算用のテーブル 1 0 7に保持されている利用料金計算表とに基づいて、そのユーザの利用料金を計算する料金計算システム 1 0 6と、全体を管理する管理システム 1 0 5とを備えている。

この図 1 9において、処理装置 1 0 0の各処理部 1 0 2 i〜 1 0 2 «での各処理のうち何れかを利用したい場合、先ず、ユーザからは、上記それら各処理部 1 0 2 i〜 1 0 2 »のうちどの処理部を用いるか（すなわちどのアルゴリズムを用いるか）を選択するための選択入力が行われる。当該ユーザによる選択の入力がなされると、利用処理管理部 1 0 1は、先ず、管理セン夕 1 0 3に対して処理（アルゴリズム）の利用許可の問い合わせを行う。

上記利用許可の問い合わせの信号を受信すると、管理セン夕 1 0 3の管理システム 1 0 5は、その問い合わせを行った処理装置 1 0 0が、自己の管理している処理装置であるか否か、すなわちその問い合わせを行った処理装置 1 0 0が正当な装置（正当なユーザ）であるか否かを、認証用メモリ 1 0 4に格納されている認証情報を元に確認する。この認証において、正当な処理装置（正当なユーザ）であると確認すると、管理システム 1 0 5は、処理装置 1 0 0に対して、利用許可信号を送信する。

上記利用許可信号を受信すると、処理装置 1 0 0の利用処理部 1 0 1は、アルゴリズム処理部 1 0 2を制御し、上記ユーザが選択入力を行った処理（管理セン夕 1 0 3により利用許可がおりた処理）に対応する処理部での処理を直ちに開始させる。これによりユーザの所望する処理が実行されることになる。

また、管理セン夕 1 0 3の管理システム 1 0 5は、上記利用許可を送信した処理装置 1 0 0 (ユーザ）とその利用を許可した処理（アルゴリズム）を示す情報

(利用履歴）を、料金計算システム 1 0 6に送る。料金計算システム 1 0 6は、利用履歴の情報を受け取ると、料金計算用テーブル 1 0 7に保持されている各ァルゴリズム毎に設定されている利用料金計算表を用いて、上記処理（ァルゴリズム）を利用した場合の料金を計算する。その後、料金計算システム 1 0 6は、上記処理装置 1 0 0のユーザに対して、オンライン或いはオフラインにて料金の請求を行つ。

図 1 9には、処理装置 1 0 0にメソヅド（プログラム）が予めィンストールされている場合の構成を挙げたが、例えば図 2 0に示す課金処理の基本モデルのように、処理装置 1 1 0がメソヅド（プログラム）を持たず、管理セン夕 1 0 3等のサーバから、必要に応じてメソッドを取得（処理を行う毎にプログラムをダウンロード）することも可能である。

この図 2 0の処理装置 1 1 0には、管理セン夕 1 0 3から送信されてきたメソヅド（プログラム）を一時的に保持するためのメモリ 1 1 1と、そのメモリ 1 1 1に保持されたメソヅド（プログラム）を用いて処理を行うための M P U (マイクロプロセヅサユニット）とが設けられている。

また、この図 2 0の場合の管理センタ 1 0 3は、処理装置 1 1 0が正当な装置であるか（ユーザが正当なユーザであるか）否かの認証情報を保持する認証用メモリ 1 0 4と、ユーザ（処理装置 1 1 0 ) に対するメソヅド（プログラム）の伝送履歴と料金計算用のテーブル 1 0 7に保持されている各アルゴリズム毎の利用料金計算表とに基づいて、そのユーザの利用料金を計算する料金計算システム 1 0 6と、複数の異なるアルゴリズム（プログラム）を保持するアルゴリズムメモリ 1 1 5と、全体を管理すると共に処理装置 1 1 0からの要求に応じてアルゴリズムメモリ 1 1 5からプログラムを読み出し、例えば圧縮して処理装置 1 1 0に送信する処理管理プロセッサ 1 1 4とを備えている。

この図 2 0において、管理セン夕 1 0 3のアルゴリズムメモリ 1 1 5に保持されている各アルゴリズムに対応する処理のうち何れかを利用したい場合、先ず、処理装置 1 1のユーザからは、上記各処理のうち何れかを選択するための選択指示が行われる。当該ユーザによる選択の指示がなされると、処理装置 1 1 0のM P U 1 1 2は、管理センタ 1 0 3に対して処理手法（アルゴリズム）の送信要求を行う。

上記アルゴリズムの送信要求を受信すると、管理センタ 1 0 3の処理管理プロセヅサ 1 1 4は、その要求を行った処理装置 1 1 0が、自己の管理している処理装置であるか否か、すなわちその要求を行った処理装置 1 1 0が正当な装置（正当なユーザ）であるか否かを、認証用メモリ 1 0 4に格納されている認証情報を元に確認する。この認証において、正当な処理装置（正当なユーザ）であると確認すると、処理管理プロセサ 1 1 4は、アルゴリズムメモリ 1 1 5から処理手順（プログラム）を読み出し、そのプログラムを例えば圧縮したり必要に応じて暗号化等して処理装置 1 1 0に送信する。

上記送信されてきたプログラムを受信すると、処理装置 1 1 0の M P U 1 1 は、圧縮及び暗号化されたプログラムの解凍や暗号の復号等を行い、得られたプログラムをメモリ 1 1 1に保存させる。その後、 M P U 1 1 2は、そのメモリ 1 1 1に保存したプログラムを用いて処理を行う。これによりユーザの所望する処理が実行されることになる。なお、上記メモリ 1 1 1に保存されたプログラムは、上記処理が終了すると、当該プログラムが再度利用されないように自己破壊あるいは自動的に消去される。

また、管理センタ 1 0 3の処理管理プロセッサ 1 1 4は、上記プログラムを送信した処理装置（ユーザ）とその処理手法（アルゴリズム）を示す情報（伝送履歴）を、料金計算システム 1 0 6に送る。料金計算システム 1 0 6は、伝送履歴の情報を受け取ると、料金計算用テーブル 1 0 7に保持されているテーブルを用いて、上記処理（アルゴリズム）を利用した場合の料金を計算する。その後、料金計算システム 1 0 6は、上記処理装置 1 1 0のユーザに対して、オンライン或いはオフラインにて料金の請求を行う。

次に、上述した課金処理モデルを実際のシステム構成に適用した場合、すなわち例えば本実施の形態では前記図 1の管理セン夕 1 0 3を通じて行われる端末 1 や 2へのデータ提供や端末 1と端末 2の間でのデータ送受信に応じた課金処理の場合について、図 2 1以降の各図を参照しながら説明する。

ここで、図 1に示した構成の場合、前述したように、送受信される画像のデー夕量が問題になり、前述の例では、画像を背景、オブジェクト、付加情報に分け、さらに階層符号化することによってデータ量を制御しているが、以下の例では、デ一夕量制御のために、異なる画像圧縮のアルゴリズムの中から、ユーザが要求する画質に応じたアルゴリズムを適宜選択し、その選択されたァルゴリズムを利用して圧縮された画像デ一夕を送受信する例を挙げている。なお、本実施の形態では、上記画像圧縮のための異なるアルゴリズムとして、前記階層符号化の他に、それそれ後述するサブサンプル、オブジェクト符号、クラス分類適応予測符号、その他（例えば M P E G等）等を例に挙げている。

また、本発明の場合、上記選択されるアルゴリズムには、上記画像圧縮のためのァルゴリズムだけでなく、状況に応じてそれら画像圧縮のァルゴリズムを自動選択（最適化）するためのアルゴリズム、前述の図 1 6〜図 1 8を用いて説明したように、学習することによって画像中からユーザが興味を持っている領域（注目点）を予測するためのアルゴリズム、装置の電力使用量の自動制御を行うためのアルゴリズム等のように、あらゆる階層（ソフトウェア層）のアルゴリズムをも、それぞれ選択可能となされている。すなわち、装置により使用されるソフトウェア層は、例えばハードウェアの制御ソフトウェア、 O S (オペレーションシステム）、アプリケーションソフトウェア等からなるが、本実施の形態によれば、上記画像圧縮のアルゴリズムや、アルゴリズム自動選択（最適化）のァルゴリズム、注目点の予測アルゴリズムのようなアプリケーションソフトウェア層における異なるアルゴリズムの選択だけでなく、電力使用量の自動制御アルゴリズムや各種ハードウヱァの切替制御アルゴリズムなどのようなハードゥヱァ制御ソフトゥヱァ層についての異なるァルゴリズムをも選択可能となっている。

本発明では、上述のように複数の異なるァルゴリズムのうちから所望のァルゴリズムの選択がなされると、その選択されたアルゴリズムに応じた課金が行われることになる。なお、各アルゴリズムに対する課金額は、例えばそれそれの階層での選択毎の料金の和で定義する。

図 2 1には、ユーザが要求する画質に応じて、画像圧縮のための異なるァルゴリズムの中から適宜選択されたアルゴリズムを利用して画像データを圧縮し、その圧縮画像データを送受信可能としたシステムの主要部の構成例を示す。ここでは、説明を分かり易くするために、図 2 1の構成として、図 1のシステムに本実施の形態の課金処理モデルを適用した場合の主要部のみを示しており、前記図 1 の送信装置 1や受信装置 2が備える他の構成については省略している。また、送信装置 1と受信装置 2は基本的に同じ構成を備えているが、図 2 1では図示を簡略化するために、送信装置 1には受信装置 2からの送信要求に応じた画像デ一夕送信のための主要部の構成のみを、また受信装置 2にはユーザの要求とそれに応じて送信されてくる画像データの受信のための主要部の構成のみを示している。図 2 1に示す送信装置 1は、主要部の構成として、画像データを取り込むための前記ビデオカメラ部 6 (前記画像入力部 1 1 ) と、画像圧縮のためのそれそれ異なるアルゴリズムであるサブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化等をそれそれ実行するためのサプサンプル圧縮処理部 1 2 2、ォブジヱクト符号圧縮処理部 1 2 3、クラス分類適応予測圧縮処理部 1 2 4、前記階層符号化処理部 1 2 5等を有する画像圧縮処理部 1 2 1と、圧縮された画像データを送信するための画像デ一夕送信部 1 2 7と、画像デ一夕の送信要求を受信するための要求受信部 1 2 6と、上記画像データの送信要求を受信したとき、その送信要求に応じて上記画像圧縮処理部 1 2 1を制御すると共に、必要に応じて上記画像圧縮のアルゴリズムの自動選択（最適化）やユーザの興味の注目点予測等を行う制御部 1 2 8とを備えている。

また、受信装置 2は、主要部の構成として、ユーザによる選択入力（この例では画質選択のための入力）がなされるユーザ指示入力部 1 3 2と、そのユーザによる選択入力に基づいて画像圧縮のためのアルゴリズムから何れかのアルゴリズムを選択したり、状況に Jifeじてそれら画像圧縮のアルゴリズムを自動選択（最適化）するためのアルゴリズム、画像中からユーザが興味を持っている領域（注目点）を予測するためのアルゴリズム、装置の電力使用量の自動制御を行うためのアルゴリズム等を要求する要求信号を生成する制御部 1 3 3と、その要求信号を管理セン夕に送信し、また管理セン夕 1 0 3からの許可信号を受信する要求送信許可受信部 1 3 4と、上記電力使用量の自動制御アルゴリズムを使用する場合に当該装置の電力制御を行う消費電力制御部 1 3 1と、送信されてきた圧縮画像デ一夕を受信する画像データ受信部 1 3 5と、その受信した圧縮画像データを圧縮時のアルゴリズムに対応して復号する圧縮画像データ復号部 1 3 6と、復号された画像を表示する表示部 1 3 7 (前記表示部 7に相当する）とを備えている。なお、図 2 1の構成では、前記図 1 9のモデルの例のように装置自身が予め複数のメソヅドを保持している例を挙げているが、前記図 2 0のモデルのように、管理セン夕 1 0 3から必要に応じてメソヅドを取得するものであってもよい。したがって、管理センタ 1 3 0は、図 1 9と図 2 0の何れのモデルを採用するかにより、図 1 9或いは図 2 0の何れかの構成を取るか或いは両方の構成を有することになる。

この図 2 1において、送信装置 1のビデオカメラ部 6にて取り込んだ画像デー夕を受信装置 2で取得する場合、当該受信装置 2のユーザ指示入力部 1 3 2からは、ユーザによる指示信号が入力される。なお、この指示信号の入力がなされる場合の指示の基準（アルゴリズム選択の基準）は、要求する画像の画質（処理結果の性能）、処理速度、処理時間、デ一夕転送時間、処理結果、利用料金、利用電力量（消費電力）等である。

また、前述する P C T出願公開番号 W O 0 1 / 1 1 8 8 9 A 1で鬨示されるマウスクリックによる画像内での位置を指示する機能も、ユーザ指示入力部 1 3 2. は有している。ユーザの注目点を予測する際にも利用されるとともに、信号処理されるデータの領域をマウスクリヅクで指定した周辺画像プロックのみとするように利用することも可能である。

ここで、上記ユーザ指示入力部 1 3 2からの指示信号として、所望の画質を要求するための指示信号が入力されたとき、制御部 1 3 3は、その指示信号に対応した画質を実現可能な画像圧縮のためのアルゴリズムを要求するための要求信号を生成し、要求送信許可受信部 1 3 4へ送る。要求送信許可受信部 1 3 4は、上記要求信号を図示しない基地局や交換局などを介して管理センタ 1 0 3に送る。なお、この時点で通信経路の確保等の初期化処理が既に終わっているとする。管理セン夕 1 0 3は、上記要求信号を受け取ると、その要求信号を送信してきた受信装置 2が、自己の管理している受信装置であるか否か、すなわちその選択信号を送信してきた受信装置 2が正当な装置（正当なユーザ）であるか否かを確認し、正当な受信装置であると確認したとき、図示しない基地局や交換局などを介して送信装置 1にその要求信号を送信すると共に許可信号を受信装置 2に送信する。

送信装置 1の要求受信部 1 2 6は、上記選択信号を受信すると、その要求信号を制御部 1 2 8に送る。制御部 1 2 8は、上記選択信号の内容を解析し、その解析結果に基づき、上記ビデオカメラ部 6から取得した画像デ一夕を上記サブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化の何れのァルゴリズムを利用して圧縮するか決定し、その決定したァルゴリズムに対応する処理部 1 2 2〜 1 2 5を動作させる。このようにして画像圧縮処理部 1 2 1 により圧縮された画像データは、画像デ一夕送信部 1 2 7に送られる。画像デ一タ送信部 1 2 7は、制御部 1 2 8の制御の元で、上記圧縮画像データを、図示しない基地局や交換局などを介して受信装置 2に送る。なお、送信装置 1から出力された圧縮画像データを一旦管理セン夕 1 0 3に送り、その管理セン夕 1 0 3から当該圧縮画像データを図示しない基地局や交換局などを介して受信装置 2に送信するようにしてもよい。

受信装置 2の画像データ受信部 1 3 5は、上記圧縮画像データを受信すると、その圧縮画像データを圧縮画像データ復号部 1 3 6に送る。圧縮画像デ一夕復号部 1 3 6は、上記制御部 1 3 3の制御の元、先に選択されて利用許可のなされた画像圧縮のァルゴリズムに対応した復号アルゴリズムを使用して、その圧縮画像デ一夕を復号し、表示部 1 3 7に送る。これにより、表示部 1 3 7上には、上記送信装置 1のビデオカメラ部 6により撮影された画像が表示されることになる。また、受信装置 2において、ユーザによりユーザ指示入力部 1 3 2から、上記状況に応じてそれら画像圧縮のアルゴリズムを自動選択（最適化）するためのァルゴリズムや、画像中からユーザが興味を持っている領域（注目点）を予測するためのアルゴリズムを指示する旨の指示信号が入力されると、制御部 1 3 3は、上記ユーザ指示入力部 1 3 2からの指示信号に基づいて、上記アルゴリズム自動選択（最適化）のためのアルゴリズムや注目点の予測のためのアルゴリズムの要求信号を生成し、要求送信許可受信部 1 3 4へ送る。これにより、要求送信許可受信部 1 3 4からは、上記要求信号が管理セン夕 1 0 3に送られることになる。管理セン夕 1 0 3は、上記要求信号の認証を行い、確認後にその要求信号を送信装置 1へ送信すると共に許可信号を受信装置 2に送信する。

このときの送信装置 1の制御部 1 2 8は、上記要求信号の内容を解析し、その解析結果に基づき、上記サブサンプル圧縮、ォブジヱクト符号圧縮、クラス分類適応予測圧縮、階層符号化の何れのァルゴリズムを状況に応じて自動選択したり、ユーザの注目点（ユーザの注目オブジェクト画像）の予測を行って、その注目ォブジェクト画像に対する圧縮率を他の画像よりも低くし高画質にするように、画像圧縮処理部 1 2 1を制御する。このようにして画像圧縮処理部 1 2 1により圧縮された画像デ一夕は、画像デ一夕送信部 1 2 7から送信され、基地局、交換局等を介して、受信装置 2の画像データ受信部 1 3 5に受信される。

このときの受信装置 2の圧縮画像データ復号部 1 3 6では、上記制御部 1 3 3 の制御の元、上記アルゴリズム自動選択により選択された画像圧縮のァルゴリズムに対応した復号アルゴリズムを使用して、その圧縮画像デ一夕を復号し、表示部 1 3 7に送ることになる。

また、受信装置 2において、ユーザによりユーザ指示入力部 1 3 2から上記電力使用量の自動制御のアルゴリズムを指示する旨の指示信号が入力されると、制御部 1 3 3は、装置の消費電力の自動制御アルゴリズムの利用許可の問い合わせ信号を要求送信部 1 3 4を介して管理セン夕 1 0 3に送る。この問い合わせ信号に対応した許可信号が管理セン夕 1 0 3から送信されてくると、受信装置 2では、消費電力制御のためのアルゴリズムを利用可能となり、消費電力制御部 1 3 1は当該装置の消費電力の自動制御を行う。

上述したような処理と同時或いは後に、管理セン夕 1 0 3では、上記利用許可を送信した受信装置（ユーザ）と、その利用を許可した処理、すなわち画像圧縮のアルゴリズムや、アルゴリズム自動選択（最適化）のためのアルゴリズム、注目点の予測のためのアルゴリズム、消費電力の自動制御のためのアルゴリズム等の利用履歴情報を用いて、受信装置 2のュ一ザに対する利用料金を'計算し、その利用料金請求を行う。これにより、受信装置 2のユーザは、当該利用料金請求に応じた料金を管理セン夕 1 0 3に支払うことになる。なお、図 2 1の例の場合、各画像圧縮のアルゴリズムによる処理や、自動選択（最適化）のためのアルゴリズムによる処理、ユーザ注目点の予測を行うアルゴリズムによる処理は、実際には送信装置 1において行われる処理であるが、これらアルゴリズムを選択し、且つそのメリヅトを受けているのは、受信装置 2であるため、それらのァルゴリズムに応じた課金は、そのメリヅトを受けている受信装置 2 (ユーザ）に対して行われる。

ここで、利用された各アルゴリズムに対する課金額は、例えばそれぞれの階層での要求毎の料金の和で定義されている。したがって、例えば上記画像圧縮のァルゴリズムのみ利用された場合、前記サブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化の各アルゴリズム毎に予め設定された利用料の課金がなされる。また、例えば、前記アルゴリズム自動選択（最適化）のためのアルゴリズムが利用された場合、そのアルゴリズム自動選択のためのァルゴリズムの利用料金に加えて、当該自動選択アルゴリズムにより選択された画像圧縮のためのァルゴリズムの利用料金もプラスされて課金されることになる。同様に、前記ユーザ注目点の予測を行うアルゴリズムゃ消費電力の自動選択アルゴリズムが利用された場合にはその利用料もプラスされて課金がなされる。なお、利用料の請求は、利用料の計算結果を元に、逐次あるいはある期間でまとめて、ュ一ザに請求するような手法をとることができる。また、上記課金は、時間従量制を併用してもよい。

本実施例では、管理センタ 1 0 3からのオンライン或いはオフラインの受信装置 2のユーザに対して利用料金請求を行い、ユーザがその請求に応じてオンライン或いはオフラインにより指定口座などに料金を振り込むことによる課金手法が開示されている。これに限らず、管理セン夕 1 0 3は、予め受信装置 2のユーザ識別子毎にユーザ口座番号と、管理セン夕 1 0 3の口座番号が記憶され、受信装置 2のユーザの要求信号に応じて、料金計算システム 1 0 6がユーザに対する料金を演算し、少なくともユーザの口座番号、管理センタ 1 0 3の口座番号、及びユーザに対する請求金額に対応する金額情報を外部の決済センサに送信することにより、即時決済を行うように構成してもよい。

なお、受信装置のユーザは、例えば上記画質のように、自己の要求を指示すれば良いのであって、自己がアルゴリズムの選択を行っているという意識をもつ必要は必ずしもない。

次に、図 2 2には、図 2 1の例えば送信装置 1における処理の流れを示す。図 2 2において、先ず、要求受信部 1 2 6では、ステップ S 1 0 1の処理として、前記アルゴリズムの要求信号の受信待ちとなっており、上記要求信号を受信すると、その要求信号を制御部 1 2 8に送る。

制御部 1 2 8は、上記アルゴリズムの要求信号を受信すると、ステップ S 1 0 2の処理として、画像圧縮処理部 1 2 1を制御して使用するアルゴリズムの切り替えを行う。すなわち、制御部 1 2 8は、前記各処理部 1 2 2〜 1 2 5のうち、上記要求信号により指定されているアルゴリズムに対応する処理部を使用するように、画像圧縮処理部 1 2 1を制御する。

画像圧縮処理部 1 2 1では、上記制御部 1 2 8によりァルゴリズムの切り替え制御がなされると、ステヅプ S 1 0 3の処理として、その切り替え指定がなされたアルゴリズムに対応する処理部を用いたコーディング（画像圧縮）を行い、さらに、そのコーディングにより得られた圧縮画像データを画像データ送信部 1 2 7に送る。

画像データ送信部 1 2 7では、ステップ S 1 0 4の処理として、上記画像圧縮処理部 1 2 1からの圧縮画像データを、基地局 3 , 5、交換局 4、管理セン夕 1 0 3を介して受信装置 2に送信する。

その後、当該送信装置 1 (例えば制御部 1 2 8 ) は、ステップ S 1 0 5の処理として、処理の終了判定を行い、終了しないときにはステップ S 1 0 1の処理に戻り、終了するときには当該図 2 2の送信装置 1での処理を終了する。

次に、図 2 3には、図 2 1の受信装置 2における処理の流れを示す。

図 2 3において、先ず、ユーザによりユーザ指示入力部 1 3 2から例えば画質を指示するための指示信号が入力され、さらに制御部 1 3 3にて要求信号（利用するアルゴリズムを示す信号）が生成されると、その要求信号は、ステップ S 1 1 0にて、要求送信許可受信部 1 3 4から管理センタ 1 0 3に向けて送信される ₍ 上記要求信号の送信後、制御部 1 3 3は、要求送信許可受信部 1 3 4が管理センタ 1 0 3からの前記許可信号を受信したか否かを見ており、不許可信号が返信されたか或いは一定時間経過しても許可信号が送信されてこない場合、処理を終了する。一方、管理センタ 1 0 3から許可信号が送信されてきた場合には、その後、送信装置 1から圧縮された画像データが送信されてくることになる。

ここで画像データ受信部 1 3 5では、圧縮画像データの受信待ちとなっており、ステップ S 1 1 2として圧縮画像デ一夕を受信すると、その圧縮画像データを圧縮画像デ一夕復号部 1 3 6に送る。

圧縮画像データ復号部 1 3 6は、上記圧縮画像データを受け取ると、その圧縮画像データを圧縮とは逆の処理により復号（デコード）し、そのデコード後の画像信号を表示部 1 3 7に送る。これにより、表示部 1 3 7には画像が表示されることになる。

その後、当該制御部 1 3 3は、ステップ S 1 1 4の処理として、ユーザ指示入力部 1 3 2から終了の要求指示がなされたか否か判定し、ユーザ指示入力部 1 3 2より終了要求の指示がなされていない場合はステップ S 1 1 0の処理に戻り、終了要求の指示がなされた場合はステップ S 1 1 5にて終了信号を生成して、その終了信号を要求送信許可受信部 1 3 4を介して管理センタ 1 0 3に送信する。管理センタ 1 0 3は、送信装置 1に対して送信終了を行わせ、これにより処理が終了する。

次に、図 2 4には、図 2 1及び図 1 9の管理センタ 1 0 3における処理の流れを示す。なお、この図 2 4では、適宜図 1 9の管理セン夕の内部構成を用いて説明する。

図 2 4において、先ず、管理システム 1 0 5は、ステヅプ S 1 2 1として、受信装置 1からアルゴリズムの要求信号（アルゴリズムの要求信号）の受信待ちとなっており、当該要求信号を受信すると、ステップ S 1 2 2の処理として、認証用メモリ 1 0 4に保持されている情報を用いて、その受信装置 2の要求に対する正当性の判定を行う。このステヅプ S 1 2 2の判定処理において、不正であると判定された場合、管理システム 1 0 5は、拒絶信号として不許可信号を受信装置 2に送信した後、処理を終了する。

一方、ステップ S 1 2 2の判定処理において正当であると判定された場合、管理システム 1 0 5は、送信装置 1に対してその要求信号（要求されたァルゴリズムを表す信号）を送信し、また、その要求されたアルゴリズムと受信装置 2を表す情報を料金計算システム 1 0 6に送る。

料金計算システム 1 0 6は、上記管理システム 1 0 5から上記要求されたアルゴリズムと受信装置 2を表す情報を受け取ると、ステヅプ S 1 2 5の処理として、当該情報と料金計算用テーブル 1 0 7の利用料金計算表とを用いて、利用料金の計算を行う。

その後、管理システム 1 0 5は、受信装置 2から終了信号が送信されてきたか否か判定し、送信されてこないときは処理を継続するためにステヅプ S 1 2 1の処理に戻る。

ステップ S 1 2 6の判定処理において、送信終了と判定された時、料金計算システム 1 0 6は、ステップ S 1 2 7の処理として、これまでの各処理毎の料金を合算し、また、ステップ S 1 2 8としてその計算により得られた利用料金の請求を受信装置 2のユーザに対して行う。ここで、上述したように、料金の請求をォンライン或いはオフラインで行うのではなく、制御部 1 3 3の制御のもと、ユーザの口座番号、管理セン夕 1 0 3の口座番号、及び金額情報を外部の決済センタに送信するように構成してもよい。

その後、管理システム 1 0 5は、終了信号を送信装置 1に対して送信し、図 2 4の処理を終了する。なお、ステヅプ S 1 2 7とステップ S 1 2 8は、ステヅプ S 1 2 9の処理後に行っても良い。

次に、前記アルゴリズムの自動選択（最適化）のためのアルゴリズムによる処理の流れについて、図 2 5を参照しながら説明する。

ここで、アルゴリズムの最適化は何を基準にして行うかによりその最適化の手法は異なる。上述の説明では、画像圧縮のためのアルゴリズムの選択時に、画質を基準としてユーザが処理（アルゴリズム）を選択する例を挙げたが、ここでは自動選択（最適化）の基準として利用料の安さを例に挙げる。すなわち、当該白動選択（最適化）アルゴリズムでは、先ず、利用料の最も安いアルゴリズムを選択するが、このとき、画質が限界以上に悪くなる場合にはそれより高品質な画質を得られるようなァルゴリズムを用いるように自動的にァルゴリズムを変更するような例に挙げて説明する。なお、本実施例では、画像圧縮のためのァルゴリズムを自動選択する例を述べているが、本発明は画像圧縮のためのアルゴリズムの自動選択に限定されるものではなく、どのようなアルゴリズムの自動選択（最適化）であっても適用可能であり、最適化の基準も利用料に限定ざれるものではなく、品質や処理時間、デ一夕転送時間等であってもよい。

この図 2 5において、例えば画像圧縮処理の最適化のためのアルゴリズムの選択指示が、上記受信装置 2よりなされたとき、図 2 1の送信装置 1の制御部 1 2 8は、ステップ S 1 7 1として、前記サブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化等の各アルゴリズムのうち、最も利用料の安いアルゴリズムを選択する。これにより、画像圧縮処理部 1 2 1では、上記最も利用料の安いアルゴリズムに対応する処理部による画像圧縮処理がなされる。ここで、画像圧縮アルゴリズムの高度さに応じて利用料が決定されているとしたとき、すなわち例えば、最も簡単な圧縮処理であるサブサンプル圧縮の利用料が 1回につき 1 0 0円、次に高度な処理であるオブジェクト符号圧縮の利用料が 1 回につき 2 0 0円、さらに高度な処理である階層符号化の利用料が 1回につき 3 0 0円、最も高度な処理であるクラス分類適応予測圧縮の利用料が 1回につき 4 0 0円であったとすると、最も利用料の安いサブサンプル圧縮が選択されることになる。

次に、画像圧縮処理部 1 2 1では、ステップ S 1 7 2の処理として、上記選択された画像圧縮のためのアルゴリズムを使用して圧縮処理が行われた後のデータを復号（ローカルデコーダ）して得られる画像と、元の画像との差分を計算し、その差分値を制御部 1 2 8に返す。

上記差分値を受け取った制御部 1 2 8は、ステップ S 1 7 4の処理として、当該差分値が所定の閾値以下か否かの判定を行う。

ここで、上記差分値が所定の閾値以下でないと言うことは、上記選択された画像圧縮のためのアルゴリズムを使用して圧縮処理により得られる画像の画質が、限界以上に悪くなつていることを表している。したがって、この時の制御部 1 2 8は、より高品質な画質を得られるような画像圧縮ァルゴリズムを用いるように、上記選択されるアルゴリズムの変更を行う。先の選択時に、上記サブサンプル圧縮が選択されていた場合には、それよりも高度なアルゴリズムである上記ォブジェクト符号圧縮のアルゴリズムが選択される。その後、画像圧縮処理部 1 2 1では、当該新たに選択されたアルゴリズムを使用して圧縮処理が行われた後、再度差分値が計算され、さらに、制御部 1 2 8では、その差分値が所定の閾値以下か否かの判定を行う。この一連の処理は、上記差分値が所定の閾値以下になるまで繰り返される。

上記ステップ S 1 7 4において上記差分値が所定の閾値以下になった場合、ステヅプ S 1 7 5の処理として、画像圧縮処理部 1 2 1からは、その時点で選択されている画像圧縮アルゴリズムにより圧縮処理された画像データが処理結果として、画像デ一夕送信部 1 2 7を介して出力される。

ここで、各画像圧縮アルゴリズムにおける処理パラメ一夕はデフオルト値を採用することにする。すなわち、処理パラメ一夕（量子化係数、量子化ビヅト、サンプリング周波数、ビヅトレート）をデフォルト値とすると各アルゴリズムにおける自然画像の圧縮率が 1 / 2程度となるように設定されていることにする。その後、制御部 1 2 8は、受信装置 2側からの終了要求がなされたか否かをステヅプ S 1 7 6により判定し、終了要求がなされていないときはステップ S 1 7 1の処理に戻り、終了要求がなされたときには当該処理を終了する。以上が、ァルゴリズム自動選択（最適化）のためのアルゴリズムが選択指示されたときの動作である。

この場合、受信装置 2に対しては、上記差分値が所定の閾値以下になった時点で選択されている画像圧縮アルゴリズムに対応する利用料金に、上記最適化のためのアルゴリズムの利用料金が加算された額が課金されることになる。

なお、上記画質を決定する所定の閾値の決め方としては、複数考えられる。例えば、予め決定しておく方法や、処理した画像をユーザに提示してユーザが選択する手法などが考えられる。

また、この図 2 5の説明では、一旦画像圧縮を行って得られる画質を検討（性能の比較）を行って最終的に選択される画像圧縮アルゴリズムを最適なものとして決定する手法を採用しているが、例えば、先に画像の特徴量を検出し、その特徴量に基づいて最適なアルゴリズムを判定することにしてもよい。例えば、画像中の輝度や動き、色などの値の変化の大きい画像（アクティビティが高い画像）では、単純な圧縮アルゴリズムを用いると十分な画質が得られないことが予想されるので、高度な圧縮アルゴリズムを自動選択するとようなことが考えられる。また、画像の特徴として、その画像が C G (コンピュータグラフィック）、ゲーム等の画像であるかなどの検出を行うことで、それら画像に適した圧縮アルゴリズムを自動選択するようなことも考えられる。このようなことを行った場合は、上述した利用料の安いアルゴリズムから順番に選択していくような手法と比べて、繰り返し圧縮を試さないので、処理の高速化が可能となり、画像特性と圧縮アルゴリズムの関連付けを予め設定しておけば、より最適な圧縮アルゴリズムを高速に選択可能となる。

次に、前記画像圧縮のためのアルゴリズムのうち、サブサンプルについて説明する。当該サブサンプルとは、例えば画像を構成する各画素の例えば 2画素のうち 1画素を間引くような処理である。もちろん、 2画素につき 1画素間引く例だけでなく、 3画素につき 1画素、 4画素につき 1画素などの間引きも含まれる。次に、前記画像圧縮のためのアルゴリズムのうち、オブジェクト符号について説明する。

オブジェクト符号とは、画像中で時間方向にあまり変化（変形）しないものをオブジェクト画像として作成（抽出）し、当該あまり変化しない部分（オブジェクト画像）の情報を一旦送信した後は送信せず、その後の送信ではオブジェクト画像の位置情報（及び動き情報）を送信するようにすることで、情報の圧縮を行う圧縮手法である。なお、このオブジェクトは、前述の図 2等にて説明したォブジヱクトと略々同じものと考えて良い。

例えば動画を送信するような場合、オブジェクト画像自体が全く変化していないものであれば、そのオブジェクトの画像データを送信することは伝送帯域の無駄な使用となる。したがってこの場合、そのオブジェクトの画像データを一旦送信した後は、再度送信しないようにすることで、情報量の大幅な削減が可能となる。

具体例として図 2 6を挙げて説明すると、図 2 6 Aに示すような 3 0フレーム /秒の動画像があり、当該動画像の 1 フレーム内には、動かない空と山からなる背景 1 5 1と、動いている雲 1 5 2及び自動車 1 5 3があるとする。この 1 フレ —ムの画像からは、図 2 6 Bに示すように、背景 1 5 1のオブジェクト画像と、自動車 1 5 3のォブジェクト画像と、雲 1 5 2の.オブジェクト画像とが抽出されることになる。ここでオブジェクト符号では、図 2 6 Aの各フレーム間におけるプロヅクマッチングなどにより、それぞれのオブジェクトについての動きの方向及び動き量を表す動きベクトルが求められる。図 2 6 Bの例では、動かない背景 1 5 1の動きべクトルは（x， y ) = (◦， 0 ) となり、自動車 1 5 3は X方向に一 2だけ動き、 y方向には変化しないことを示す動きベクトル（一 2， 0 ) となり、雲 1 5 2は X方向に 3、 y方向に 2だけ動くことを示す動きべクトル（3 _: 2 ) となっているとする。オブジェクト符号では、上記背景 1 5 1、自動車 1 5 3、雲 1 5 2の各ォブジヱクトについて形状の情報を取得し、その形状の情報を送信した後は、各オブジェクトの初期の位置情報とフレーム毎の上記動きべクトルの情報を送信するか、フレーム毎に位置情報を送信することで、伝送デ一夕量を大幅に削減可能となっている。一方、受信側では、先に取得したオブジェクトの形状情報とフレーム毎に受け取る位置情報、或いは動きべクトルとに基づいて画像を再構成する。

図 2 7には、上記オブジェクト符号を行う図 2 1のオブジェクト符号圧縮処理部 1 2 3の処理の流れを示す。

この図 2 7において、先ず制御部 1 2 8によりオブジェクト符号圧縮処理部 1 2 3での処理が選択されると、当該オブジェクト符号圧縮処理部 1 2 3では、ステヅプ S 1 3 1として初期処理を行う。当該初期処理では、前記ビデオカメラ部 6から初期画像データを取得し、その画像に存在しているォブジヱクトをォプジヱクト画像として抽出し、今後の処理で用いるデータ（形状情報等）をオブジェクトテーブルに取得、保持する。

上記ステップ S 1 3 1の初期処理後、オブジェクト符号圧縮処理部 1 2 3では、ステップ S 1 3 2として、上記ビデオカメラ部 6より、順次、処理する画像デ一夕を取得し、さらに単位時間前（例えば 1 フレーム前）の画像などの先にォブジヱクトテーブルに保持しておいたォブジェクト画像に関する情報を取得する。次に、オブジェクト符号圧縮処理部 1 2 3では、ステップ S 1 3 4として、現在の画像を、上記オブジェクトテーブルに保持されるオブジェクト画像に対応するオブジェクト画像に分割する。この場合の処理は、例えばオブジェクトテープルに保持されるオブジェクト画像と同一の色の部分を同一オブジェクト画像と設定したり、前述したクリックデータに基づいたオブジェクト抽出等の手法を使用する。

次に、オブジェクト符号圧縮処理部 1 2 3は、ステヅプ S 1 3 5の処理として、オブジェクトテ一ブルに保持されるォブジェクト画像、現在フレームのオブジェクト画像間でのオブジェクト画像毎の動きの情報（動きぺクトル）を計算抽出し、さらに、ステップ S 1 3 6としてその動きべクトルを初期位置情報と共に受信装置 2に向けて送信する。前述の例では、ブロックマヅチングにより動きベクトルを求める例を挙げて説明したが、この処理ではステップ S 1 3 4で既にオブジェクト画像が抽出されォブジヱクト画像に保持されているので、ォブジヱクト画像毎のマッチングにより動きを正確に求めることができる。

このとき、オブジェクト符号圧縮処理部 1 2 3は、ステップ S 1 3 7として、既に抽出されてその情報がオブジェクトテーブルに保持されているオブジェクト画像以外の、新規のオブジェクト画像が出現していないかを調べる。このステヅプ S 1 3 7にて新規オブジェクト画像が検出されないときは、ステヅプ S 1 4 0 の処理に進み、一方、新規ォブジヱクト画像を検出した場合は、ステップ S 1 3 8としてその新規のオブジェクト画像についての情報をォブジェクトテーブルに追加し、さらにステップ S 1 3 9として、当該新規のオブジェクト画像に関する情報（オブジェクト画像データ、初期位置情報、動きベクトル情報等）を受信装置 2に向けて送信する。このステップ S 1 3 9の処理後はステヅプ S 1 4 0の処理に進む。

ステップ S 1 4 0の処理に進むと、オブジェクト符号圧縮処理部 1 2 3は、次の処理のために、オブジェクトテーブルに現フレームの各ォブジェクト画像及びその位置情報、或いは動きベクトル情報を記憶し、その後、ステップ S 1 4 1にて、受信装置 2側からの終了要求がなされたか否かの判定を行い、終了要求がなされていないときはステップ S 132の処理に戻り、終了要求がなされたときには当該処理を終了する。以上が、オブジェクト符号圧縮処理の流れである。

次に、図 2 1に示すクラス分類適応予測圧縮処理部 1 2.4の詳細な構成及びその動作について以下に説明する。

先ず、時空間モデルで画像を記述することについて、図 28を参照して説明する。

図 28において、図中 T l、 Τ 2は、時間的に連続する 2フレームを示し、 Τ 1が過去のフレーム、 Τ 2が現在のフレームである。これらのフレーム中で、予測の推定値の生成及びクラス分類のために使用する画素が図に示されている。図中 Xで示す現在フレーム内の未来の画素を、図 28に示す画素の値 xiと係数 wi (i= l、 2、 …， n) の n夕ヅプの線形 1次結合モデルで表現する。この係数が予測係数である。そして、以下により、詳細に説明するように画素の値 xiと係数 wiの線形 1次結合で表現される未来の画素の推定値 yの真値に対する誤差の二乗が最小二乗法で最小となるように、 1フレーム毎或いはクラス毎に 1組の係数が確定される。

図 28に示す時空間モデルの例では、 n= 1 6である。現在フレーム T 2の未来の画素の予測値 yは、 1 6タップの入力画素の線形 1次結合 wlxl + w2x2 + 〜 + wl6xl6によって表される。この線形 1次結合モデルにおける係数 wiについては、実際の値と線形 1次結合で表される推定値との残差が最小になるものが求められる。

この未定係数 wiを決定するために、入力画像を空間方向（水平方向及び垂直方向）に 1画素ずつずらした時の図 28に示す各画素の値 xi ( i = 1 , 2， …， n) と予測対象画素の実際の値 yj (j = l， 2， …， m) をそれそれ代入した線形 1次結合の式を作成する。例えば 1フレームに対して 1組の係数を求める時には、入力画像を 1画素ずつシフトすることによって、非常に多くの式、すなわち、 1フレームの画素数（ = m) の連立方程式（観測方程式と称する）が作成される。 1 6個の係数を決定するためには、最低で（m= l 6) の連立方程式が必要である。方程式の個数 mは、精度の問題と処理時間との兼ね合いで適宜選定できる。観測方程式は、式 1で表される。

X W = Y · · · 1

なお、 X、 W、 Yは、それそれ下記式 2のような行列である

ここで、係数 wとして、実際の値との誤差を最小にするものを最小二乗法により求める。このために、観測方程式の右辺に残差行列 Eを加えた下記式 3の残差方程式を作成する。すなわち、最小二乗法において、残差方程式における残差行列 Eの要素の二乗、すなわち二乗誤差が最小になる係数行列 Wを求める。

次に、残差方程式 3から係数行列 Wの各要素 w iの最確値を見いだすための条件は、プロック内の画素に対応する m個の残差をそれそれ二乗してその総和を最小にする条件を満足させればよい。この条件は、下記の式 4により表される。

ei— - + — ~ 二 0 (ι = 1,2, ..』) 4 次に n個の条件を入れてこれを満足する係数行列 Wの要素である未定係数 w l， w2， …， wnを出せばよい。従って、残差方程式 3より、式 5となる。 βϊ

= Xil , = xa, ... in = 1, 2，，.·.《) 5 式 4の条件を i = 2 , …， nについて立てれば、それそれ式 6が得られる

二 0, ^eixi2 = 0,…， βίχήι 0

ί·=1 i=\ 式 3と式 6から、下記式 7の正規方程式が得られる

V 正規方程式 7は、丁度、未知数の数が n個だけある連立方程式である。これにより、最確値たる各未定係数 w iを求めることができる。正確には、式 7における、 w iにかかるマトリクスが正則であれば、解くことができる。実際には、 Gauss-J ordanの消去法（別名、掃き出し法）を用いて未定係数 w iを求めている。このようにして、未来の画素を表すための係数が 1フレームで 1組確定する。多数フレームの入力画像を使用して上述と同様の学習を行う時には、各フレームで確定した係数の平均値、あるいは最大出現頻度の係数が、後述する係数メモリ 2 0 5に格納される。

この例では、学習によって決定された係数を予測係数として使用し、予測符号化を行うようにしている。この場合、推定精度を向上させるために、入力画像のクラス分類（クラス夕リング）を行う。図 2 8において、図中〇と©で示す画素が線形 1次結合モデルに使用したものを示し、図中◎で示す画素がクラス分類に使用した画素を示す。つまり、 1 6画素中の 4画素がクラス分類にも使用される。ここで、上記 4画素のそれそれが 8ビットであると、 4画素の値の組合せが非常に多くなり、現実的なクラス分類とは言えない。そこで、後述するように、この 4画素のそれそれのビット数を符号化により圧縮している。より具体的には、 A D R C (ダイナミヅクレンジに適応した符号化）によって、各画素を 1ビットのコードに圧縮する。その結果、 2 4= 1 6通りのクラスを取り扱えば良いことになる。なお、クラスを指示するコードをインデヅクスと称する。 A D R Cに限らず、ベクトル量子化によって、画素のビット数を減少させることもできる。さらに、各画素の最上位ビヅトを集めてインデヅクスとしても良い。このように予測画素の近傍の 4画素をそれそれ 1 ビヅトに正規化した 4 ビヅトのコードによってクラス分類することは、画像の時空間における変化の概略のパターン形状に応じてクラス分類を行ったことを意味する。

図 2 9は、クラス分類における学習のための構成の一例を示す。図 2 9において、入力端子 2 0 1に入力される入力画像デ一夕としては、異なる絵柄の多数の静止画像データが好ましい。入力画像データが時系列変換回路 2 0 2及び最小二乗法の演算回路 2 0 3に供給される。時系列変換回路 2 0 2は、例えばラスター走査の入力画像デ一夕中の線形 1次結合モデル及びクラス分類に使用される複数 · の画素データを同時化する。

この時系列変換回路 2 0 2の出力データが演算回路 2 0 3及びクラス分類回路 2 0 4に供給される。クラス分類回路 2 0 4は、上述のように、画像の 3次元の変化に対応するィンデヅクスを発生する。このィンデヅクスが演算回路 2 0 3に供給される。演箅回路 2 0 3は、図 2 8に示される時空間モデルに関して、上述した最小二乗法のアルゴリズムによって、インデックスで指示されるクラス毎に 1組の係数 w iを決定する。この係数が係数メモリ 2 0 5に格納される。

図 3 0は、本発明に係る測符号化のエンコーダの一例の構成を示す。

図 3 0において、係数メモリ 2 1 5には、上述の学習により獲得された係数がクラス毎に格納されている。入力端子 2 1 1からの入力画像データが時系列変換回路 2 1 2に供給され、その出力デ一夕がクラス分類回路 2 1 4及び推定値生成回路 2 1 6に供給される。時系列変換回路 2 1 2は、例えばラスター走査の順序に従って入力された画素データを図 2 8に示すように、過去において順次伝送されてくる画素と未来に伝送されてくる画素をひとまとめにして同時に出力する。クラス分類回路 2 1 4には、クラス分類に使用する 4画素のデータが供給される。クラス分類回路 2 1 4からのィンデヅクスが係数メモリ 2 1 5に供給され、クラスに対応する 1組の係数がメモリ 2 1 5から読み出される。この読み出し係数が推定値生成回路 2 1 6に供給され、時系列変換回路 2 1 2 'からの画素データを使用して、推定値が生成される。この推定値が減算回路 2 1 8に供給される。減算回路 2 1 8の他の入力として、遅延回路 2 1 7を介された入力画像データが供給される。時系列変換回路 2 1 2、クラス分類回路 2 1 4、係数メモリ 2 1 5、推定値生成回路 2 1 6が口一カルデコーダを構成する。減算回路 2 1 8によって、真値（実デ一夕）と推定値との差分値が生成される。この差分値が圧縮符号化のためのエンコーダ 2 1 9により符号化され、符号化出力（コード）が出力端子 2 2 0に取り出される。圧縮符号化としては、一例として、適応量子化によってビット数を削減した後、生起確率に基づいて予め求められたハフマン符号によってエントロピー符号化を行う。さらに、エンコーダ 2 1 9に対してリフレツシュ用に画素値そのものが供給され、所定の伝送デ一夕毎に画素値が挿入される。圧縮符号化としては、他のものを採用できる。例えば差分値をブロック化した後、 D C T変換のような直交変換を行い、そしてェントロピー符号化を行っても良い。この圧縮符号化出力が伝送される。

図 3 0の例では、前もってなされる学習により獲得された汎用性のある係数を使用している。図 3 1に示すエンコーダは、係数を入力画像と関連して更新することを可能とした構成である。すなわち、学習のためのものと同様の最小二乗法の演算回路 2 1 3を設け、演算回路 2 1 3からの係数で係数メモリ 2 1 5を更新することを可能としている。より具体的には、クラス分類回路 2 1 4からのインデックスが演算回路 2 1 3及び係数メモリ 2 1 5に供給され、入力画像データが演算回路 2 1 3に供給され、演算回路 2 1 3からの確定係数が係数メモリ 2 1 5 に対して供給されている。入力画像の 1フレーム毎に限らず、かなり多くのフレームを学習した結果に基づいて係数を更新する構成としても良い。また、図 3 1 の係数メモリに予め学習で決定された係数を格納し、これを入力画像によって変更するようにしてもよい。図 3 1の例では、係数メモリ 2 1 5の内容が変化するので、出力端子 2 2 1に取り出された係数データをコードと共に伝送する必要がある。図 3 1の構成において、最小二乗法の演算回路 2 1 3を選択的に動作させるようにしてもよい。

次に、学習時及びエンコーダにおいて使用される各回路のより詳細な構成について説明する。

図 32は、クラス分類回路 2 04、 2 1 4の一例である。入力画像データ（4 画素のデ一夕）が 1ビヅト ADR C回路 2 27に順次供給される。 ADRC回路 2 2 7では、 4画案の値の最大値及び最小値が検出され、最大値と最小値の差であるダイナミヅクレンジ DRが検出される。このダイナミックレンジ DRによつて各画素の値が割算される。その商が 0. 5と比較され、商が 0. 5以上の時に" 1 "、 0. 5より小の時に" 0 " のコードが形成される。

ADR C回路 2 2 7によって、各画素の値が 1ビット（" 0" 又は" 1 " ) に圧縮される。この ADR C回路 2 27の出力がシフトレジス夕 22 8によって直列並列変換される。シフトレジスタ 2 2 8からの各 1ビットの L l、 L 2、 L 3、 L 4がレジス夕 2 2 9に格納される。この 4ビット（L l， L 2 , L 3， L 4 ) がインデックスである。

ここで、 A D R C回路 2 27は、量子化ビヅト数が 1ビヅトとしたが、 2ビヅトなどの多数ビットでもよい。また、 4画素などの画素プロック毎に可変ビットにしてもよい。

なお、以上のようにしてクラス分類適応予測の符号化がなされたデ一夕（受信コード）を受信して復号する受信装置 2側の構成を図 3 3に示す。

この図 3 3において、入力端子 2 1に入力された受信コードが圧縮符号化のデコーダ 243に供給され、入力端子 242からの受信係数が係数メモリ 244 に供給される。係数メモリ 244は、クラス分類回路 245からのィンデヅクスに応答してクラスと対応する係数を出力する。学習によって得られた係数を変更しない時には、係数メモリ 244の内容が変更されない。係数メモリ 244の内容は、送信側のものと同一とされることが必要である。係数が推定値生成回路 2 46に供給される。

デコーダ 243からは、復号差分データが得られ、これが加算器 247に供給される。また、リフレッシュ用に挿入されている画素値は、推定値生成回路 24 6に供給され、推定値の生成に用いられる。加算器 247は、復号差分値と推定値生成回路 246からの推定値とを加算し、復号値を発生する。この復号値が時系列変換回路 248及び 249に供給される。時系列変換回路 248は、推定に必要な複数の復号画素データを纏める。時系列変換回路 2 4 9は、復号信号を表示部 1 3 7に表示するように変換し、その信号が出力端子 2 5 0から表示部 1 3 7に送られる。

時系列変換回路 2 4 8からの復号画素データが推定値生成回路 2 4 6に供給され、また、クラス分類に必要な復号画素データがクラス分類回路 2 4 5に供給される。クラス分類回路 2 4 5は、上述したように、 1ビット A D R C回路の構成であり、そこからのインデヅクスが係数メモリ 2 4 4に供給される。かかる図 3 3に示すデコーダの各回路の構成は、エンコーダについて説明したものと同様であり、その説明は省略する。

次に、前記消費電力の自動制御のアルゴリズムについて説明する。

ここで、消費電力制御では、各処理を基本的な命令に分割し、その命令がどのくらい電力量を消費するかを予め設定しておく。この命令毎の電力量の値は、ハ一ドウエアに依存することになると考えられる。この命令毎の電力量の値を用いることで、使用電力量の削減を図ることが可能となり、本実施の形態では、この消費電力の自動制御のアルゴリズムの利用に閧して課金を行う。

また、当該消費電力の自動制御はできるだけ細かく行うことが必要である。望ましくは、回路上での 1プロセス（ 1クロック）毎に行うのが理想的である。この概念図を図 3 4に示す。

この図 3 4において、縦軸は利用電力量、横軸は 1クロヅク（ 1プロセス）を示している。この図 3 4のように、非常に細かいプロセス毎に必要最小限の電力量は幾らになるかを調べておき、これから行うであろうプロセスに必要な電力を供給するように制御する。すなわち、それほど電力が必要でない処理を実行しているときには電力量を減らすようにし、一方、電力が必要な処理を実行しているときには電力量を増やすように制御する。

図 3 5には、当該消費電力自動制御アルゴリズムにおいて、処理手法（他の各種のプロセス）に応じて電力制御を実行するか否かを判断する際の流れを示す。この図 3 5において、前記図 2 1の消費電力制御部 1 3 1は、消費電力自動制御アルゴリズムに基づき、先ず、ステップ S 1 5 1の処理として、使用される処理手法が何れのプロセスであるかを判定し、消費電力自動制御アルゴリズムを使用するものについては、ステップ S 1 5 2として電力制御機能を実行するように設定し、一方、使用しないものについては、ステヅプ S 1 5 3として電力制御機能を実行しないように設定する。

その後、消費電力制御部 1 3 1は、終了判定を行い、終了しないときはステツプ S 1 5 1に戻り、終了するとき当該電力自動制御アルゴリズムを終了する。図 3 6には、図 3 5のステヅプ S 1 5 2において電力制御機能を実行するように消費電力制御部 1 3 1が設定されたときの場合の処理の流れを示す。

この図 3 6において、消費電力制御部 1 3 1では、ステップ S 1 6 1として、次に行うプロセスをモニターしており、さらにステップ S 1 6 2として、そのプ口セスに必要な電力量を計算する（ここで参照するテーブルなどによって、予め設定してある電力量の値を供給する必要がある）。

次に、消費電力制御部 1 3 1は、ステップ S 1 6 3として、図示しない電源部から、上記計算値に基づいた電力を装置内部の各回路に供給する。これにより、受信装置 2では、ステヅプ S 1 6 4として、装置内部の各回路が上述のプロセスを実際に実行する。或いは、消費電力制御部 1 3 1が、制御部 1 3 3等に組み込まれている場合は、 1プロセス毎の命令の種類に応じて制御部 1 3 3の一部の回路を選択的にスリーブ状態にするなどして消費電力するように構成してもよい。その後、消費電力制御部 1 3 1は、終了判定を行い、終了しないときはステツプ S 1 6 1に戻り、終了するとき当該電力自動制御アルゴリズムを終了する。なお、この場合にも、処理の高度さのレベルを用いて課金量を変えることもできる。例えば、モニタする時間間隔に応じて課金量を変えたり、電力量制御の最適化レベルに応じて変えるなどである。

次に、上述した一連の処理は、ハ一ドウヱァにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送信装置 1や受信装置 2に組み込まれているコンピュータや、汎用のコンビユー夕等にィンストールされる。

上述した一連の処理を実行するプログラムをコンピュータにィンストールし、コンピュータによって実行可能な状態とするために用いられる、そのプログラムが記録されている記録媒体について説明する。

すなわち、上述した処理を実行するプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスクや半導体メモリに予め記録しておくことができる。また、当該プログラムは、フロッピィディスク、 CD— ROM (Compac t Disc Read Only Memory) 、 MO (Magneto Optical) ディスク、 DVD (Digi tal Versatile Disc) 、磁気ディスク、半導体メモリなどの記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。

なお、このプログラムは、上述したような記録媒体からコンビュ一夕にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、 LAN (Local Area Network) 、インターネットといったネヅトヮ一クを介して、コンピュータに有線で転送し、当該コンピュータにおいて、内蔵するハードディスクなどにインストールするようにすることができる。

また、本発明の説明において、各種の処理を行うためのプログラムを記述するステヅプは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

次に、図 37は、上述したコンピュータの構成例を示している。

この図 37に示すコンピュータは、 CPU (Central Processing Unit) 142 を内蔵している。 CPU 142には、バス 14 1を介して、入出力ィン夕フエ一ス 145が接続されており、 CPU 142は、入出力ィン夕フェース 145を介して、ユーザによって、キーボードやマウス等で構成される入力部 147が操作されることにより指令が入力されると、それにしたがって、前記半導体メモリに対応する ROM (Read Only Memory) 143に格納されているプログラムを実行する。あるいは、また、 CPU 142は、ハ一ドディスク 140に格納されているプログラム、前記衛星若しくはネヅトワークから転送され、通信部 148で受信されてハードディスク 140にインストールされたプログラム、またはドライブ 149に装着されたフロヅピディスク、 CD_ROM、 M〇ディスク、 DVD、若しくは磁気ディスクから読み出されてハードディスク 140にインストールされたプログラムを、 R A M (Random Access Memory) 1 4 4にロードして実行する。そして、 C P U 1 4 2は、その処理結果を、例えば、入出力ィン夕フェース 1 4 5を介して、 L C D (Liquid Crystal Display) 等で構成される表示部 1 4 6に、必要に応じて出力する。

なお、本発明において、画像の時間解像度及び空間解像度の変更は、例えば、送信装置 1において、画像を離散コサイン変換するようにして、どの次数までの係数を送信するかや、あるいは、量子化を行うようにして、その量子化ステップを変更すること等によって行うことも可能である。

また、通常の時間解像度で画像の表示を行う場合、例えば、オブジェクト画像 (興味対象領域）については、送信装置 1において、その輪郭をチェイン符号化するとともに、オブジェクト画像を構成する画素値（色）の平均値を、その代表値として求め、それらをハフマン符号化等のエントロピー符号化し、受信装置 2 では、オブジェクト画像の領域内を、その代表値としての色で塗ったものを表示するようにしてもよい。

上述の例では、画像の空間解像度を向上させるようにしたが、その逆に、時間解像度を向上させるようにすることも可能である。また、上述の例では、画像の一部の領域としての優先範囲内の空間解像度を向上させるようにしたが、画像全体の空間解像度を向上させるようにすることも可能である。

さらに、上述の例では、画像を、背景とオブジェクトとに分離して処理を行うようにしたが、そのような分離を行わずに処理を行うことも可能である。

上述の例では、アルゴリズムゃゾフトウヱァ層を選択して切替使用可能とした例を挙げているが、本発明で言うアルゴリズムやハードウェア制御プログラムには、ハードウエア自体を切り替える処理も含まれ、その結果として本発明は、ハ一ドウエアの切り替えとそれに応じた課金処理も含まれることになる。

その他、本発明は、画像デ一夕だけでなく、音声デ一夕にも適用可能である。例えば、音声信号に含まれるある基本周波数により、音声の特徴量（例えば、ピツチ、人の声の所望の部分、音楽における各楽器など）を抽出するような場合にも本発明は適用可能である。

なお、特開平 1 0— 1 6 4 5 5 2号公報には、例えば視聴者の希望する画質に対応した映像番組を供給可能にすると共に、その希望した画質に応じた課金を行うビデオオンデマンド送信装置及び端末装置が鬨示されている。また、この公報記載の技術では、供給された映像番組の画質を決定する処理手法として、 M P E G l、 M P E G 2のような同種のアルゴリズムを用いており、それら M P E G 1、 M P E G 2の何れかを用いて圧縮された映像番組を供給したかによつて、課金額が変えられている。すなわち、この公報記載の技術は、 M P E G 1、 M P E G 2 のように基本的に同じアルゴリズムを用いて画質を選択するようにしている。また、この公報記載の技術では、同種のアルゴリズムを用いることで、受信側では M P E G 1、 M P E G 2の何れのアルゴリズムであっても映像番組を再現できるようになされている。言い換えれば、受信側で対応可能なように、送信側のアルゴリズムを同種のアルゴリズムとしている。

これに対し、本発明に係る送信システムでは、前述したようにサブサンプル、オブジェクト符号、クラス分類適応予測符号、などの全く異なるアルゴリズムを選択する点が異なっており、また、これら全く異なるアルゴリズムの何れが選択されたとしても、受信側でデータの再生が可能となっている。さらに、本発明に係る通信システムでは、上記異なるアルゴリズムの選択だけでなく、圧縮手法の自動選択や着目点の予測を行うようなことも可能である。また、本発明に係るシステムでは、電力使用量の自動選択制御のように異なるソフトウエア層を選択可能となっている。産業上の利用可能性本発明においては、複数の異なるソフトウエア層やアルゴリズムの中から利用するソフトウヱァ層ゃアルゴリズムを指示し、複数の異なるソフトウヱァ層ゃァルゴリズムの中から上記指示デ一夕に応じたソフトウェア層やアルゴリズムを選択し、当該選択したソフトゥヱァ層やアルゴリズムを利用して処理を行い、その利用されたソフトウエア層やアルゴリズムに応じた利用料を支払う（課金を行う）ことにより、利用者の様々な要求に応じたデータ提供及び課金、すなわち、処理結果の性能（画質、音質など）、消費電力、処理時間、データ転送時間、処理結果などの利用者が受けるメリヅトに応じた課金が可能になると共に、デ一夕提供者にとってもより実情に即した満足できる課金を実現可能である。

Claims

請求の範囲

1 . 少なくともアプリケ一シヨン層とハードウエア制御層に対して所望のメソヅドを指示可能な指示手段と、

上記アプリケーシヨン層に関わるメソッドを選択的に実行可能な信号処理手段と、

上記ハードウエア制御層に関わるメソッドを選択的に実行可能なハードウエア制御手段と、

上記指示手段の指示に応じて、上記信号処理手段或いは上記ハードウエア制御手段が上記指示されたメソッドを実行するように制御する制御手段とを備えるデ —夕処理システム。

2 . 請求の範囲第 1項記載のデータ処理システムにおいて、

上記信号処理手段は、複数のメソッドを記憶する記憶手段を備え、

上記制御手段は、上記指示手段の指示に応じて一のメソッドを上記記憶手段から読み出すと共に実行するデータ処理システム。

3 . 請求の範囲第 1項記載のデータ処理システムにおいて、

上記システムは、

更に、コンテンツデータを送信する送信手段と、上記送信されたコンテンヅデ一夕を受信する受信手段と、上記受信されたコンテンヅデ一夕を出力する出力手段とを備え、

上記信号処理手段は、上記制御手段の制御に基づいて、上記指示手段による指示に応じて特定されたメソヅドを実行することにより、入力されるコンテンツデ一夕に対して信号処理し、当該信号処理されたコンテンツデータを上記送信手段に出力するデータ処理システム。

4 . 請求の範囲第 3項記載のデータ処理システムにおいて、

上記信号処理手段は、上記入力されるコンテンツデータを圧縮処理する複数の圧縮アルゴリズムに対応する複数のメソッドを有し、上記制御手段による制御に基づいてユーザ所望の圧縮アルゴリズムにより、上記コンテンツデータを圧縮処理するデータ処理システム。

5 . 請求の範囲第 4項記載のデータ処理システムにおいて、上記信号処理手段は、コンテンツデータとして入力される画像データから注目画素に対応する注目画像プロックを抽出し、上記注目画像プロツクに含まれる画素の画素値より上記注目画素をクラス分類し、予め上記クラス毎に演算され記憶された複数の係数と、上記注目画素に対応する推定用画像プロックに含まれる各画素の画素値との線形一次結合により上記注目画素の推定画素値を出力し、上記注目画素の画素値から上記推定画素値を減算した値を符号化する圧縮アルゴリズムであるメソヅドを備えるデータ処理システム。

6 . 請求の範囲第 4項記載のデータ処理システムにおいて、

上記信号処理手段は、コンテンツデータとして入力される動画像デ一夕の現フレームを少なくとも一以上のオブジェクト画像に分割し、上記分割されたォブジヱクト画像内のォブジェクトの動きべクトルを、上記現フレームと過去フレームとにより演算し、上記演算された動きべクトルを出力する圧縮アルゴリズムであるメソヅドを備えるデータ処理システム。

7 . 請求の範囲第 4項記載のデータ処理システムにおいて、

上記信号処理手段は、上記指示手段により指示された金額情報に応じて、上記信号処理手段から自動的に上記複数の圧縮アルゴリズムに対応する複数のメソッドから一のメソヅドを選択するようなメソヅドを有するデータ処理システム。

8 . 請求の範囲第 4項記載のデータ処理システムにおいて、

上記一のメソッドを選択するメソッドは、上記複数の圧縮アルゴリズムに対応する複数のメソッドから最も利用料金の安価なメソッドを実行し、上記安価なメソヅドで圧縮された上記コンテンツデータを復号した復号デ一夕と、原コンテンツデータとの差分値を演算し、上記差分値が閾値以下のときに上記圧縮されたコンテンヅデ一夕を出力するデ一夕処理システム。

9 . 請求の範囲第 4項記載のデータ処理システムにおいて、

上記信号処理手段は、上記入力されるコンテンツデ一夕としての画像データの特徴量に応じて、上記信号処理手段から自動的に上記複数の圧縮ァルゴリズムに対応する複数のメソヅドから一のメソッドを選択するようなメソッドを有するデ —夕処理システム。

1 0 . 請求の範囲第 9項記載のデータ処理システムにおいて、上記信号処理手段が有する上記複数のメソッドから一のメソッドを選択するメソヅドは、上記入力されるコンテンツデータとしての画像データの特徴量としてアクティビティを検出し、上記検出されるアクティビティが高いとき、上記複数のメソッドからより高度な圧縮アルゴリズムに対応するメソッドを選択するデー夕処理システム。

1 1 . 請求の範囲第 4項記載のデ一夕処理システムにおいて、

上記出力手段は、上記入力されるコンテンツデータとして画像データを表示し、上記指示手段は、ユーザ操作により上記表示される画像データの所定位置を指示し、

上記信号処理手段は、上記指示手段により指示される所定位置に対応する上記画像データ内のォブジヱクト画像の特徴量に応じて、上記ユーザの嗜好を推定し、当該推定されたユーザの嗜好に基づいて上記画像データから上記ユーザが注目するオブジェクト画像を自動的に抽出し、当該抽出されたォブジェクト画像に対する圧縮率を他のオブジェクト画像よりも低くなるように上記画像デ一夕を圧縮するメソッドを有するデ一夕処理システム。

1 2 . 請求の範囲第 7項記載のデータ処理システムにおいて、

上記システムは、更に、上記信号処理手段或いは上記ハードウェア制御手段が記憶する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段と、上記利用料金記憶手段に記憶された情報に基づいて、上記指示手段に対して指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する演算手段とを備えるデータ処理システム。

1 3 . 請求の範囲第 1 2項記載のデータ処理システムにおいて、

上記演算手段は、上記利用料金記憶手段に記憶された情報に基づいて、上記複数のメソッドから一のメソッドを自動的に選択する自動選択メソッドの利用料金と、当該自動選択メソッドが選択した圧縮アルゴリズムに対応するメソッドの利用料金との和により上記金額情報を演算する請求の範囲第 1 2項記載のデ一夕処理システム。

1 4 . 請求の範囲第 1 2項記載のデータ処理システムにおいて、上記演算手段は、予め記憶される上記ユーザの口座番号、上記メソッドによるサ一ビスを提供する提供者の口座番号、及び上記金額情報を、外部の決済センタに送信するデータ処理システム。

1 5 . 請求の範囲第 1項記載のデ一夕処理システムにおいて、

上記ハードウェア制御手段は、 1クロック毎に入力される命令に応じて、少なくとも上記制御手段に供給する電力を制御するメソッドを有するデータ処理システム。

1 6 . 請求の範囲第 1 5項記載のデータ処理システムにおいて、

上記ハードゥヱァ制御手段と上記制御手段は、 1チップで構成され、 1クロック毎に入力される命令に応じて、上記ハードゥヱァ制御手段のメソッドが上記制御手段の機能を選択的にスリープ状態にするデ一夕処理システム。

1 7 . 請求の範囲第 1 6項記載のデ一夕処理システムにおいて、

上記システムは、更に、 ·

上記信号処理手段或いは上記ハードウエア制御手段が記憶する複数のメソッドの各々の利用料金情報を記録する利用料金記憶手段と、

上記利用料金記憶手段に記憶された情報に基づいて、上記指示手段に対して指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する演算手段とを備えるデータ処理システム。

1 8 . 請求の範囲第 1 7項記載のデータ処理システムにおいて、

上記演算手段は、予め記憶される上記ユーザの口座番号、上記メソッドによるサービスを提供する提供者の口座番号、及び上記金額情報を、外部の決済セン夕に送信するデータ処理システム。

1 9 . 請求の範囲第 2項記載のデータ処理システムにおいて、

上記信号処理手段は、上記制御手段とは離れた遠隔地に配され、上記指示手段により指示された一のメソッドが上記記憶手段から読み出され上記制御手段にダゥンロードされ、

上記制御手段は、上記ダウンロードされたメソヅドを実行するデータ処理シスアム。

2 0 . 課金管理装置を備えた通信システムであり、少なくとも：^プリケ一シヨン層とハードウエア制御層に対して所望のメソヅドを指示可能な指示手段と、

上気指示手段により指示されたメソツドを要求する要求信号を送信する要求信号送信手段と、

上記要求信号に対する返信を受信する受信手段と、

上記指示手段の指示に応じて、上記信号処理手段或いは上記ハードウエア制御手段が上記指示されたメソッドを実行するように制御する制御手段とを備える処理装置と、

上記要求信号を受信する要求信号受信手段と、

上記受信された要求信号に基づいて上記メソッドの利用可否を判断する判断手段と、

上記判断結果を上記受信手段に送信する判断結果送信手段と、

上記信号処理手段或いは上記ハードウエア制御手段が記憶する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段と、

上記利用料金記憶手段に記憶された情報に基づいて、上記指示手段に対して指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する演算手段と

を備える課金管理装置とを備える通信システム。

2 1 . 請求の範囲第 2 0項記載の通信システムにおいて、

上記制御手段は、上記指示手段の指示に応じて、一のメソッドを上記記憶手段から読み出すと共に実行する通信システム。

2 2 . 請求の範囲第 2 0項記載の通信システムにおいて、

上記受信手段は、コンテンヅデ一夕を受信し、

更に、上記処理装置は、上記受信されたコンテンツデ一夕を出力する出力手段とを備え、

上記信号処理手段は、上記制御手段の制御に基づいて、上記指示手段による指示に応じて特定されたメソヅドを実行することにより入力されるコンテンツデ一夕に対して信号処理し、当該信号処理されたコンテンヅデ一夕を上記送信手段に出力する通信システム。

2 3 . 請求の範囲第 2 2項記載の通信システムにおいて、

上記信号処理手段は、上記入力されるコンテンツデータを圧縮処理する複数の圧縮アルゴリズムに対応する複数のメソッドを有し、上記制御手段による制御に基づいてユーザ所望の圧縮アルゴリズムにより、上記コンテンツデータを圧縮処理する通信システム。

2 4 . 請求の範囲第 2 3項記載の通信システムにおいて、

上記信号処理手段は、コンテンッデータとして入力される画像データから注目画素に対応する注目画像ブロックを抽出し、上記注目画像ブロックに含まれる画素の画素値より上記注目画素をクラス分類し、予め上記クラス毎に演算され記憶された複数の係数と、上記注目画素に対応する推定用画像プロツクに含まれる各画素の画素値との線形一次結合により上記注目画素の推定画素値を出力し、上記注目画素の画素値から上記推定画素値を減算した値を符号化する圧縮アルゴリズムであるメソッドを備える通信システム。

2 5 . 請求の範囲第 2 3項記載の通信システムにおいて、

上記信号処理手段は、コンテンヅデ一夕として入力される動画像データの現フレームを少なくとも一以上のオブジェクト画像に分割し、上記分割されたォブジェクト画像内のオブジェクトの動きべクトルを、上記現フレームと過去フレームとにより演算し、上記演算された動きべクトルを出力する圧縮アルゴリズムであるメソッドを備える通信システム。

2 6請求の範囲第 2 3項記載の通信システムにおいて、

上記信号処理手段は、上記指示手段により指示された金額情報に応じて、上記信号処理手段から自動的に上記複数の圧縮アルゴリズムに対応する複数のメソッドから一のメソッドを選択するようなメソヅドを有する通信システム。

2 7 . 請求の範囲第 2 6項記載の通信システムにおいて、上記一のメソッドを選択するメッツドは、上記複数の圧縮アルゴリズムに対応する複数のメソッドから最も利用料金が安価なメソッドを実行し、上記安価なメソッドで圧縮された上記コンテンヅデ一夕を復号した復号デ一夕と、原コンテンヅデータとの差分値を演算し、上記差分値が閾値以下のときに上記圧縮されたコンテンッデ一夕を出力する通信システム。

2 8 . 請求の範囲第 2 3項記載の通信システムにおいて、

上記信号処理手段は、上記入力されるコンテンツデータとしての画像データの特徴量に応じて、上記信号処理手段から自動的に上記複数の圧縮アルゴリズムに対応する複数のメソッドから一のメソッドを選択するようなメソッドを有する通信システム。

2 9 . 請求の範囲第 2 8項記載の通信システムにおいて、

上記信号処理手段が有する上記複数のメソッドから一のメソッドを選択するメソヅドは、上記入力されるコンテンヅデ一夕としての画像データの特徴量としてアクティビティを検出し、上記検出されるアクティビティが高いとき、上記複数のメソッドからより高度な圧縮アルゴリズムに対応するメソッドを選択する通信システム。

3 0 . 請求の範囲第 2 3項記載の通信システムにおいて、

上記出力手段は、上記入力されるコンテンツデータとしての画像データを表示し、

上記指示手段は、ユーザ操作により上記表示される画像デ一夕の所定位置を指示し、

上記信号処理手段は、上記指示手段により指示される所定位置に対応する上記画像データ内のォブジェクト画像の特徴量に応じて、上記ユーザの嗜好を推定し、当該指定されたユーザの嗜好に基づいて上記画像データから上記ユーザが注目するオブジェクト画像を自動的に抽出し、当該抽出されたオブジェクト画像に対する圧縮率を他のオブジェクト画像よりも低くなるように上記画像データを圧縮するメソッドを有する通信システム。

3 1 . 請求の範囲第 2 0項記載の通信システムにおいて、

上記演算手段は、上記利用料金記憶手段に記憶された情報に基づいて、上記複数のメソッドから一のメソッドを自動的に選択する自動選択メソッドの利用料金と、当該自動選択メソッドが選択した圧縮アルゴリズムに対応するメッツドの利用料金との和により上記金額情報を演算する通信システム。

3 2 . 請求の範囲第 2 0項記載の通信システムにおいて、

上記演算手段は、予め記憶される上記ユーザの口座番号、上記メソッドによるサービスを提供する提供者の口座番号、及び上記金額情報を、外部の決済セン夕に送信する通信システム。

3 3 . 請求の範囲第 2 0項記載の通信システムにおいて、

上記ハードゥヱァ制御手段は、 1クロック毎に入力される命令に応じて、少なくとも上記制御手段に供給する電力を制御するメソツドを有する通信システム。 3 4 . 請求の範囲第 3 3項記載の通信システムにおいて、

上記ハードウエア制御手段と上記制御手段は 1チツプで構成され、 1クロック毎に入力される命令に応じて、上記ハードゥヱァ制御手段のメソッドが上記制御手段の機能を選択的にスリープ状態にする通信システム。

3 5 . 請求の範囲第 3 4項記載の通信システムにおいて、

3 6 . 請求の範囲第 2 1項記載の通信システムにおいて、

上記信号処理手段は、上記制御手段とは離れた遠隔地に配され、上記指示手段により指示された一のメソッドが上記記憶手段から読み出され上記制御手段にダゥン tt—ドされ、

上記制御手段は、上記ダウンロードされたメソッドを実行する通信システム。 3 7 . ユーザに対する課金処理を行う課金処理装置であり、

外部装置から、当該外部装置のアプリケーシヨン層とハードウヱァ制御層の所望のメソッドの利用許可を要求する要求信号を受信する要求信号受信手段と、上記受信された要求信号に基づいて上記メソッドの利用可否を判断する判断手段と、

上記判断結果を上記受信手段に送信する判断結果送信手段と、複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段と、上記利用料金記憶手段に記憶された利用料金情報に基づいて、上記指示手段に対して指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する演算手段とを備える課金処理装置。

3 8 . 請求の範囲第 3 7項記載の課金処理装置において、

上記演算手段は、上記利用料金記憶手段に記憶された情報に基づいて、上記複数のメソッドから一のメソッドを自動的に選択する自動選択メソッドの利用料金と、当該自動選択メソヅドが選択した圧縮アルゴリズムに対応するメソッドの利用料金との和により上記金額情報を演算する課金処理装置。

3 9 . 請求の範囲第 3 7項記載の課金処理装置において、

上記演算手段は、予め記憶される上記ユーザの口座番号、上記メソッドによるサービスを提供する提供者の口座番号、及び上記金額情報を、外部の決済セン夕に送信する課金処理装置。 '

4 0 . 第 1の通信装置、第 2の通信装置及び課金処理装置からなる通信システムにおいて、

第 1の通信装置は、

少なくとも上記送信装置のアプリケーション層と上記受信装置のハードウエア制御層に対して所望のメソッドを指示可能な指示手段と、

上記指示手段により指示されたメソッドを要求する要求信号を送信する要求信号送信手段と、

上記要求信号送信手段に応じたメソッドにより処理されたコンテンヅデ一夕を受信する受信手段と、.

上記ハードウヱァ制御層に関わるメソッドを選択的に実行可能なハードウヱァ制御手段と、

上記指示手段の指示に応じて、上記ハ一ドウエア制御手段が上記指示されたメソッドを実行するように制御する第 1の制御手段と、

を有し、

第 2の通信装置は、

上記アプリケーション層に関わるメソヅドを選択的に実行し、入力されるコンテンッデ一夕に対して信号処理する信号処理手段と、

上記要求信号送信手段から送信される送信される要求信号に応じて、上記信号 • 処理手段が上記指示されたメソッドを実行するように制御する第 2の制御手段と、上記信号処理されたコンテンツデ一夕を外部に送信する送信手段と、

を有し、

上記課金処理装置は、

上記信号処理手段或いは上記ハードウエア制御手段が有する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段と、

上記利用料金記憶手段に記憶された情報に基づいて、上記指示手段に対して指示するユーザへの課金量を示す金額情報をえ演算すると共に、当該金額情報を出力する演算手段とを備える通信システム。

4 1 . 請求の範囲第 4 0項記載の通信システムにおいて、

上記第 1及び上記第 2の制御手段は、上記指示手段の指示に応じて、一のメソッド上記記憶手段から読み出すと共に実行する通信システム。

4 2 . 請求の範囲第 4 1項記載の通信システムにおいて、

上記入力されるコンテンツデータを圧縮処理する複数の圧縮アルゴリズムに対応する複数のメッツドを有し、上記第 2の制御手段による制御に基づいてユーザ所望の圧縮アルゴリズムにより上記コンテンツデータを圧縮処理する通信システム。

4 3 . 請求の範囲第 4 1項記載の通信システムにおいて、

上記信号処理手段は、コンテンツデータとして入力される画像データから注目画素に対応する注目画像ブロックを抽出し、上記注目画像ブロックに含まれる画素の画素値より上記注目画素をクラス分類し、予め上記クラス毎に演算され記憶された複数の係数と、上記注目画素に対応する推定用画像プロックに含まれる各画素の画素値との線形一次結合により上記注目画素の推定画素値を出力し、上記注目画素の画素値から上記推定画素値を減算した値を符号化するような圧縮アルゴリズムであるメソヅドを備える通信システム。

4 4 . 請求の範囲第 4 2項記載の通信システムにおいて、上記信号処理手段は、コンテンヅデ夕として入力される動画像データの現フレームを少なくとも一以上のオブジェクト画像に分割し、上記分割されたォブジェクト画像内のォブジヱクトの動きベクトルを、上記現フレ^ "ムと過去フレームとにより演算し、上記演算された動きべクトルを出力する圧縮アルゴリズムであるメソッドを備える通信システム。

4 5 . 請求の範囲第 4 2項記載の通信システムにおいて、

上記信号処理手段は、上記指示手段により指示された金額情報に応じて、上記信号処理手段から自動的に上記複数の圧縮アルゴリズムに対応する複数のメソッドから一のメソヅドを選択するメソヅドを有する通信システム。

4 6 . 請求の範囲第 4 5項記載の通信システムにおいて、

上記一のメソッドを選択するメソッドは、上記複数の圧縮アルゴリズムに対応する複数のメソッドから最も利用料金が安価なメソッドを実行し、上記安価なメソッドで圧縮された上記コンテンヅデ一夕を復号した復号デ一夕と、原コンテンッデータとの差分値を演算し、上記差分値が閾値以下のときに上記圧縮されたコンテンッデ一夕を出力する通信システム。

4 7 . 請求の範囲第 4 2項記載の通信システムにおいて、

上記信号処理手段は、上記入力されるコンテンツデータとしての画像デ一夕の特徴量に応じて、上記信号処理手段から自動的に上記複数の圧縮アルゴリズムに対応する複数のメソッドから一のメソッドを選択するようなメソッドを有する通信システム。

4 8 . 請求の範囲第 4 7項記載の通信システムにおいて、

上記信号処理手段が有する上記複数のメソッドから一のメソッドを選択するメソッドは、上記入力されるコンテンツデ一夕としての画像データの特徴量としてアクティビティを検出し、上記検出されるアクティビティが高いとき、上記複数のメソッドからより高度な圧縮アルゴリズムに対応するメソッドを選択する通信システム。

4 9 . 請求の範囲第 4 2項記載の通信システムにおいて、

上記システムは、更に、

上記入力されるコンテンツデータとしての画像データを表示する表示手段を備え、

上記指示手段は、ユーザ操作により上記表示される画像データの所定位置を指示し、

上記信号処理手段は、上記指示手段により指示される所定位置に対応する上記画像デ一夕内のオブジェクト画像の特徴量に応じて、上記ユーザの嗜好を推定し、当該指定されたユーザの嗜好に基づいて上記画像データから上記ユーザが注目するオブジェクト画像を自動的に抽出し、当該抽出されたオブジェクト画像に対応する圧縮率を他のオブジェクト画像よりも低くなるように上記画像データを圧縮するメソヅドを有する通信システム。

5 0 . 請求の範囲第 4 5項記載の通信システムにおいて、

上記算出手段は、上記利用料金記憶手段に記憶された情報に基づいて、上記複数のメソッドから一のメソッドを自動的に選択する自動選択メソッドの利用料金と、東岸自動選択メソヅドが選択した圧縮アルゴリズムに対応するメソヅドの利用料金との和により上記金額情報を演算する通信システム。

5 1 . 請求の範囲第 5 0項記載の通信システムにおいて、

5 2 . 請求の範囲第 4 0項記載の通信システムにおいて、

上記ハードゥヱァ制御手段は、 1クロック毎に入力される命令に応じて、少なくとも上記制御手段に供給する電力を制御するメソッドを有する通信システム。 5 3 . 請求の範囲第 5 2項記載の通信システムにおいて、

上記ハードウエア制御手段と上記制御手段は 1チップで構成され、 1クロック毎に入力される命令に応じて、上記ハードウェア制御手段のメソッドが上記制御手段の機能を選択的にスリープ状態にする通信システム。

5 4 . 請求の範囲第 5 3項記載の通信システムにおいて、

上記演算手段は、予め記録される上記ユーザの口座番号、上記メソッドによるサービスを提供する提供者の口座番号及び上記金額情報を外部の決済センタに送信する通信システム。

5 5 . 通信装置であり、

少なくともアプリケ一シヨン層とハードウエア制御層に対して所望のメソヅドを指示可能な指示手段と、

上記要求信号送信手段に応じたメソッドにより処理されたコンテンツデー夕を受信する受信手段と、

上記指示手段の指示の応じて、上記ハードウエア制御手段が上記指示されたメソッドを実行するよう制御する制御手段と、

を備える通信装置。

5 6 . 請求の範囲第 5 5項記載の通信装置において、

上記ハードゥヱァ制御手段は、 1クロヅク毎に入力される命令に応じて、少なくとも上記制御手段に供給す.る電力を制御するメソッドを有する通信装置。

5 7 . 請求の範囲第 5 6項記載の通信装置において、

上記ハードウエア制御手段と上記制御手段は 1チップで構成され、 1クロック毎に入力される命令に応じて、上記ハードゥヱァ制御手段のメソッドが上記制御手段の機能を選択的にスリーブ状態にする通信装置。

5 8 . 請求の範囲第 5 5項記載の通信装置において、

上記受信手段は、上記ハードウェア制御手段が記憶する複数のメソッドの各々の利用料金情報に基づいて、利用料金請求のための請求信号を受信する通信装置。 5 9 . コンテンツデータの通信を行う通信装置において、

外部からのアプリケーシヨン層のメソッドの実行を要求する要求信号を受信する受信手段と、

アプリケーション層に関わるメソヅドを選択的に実行し、入力されるコンテンヅデータに対して信号処理する信号処理手段と、

上記受信される要求に信号に応じて、上記信号処理手段が上記指示されたメソッドを実行するように制御する制御手段と、上記信号処理されたコンテンツデータを外部に送信する送信手段とを備える通信装置。

6 0 . 請求の範囲第 5 9項記載の通信装置において、

上記信号処理手段は、複数のメソッドを記憶する記億手段を備え、

上記制御手段は、上記要求信号に応じて、一のメソッド上記記憶手段から読み出すと共に実行する通信装置。

6 1 . 請求の範囲第 6 0項記載の通信装置において、

上記信号処理手段は、上記入力されるコンテンヅデ一夕を圧縮処理する複数の圧縮アルゴリズムに対応する複数のメソッドを有し、上記制御手段による制御に基づいてユーザ所望の圧縮アルゴリズムにより、上記コンテンヅデータを圧縮処理する通信装置。

6 2 . 請求の範囲第 6 0項記載の通信装置において、

上記信号処理手段は、コンテンツデ一夕として入力される画像データから注目画素に対応する注目画像プロックを抽出し、上記注目画像プロ、ソクに含まれる画' 素の画素値より上記注目画素をクラス分類し、予め上記クラス毎に演算され記憶された複数の係数と、上記注目画素に対応する推定用画像ブロックに含まれる各画素の画素値との線形一次結合により上記注目画素の推定画素値を出力し、上記注目画素の画素値から上記推定画素値を減算した値を符号化する圧縮アルゴリズムであるメソッドを備える通信装置。

6 3 . 請求の範囲第 6 1項記載の通信装置において、

上記信号処理手段は、コンテンッデータとして入力される動画像デ一夕の現フレームを少なくとも一以上のオブジェクト画像に分割し、上記分割されたォブジェクト画像内のオブジェクトの動きぺクトルを、上記現フレームと過去フレームとにより演算し、上記演算された動きべクトルを出力する圧縮アルゴリズムであるメソッドを備える通信装置。

6 4 . 請求の範囲第 6 1項記載の通信装置において、

上記信号処理手段は、上記要求信号により指示された金額情報に応じて、上記信号処理手段から自動的に上記複数の圧縮アルゴリズムに対応する複数のメソッドから一のメソッドを選択するようなメソッドを有する通信装置。

6 5 . 請求の範囲第 6 4項記載の通信装置において、

上記一のメソッドを選択するメソッドは、上記複数の圧縮アルゴリズムに対応する複数のメソッドから最も利用料金が安価なメソッドを実行し、上記安価なメソッドで圧縮された上記コンテンツデータを復号した復号データと、原コンテンヅデ一夕との差分値を演算し、上記差分値が閾値以下のときに上記圧縮されたコンテンヅデータを出力する通信装置。

6 6 . 請求の範囲第 6 1項記載の通信装置において、

上記信号処理手段は、上記入力されるコンテンヅデ一夕としての画像デ一夕の特徴量に応じて、上記信号処理手段から自動的に上記複数の圧縮アルゴリズムに対応する複数のメソヅドから一のメソッドを選択するようなメソッドを有する通

6 7 . 請求の範囲第 6 6項記載の通信装置において'、

上記信号処理手段が有する上記複数のメソヅドがら一のメソッドを選択するメソッドは、上記入力されるコンテンヅデ一夕としての画像データの特徴量としてアクティビティを検出し、上記検出されるアクティビティが高いとき、上記複数のメソッドからより高度圧縮アルゴリズムに対応するメソッドを選択する通信装置。

6 8 . 請求の範囲第 6 1項記載の通信装置において、

上記信号処理手段は、上記要求信号により指示される所定位置に対応する上記コンテンツデ一夕としての画像デ一夕内ォブジヱクト画像の時微量に応じて、上記ユーザの嗜好を推定し、当該推定されたユーザの嗜好に基づいて上記画像デー夕がら上記ユーザが注目するオブジェクト画像を自動的に抽出し、当該抽出されたォブジェクト画像に対する圧縮率を他のオブジェクト画像よりも低くなるように上記画像データを庄縮するメソッドを有する通信装置。

6 9 . 請求の範囲第 6 4項記載の通信装置において、

上記装置は、更に、

上記信号処理手段が記憶する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段と、

上記利用料金記億手段に記憶された情報に基づいて、上記要求信号を送信したユーザへの課金量を示す料金情報を演算すると共に、当該金額情報を出力する演算手段とを備える通信装置。

7 0 . 請求の範囲第 6 9項記載の通信装置において、

上記演算手段は、上記利用料金記憶手段に記憶された情報に基づいて、上記複数のメソッドから一のメソッドを自動的に選択する自動選択メソッドの利用料金と、当該自動選択メソヅドが選択した圧縮アルゴリズムに対応ずるメソヅドの利用料金との和により上記金額情報を演算する通信装置。

7 1 . 請求の範囲第 7 0項記載の通信装置において、

上記演算手段は、予め記憶される上記ユーザの口座番号、上記メソッドによるサービスを提供する提供者の口座番号及び上記金額情報を外部の決済センタに送信する通信装置。

7 2 . データ処理方法において、

少なくともアプリケーシヨン層とハ一ドウヱァ制御層に対して所望のメソヅド ' を指示し、

上記指示に応じて上記アプリケ一シヨン層のメソッドを実行し、

• 上記指示に応じて上記ハードウェア制御層のメソッドを実行するデータ処理方法。

7 3 . ユーザに対する課金量の金額情報を演算する通信方法において、

少なくともアプリケーシヨン層とハードウエア制御層に対して所望のメソヅドを指示し、

上記指示されたメソッドに応じて、上記メソッドの利用可否を判断し、上記メソッドの利用可否に応じて、上記要求されたメソッドを信号処理手段或いはハードウエア制御手段が実行し、

上記メソッドに対応する利用料金情報に応じて、上記指示するユーザへの課金量を示す金額情報を演算する通信方法。

7 4 . ユーザに課金情報を示す課金処理方法において、

外部装置から、当該外部装置のアプリケーシヨン層とハードウヱァ制御層の所望のメソッドの利用許可を要求する要求信号を受信し、

上郷受信された要求信号に基づいて上記メソッドの利用可否を判断し、上記判断結果に応じて、上記メソッドの各々の利用料金情報に基づいて、上記要求信号を送信するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する課金処理方法。

7 5 . コンテンツデ一夕の通信を行う通信方法において、

少なくとも上記送信装置のアプリケーション層と上記受信装置のハードウェア制御層に対して所望のメソッドを指示し、

上記指示されたメソッドを要求する要求信号を送信し、

上記送信される要求信号に応じて、上記メソッドを実行することにより上記送信装置に入力されるコンテンツデータに対して信号処理手段が信号処理し、上記信号処理されたコンテンヅデータを上記送信装置から上記受信装置に送信し、

上記受信装置は、上記送信されたコンテンヅデ一夕を受信し、

上記指示されたメソッドに応じて、ハ一ドウエア制御手段により実行されるメソッドが上記受信装置の内部回路に対する電力供給を制御し、'

上記信号処理手段或いは上記ハードウエア制御手段が有する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段に記憶された情報に基づいて、上記指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する通信方法。

7 6 . コンテンッデ一夕の通信を行う通信方法において、

少なくともアプリケ一シヨン層とハードウヱァ制御層に対して所望のメソッドを指示し、

上記指示されたメソッドを要求する要求信号を送信し、

上記要求信号に応じたメソッドにより処理されたコンテンツデータを受信し、ハードウェア制御手段が上記指示されたメソッドを実行し、本装置の内部回路への電力供給を制御する通信方法。

7 7 . コンテンツデータを外部に送信する通信方法において、

外部からのアプリケーション層のメソヅドの実行を要求する要求信号を受信し、上記受信される要求信号に応じて、上記アプリケ一シヨン層に関わるメソヅドを選択的に実行し、入力されるコンテンツデ一タに対して信号処理し、上記信号処理されたコンテンヅデ一夕を外部に送信する通信方法。

7 8 . 情報処理手段により読み取り可能なプログラムが格納されている記憶媒体であり、

上記プログラムは、

少なくともアプリケ一シヨン層とハードウヱァ制御層に対して所望のメソヅドを指示し、

上記指示に応じて上記アプリケーシヨン層のメソッドを実行し、

上記指示に応じて上記ハードウエア制御層のメソッドを実行する

記憶媒体。

7 9 . 情報処理手段により読み取り可能なプログラムが格納されている記憶媒体であり、

上記プログラムは、

少なくともアプリケーシヨン層とハードウヱァ制御層に対して所望のメソッドを指示し、

上記指示されたメソッドに応じて、上記メソッドの利用可否を判断し、上記メソッドの利用可否に応じて、上記要求されたメソッドを信号処理手段或いはハードウェア制御手段が実行し、

上記メソッドに対応する利用料金情報に応じて、上記指示するユーザへの課金量を示す金額情報を演算する

記憶媒体。

8 0 . 情報処理手段により読み取り可能なプログラムが格納されている記憶媒体であり、

上記プログラムは、

上郷受信された要求信号に基づいて上記メソッドの利用可否を判断し、上記判断結果に応じて、上記メソッドの各々の利用料金情報に基づいて、上記要求信号を送信するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する記憶媒体。

8 1 . 情報処理手段により読み取り可能なプログラムが格納されている記憶媒体であり、

上記プログラムは、

少なくとも上記送信装置のアプリケ一シヨン層と上記受信装置のハードウエア制御層に対して所望のメソッドを指示し、

上記指示されたメソツドを要求する要求信号を送信し、

上記送信される要求信号に応じて、上記メソッドを実行することにより上記送信装置に入力されるコンテンツデ一夕に対して信号処理手段が信号処理し、上記信号処理されたコンテンツデータを上記送信装置から上記受信装置に送信し、

上記受信装置は、上記送信されたコンテンツデ一夕を受信し、

上記指示されたメソッドに応じて、ハードウエア制御手段により実行されるメソッドが上記受信装置の内部回路に対する電力供給を制御し、

上記信号処理手段或いは上記ハードウエア制御手段が有する複数のメソッドの各々の利用料金情報を記憶する利用料金記憶手段に記憶された情報に基づいて、上記指示するユーザへの課金量を示す金額情報を演算すると共に、当該金額情報を出力する

記憶媒体。

8 2 . 情報処理手段により読み取り可能なプログラムが格納されている記憶媒体であり、

上記プログラムは、

上記指示されたメソッドを要求する要求信号を送信し、

上記要求信号に応じたメソッドにより処理されたコンテンヅデ一夕を受信し、ハードウェア制御手段が上記指示されたメソッドを実行し、本装置の内部回路への電力供給を制御する

記憶媒体。

8 3 . 情報処理手段により読み取り可能なプログラムが格納されている記憶媒体であり、

上記プログラムは、

外部からのアプリケーシヨン層のメソッドの実行を要求する要求信号を受信し、上記受信される要求信号に応じて、上記アプリケーシヨン層に関わるメソヅドを選択的に実行し、入力されるコンテンツデータに対して信号処理し、

上記信号処理されたコンテンツデ一夕を外部に送信する

記憶媒体。