WO2004053702A1

WO2004053702A1 - 情報処理装置および方法、プログラム、並びに記録媒体

Info

Publication number: WO2004053702A1
Application number: PCT/JP2003/012758
Authority: WO
Inventors: Masumi Ono; Mikio Kamada; Masamichi Asukai; Kazunori Ohmura
Original assignee: Sony Corporation
Priority date: 2002-12-11
Filing date: 2003-10-06
Publication date: 2004-06-24
Also published as: KR20050084771A; EP1574961A4; CN1692341A; EP1574961A1; JP2004237022A; US20050149467A1; KR100994906B1; US7548891B2; CN1692341B

Abstract

本発明は、情報処理装置を用いて、生体情報などの非定義情報から、使用者の感情・状態を特定できるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。入力部９１で使用者の脈拍情報と体動情報を取得し、特徴抽出部１１２において、脈拍情報と体動情報の特徴量ベクトルを生成する。学習部９４において、生成された特徴量ベクトルと蓄積部９５に蓄積された特徴量ベクトルを比較し、使用者の感情・状態を特定し、出力制御部１１４を経由して出力部９２へ出力する。また、新たに生成された特徴量ベクトルを蓄積部９５に蓄積されたベクトルに加えて、ベクトルの分布、分布の中心、標準偏差を再計算し、蓄積部９５に蓄積する。

Description

明細書

情報処理装置および方法、プログラム、並びに記録媒体技術分野

本発明は情報処理装置おょぴ方法、プログラム、並びに記録媒体に関し、特に、使用者の個性を反映する様々な情報から特徴を抽出し、学習を行い、その学習結果をもとに、使用者の感情、状態、およびその強度を特定することができるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。背景技術

従来、情報処理装置を用いたコミュニケーションとして、電話、メール、チヤットなどが用いられている。情報処理装置を介さない対面時におけるコミュニケーシヨンでは、言葉を用いた意味伝達のみならず、表情、動作、気配など様々な手段で、感情、状態などの情報も伝達される。それに対して、電話、メール、チャットなどは、主に、言葉を用いた意味伝達には有効であるが、言葉で表現されていない感情、状態、気配などを伝える事はできない。また、インターネット上で行われているバーチャルコミュ-ケーションにおいては、アバターと言われるコンピュータ合成画像なども用いられているが、人の感情を十分表現するには到つていない。

このように、現状では、情報処理装置を用いたコミュニケーションにおいて、極めて制限された情報のやり取りが行われているに過ぎない。

そこで、音声情報、画像情報、バイタルサイン（生体情報）といった情報を通信し、それらの情報をもとに操作者の心理や生理状態を推定し、推定量を出力する通信装置が、提案されている。（例えば、特開 2 0 0 2— 3 4 9 3 6号公報 (以下、特許文献 1と称する）参照）。

特許文献 1の技術では、使用者の生体情報について各平均値からのずれが算出され、その結果から操作者の感情や状態を推定されている。しかし、このような単純な推定アルゴリズムを用いて人間の感情や状態を "喜" "怒" "哀" "楽" などに一義的に推定した結果は、必ずしも正しいと言えず、このような推定結果を表示する事は、操作者ならぴに操作者間に誤解を生じさせ、かえってコミュ二ケーシヨンの阻害要因となるおそれがある。

また、情報の表示に関しては、表、グラフ、または図形を用いる、顔の表情、色などを変化させて表示する、音声あるいは音情報を加工するといつた方法が示されているが、生体情報から推定される感情や状態、更には、人の動作や気配などの情報を表示する方法としては不十分であるという課題があった。発明の開示

本発明は、使用者の感情や状態を、その強度とともに特定することを可能にする。また、非言語的情報を用いてコミュニケーションができるようにするものである。

本発明の情報処理装置は、非言語的情報と言語的情報の入力を受け付ける入力受付手段と、入力された非言語的情報を言語的情報に関係付けて、使用者の感情を学習する学習手段と、学習手段による学習の結果得られた情報を蓄積する蓄積手段と、入力された非言語的情報、または蓄積された非言語的情報を所定の信号に変換し、出力する出力手段とを備えることを特徴とする。

前記学習手段は、使用者の感情を、その強度とともに学習することができる。前記学習手段は、新たに非言語的情報が入力されたとき、蓄積手段に蓄積された非言語的情報に基づいて、使用者の感情を特定し、出力手段は、学習手段が特定した結果を出力することができる。

前記蓄積手段は、学習手段により特定された感情に対応する非言語的情報を、蓄積手段に蓄積された非言語的情報に付加してさらに蓄積することができる。非言語的情報の特徴を表す変数を生成する変数生成手段をさらに備え、学習手段は、生成された変数を統計的に処理し、変数を蓄積手段に蓄積することができる。前記学習手段は、入力された非言語的情報から変数生成手段が生成した変数と、蓄積手段に蓄積された変数を比較して、使用者の感情を特定することができる。前記入力手段は、非言語的情報として、使用者の脈拍情報、または体動情報の入力を受け付けることができる。

前記入力手段は、非言語的情報として、使用者の打鍵による振動情報の入力を受け付けることができる。

前記入力手段は、非言語的情報として、使用者のマウス握り圧情報、または環境温度情報の入力を受け付けることができる。

本発明の情報処理装置は、オンラインゲームを行うゲーム機とすることができる。

前記入力手段は、非言語的情報としてゲーム機のコントローラの加速度情報、または握り圧情報の入力を受け付けることができる。 '

前記出力手段は、蓄積された非言語的情報のうち、使用者が指定した特定の非言語的情報を抽出し、抽出された非言語的情報を所定の信号に変換し、使用者が指定する他のゲーム機に出力することができる。

本発明の情報処理方法は、非言語的情報と言語的情報の入力を受け付ける入力受付ステップと、入力された非言語的情報を言語的情報に関係付けて、使用者の感情を学習する学習ステップと、学習ステップの処理による学習の結果得られた情報を蓄積する蓄積ステップと、入力された非言語的情報または、蓄積された非言語的情報を所定の信号に変換し、出力する出力ステップとを含むことを特徴とする。

本発明のプログラムは、非言語的情報と言語的情報の入力の受け付けを制御する入力受付制御ステップと、入力された非言語的情報を言語的情報に関係付けて、使用者の感情の学習を制御する学習制御ステップと、学習制御ステップの処理による学習の結果得られた情報の蓄積を制御する蓄積制御ステツプと、入力された非言語的情報または、蓄積された非言語的情報の所定の信号への変換、出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。本発明の記録媒体は、非言語的情報と言語的情報の入力の受け付けを制御する入力受付制御ステップと、入力された非言語的情報を言語的情報に関係付けて、使用者の感情の学習を制御する学習制御ステップと、学習制御ステップの処理による学習の結果得られた情報の蓄積を制御する蓄積制御ステップと、入力された非言語的情報または、蓄積された非言語的情報の所定の信号への変換、出力を制御する出力制御ステップとをコンピュータに実行させるプログラムが記録されていることを特徴とする。

本発明の情報処理装置および方法、プログラム並びに記録媒体においては、非言語的情報と言語的情報の入力が受け付けられ、入力された非言語的情報が言語的情報に関係付けられ、使用者の感情が学習される。入力された非言語的情報、または蓄積された非言語的情報が所定の信号に変換され、出力される。

なお、以上において感情とは、喜ぴ、嫌悪のような感情だけを表すものではなく、活性、安定のような状態を含めて表すものである。図面の簡単な説明

図 1は、本発明の情報処理装置の接続形態を示す図である。

図 2は、本発明の情報処理装置おける入力される情報と蓄積される情報を示す図である。

図 3は、感情■状態に対応する特徴量の分布を示す図である。

図 4は、感情 ·状態に対応する特徴量べクトルの分布を示す図である。

図 5は、本発明の第 1の情報処理装置の構成例を示すプロッ図である。図 6は、図 5の入力部の構成例を示す図でプロック図ある

図 7は、図 5の出力部の構成例を示すプロック図である。

図 8は、図 5の出力部の構成例を示すブロック図である。

図 9は、端末 Aと端末 Bの間で送受信される情報を示す図である。

図 1 0は、端末 Aと端末 Bの間で送受信される情報を示す図である。

図 1 1は、送信設定情報と受信設定情報の内容を示す図である。図 1 2は、生体情報蓄積処理を説明するフローチャートである。

図 1 3は、生体情報蓄積処理を説明するフローチャートである。

図 1 4は、特徴量べクトル Vcl生成処理を説明するフローチャートである。図 Ί 5は、特徴量べクトル Vcl生成処理を説明するフローチャートである。図 1 6は、極性判定処理を説明するフローチャートである。

図 1 7は、 Tv出力処理を説明するフローチャートである。

図 1 8は、 Vinin, Vraax判定処理を説明するフローチャートである。

図 1 9は、波形情報のサンプリング方法を示す図である。

図 2 0は、 Tv出力処理、 Vmin， Vmax判定処理の結果得られる情報を示す図である。

図 2 1は、特徴量べクトル Vc 2生成処理を説明するフローチヤ一トである。図 2 2は、特徴量べクトル Vc 2生成処理を説明するフローチヤ一トである。図 2 3は、感情 ·状態を表す語句を示す図である。

図 2 4は、感情 ·状態の強度を表す語句を示す図である。

図 2 5は、脈拍情報の波形を示す図である。

図 2 6は、体動情報の波形を示す図である。

図 2 7は、端末 Bの蓄積部に蓄積される情報を示す図である。

図 2 8は、感情■状態特定処理を説明するフローチヤ一トである。

図 2 9は、特徴量べクトル Vc l生成処理を説明するフローチヤ一トである。図 3 0は、特徴量べクトル Vc l生成処理を説明するフローチヤ一トである。図 3 1は、特徴量べクトル Vc 2生成処理を説明するフローチヤ一トである。図 3 2は、特徴量べクトル Vc 2生成処理を説明するフローチヤ一トである。図 3 3は、 Vc lの感情、状態、およびその強度特定処理を説明するフローチヤートである。

図 3 4は、 Vc lと各べクトルの内積値の計算結果データを示す図である。図 3 5は、 Vc lと各べクトルの分布の関係を示す図である。図 3 6は、 Vc 2の感情、状態、およびその強度特定処理を説明するフローチヤートである。

図 3 7は、 Vc 2と各べクトルの内積値の計算結果データを示す図である。図 3 8は、 Vc 2と各べクトルの分布の関係を示す図である。

図 3 9は、特定結果出力、再計算の処理を説明するフローチャートである。図 4 0は、情報出力処理を説明するフローチャートである。

図 4 1は、情報出力処理を説明するフローチャートである。

図 4 2は、情報出力処理において出力される情報の波形を示す図である。図 4 3は、情報出力処理において出力される情報の波形を示す図である。図 4 4は、本発明の第 2の情報処理装置の構成例を示すブロック図である。図 4 5は、図 4 4の入力部の構成例を示す図でプロック図ある

図 4 6は、図 4 4の出力部の構成例を示すプロック図である。

図 4 7は、端末 Aと端末 Bの間で送受信される情報を示す図である。

図 4 8は、端末 Aと端末 Bの間で送受信される情報を示す図である。

図 4 9は、振動情報蓄積処理を説明するフローチャートである。

図 5 0は、振動情報蓄積処理を説明するフローチャートである。

図 5 1は、特徴量べクトル Vc生成処理を説明するフローチャートである。図 5 2は、特徴量べクトル Vc生成処理を説明するフローチヤ一トである。図 5 3は、端末 Bの蓄積部に蓄積される情報を示す図である。

図 5 4は、キーボード振動情報の波形を示す図である。

図 5 5 Aは、キーボード振動情報から得られるデータを示す図である。

図 5 5 Bは、キーボード振動情報から得られるデータを示す図である。

図 5 6は、感情 ·状態特定処理を説明するフローチャートである。

図 5 7は、特徴量べクトル Vch生成処理を説明するフローチャートである。図 5 8は、特徴量べクトル Vch生成処理を説明するフローチヤ一トである。図 5 9は、 Vchの感情、状態、およびその強度特定処理を説明するフローチヤートである。図 6 0は、 Vchと各べクトルの分布の関係を示す図である。

図 6 1は、特定結果出力、再計算の処理を説明するフローチャートである。図 6 2は、情報出力処理を説明するフローチャートである。

図 6 3は、情報出力処理を説明するフローチャートである。

図 6 4は、情報出力処理において出力される情報の波形を示す図である。図 6 5は、情報出力処理において出力される情報の波形を示す図である。図 6 6は、本発明の第 3の情報処理装置の構成例を示すブロック図である。図 6 7は、図 6 6の入力部の構成例を示す図でプロック図ある

図 6 8は、図 6 6の出力部の構成例を示すプロック図である。

図 6 9は、端末 Aと端末 Bの間で送受信される情報を示す図である。

図 7 0は、端末 Aと端末 Bの間で送受信される情報を示す図である。

図 7 1は、クリック情報、握り圧情報蓄積処理を説明するフローチャートである。

図 7 2は、クリック情報、握り圧情報蓄積処理を説明するフローチャートである。

図 7 3は、特徴量べクトル Vc生成処理を説明するフローチヤ一トである。図 7 4は、タリック特徴算出処理を説明するフローチャートである。

図 7 5は、握り圧特徴算出処理を説明するフローチャートである。

図 7 6は、感情■状態申告チャートの表示例を示す図である。

図 7 7は、感情■状態申告情報の構成例を示す図である。

図 7 8は、端末 Bの蓄積部に蓄積される情報を示す図である。

図 7 9は、マウスのタリック情報の波形を示す図である。

図 8 0は、マウスの握り圧情報の波形を示す図である。

図 8 1は、感情 '状態特定処理を説明するフローチャートである。

図 8 2は、特徴量べクトル Vc生成処理を説明するフローチヤ一トである。図 8 3は、タリック特徴算出処理を説明するフローチャートである。

図 8 4は、握り圧特徴算出処理を説明するフローチヤ一トである。図 8 5は、 Vcの感情、状態、およびその強度特定処理を説明するフローチヤ一トである。

図 8 6は、 Vcと各べクトルの分布の関係を示す図である。

図 8 7は、特定結果出力、再計算の処理を説明するフローチャートである。図 8 8は、情報出力処理を説明するフローチャートである。

図 8 9は、情報出力処理を説明するフローチャートである。

図 9 0は、情報出力処理において出力される情報の波形を示す図である。図 9 1は、情報出力処理において出力される情報の波形を示す図である。図 9 2は、本発明のゲーム機の接続形態を示す図である。

図 9 3は、本発明のゲーム機の構成例を示す図である。

図 9 4は、本発明のゲーム機のコントローラの構成例を示す図である。

図 9 5は、ゲーム機 A、ゲーム機 B、およびサーバの間で送受信される情報を示す図である。

図 9 6は、ゲーム機 A、ゲーム機 B、およびサーバの間で送受信される情報を示す図である。

図 9 7は、特徴情報蓄積処理を説明するフローチャートである。

図 9 8は、特徴情報蓄積処理を説明するフローチャートである。

図 9 9は、特徴べクトル Vcの生成処理を説明するフローチヤ一トである。図 1 0 0は、加速度情報の特徴量算出処理を説明するフローチャートである。図 1 0 1は、加速度情報の特徴量算出処理を説明するフローチャートである。図 1 0 2は、ゲーム機のコントローラの加速度情報の波形を示す図である。図 1 0 3は、ゲーム機のコントローラの加速度情報から得られるデータを示す図である。

図 1 0 4は、握り圧情報の特徴量抽出処理を説明するフローチャートである。図 1 0 5は、握り圧情報の特徴量抽出処理を説明するフローチャートである。図 1 0 6は、ゲーム機のコントローラの右側の握り圧情報の波形を示す図である。図 1 0 7は、ゲーム機のコントローラの左側の握り圧情報の波形を示す図である。

図 1 0 8は、ゲーム機のコントローラの右側の握り圧情報から得られるデータを示す図である。

図 1 0 9は、ゲーム機のコントローラの左側の握り圧情報から得られるデータを示す図である。

図 1 1 0は、ゲーム機のコントローラの加速度情報の波形を示す図である。図 1 1 1は、ゲーム機のコントローラの右側の握り圧情報の波形を示す図である。

図 1 1 2は、ゲーム機のコントローラの左側の握り圧情報の波形を示す図である。

図 1 1 3は、ゲーム機の蓄積部に蓄積される情報を示す図である。

図 1 1 4は、感情状態特定処理を説明するフローチャートである。

図 1 1 5は、特徴べクトル Vcag の生成処理を説明するフローチヤ一トである。図 1 1 6は、 Vcagの感情情報特定処理を説明するフローチャートである。

図 1 1 7は、 Vcagと各べクトルの分布の関係を示す図である。

図 1 1 8は、特定結果出力再計算処理を説明するフローチャートである。

図 1 1 9は、情報出力処理を説明するフローチャートである。

図 1 2 0は、情報出力処理を説明するフローチャートである。

図 1 2 1は、蓄積情報出力処理を説明するフローチャートである。

図 1 2 2は、情報出力処理において出力される振動呈示部駆動信号の波形を示す図である

図 1 2 3は、情報出力処理において出力される光呈示部駆動信号の波形を示す図である

図 1 2 4は、' 情報出力処理において出力される光呈示部駆動信号の波形を示す図である図 1 2 5は、情報出力処理において出力される振動呈示部駆動信号の波形を示す図である。

図1 2 6は、情報出力処理において出力される光呈示部駆動信号の波形を示す図である。

図 1 2 7は、情報出力処理において出力される光呈示部駆動信号の波形を示す図である。発明を実施するための最良の形態

以下に、本発明の実施の形態について図面を参照して説明する。図 1は本発明の情報処理装置を利用したコミュ-ケーシヨンシステムの構成を示す図である。本発明の情報処理装置である端末 1、端末 2、および端末 3はそれぞれネットワーク 1 1に接続され、互いに情報通信を行うことが可能である。

端末 1 (端末 A) 、端末 2 (端末 B ) 、端末 3 (端末 C ) にはそれぞれ、情報の入力を受け付ける入力部 9 1 A乃至 9 1 C、入力された情報を処理する処理部 9 3 A乃至 9 3 C、入力された情報から使用者の感情、状態、およびその強度を学習、特定する学習部 9 4 A乃至 9 4 C、学習部によって学習、特定された情報を蓄積する蓄積部 9 5 A乃至 9 5 C、学習部によって特定された情報、または蓄積部に蓄積された情報を出力する出力部 9 2 A乃至 9 2 C、情報の送受信を行う通信部 9 6 A乃至 9 6 C、および各部を制御するシステム制御部 9 7 A乃至 9 7 Cが設けられている。

なお、端末 1 (端末 A ) 乃至端末 3 (端末 C ) の構成は同一であるため、それらを構成する入力部 9 1 A乃至システム制御部 9 7 A、入力部 9 1 B乃至システム制御部 9 7 B、並びに入力部 9 1 C乃至システム制御部 9 7 Cは、それぞれ同一の機能を有している。以下においては、それらを個々に区別する必要がない場合には、入力部 9 1乃至システム制御部 9 7と、まとめて表現する。

図 2に示すように、端末 1、端末 2、または端末 3の入力部に入力される情報は、定義情報と非定義情報に分類される。定義情報とは、その情報単独で、一義的に解釈が可能な情報であり、言語や意味の決まった記号、意図的に行われる特定の操作によって決まった情報を伝達できる自己申告情報などが、これに相当する。

一方、非定義情報とは、その情報単独では、多様な解釈が可能、もしくは解釈が困難な情報であり、脈拍、血流、血圧、呼吸、体温、皮膚表面温、皮膚電気抵抗、発汗、脳波、脳磁などの生理情報、体の移動、頭部の移動などの体動情報、打鍵による振動、マウスを握る圧力などの情報が、これに相当する。

処理部 9 3では、入力された定義情報から使用者の感情、状態、およびその強度（感情情報 E ) が抽出され、非定義情報からは、特徴量 Cと、信号レベル列が抽出され、学習部 9 4に送られる。

学習部 9 4に送られた感情情報 E、特徴量 C、および信号レベル列は、統合された後、蓄積部 9 5に、特定の個人毎に Dataとして蓄積される。 Dataは、蓄積情報としての PID、 CD、 CSDから構成される。

PIDは、氏名、ニックネーム、電子メールアドレスや個人に割り当てられた番号などの記号、性別、生年月日、居住地、血液型などで構成され、個人を特定する情報である。

CDは、特定情報 PIDにより特定された個人の感情情報 E、入力された非定義情報から抽出された 1つの特徴量 Cの分布 fc、その分布の中心値 //、標準偏差 σ、使用者が情報を入力した時点における使用者の周辺環境情報（温度、湿度、環境音情報、近接者数、気象情報、位置情報など） Κρ、および情報が蓄積された日時 Τにより構成される。感情 ·状態は、表示す通り 1 2通りに分別される。感情 ·状

喜び

驚き

悲しみ

怒り

嫌悪

興味

恥じ

好

安疋

安定

活性

不隨く表 1 >

さらに、各感情 ·状態は、強、中、弱の 3種類の強度に分けられ、感情情報 E は 3 6 (= 1 2 X 3 ) 通りとなる。従って単独情報 CDは 1つの特徴量毎に 3 6 個存在することになり、特徴量の数を mとすると、単独情報 CDは 1個人毎に 3 6 X m個存在する。

蓄積情報である CSDは、特定情報 PIDにより特定された個人の感情情報 E、非定義情報から抽出された複数の特徴量 Cを組み合わせたベタトル Vcの分布 fvc、分布の中心べクトノレ V ju、分布の標準偏差べクトル ν σ、入力者が情報を入力した時点における入力者の周辺環境情報（温度、湿度、環境音情報、近接者数、気象情報、位置情報など） Κ_Ρ、情報が蓄積された日時 Τにより構成される。

感情 ·状態は、表 1に示す通り 1 2通りに分別され、さらに、各感情 '状態は、強、中、弱の 3種類の強度に分けられ、感情情報 Εは 3 6通りとなる。従って複数情報 CSDは、 1個人毎に 3 6個存在する。蓄積部 9 5に蓄積された情報は、使用者の感情 ·状態を学習したり、特定したりするときに参照され、新しい情報が加えられた後、あらためて蓄積部 9 5に蓄積される。

蓄積部 9 5に十分な情報が蓄積された後は、非定義情報のみから、情報処理装置が、特定の個人の感情、状態、およびその強度を特定することができる。この場合、入力された非定義情報の特徴量を抽出され、蓄積部 9 5に蓄積された特定の個人に対応する情報と比較される。

例えば、処理部 9 3において、特定の個人 aについて、非定義情報から複数の特徴量 C1，C2, . . Cmが抽出されたとする。学習部 9 4において、この抽出された複数の特徴量から、特徴量ベクトル Vex (C1, C2. . . Cm) が生成される。そして、学習部 9 4は、蓄積部 9 5に蓄積された個人 aについての複数情報 CSDを読み出し、蓄積されている全ての感情、状態、およびその強度に対応する中心べクトノレ V 1,V 2， . . . V〃36を読み出す。

次に、特徴量ベクトル Vexと各中心ベクトル VjU n (n=l， 2 , . . . 3 6 ) の内積（Vcx， V n)が算出される。さらに、内積（Vcx, V n)の値が大きい分布から順番に、全てのベクトル成分に対して、（V nm-σηιη)≤Vcxm≤ (V〃nra+ nm) の条件を満たしているか判定される。ここで、 Vjt nmは、 V z nの m番目の成分を表し、 σηιηは、分布 fvcnの標準偏差ベクトル σηの m番目の成分を表し、 Vcxmは、 Vexの m番目の成分を表している。

図 3は、特徴量 Cの感情情報 E1乃至 Enに対応する分布を示した図であり、縦軸は特徴量の分布 fcを表し、横軸は特徴量 Cの値を表している。図 3の例の場合、特徴量 Cの値が Vcxmとなったとき、感情情報 E2に対応する分布において、（V i 2m- σ2ηι)≤Vcxtn≤ (V β 2m+ σ2πι)の条件を満たしている。

このように、ベクトルを構成する全ての成分について、条件を満たすか否かが判定され、 Vexは、条件を満たした分布の内、内積（Vcx，V n)の値が最大となる分布に属すると判定する。図 4は、入力された非定義情報から生成された、特徴量べクトル Vexと、蓄積部 9 5に蓄積されている各感情情報に対応する特徴量べクトルの分布の関係を示す図である。これらのベクトルは m個の成分をもっているので、軸 chl、軸 ch2. . . 軸 chm により構成される m次元の空間に存在する。この空間の中には、感情情報 E1に対応する特徴量べクトルの分布 fvc l、その分布の中心べクトル V〃l、感情情報 E2に対応する特徴量べクトルの分布 fvc2、その分布の中心べクトル V i 2、および感情情報 Enに対応する特徴量べクトルの分布 fvcnが存在する。

各中心べクトル V j( l、 V i 2および V jU nと Vexの内積値（Vex, V 1)、

(Vcx，V〃2)、および（Vcx， V〃n)の中で、最大となるのは（Vex, V i ²)であり、つ Vexおよび V / 2を構成する ^個の成分全てにっぃて（¥ ^ ²111- CT 2m)≤Vcxm≤(V 2m+ 2ra)の条件を満たしているので、 Vexは、感情情報 E2 に対応する分布に属するものと判定される。

このようにして、入力された非定義情報から、特定された個人の感情、状態、およびその強度を特定することができる。

実施の形態 1

図 5に本発明の第 1の情報処理装置の構成例を示す。この情報処理装置は、携帯電話などに適用することができる。この情報処理装置には、使用者の音声情報、脈拍情報、および距離情報の入力を受け付ける入力部 9 1、入力部 9 1から入力された情報を処理する処理部 9 3、処理部 9 3から出力された特徴情報と感情情報に基づいて、学習、特定を行う学習部 9 4、学習部 9 4から出力された学習情報、特定情報を蓄積する蓄積部 9 5、処理部 9 3から出力された出力情報に基づいて、情報を出力する出力部 9 2、通信を行う通信部 9 6、および各部を制御するシステム制御部 9 7が設けられている。

処理部 9 3には、入力部 9 1から入力された情報を、音声情報、脈拍情報、または体動情報に分別する情報弁別部 1 1 1、脈拍情報と体動情報から特徴情報を抽出する特徴抽出部 1 1 2、音声情報から感情情報を抽出する意味抽出部 1 1 3、および出力部 9 2に出力情報を出力する出力制御部 1 1 4が設けられている。通信部 9 6には、情報の送信を行う情報送信部 1 2 1、情報の受信を行う情報受信部 1 2 2が設けられている。

図 6に入力部 9 1の構成例を示す。この例では、使用者の音声を取得するマイク 1 3 1、使用者の脈拍を検知する脈波センサ 1 3 2、使用者の体の動きを検知する測距センサ 1 3 3、文字、数字などの情報を入力するキーボード 1 3 4、マイク 1 3 1からの信号を認識する音声認識部 1 3 5、脈波センサ 1 3 2からの信号を増幅する電源アンプ部 1 3 6、測距センサ 1 3 3からの信号を増幅する電源アンプ部 1 3 7により構成されている。

図 7と図 8に出力部 9 2の構成例を示す。図 7の例では、所定の信号に基づいてォブジェクトを移動させる移動ォブジェクト 1 5 2、移動オブジェクト 1 5 2 を駆動する電源駆動部 1 5 1により構成されている。また、移動オブジェクト 1 5 2は、オブジェクト 1 7 3、駆動用ベルト 1 7 4、サーポモータ 1 7 1、おょぴ回転軸 1 7 2により構成されている。

図 8の例では、所定の信号に基づいて、光を発する発光部 1 9 2と発光部 1 9 2を駆動する電源アンプ部 1 9 1により構成されている。

使用者 aがもっている情報処理装置を端末 Aとし、使用者 bがもっている情報処理装置を端末 Bとして、使用者 aと使用者 bがそれぞれの端末を用いて、相互に通信を行う場合、図 9に示される手順で情報の送受信が行われる。最初に端末 Aは、端末 Bに接続要求を送信し、それに対応して端末 Bは端末 Aに接続応答を送信する。その後、端末 Aと端末 Bの間で、メール、チャットなどの文字情報、会話で送受信される音声情報や CCDカメラなどで取得された画像情報を送受信する。

次に端末 Aは生体情報（この例の場合、使用者の脈拍情報と体動情報）の送受信の初期設定を行い、端末 Bに送受信要求を送信する。このとき、端末 Aカら図 1 1に示される送信設定情報と受信設定情報が送信される。送信設定情報は、情報送信モードの選択 ms、情報処理方法の選択 t s、情報出力形式の設定権の選択 dsにより構成される。受信設定情報は、情報受信モードの選択 mr、情報処理方法の選択 tr、情報出力形式の設定権の選択 drにより構成される。

情報送信モードの選択 msは、生体情報を送信するか否かを示し、情報処理方法の選択 tsは、送信時に生体情報の処理を行うか否かを示し、情報出力形式の設定権の選択 dsは、送信した生体情報の出力形式の設定を送信側で行うか、受信側で行うかを示す。

情報受信モードの選択 mrは、生体情報を受信するか否かを示し、情報処理方法の選択 trは、受信時に生体情報の処理を行うか否かを示し、情報出力形式の設定権の選択 drは、受信した生体情報の出力形式の選択を送信側で行うか、受信側で行うかを示す。

端末 Aから生体情報の送信要求を受け取った端末 Bは、生体情報送受信設定の変更を行い、端末 Aに応答を送信する。

そして端末 Aから端末 Bに使用者 aの生体情報が送信され、端末 Bから端末 A に使用者 bの生体情報が送信される。端末 A、端末 Bにはそれぞれ生体情報が蓄積される。

端末 Aから端末 Bに接続終了要求が送信されると、端末 Bはそれに応答し、通信は終了する。

このようにして、端末 Aと端末 Bの間で通信が行われ、生体情報が蓄積される。生体情報が充分に蓄積された後は、図 1 0に示されるように情報の送受信が行われる。すなわち、端末 Aと端末 Bとの間で生体情報が送受信されると、端末 Aと端末 Bにおいて、使用者の感情 ·状態の特定処理が行われる。

次に図 1 2を参照して、端末 B における生体情報蓄積処理について説明する。最初に端末 Bのシステム制御部 9 7は、ステップ S 1において、端末 Aとの通信開始時に、通信相手である端末 A の使用者 a を特定する情報（例えば、氏名、ニックネームなど） PIDを取得する。ステップ S 2において、端末 Bのシステム制御部 9 7は、情報弁別部 1 1 1に、端末 Aから送信されてきた使用者 aの音声情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。ステップ S 2において、音声情報が入力されたと判定された場合、ステップ S 3に進み、端末 Bのシステム制御部 9 7は、特徴抽出部 1 1 2に、端末 Aから送信されてきた使用者 aの脈拍情報、体動情報のサンプリング処理を開始させる。そして、ステップ S 4に進み、端末 Bのシステム制御部 9 7は、意味抽出部 1 1 3に音声の認識を行わせる。ステップ S 5において、端末 Bのシステム制御部 9 7は、認識された音声の中に感情、状態およびその強度を表す語句があるか否かを判定し、感情、状態およびその強度を表す語句がないと判定された場合、ステップ S 2に戻り以降の処理を繰り返し実行する。感情 ·状態を表す語句は図 2 3に示されるようなものであり、強度を示す語句は図 2 4に示されるようなものである。

ステップ S 5において、感情、状態およびその強度を示す語句があると判定された場合、端末 Bのシステム制御部 9 7は、ステップ S 6において、認識された語句の主語は使用者か否か、すなわち、認識された語句が、使用者 a の感情、状態およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップ S 2に戻り、以降の処理を繰り返し実行する。

ステップ S 6において、主語は使用者であると判定された場合、端末 Bのシステム制御部 9 7は、ステップ S 7において、使用者 aの音声が 1フレーズ分入力されたか否かを判定し、 1フレーズ分入力されたと判定されるまで待機する。ステップ S 7において、 1フレーズ分入力されたと判定された場合、端末 B のシステム制御部 9 7は、ステップ S 8に進み、特徴抽出部 1 1 2に、脈拍情報、体動情報のサンプリング処理を終了させる。

なお、脈拍情報、体動情報のサンプリング処理は、端末 Aの特徴抽出部 1 1 2において行い、サンプリングした結果を端末 Bに送信してもよい。

そして、ステップ S 9に進み、端末 Bのシステム制御部 9 7は、意味抽出部 1 1 3に、感情情報 Eを抽出させる。使用者 aが「ちょっと面白い」と話した場合、「面白い」という語句に対応する感情 ·状態は興味であり、「ちょっと」という語句に対応する強度は弱であると認識され、感情情報 Eとして、「弱い興味」が抽出される。

ステップ S 1 0において、端末 Bのシステム制御部 9 7は、特徴抽出部 1 1 2に使用者 a の脈拍情報に基づいて、特徴べクトル Vcl の生成処理を実行させ、ステップ 1 1に進み、個人を特定する情報 PID、感情情報 Eに対応する脈拍情報を蓄積部 9 5から読み出す。この場合、使用者 aの弱い興味に対応する脈拍情報の特徴ベクトルが読み出される。そして、ステップ S 1 2に進み、端末 Bのシステム制御部 9 7は、学習部 9 4に、読み出された特徴べクトルに新たに生成された特徴べクトル Vc 1を加えて、ベタトルの分布 fvcl、分布の中心べクトル V jt U 標準偏差ベクトル ν σ ΐを再計算させ、ステップ S 1 3において、再計算した結果を蓄積部 9 5に記憶する。 ·

ステップ S 1 4において、端末 Βのシステム制御部 9 7は、特徴抽出部 1 1 2に使用者 a の体動情報に基づいて、特徴べクトル Vc 2の生成処理を実行させ、ステップ S 1 5に進み、個人を特定する情報 PID、感情情報 Eに対応する体動情報を蓄積部 9 5から読み出す。この場合、使用者 aの弱い興味に対応する体動情報の特徴ベクトルが読み出される。そして、ステップ S 1 6に進み、端末 B のシステム制御部 9 7は、学習部 9 4に、読み出された特徴べクトルに新たに生成された特徴べクトル Vc2を加えて、ベタトルの分布 fvc2、分布の中心べクトル V i 2、標準偏差ベクトル V (J 2を再計算させ、ステップ S 1 7において、再計算した結果を蓄積部 9 5に記憶する。

次に図 1 4と図 1 5を参照して、脈拍情報の特徴べクトル Vc lの生成処理について説明する。この処理は、端末 Bの特徴抽出部 1 1 2で行われる。ステツプ S 3 1において、端末 Bの特徴抽出部 1 1 2は、サンプリングした脈拍情報を読み出し、ステップ S 3 2において、後述する極性判定処理を行い、ステップ S 3 3に進み、後述する TV出力処理を行い、ステップ S 3 4において、後述する Vmin, Vmax判定処理を行う。ここで、図 1 6乃至図 18を参照して、極性判定処理、 TV出力処理、および Vmin, Vmax判定処理について説明する。

最初に図 1 6を参照して、サンプリングした波形の極性判定処理について説明する。ステップ S 6 1において、端末 Bの特徴抽出部 1 1 2は、変数 IIを 1にセットし、ステップ S 6 2において、 Vs(n)を読み出す。図 1 9に示される波形 21 1を周期 Tclkでサンプリングすると、 Vsl,Vs2,Vs3. . . Vsnの値が得られる。ここで読み出される Vs(n)は nが 1のとき、 Vslとなり、 nが 2のとき Vs 2となるように読み出される。

ステップ S 6 3において、端末 Bの特徴抽出部 1 1 2は、 Vs(n)があるか否かを判定し、 Vs(n)がないと判定された場合、処理を終了する。ステップ S 6 3において、 Vs(n)があると判定された場合、ステップ S 64において、端末 Bの特徴抽出部 1 12は、 Vs(n)が閾値- VthOより小さいか否かを判定し、 VthOより小さくないと判定された場合、ステップ S 6 5に進み、 Vs(n)が閾値 VthOより大きいか否かを判定し、 VthOより大きくないと判定された場合、ステップ S 66 において Sig(n)に ·1をセットする。

ステップ S 64において、 Vs(n)が閾値- VthOより小さいと判定された場合、端末 Bの特徴抽出部 1 1 2は、 Sig(n)に- 1をセットする。ステップ S 6 5において、 Vs(n)が閾値 VthOより大きいと判定された場合、端末 Bの特徴抽出部 1 1 2は、 Sig(n)に 1をセットする。

ステップ S 6 7において、端末 Β·の特徴抽出部 1 1 2は、 nの値を 1だけィンクリメントし、ステップ S 62に戻り、以降の処理を繰り返し実行する。

このようにして、波形の極性を示す変数 Sig(n)が生成される。すなわち、波形の極性が +のときは、 Sig (n)の値が 1となり、波形の極性が一のときは、 Sig(n)の値が - 1 となり、波形の極性が +でもなく、一でもないとき、すなわち極性が 0のとき Sig (n)の値は 0となる。

次に図 1 7を参照して、 Tv出力処理について説明する。ステップ S 7 1において端末 Βの特徴抽出部 1 1 2は、変数 ηに 2をセットし、変数 Ρに 1をセットする。ステップ S 72において、端末 Bの特徴抽出部 1 1 2は、極性判定処理の結果生成された Sig(n)を読み出し、ステップ S 7 3において Sig(n)があるか否かを判定し、 Sig(n)がないと判定された場合、処理を終了する。

ステップ S 7 3において Sig(n)があると判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 74において Sig(n_l)を読み出し、ステップ S 7 5において、 Sig(n)と Sig(n_l)の値が等しいか否かを判定し、 Sig(n)と Sig(n - 1) の値が等しいと判定された場合、ステップ S 7 6に進み、 Sig(n)の値が- 1か否かを判定し、 Sig(n)の値が- 1ではないと判定された場合、ステップ S 7 8において、 Sig(n)の値が 1か否かを判定し、 Sig(n)の値が 1ではないと判定された場合、ステップ S 8 0に進み、変数 cの値を 1だけインクリメントして、ステツプ S 9 3に進む。

ステップ S 7 6において、 Sig(n)の値が - 1であると判定された場合、端末 B の特徴抽出部 1 1 2は、ステップ S 7 7において変数 aの値を 1だけィンクリメントして、ステップ S 9 3に進む。ステップ S 7 8において、 Sig(n)の：が 1 であると判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 7 9において変数 bの値を 1だけィンクリメントして、ステップ S 9 3に進む。

ステップ S 9 3において、端末 Bの特徴抽出部 1 1 2は、 nの値を 1だけィンクリメントして、ステップ S 7 2に戻り以降の処理を繰り返し実行する。一方、ステップ S 7 5において、 Sig(n)と Sig(n-l)の値が等しくないと判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 8 1に進み、 Sig(n-l) の値が一 1か否かを判定し、 Sig(n- 1)の値が一 1ではないと判定された場合、ステップ S 8 6に進み、 Sig(n- 1)の値が 1か否かを判定し、 Sig(n_l)の値が 1 ではないと判定された場合、ステップ S 9 0に進み、 TvO(P)の値を c*Tclkにセットする。そして、ステップ S 9 1に進み、端末 Bの特徴抽出部 1 1 2は、 TvO(P)を出力し、変数 cの値を 0にリセットして、ステップ S 9 3に進む。ステップ S 8 1において、 Sig(n- 1)の値が一 1であると判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 8 2に進み、 Tv- (P)の値を a*Tclkにセットし、ステップ S 8 3に進み、 Tv- (P)を出力し、ステップ S 84において変数 aの値を 0にリセットし、ステップ S 8 5に進み、変数 Pの値を 1だけインクリメントして、ステップ S 9 3に進む。

ステップ S 8 6において、 Sig(n - 1)の値が 1であると判定された場合、端末 B の特徴抽出部 1 1 2は、ステップ S 8 7に進み、 Tv+(P)の値を b*Tclkにセットし、ステップ S 8 8に進み、 Tv+(P)を出力し、ステップ S 8 6において変数 b の値を 0にリセットして、ステップ S 9 3に進む。

このようにすることで、波形の極性が一である間は aの値がインクリメントされ、波形の極性が +である間は bの値がインクリメントされ、波形の極性が 0である間は cの：がインクリメントされる。そして、波形の極性が変化したとき、 a , b，または cにサンプリング周期 Tclkが乗じられるので、図 2 0に示されるように、波形の出力が正の値となる時間 Tv+(1), Τν+(2) 、波形の出力が閾値 +VthOと -VthOの間の値となる時間 TvO(l) , Tv0(2), Τν0(3)、および波形の出力が負の値となる時間 Tv- (1)， Tv- (2)が得られる。

次に図 1 8を参照して、 Vmin， Vmax判定処理について説明する。最初に、ステップ S 1 1 1において、端末 Bの特徴抽出部 1 1 2は、変数 nに 2をセットし、変数 Pに 1をセットする。そして、ステップ S 1 1 2に進み、 Vs(n)を読み出し、ステップ S 1 1 3において、 Vs(n)があるか否かを判定し、 Vs(n)がないと判定された場合、処理を終了する。ステップ S I 1 3において Vs(n)があると判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 1 1 4に進み、 Vs(n - 1)を読み出し、ステップ S 1 1 5において、厶 Vs(n - 1)に Vs(n) - Vs(n - 1) の値をセットし、ステップ S 1 1 6に進み、厶 Vs(n- 1)の値を記憶する。

ステップ S 1 1 7において、端末 Bの特徴抽出部 1 1 2は、 AVs(n- 1)の値が 0より小さいか否かを判定し、 0より小さいと判定された場合、ステップ S 1 1 8で、厶 VSig(n)に- 1をセットし、ステップ S 1 1 7において、 0より小さくないと判定された場合、ステップ S 1 1 9で AVSig(n)に 1をセットする。ステツプ S 1 20に進み、 AVSig(n-l)があるか否かを判定し、 AVSig(n- 1)がないと判定された場合、ステップ S 1 2 7に進み nの値を 1だけインクリメントしてステツプ S 1 1 2にもどる。

ステップ S 1 20において、 AVSig(n - 1)があると判定された場合、ステップ S 1 2 1に進み、端末 Bの特徴抽出部 1 1 2は、 AVSig(n- 1)を読み出す。ステップ S 1 2 2において、 AVSig(n)の値と AVSig(n- 1)の値が等しいか否かを判定し、等しくないと判定された場合、ステップ S 1 2 3に進み、 Vs(n)の値が VthOより小さいか否かを判定し、 VthOより小さくないと判定された場合、ステップ S 1 2 5,に進み、 Vmax(P)に Vs(n- 1)をセットして、 Vraax(P)を出力し、 P の値を 1だけィンクリメントして、ステップ S 1 2 7へ進む。

ステップ S 1 2 2において、 AVSig(n)の値と AVSig(n-l)の値が等しいと判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 1 2 7へ進む。

ステップ S 1 2 3において、 Vs(n)の値が VthO より小さいと判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 1 24に進み、 Vmin(P)に Vs(n-l)をセットして、 Vmin(P)を出力し、ステップ S 1 2 7に進む。

このようにすることで、図 20に示されるように Tv+(1), Τν+(2)における波形 2 2 1のピーク値 Vmax(l)， Vmax(2)が得られ、時間 Tv- (1)， TV- (2)における波形 2 2 1のピーク値 Vmin(l)， Vmin (2)が得られる。

図 1 5にもどって、ステップ S 3 5において、端末 B の特徴抽出部 1 1 2は、変数 Pの値を 1にセットし、ステップ S 3 6において、 Tv+(P)または Tv- (0)があるか否かを判定し、 Tv+(P)または Tv- (0)があると判定された場合、ステップ S 3 7に進み、 Tppg+(P)に値 Tv+(P)をセットし、ステップ S 3 8において、 Tppg- (Ρ)に値 Tv- (Ρ)をセッ卜する。ステップ S 3 9において、端末 Bの特徴抽出部 1 1 2は、 Tppg+(P)と Tppg-(P)を足して Tppgi(P)とする。そして、ステップ S 40に進み、変数 Pの値を 1だけインクリメントし、ステップ S 3 6に戻り、以降の処理を繰り返し実行する。

ステップ S 3 3の Tv出力処理の結果、 Tv+(1)、 Tv+(2)、 Tv- (1)、 Tv- (2)が得られたとすると、変数 Pの値が 3になったとき、ステップ S 3 6において、 Tv+(P)または Tv -（P)がないと判定され、端末 Bの特徴抽出部 1 1 2は、ステツプ S 4 1に進み、 Tppg+, Tppg-, Tppgiの平均値、 Tppg+m, Tppg-m, Tppgimを計算する。この場合、 Tppg+m， Tppg-m, Tppgimはそれぞれ次のように計算される。 Tppg+m= (Tppg+(l)+Tppg+(2)) /2 Tppg~m= (Tppg- (1)+Tppg- (2) ) /2 Tppgim= (Tppgi (1) +Tppgi (2) ) /2

次にステップ S 4 2に進み、端末 Bの特徴抽出部 1 1 2は、変数 Pの値を 1 にセットし、ステップ S 4 3において、 Vmax(P)または Vmin(P)があるか否かを判定し、 Vmax(P)または Vrain(P)があると判定された場合、ステップ S 44に進み、 Appg+(P)に値 Vmax(P)をセットし、ステップ S 4 5において、 Appg- (P)に値 Vmin(P)をセットする。そして、ステップ S 4 6に進み、変数 Pの値を 1だけインクリメントし、ステップ S 4 3に戻り、以降の処理を繰り返し実行する。ステップ S 3 4の Vmin， Vmax判定処理の結果、 Vmax(l)、 Vraax(2) _N Vrain(l) Vtnin(2)が得られたとすると、変数 Pの値が 3になったとき、ステップ S 4 3において、 Vmax(P)または Vtnin(P)がないと判定され、端末 Bの特徴抽出部 1 1 2 は、ステップ S 4 7に進み、 Appg+， Appg-の平均値、 Appg+m， Appg- mを計算する。この場合、 Appg+m, Appg- mはそれぞれ次のように計算される。

Appg+ra= (Appg+(l)+Appg+(2)) /2 Appg-ra= (Appg- (l) +Appg- (2) ) / 2 そして、ステップ S 4 8に進み、端末 Bの特徴抽出部 1 1 2は、特徴量べク卜ノレ Vcl (Tppg+m, Tppg-m, Tppgim, Appg+ra, Appg-m) を生成する。

図 2 5に脈拍の波形 24 1を示す。 Tppg+は波形 24 1の出力が正の値となる時間を示し、 Tppg-は波形 24 1の出力が負の値となる時間を示し、 Tppgiは脈拍の 1拍分の時間を示し、 Appg+は、 Tp_Pg+における脈拍波形のピーク値であり Appg-は、 Tppg-における脈拍波形のピーク値となる。

このようにして、使用者 aの弱い興味に対応する脈拍情報の特徴べクトル Vc 1が生成される。

次に図 2 1を参照して、使用者 aの体動情報の特徴べクトル Vc2の生成処理について説明する。ステップ S 1 4 1において、端末 Bの特徴抽出部 1 1 2は、サンプリングした体動情報を読み出す。そして、端末 Bの特徴抽出部 1 1 2は、ステップ S 1 4 2において、図 1 6を参照して説明した極性判定処理を行い、ステップ S 1 4 3において、図 1 7を参照して説明した Tv出力処理を行い、ステップ S 1 44 において Vmax，Vmin判定処理を行う。そして、ステップ S 1 4 5に進み、端末 B の特徴抽出部 1 1 2は、変数 P に 1をセットする。ステップ S 1 4 6において、端末 Bの特徴抽出部 1 1 2は、 Vmax， Vmin判定処理において記憶された Δνの値（図 1 8のステップ S 1 1 6) の値を読み出す。

体動情報の波形は、図 2 6に示される波形 2 6 1のようになるので、 Ρの値が 1のときは、厶 VI、 Ρの値が 2のときは AV2となるように厶 V(P)が読み出される。そして、ステップ S 1 4 7において、端末 Βの特徴抽出部 1 1 2は、 △ V(P)があるか否かを判定し、 Δν(ρ)があると判定された場合、ステップ S 1 4 8に進み、 Vel(P)に I厶 V(P) | /Tclkの値をセットし、ステップ S 1 4 9において ∑ AVに ∑ Δν+ I Δν(Ρ) Iの値をセットし、ステップ S 1 5 0において、 Pの値を 1だけインクリメントしてステップ S 1 46に戻り、以降の処理を繰り返し実行する。

この場合、 AV(P)は、時間 Tclkの間に使用者 aが移動した距離を示すので、 Vel(P)は使用者 aが移動する速度を示し、 ∑ AVは、使用者 aが移動した距離の合計を示す。

ステップ S 1 4 7において、 AV(P)がないと判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 1 5 1において Dに ∑ AVの値をセットし、速度 Velの平均値 Velmを計算し、ステップ S 1 5 2に進み、特徴ベクトル Vc2

(Velm, D) を生成する。

このようにして、使用者 aの弱い興味に対応する体動情報の特徴べクトル Vc 2が生成される。 ·

ここまで、端末 B力端末 Aから送信された使用者 aの脈拍情報と体動情報から特徴量べクトル Vcl、 Vc2を生成し、蓄積する処理について説明したが、同様に端末 Bは、使用者 bについての脈拍情報と体動情報から特徴量べクトルを生成し、蓄積する。その結果、端末 Bの蓄積部 9 5には、図 2 7にしめされるような、脈拍情報に関する学習結果 2 8 1と体動情報に関する学習結果 2 8 2 がそれぞれ、使用者 aと使用者 bに分けて蓄積される。

また、端末 Aも同様にして、脈拍情報に関する学習結果と体動情報に関する学習結果をそれぞれ、使用者 aと使用者 bに分けて蓄積することができる。

上述した生体情報蓄積処理を繰り返し行い、生体情報が充分蓄積された後は、生体情報をもとに、使用者の感情、状態、およびその強度を特定することができる。

次に図 2 8を参照して、端末 B による感情状態の特定処理について説明する。ステップ S 1 7 1において、端末 Bのシステム制御部 9 7は、端末 A との通信開始時に、通信相手である端末 Aの使用者 a を特定する情報 PID を取得する。ステップ S 1 7 2において、端末 Bのシステム制御部 9 7は、情報弁別部 1 1 1に、端末 Aから送信されてきた使用者 aの音声情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。音声情報が入力されたと判定された場合、ステップ S 1 7 3に進み、端末 Bのシステム制御部 9 7は、特徴抽出部 1 1 2に、端末 Aから送信されてきた使用者 aの脈拍情報、体動情報のサンプリング処理を開始させる。そして、ステップ S 1 7 4に進み、端末 Bのシステム制御部 9 7は、意味抽出部 1 1 3に音声の認識を行わせる。

ステップ S 1 7 5において、端末 Bのシステム制御部 9 7は、使用者 aの音声が 1フレーズ分入力されたか否かを判定し、 1フレーズ分入力されたと判定されるまで待機する。

ステップ S 1 7 5において、 1フレーズ分入力されたと判定された場合、端末 Bのシステム制御部 9 7は、ステップ S 1 7 6に進み、特徴抽出部 1 1 2に脈拍情報、体動情報のサンプリング処理を終了させる。

なお、脈拍情報、体動情報のサンプリング処理は、端末 Aの特徴抽出部 1 1 2において行い、サンプリングした結果を端末 Bに送信してもよい。そして、ステップ S I 7 7に進み、端末 Bのシステム制御部 9 7は、特徴抽出部 1 1 2に、使用者 aの脈拍情報に基づいて、特徴べクトル Vc l生成処理を実行させ、ステップ 1 7 8において、使用者 aの体動情報に基づいて、特徴べタトル Vc 2生成処理を実行させ、ステップ S 1 7 9に進み、学習部 9 4に、 Vc l の感情、状態、およびその強度の特定処理を実行させ、ステップ S 1 8 0において Vc2の感情、状態、およびその強度の特定処理を実行させ、ステップ S 1 8 1に進み、特定結果の出力と再計算処理を実行させる。

次に、図 2 9と図 3 0を参照して、脈拍情報の特徴ベクトル Vc lの生成処理について説明する。この処理は、端末 Bの特徴抽出部 1 1 2で行われる。ステップ S 2 0 1において、端末 Bの特徴抽出部 1 1 2は、サンプリングした脈拍情報を読み出し、ステップ S 2 0 2において、図 1 6を参照して説明した極性判定処理を行い、ステップ S 2 0 3に進み、図 1 7を参照して説明した TV出力処理を行い、ステップ S 2 0 4において、図 1 8を参照して説明した Vmin, Vmax 判定処理を行う。

図 3 0のステップ S 2 0 5において、端末 Bの特徴抽出部 1 1 2は、変数 P の値を 1にセットし、ステップ S 2 0 6において、 Tv+ (P)または Tv- (0)があるか否かを判定し、 Τν+ (Ρ)または Tv- (0)があると判定された場合、ステップ S 2 0 7に進み、 Tpp_g+ (P)に値 Tv+ (P)をセットし、ステップ S 2 0 8において、 Tppg- (Ρ)に値 Tv- (Ρ)をセットする。ステップ S 2 0 9において、端末 Bの特徴抽出部 1 1 2は、 Tppg+ (P)と Tppg -（P)を足して Tppgi (P)とする。そして、ステツプ S 2 1 0に進み、変数 Pの値を 1だけィンクリメントし、ステップ S 2 0 6に戻り、以降の処理を繰り返し実行する。

ステップ S 2 0 6において、 Tv+ (P)または Tv- (P)がないと判定された場合、端末 Bの特徴抽出部 1 1 2は、ステップ S 2 1 1に進み、 T_PPg+， Tppg-, Tppgi の平均値、 Tppg+m, Tppg-m, Tppgitnを計算する。

次にステップ S 2 1 2に進み、端末 Bの特徴抽出部 1 1 2は、変数 Pの値を 1にセットし、ステップ S 2 1 3において、 Vmax (P)または Vrain (P)があるか否かを判定し、 Vmax(P)または Vmin(P)があると判定された場合、ステップ S 21 4に進み、 Appg+(P)に値 Vmax(P)をセットし、ステップ S 21 5において、 Appg- (P)に値 Vmin(P)をセットする。そして、ステップ S 2 1 6に進み、変数 P の値を 1だけィンクリメントし、ステップ S 2 1 3に戻り、以降の処理を繰り返し実行する。

ステップ S 21 3において、 Vtnax(P)または Vmin(P)がないと判定され、端末 Bの特徴抽出部 1 1 2は、ステップ S 21 7に進み、 Appg+， Appg-の平均値、 Appg+m, Appg - m 計算する。

そして、ステップ S 2 1 8に進み、端末 Bの特徴抽出部 1 1 2は、特徴量べク卜ノレ Vcl (Tppg+m, Tppg-m, Tppgim, Appg+m, Appg-m) を生成する。

このようにして、使用者 aの脈拍情報の特徴べクトル Vclが生成される。

次に図 3 1を参照して、使用者 aの体動情報の特徴べクトル Vc2の生成処理について説明する。

ステップ S 2 3 1において、端末 Bの特徴抽出部 1 1 2は、サンプリングした体動情報を読み出す。そして、端末 Bの特徴抽出部 23 2は、ステップ S 2 3 2において、図 1 6を参照して説明した極性判定処理を行い、ステップ S 23 3において、図 1 7を参照して説明した Tv出力処理を行い、ステップ S 234 において図 1 8を参照して説明した Vmax，Vmin判定処理を行う。そして、ステップ S 23 5に進み、端末 B の特徴抽出部 1 1 2は、変数 P に 1をセットする。ステップ S 236において、端末 Bの特徴抽出部 1 1 2は、 Vmax, Vmin判定処理において記憶された厶 Vの値（図 1 8のステップ S 1 1 6) の値を読み出す。ステップ S 23 7において、端末 Bの特徴抽出部 1 1 2は、厶 V(P)があるか否かを判定し、 Δν(Ρ)があると判定された場合、ステップ S 238に進み、 Vel(P)に 1厶 V(P) I /Tclkの値をセットし、ステップ S 23 9において ∑ に ∑ AV+ I厶 V(P) Iの値をセットし、ステップ S 240において、 Pの値を 1 だけィンクリメントしてステップ S 236に戻り、以降の処理を繰り返し実行する。ステップ S 2 3 7において、 AV(P)がないと判定された場合、端末 Βの特徴抽出部 1 1 2は、ステップ S 24 1において Dに ∑ AVのイ直をセットし、 Velの平均値 Velmを計算し、ステップ S 2 5 2に進み、特徴ベクトル Vc2 (Velra, D) を生成する。

このようにして、使用 aの体動情報の特徴ベクトル Vc 2が生成される。

次に図 3 3を参照して、 Vclの感情、状態、およびその強度の特定処理について説明する。この処理は端末 Bの学習部 94により実行される。

ステップ S 2 6 1において、この処理は端末 Bの学習部 9 4は、蓄積部 9 5 に蓄積されている使用者 _aに対応する脈拍情報の特徴量べクトルの分布 iVcl、分布の中心べクトル v i、分布の標準偏差べクトノレ νσΐを読み出す。

上述したように感情 ·状態は、表 1に示す通り 1 2通りに分別され、さらに、各感情 ·状態は、強、中、弱の 3種類の強度に分けられ、感情情報は 3 6通りある。従って、 fvcl,Vjt l,VCTl も感情情報に対応してそれぞれ 3 6通り存在する。ステップ S 2 6 2において、端末 B の学習部 9 4は、変数 Q に 1をセットし、ステップ S 2 6 3に進み、ベクトル VjUl(Q)とステップ S 1 7 7 (図 2 8) で生成した特徴量べクトル Vc lの内積値を算出し、内積値に対応させて V 1(Q)を記憶する。そして、ステップ S 2 6 4に進み、 Q の値^ 1だけインクリメントし、ステップ 2 6 5において、全ての感情情報について計算したか否か、すなわち、 3 6種類の中心べクトル VjU 1について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップ S 2 6 3に戻り、以降の処理を繰り返し実行する。

全ての感情情報に対応する 3 6種類の中心べクトル V 1について内積値の計算が終わると、端末 Bの学習部 94の中にある図示せぬ記憶部には、図 3 4のようなデータが記憶されている。ステップ S 26 6において、端末 Bの学習部 9 4は、内積値の大きい順にデータをソートする。

ステップ S 2 6 7において、端末 B の学習部 94は、変数 Rに 1をセットし、ステップ S 2 6 8において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップ S 26 9に進み、ソートしたデータを読み出す。表 2の例では、内積値が最も大きい「安定 .中」に対応する特徴量ベクトルの中心ベクトル νμ 1-29が最初に読み出される。

ステップ S 2 70において、端末 Β の学習部 94は、変数 mに 1をセットし、ステップ S 27 1に進み、 Vjt/l(R)tn_V l(R)m≤Vclm^VjUl(R)m + V l(R)mの条件を満たしているか否かを判定する。ここで、 V n(R)mは、ベクトル

V〃1(R)の m番目の成分を表し、 VCTl(R)m， Vclmもそれぞれ同様にベクトル νσΐ, Vclの m番目の成分を表す。脈拍情報の特徴量ベクトルは上述したように Tppg+m， Tppg— m, Tppgim, Appg+ra， Appg— mの 5個の成分【こより構成さ;τてレヽる。 mの値が 1のとき、 V l(R)， V σ 1 (R) , Vclの各ベクトルの Tppg+m成分が抽出され、処理が行われる。

ステップ S 271において、 V l(R)m— VCTl(R)ni≤Vclm≤V// l(R)m+ νσΐθ ηιの条件を満たしていないと判定された場合、端末 Βの学習部 94は、ステップ S 276に進み、 Rのを 1だけインクリメントして、ステップ S 26 8に戻り、以降の処理を繰り返し実行する。ステップ S 27 1において、

V l(I m—Vσl(R)m≤Vcltn≤VWl(R)m+Vσl(R)mの条件を満たしていると判定された場合、端末 Βの学習部 94は、ステップ S 272に進み、 mの値を 1だけインクリメントして、ステップ S 273に進み、 mの値が 6と等しいか否かを判定し、 mの値が 6と等しくないと判定された場合、ステップ S 2 71に戻り、以降の処理を繰り返し実行する。

ステップ S 273において、 mの値が 6と等しいと判定された場合、すなわち、 V 1 (R) , V 1 (R) , Vclの各ベクトルを構成する 5個の成分について、全て VjW l(R)m—

l(R)m+V l(R)mの条件を満たしていると判定された場合、端末 Bの学習部 94は、ステップ S 274に進み、 Vclは Rに対応する感情情報 E1に属しているものと特定する。 Rが 1のとき、 Rに対応する感情情報 E1は「安定■ 中」となる。ステップ S 2 6 8において、全ての感情情報に関してデータが読み出されたと判定された場合、端末 Bの学習部 9 4は、 Vc lの感情、状態、およびその強度は特定不能として処理を終了する。

図 3 5は、使用者 aの各感情情報に対応する脈拍情報の特徴量べクトルを示した図である。この図は、 Tppg+tn軸、 Tppg - m軸、 Tppgim軸、 Appg+m軸、

Appg - m軸からなる 5次元空間として示されている。図 2 8のステップ S 1 7 7 において生成された特徴量ベクトル 3 8 1 (Vc l) は、「安定 '中」に対応する特徴量ベクトルの分布 3 8 3の中心ベクトル 3 8 2 (V 1-29) と近接しており、上述した Vc lの感情、状態、およびその強度特定処理の結果、「安定' 中」を示す特徴量ベクトルであると特定される。

次に図 3 6を参照して、 Vc2の感情、状態、およびその強度の特定処理について説明する。この処理は端末 Bの学習部 9 4により実行される。

ステップ S 2 9 1において、端末 Bの学習部 9 4は、蓄積部 9 5に蓄積されている使用者 aに対応する体動情報の特徴量べクトルの分布 fvc2、分布の中心ベタトル V jt/ 2、分布の標準偏差べクトル ν σ 2を読み出す。

上述したように感情 ·状態は、表 1に示す通り 1 2通りに分別され、さらに、各感情 ·状態は、強、中、弱の 3種類の強度に分けられ、感情情報は 3 6通りある。従って、 fvc2, V jU 2, V CT 2 も感情情報に対応してそれぞれ 3 6通り存在する。ステップ S 2 9 2において、端末 B の学習部 9 4は、変数 Q に 1をセットし、ステップ S 2 9 3に進み、ベクトル V /i 2 (Q)とステップ S 1 7 8 (図 2 8 ) で生成した特徴量べクトル Vc2の内積値を算出し、内積値に対応させて V 2 (Q)を記憶する。そして、ステップ S 2 9 4に進み、 Qの値を 1だけインクリメントし、ステップ 2 9 5において、全ての感情情報について計算したか否か、すなわち、 3 6種類の中心ベクトル V / 2について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップ S 2 9 3に戻り、以降の処理を繰り返し実行する。全ての感情情報に対応する 36種類の中心べクトル V 2について内積値の計算が終わると、端末 Bの学習部 94の中にある図示せぬ記憶部には、図 37のようなデータが記憶されている。ステップ S 296において、端末 Bの学習部 94は、内積値の大きい順にデータをソートする。

ステップ S 2 9 7において、端末 B の学習部 94は、変数 Rに 1をセットし、 S 29 8において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステツプ S 29 9に進み、ソートしたデータを読み出す。図 37の例では、内積値が最も大きい「安定 '中」に対応する特徴量べクトルの中心べクトル Vj«2 - 29 が最初に読み出される。

ステップ S 2 70において、端末 B の学習部 94は、変数に 1をセットし、ステップ S 2 7 1に進み、 V 2(R)m—V 2(R)m≤Vc2m≤V 2(R)ra + V 2(R)mの条件を満たしているか否かを判定する。ここで、 Vj«2(R)mは、ベクトル

V 2 (R)の m番目の成分を表し、 VCT2(R)m， Vc2mもそれぞれ同様にベクトル νσ2, Vc2の； m番目の成分を表す。体動情報の特徴量ベクトルは上述したように Velm，Dの 2個の成分により構成されている。 mの値が 1のとき、 V 2(R)， Va2(R), Vc2の各ベクトルの Velm成分が抽出され、処理が行われる。

ステップ S 301において、 V 2(R)m—VCT2(R)m≤Vc2tn≤V 2(R)m+

Vび ² (R) tnの条件を満たしていないと判定された場合、端末 Bの学習部 94は、ステップ S 30 6に進み、 Rの値を 1だけインクリメントしてステップ S 29 8 に戻り、以降の処理を繰り返し実行する。ステップ S 30 1において、

μ2 (R)m-Va2(R) m≤Vc2m≤V β 2 (R) m+ V σ2 (R) mの条件を満たしていると判定された場合、端末 Bの学習部 94は、ステップ S 302に進み、 mの値を 1だけインクリメントして、ステップ S 303に進み、 mの値が 3と等しいか否かを判定し、 mの値が 3と等しくないと判定された場合、ステップ S 30 1に戻り、以降の処理を繰り返し実行する。ステップ S 3 0 3において、 mの値が 3と等しいと判定された場合、すなわち、 V 2(R), Va2(R), Vc²の各ベクトルを構成する 2個の成分について、全て ¥ 2 ）1₁1ー¥び2(1 111≤¥02₁11≤¥ 2(]¾ 111+¥び2(1 111の条件を満たしてぃると判定された場合、端末 Bの学習部 9 4は、ステップ S 2 7 4に進み、 Vc2は Rに対応する感情情報 E2に属しているものと特定する。 Rが 1のとき、 Rに対応する感情情報 E2は「安定 ·中」となる。

ステップ S 2 9 8において、全ての感情情報に関してデータが読み出されたと判定された場合、端末 Bの学習部 9 4は、 Vc2の感情、状態、およびその強度は特定不能として処理を終了する。

図 3 8は、使用者 aの各感情情報に対応する体動情報の特徴量べクトルを示した図である。この図は、 Velm軸、 D軸からなる 2次元空間として示されている。図 2 8のステップ S 1 7 8において生成された特徴量べクトル 40 1

(Vc2) は、「安定 ·中」に対応する特徴量べクトルの分布 4 0 3の中心べクトル 40 2 (V 2 - 29) と近接しており、上述した Vc2の感情、状態、およびその強度特定処理の結果、「安定 '中」を示す特徴量ベクトルであると特定される。次に、図 3 9を参照して、特定結果出力再計算処理について説明する。この処理は端末 Bの学習部 9 4により実行される。ステップ S 3 2 1において端末 B の学習部 9 4は、 Vclにより特定された感情情報 Elと Vc2により特定された感情情報 E2が等しいか否かを特定し、 E1と E2が等しくないと判定された場合、ステップ S 3 2 2に進み、ステップ S 1 7 8 (図 2 8) において生成された体動情報の特徴量べクトル Vc2を Elに属するものとして処理結果を訂正する。 E1は、脈拍情報をもとに生成された特徴量べクトル Vclにより特定された、感情情報であり、 E2は体動情報により特定された感情情報であり、 E1 と E2が異なる場合もあり得る。この場合、ベクトルを構成する成分が多い方、すなわち次元数が大きい方のベクトルによる特定結果が選択される。すなわち、 5次元ベクトルである Vclにより特定された感情情報 Elが選択され、 2次元べクトルである Vc2 は、感情情報 E1を示すものとして処理結果が訂正される。 2003/012758

33

ステップ S 3 2 3において、端末 Bの学習部 9 4は、特定結果を出力制御部 1 1 4に出力し、ステップ S 3 2 4において、使用者 aの感情情報 E1に対応する脈拍情報の特徴量べクトルの分布 fvcl、分布の中心べクトル V l、分布の標準偏差べクトル νσΐ と、使用者 aの感情情報 E1対応する体動情報の特徴量べクトルの分布 fvc2、分布の中心べクトル VjU2、分布の標準偏差べクトル νσ2 を再計算し、蓄積する。すなわち、ステップ S 1 7 7とステップ S 1 7 8 (図 2 8) で生成された特徴量べクトル Vcl と Vc2は、それぞれ蓄積部に蓄積されている使用者 aの「安定 '中」を示す脈拍情報の特徴量べクトル、体動情報の特徴量ベクトルに加えられ、あらたに、 fvcl、 V μ ΐ、および νσΐ、並びに fvc2、 V i2、および νσ2が計算され、蓄積部 9 5に蓄積される。

このようにして、脈拍情報と体動情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量べクトルの情報力あらたに蓄積される。

ここまで、端末 Βが、端末 Αから送信された使用者 aの脈拍情報と体動情報から特徴量べクトノレ Vc l、 Vc2を生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末 Bは、使用者 bについての脈拍情報と体動情報から特徴量べクトルを生成し、感情、状態、およびその強度を特定することもできる。

また、端末 Aも同様にして、使用者 aと使用者 bの感情、状態、およびその強度を特定することができる。

次に、図 4◦と図 4 1を参照して、情報出力処理について説明する。ステップ S 34 1において、システム制御部 9 7は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待する。出力情報の選択は、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の 4種類がある。ステップ S 3 4 1において、出力情報が選択されたと判定された場合、システム制御部 9 7は、ステップ S 3 4 2に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップ S 3 4 3において、特定結果に対応する 2ビットの選択情報 0 0を出力制御部 1 1 4に送信する。

ステップ S 3 4 4において、出力制御部 1 4 4は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「中の安定を示しているようです。」という文字が出力される。

ステップ S 3 4 2において、特定結果が選択されていないと判定された場合、システム制御部 9 7は、ステップ S 3 4 5に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップ S 3 4 6に進み、特徴量に基づく情報に対応する 2ビットの選択情報 0 1を出力制御部 1 1 4に送信する。

ステップ S 3 4 7において、出力制御部 1 1 4は、特徴量（Tppg+， Tppg- , Tppgi， Appg+， Appg- ) を特徴抽出部 1 1 2から取得し、ステップ S 3 4 8に進み、光呈示部駆動信号を生成する。すなわち、出力の振幅を Appg+とし、出力 ON時間を Tppg+とし、出力 OFF時間を Tppg -として、図 4 2に示されるような正弦波信号を生成する。そして、ステップ S 3 4 9に進み、出力制御部 1 1 4は、光提示部 1 9 2を駆動させる。

ステップ S 3 5 0において、出力制御部 1 1 4は、特徴量（Vel, Δ ν) を特徴抽出部 1 1 2から取得し、ステップ S 3 5 1に進み、移動オブジェクトの移動速度を Vel として、移動距離 A Vとした駆動信号を生成する。そして、ステツプ S 3 5 2に進み、移動オブジェクト 1 5 2を駆動させる。

ステップ S 3 4 5において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部 9 7は、ステップ S 3 5 3において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、波形情報に対応する 2ビットの選択情報 1 0を出力制御部 1 1 4に送信する。ステップ S 3 5 6において、出力制御部 1 1 4は、特徴抽出部 1 1 2からサンプリングされた脈拍情報を取得し、波形信号を生成し、ステップ S 3 5 7において光呈示部 1 9 2 を駆動させる。

ステップ S 3 5 8において、出力制御部 1 1 4は、特徴抽出部 1 1 2からサンプリングされた脈拍情報を取得し、波形信号を生成し、ステップ S 3 5 9において移動オブジェクト 1 5 2を駆動させる。

ステップ S 3 5 3において、波形情報が選択されていないと判定された場合、システム制御部 9 7は、ステップ S 3 6 0に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップ S 3 6 1に進み、蓄積情報に対応する 2ビットの選択情報 0 1を出力制御部 1 1 4に送信する。蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、脈拍情報、体動情報などの情報の種類 inf lと inf2、個人を特定する情報 PID、感情情報 Eが選択される。例えば、 inf lとして脈拍情報、 inf2として体動情報、

PIDとして個人 a、 Eとして「強い好」などが選択される。

ステップ S 3 6 2において、システム制御部 9 7は、情報の種類 inf l , inf2、個人を特定する情報 PID、感情情報 Eが選択されたか否かを判定し、選択されたと判定されるまで待機する。

ステップ S 3 6 3において、システム制御部 9 7は、使用者に選択された情報に基づいて（inf l , inf2， P ID, E) の情報を生成し、出力制御部 1 1 4に送信する。

ステップ S 3 6 4において出力制御部 1 1 4は、（inf l , inf2, PID, E) に基づいて、蓄積部 9 5から脈拍情報の中心べクトルと体動情報の中心べクトルを取得する。この場合、蓄積部に蓄積されている個人 aの「強い好」に対応する脈拍情報の特徴量ベクトルの分布の中心ベクトル V j« 1 (Tppg+, Tppg- , Tppgi, Appg+, Appg-) 、個人 aの「強い好」に対応する体動情報の特徴量べクトルの分布の中心べクトル (Velra, D) が取得される。ステップ S 3 6 5において、出力制御部 1 1 4は、中心ベクトル Vjl 1に基づいて、光呈示部駆動信号を生成する。すなわち、出力の振幅を Appg+とし、出力 ON時間を Tppg+とし、出力 OFF時間を Tppg -として、図 4 3に示されるような正弦波 4 4 1の信号を生成し、ステップ S 3 6 5において光呈示部 1 9 2を駆動信号に基づいて、 3回駆動させる。

ステップ S 3 6 6において、出力制御部 1 1 4は、中心べクトノレ V〃2に基づいて移動オブジェクトの移動速度を Velとして、移動距離を Dとした駆動信号を生成し、ステップ S 3 6 7において移動ォブジェクト 1 5 2を駆動させる。ステップ S 3 6 0において、蓄積情報が選択されていないと判定された場合、システム制御部 9 7は、ステップ S 3 6 8に進み、エラー処理を実行し、処理を終了する。

このようにして、使用者は、生体情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、光の点滅させたり、オブジェクトを移動させたりすることにより、生体情報を体感することができる。

実施の形態 2

図 4 4に本発明の第 2の情報処理装置の構成例を示す。この情報処理装置は、パーソナルコンピュータなどに適用することができる。この情報処理装置には、言語情報、キーボードの振動情報の入力を受け付ける入力部 3 0 1、入力部 3 0 1から入力された情報を処理する処理部 3 0 3、処理部 3 0 3から出力された特徴情報と感情情報に基づいて、学習、特定を行う学習部 3 0 4、学習部 3 0 4から出力された学習情報、特定情報を蓄積する蓄積部 3 0 5、処理部 3 0 3から出力された出力情報に基づいて、情報を出力する出力部 3 0 2、通信を行う通信部 3 0 6、および各部を制御するシステム制御部 3 0 7が設けられている。

処理部 3 0 3には、入力部 3 0 1から入力された情報を、言語情報、またはキ一ポード振動情報に分別する情報弁別部 3 2 1、キーボード振動情報から特徴情報を抽出する特徴抽出部 3 2 2、言語情報から感情情報を抽出する意味抽出部 3 2 3、および出力部 3 0 2に出力情報を出力する出力制御部 3 2 4が設けられている。通信部 3 0 6には、情報の送信を行う情報送信部 3 2 5、情報の受信を行う情報受信部 3 2 6が設けられている。

図 4 5に入力部 3 0 1の構成例を示す。この例では、キーポード 3 4 1、使用者がキーボードを打鍵するときの振動を検知する振動センサ 3 4 2、振動センサ 3 4 2からの信号を増幅する電源アンプ部 3 4 3により構成されている。

図 4 6に出力部 3 0 2の構成例を示す。この例では、振動モータ 3 6 2、所定の信号に基づいて振動する振動呈示部 3 6 2、振動呈示部を駆動する電源アンプ部 3 6 1により構成されている。

使用者 aがもっている情報処理装置を端末 Aとし、使用者 bがもっている情報処理装置を端末 Bとして、使用者 aと使用者 bがそれぞれの端末を用いて、相互に通信を行う場合、図 4 7に示される手順で情報の送受信が行われる。最初に端末 Aは、端末 Bに接続要求を送信し、それに対応して端末 Bは端末 Aに接続応答を送信する。その後、端末 Aと端末 Bの間で、メール、チャットなどの文字情報などを送受信する。

次に端末 Aは振動情報（この例の場合、使用者がキーボードを打鍵するときの振動）の送受信の初期設定を行い、端末 Bに送受信要求を送信する。このとき、実施の形態 1の場合と同様に、端末 Aから図 1 1に示される送信設定情報と受信設定情報が送信される。

端末 Aから振動情報の送信要求を受け取った端末 Bは、振動情報送受信設定の変更を行い、端末 Aに応答を送信する。

そして端末 Aから端末 Bに使用者 aの振動情報が送信され、端末 Bから端末 A に使用者 bの振動情報が送信される。端末 A、端末 Bにはそれぞれ振動情報が蓄積される。

このようにして、端末 Aと端末 Bの間で通信が行われ、振動情報が蓄積される。振動情報が充分に蓄積された後は、図 4 8に示されるように情報の送受信が行われる。すなわち、端末 Aと端末 Bとの間で振動情報が送受信されると、端末 Aと端末 Bにおいて、使用者の感情 ·状態の特定処理が行われる。

次に図 4 9を参照して、端末 B における振動情報蓄積処理について説明する。最初に端末 Bのシステム制御部 3 0 7は、ステップ S 3 8 1において、端末 A との通信開始時に、通信相手である端末 A の使用者 a を特定する情報（例えば、氏名、ニックネームなど） PIDを取得する。ステップ S 3 8 2において、端末 B のシステム制御部 3 0 7は、情報弁別部 3 2 1に、端末 Aのキーボードからキ一入力がされたか否かを判定させ、入力されたと判定されるまで待機する。

ステップ S 3 8 2において、キー入力がされたと判定された場合、ステップ S 3 8 3に進み、端末 Bのシステム制御部 3 0 7は、特徴抽出部 3 2 2に、端末 A から送信されてきた使用者 aのキーボード打鍵時の振動情報のサンプリング処理を開始させる。そして、ステップ S 3 8 4に進み、端末 Bのシステム制御部 3 0 7は、意味抽出部 3 2 3に、入力された文字情報を解析させる。ステップ S 3 8 5において、端末 Bのシステム制御部 9 7は、解析された文字情報の中に感情、状態、およびその強度を表す語句があるか否かを判定し、感情、状態、およびその強度を表す語句がないと判定された場合、ステップ S 3 8 2に戻り以降の処理を繰り返し実行する。感情 ·状態を表す語句は実施の形態 1の場合と同様に、図 2 3に示されるようなものであり、強度を示す語句は図 2 4に示されるようなものである。

ステップ S 3 8 5において、感情、状態、およびその強度を示す語句があると判定された場合、端末 Bのシステム制御部 3 0 7は、ステップ S 3 8 6において、認識された語句の主語は使用者か否か、すなわち、解析された語句が、使用者 aの感情、状態、およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップ S 3 8 2に戻り、以降の処理を繰り返し実行する。ステップ S 6において、主語は使用者であると判定された場合、端末 Bのシステム制御部 3 0 7は、ステップ S 3 8 7において、文字情報が 1フレーズ分入力されたか否かを判定し、 1フレーズ分入力されたと判定されるまで待機する。ステップ S 3 8 7において、 1フレーズ分入力されたと判定された場合、端末 Bのシステム制御部 3 0 7は、ステップ S 3 8 8に進み、特徴抽出部 3 2 2に、キーポード打鍵時の振動情報のサンプリング処理を終了させる。

なお、キーボード打鍵時の振動情報のサンプリング処理は、端末 Aの特徴抽出部 3 2 2において行い、サンプリングした結果を端末 Bに送信してもよい。そして、ステップ S 3 8 9に進み、端末 Bのシステム制御部 3 0 7は、意味抽出部 3 2 3で、感情情報 Eを抽出する。

使用者 aが「とてもうれしい」と入力した場合、「うれしい」という語句に対応する感情 ·状態は喜びであり、「とても」という語句に対応する強度は強であると認識され、感情情報 Eとして、「強い喜び」が抽出される。

ステップ S 3 9 0において、端末 Bのシステム制御部 3 0 7は、特徴抽出部 3 2 2で使用者 aの脈拍情報に基づいて、特徴べクトル Vcを生成し、ステップ 3 9 1に進み、個人を特定する情報 PID、感情情報 Eに対応する振動情報を蓄積部 3 0 5から読み出す。この場合、使用者 aの強い喜びに対応する振動情報の特徴ベクトルが読み出される。そして、ステップ S 3 9 2に進み、端末 Bのシステム制御部 3 0 7は、学習部 3 0 4に、読み出された特徴べクトルに新たに生成された特徴べクトル Vcを加えて、ベタトルの分布 fvc、分布の中心べクトル V〃、標準偏差ベクトル ν σを再計算させ、ステップ S 3 9 3において、再計算した結果を蓄積部 3 0 5に記憶する。

次に図 5 1と図 5 2を参照して、振動情報の特徴べクトル Vcの生成処理について説明する。この処理は、端末 Bの特徴抽出部 3 2 2で行われる。ステップ S 4 0 1において、端末 Bの特徴抽出部 3 2 2は、サンプリングした振動情報を読み出し、その後、実施の形態 1の場合と同様に、ステップ S 4 0 2において、図 1 6の極性判定処理を行い、ステップ S 40 3に進み、図 1 7の TV出力処理を行い、ステップ S 40 4において、図 1 8の Vmin, Vmax判定処理を行う。キーボー.ド打鍵時の振動情報の波形は図 54に示す波形 4 9 1のようになる。この波形 4 9 1には、使用者がキーが押下されることにより、細かく振動する部分 4 9 2、 4 9 4と使用者がキーに触れていないので、ほとんど振動しない部分 4 9 3、 4 9 5が存在する。細かく振動する部分 4 9 2、 4 9 4をサンプリングし、極性判定処理、 TV出力処理を行うと、 Tv+、 TvO、 Tv -、 ΤνΟ、 Τν+. . . のような出力を得る。一方、ほとんど振動しない部分 4 9 3、 4 9 5をサンプリングし、極性判定処理、 TV出力処理を行うと、 TvOだけが出力され、この ΤνΟはかなり大きな値となる。従って、所定の時間である閾値 Thより、小さい TvOが出力されたとき、使用者はキーを押下しており、 Thより大きい TvOが出力されたとき、使用者はキーを押下していないことが分かる。

図 5 2のステップ S 4 0 5において、端末 Bの特徴抽出部 3 2 2は、変数 n と Pに 1をセットし、ステップ S 40 6に進み TvO (P)が閾値 Thより大きいか否かを判定し、 Tv0(P)が Thより大きくないと判定された場合、ステップ S 4 0 7 に進み、 Tstr(n)に、 Tstr(n)+Tv+(P)+Tv- (P)をセットする。 Tsr(n)の初期値は 0である。

ステップ S 4 0 8において、端末 Bの特徴抽出部 3 2 2は、 Vmax (P)が、 Imax(n)より大きいか否かを判定する。 Imax (n)の初期値は 0である。ステップ S 40 8において Vmax (P)が、 Imax (n)より大きいと判定された場合、端末 Bの特徴抽出部 3 2 2は、ステップ S 4 0 9に進み、 Imax (n)に Vmax(P)をセットしステップ S 4 1 0において Pの値を 1だけィンクリメントして、ステップ S 40 6に戻り、以降の処理を繰り返し実行する。ステップ S 4 0 8において Vmax(P) 力 S、 Imax(n)より大きくないと判定された場合、ステップ S 4 0 9の処理はスキップされる。

ステップ S 4 0 6において、 TvO (P)が Thより大きいと判定された場合、端末 Bの特徴抽出部 3 2 2は、ステップ S 4 1 1に進み、 Tint (n)に TvO (P)をセットし、 Pの値を 1だけインクリメントし、特徴量ベクトル Vcl (Tstr(n),

Tint(n), Imax(n)) を生成する。ステップ S 4 1 3において、端末 Bの特徴抽出部 3 2 2は、 TvO(P)があるか否かを判定し、 ΤνΟ(Ρ)があると判定された場合、ステップ S 4 1 4に進み、 ηの値を 1だけインクリメントし、ステップ S 4 0 6 に戻り、以降の処理を繰り返し実行する。

ステップ S 4 1 3において、 ΤνΟ(Ρ)がないと判定された場合、端末 Βの特徴抽出部 3 2 2は、処理を終了する。

このようにして、図 5 4に示す波形 4 9 1から図 5 5 Αに示される Tstr(l) 5 1 1、 Tint(l) 5 1 2、 Tstr(2) 5 1 3、 Tint (2) 5 1 4、 Tstr(3) 5 1 5、 Tint (3) 5 1 6、 Tstr(4) 5 1 7、 Tint (4) 5 1 8、 Tstr(5) 5 1 1、 Tint (5) 5 1 2が得られる。 Tstr(l)乃至 Tstr(5)は、使用者によりキーが押下されている時間を示し、 Tint (1)乃至 Tint (5)はキーが押下される間隔を示す。この例では、キーが 5回押下（打鍵）されたことが分かる。

また、図 54に示す波形 4 9 1から図 5 5 Bに示される Imax(l) 5 3 1、 Imax(2) 5 3 2、 Iraax(3) 5 3 3、 Imax(4) 5 34、 Imax(5) 5 3 5が得られる。 Imax(l)乃至 Iraax(5)はそれぞれ、 1乃至 5回目の打鍵時における最大振動強度である。

このようにして、使用者 aの強い喜びに対応する振動情報の特徴べクトル Vc が生成される。

ここまで、端末 Bが、端末 Aから送信された使用者 aのキーボードを打鍵時の振動情報から特徴量べクトルを生成し、蓄積する処理について説明したが、同様に端末 Bは、使用者 bのキーボード打鍵時の振動情報から特徴量べクトルを生成し、蓄積する。その結果、端末 Bの蓄積部 9 5には、図 5 3にしめされるような、キーボードの振動情報に関する学習結果 4 6 1がそれぞれ、使用者 a と使用者 bに分けて蓄積される。

また、端末 Aも同様にして、キーボードの振動情報に関する学習結果をそれぞれ、使用者 aと使用者 bに分けて蓄積することができる。上述した振動情報蓄積処理を繰り返し行い、振動情報が充分蓄積された後は、振動情報をもとに、使用者の感情、状態、およびその強度を特定することができる。

次に図 5 6を参照して、端末 B による感情状態の特定処理について説明する。ステップ S 4 3 1において、端末 Bのシステム制御部 3 0 7は、端末 Aとの通信開始時に、通信相手である端末 Aの使用者 aを特定する情報 PIDを取得する。ステップ S 4 3 2において、端末 Bのシステム制御部 3 0 7は、情報弁別部 3 2 1に、端末 Aから送信されてきた使用者 aのキー入力情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。

ステップ S 4 3 2において、キー入力情報が入力されたと判定された場合、ステツプ S 4 3 3に進み、端末 B のシステム制御部 9 7は、特徴抽出部 3 2 2に、端末 Aから送信されてきた使用者 aのキーボード打鍵時の振動情報のサンプリング処理を開始させる。そして、ステップ S 4 3 4に進み、端末 Bのシステム制御部 3 0 7は、意味抽出部 3 2 3に 1フレーズ分入力された否かを判定させ、 1フレーズ分入力されたと判定されるまで待機する。ステップ S 4 3 4において、 1フレーズ分入力されたと判定された場合、端末 B のシステム制御部 3 0 7は、特徴抽出部 3 2 2に、端末 Aから送信されてきた使用者 aのキーボード打鍵時の振動情報のサンプリング処理を終了させる。

なお、キーボード打鍵時の振動情報のサンプリング処理は、端末 Aの特徴抽出部 3 2 2において行い、サンプリングした結果を端末 Bに送信してもよい。ステップ S 4 3 6において、端末 Bのシステム制御部 3 0 7は、特徴抽出部 1 1 2に、特徴べクトル Vch の生成処理を実行させ、ステップ S 4 3 7に進み、学習部 3 0 4に Vchの感情、状態、およびその強度の特定処理を実行させ、ステツプ S 4 3 8に進み、特定結果出力再計算処理を実行させる。

次に図 5 7と図 5 8を参照して、 Vch生成処理について説明する。この処理は端末 Bの特徴抽出部 3 2 2において実行される。ステップ S 4 5 1において、端末 B の特徴抽出部 3 2 2は、サンプリングした振動情報を読み出し、その後、実施の形態 1の場合と同様に、ステップ S 4 5 2において、図 1 6の極性判定処理を行い、ステップ S 4 5 3に進み、図 1 7の TV出力処理を行い、ステップ S

4 54において、図 1 8の Vmiii, Vmax判定処理を行う。

図 5 8のステップ S 4 5 5において、端末 Bの特徴抽出部 3 2 2は、変数 n と Pに 1をセットし、ステップ S 4 5 6に進み TvO(P)が閾値 Thより大きいか否かを判定し、 TvO(P)が Thより大きくないと判定された場合、ステップ S 4 5 7 に進み、 Tstr(n)に、 Ts1:r(n) +Tv+(P) +Tv- (P)をセットする。 Tsr(n)の初期値は 0である。

ステップ S 4 5 8において、端末 Bの特徴抽出部 3 2 2は、 Vmax (P)が、 Imax(n)より大きいか否かを判定する。 Imax(n)の初期値は 0である。ステップ

54 5 8において Vmax (P)が、 Imax (n)より大きいと判定された場合、端末 Bの特徴抽出部 3 2 2は、ステップ S 4 5 9に進み、 Imax ( に Vmax (P)をセットし、ステップ S 4 6 0において Pの値を 1だけィンクリメントして、ステップ S 4 5 6に戻り、以降の処理を繰り返し実行する。ステップ S 4 5 8において Vmax(P) 力 Imax(n)より大きくないと判定された場合、ステップ S 4 5 9の処理はスキップされる。

ステップ S 4 5 6において、 TvO(P)が Thより大きくいと判定された場合、端末 Bの特徴抽出部 3 2 2は、ステップ S 4 6 1に進み、 Tint (n)に TvO (P)をセットし、 Ρの値を 1だけインクリメントし、ステップ S 4 6 2において特徴量べタトル Vc (Tstr(n), Tint (n) , Iraax (n) ) を生成する。ステップ S 4 6 3において、端末 Bの特徴抽出部 3 2 2は、 Tv0(P)があるか否かを判定し、 Tv0(P)があると判定された場合、ステップ S 4 6 5に進み、 ηの値を 1だけインクリメントし、ステップ S 4 5 6に戻り、以降の処理を繰り返し実行する。

ステップ S 4 6 3において、 Tv0(P)がないと判定された場合、端末 Βの特徴抽出部 3 2 2は、ステップ S 4 6 4に進み、 Vc の平均べクトル Vch を生成する。例えば、使用者 aが端末 Aから「それはどうかな . ■ ■」を " s o r e h a d o u k a n a · ■ · " とローマ字で入力した場合、その振動情報が端末 Bに送信され、端末 Bにおいて、最後の "■ " を除いた 1 5文字のキー入力に対応した 1 5個の特徴量べクトル Vcが生成される。この 1 5個の特徴量べクトノレ Vc の平均べクトルが Vchとなる。

次に図 5 9を参照して、 Vchの感情、状態、およびその強度の特定処理について説明する。この処理は、端末 Bの学習部 3 0 4において実行される。

ステップ S 4 8 1において、端末 Bの学習部 3 0 4は、蓄積部 3 0 5に蓄積されている使用者 aに対応する振動情報の特徵量べクトルの分布 fvc、分布の中心べクトル V 、分布の標準偏差べクトル ν σを読み出す。

上述したように感情情報は 3 6通りあり、 fvc，V i，V CTも感情情報に対応してそれぞれ 3 6通り存在する。

ステップ S 4 8 2において、端末 Bの学習部 3 0 4は、変数 Qに 1をセットし、ステップ S 4 8 3に進み、ベクトル V i (Q)とステップ S 4 3 6 (図 5 6 ) で生成した特徴量べクトル Vchの内積値を算出し、内積値に対応させて V (Q) を記憶する。そして、ステップ S 4 8 4に進み、端末 Bの学習部 3 0 4は、 Qの値を 1だけインクリメントし、ステップ 4 8 5において、全ての感情情報について計算したか否か、すなわち、 3 6種類の中心ベクトル V / について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップ S 4 8 3に戻り、以降の処理を繰り返し実行する。

全ての感情情報に対応する 3 6種類の中心べクトノレ V jt について内積値の計算が終わると、端末 Bの学習部 3 0 4の中にある図示せぬ記憶部には、実施の形態 1の場合と同様に感情情報、内積値、中心ベクトル V の種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップ S 4 8 6において、端末 Bの学習部 3 0 4は、内積値の大きい順にデータをソートする。

ステップ S 4 8 7において、端末 Bの学習部 3 0 4は、変数に 1をセットし、 S 4 8 8において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップ S 4 8 9に進み、ソートしたデータを読み出す。ステップ S 4 9 0にお 2003/012758

45

いて、変数 mに 1をセットし、ステップ S 49 1に進み、 V i (R)m—

Va (R)m≤Vchra≤Vj(i (R)m+Va (R)raの条件を満たしているか否かを判定する。ここで、 V〃（R)mは、ベクトル V （R)の m番目の成分を表し、 V (R)m, Vchtn もそれぞれ同様にベクトル νσ, Vchの m番目の成分を表す。振動情報の特徴量ベクトルは上述したように Tstr, Tint, Imaxの 3個の成分により構成されている。 mの値が 1のとき、 V〃（R), ν (R), Vcの各ベクトルの Tstr成分が抽出され、処理が行われる。

ステップ S 49 1において、 V (R) m- V σ (R) m≤Vchm≤ V jU (R)m+Vび（R)mの条件を満たしていないと判定された場合、端末 Bの学習部 304は、ステップ S 49 6に進み、 Rの値を 1だけインクリメントして、ステップ S 48 8に戻り、以降の処理を繰り返し実行する。ステップ S 49 1において、 V i (R)m—

Va (R)m≤Vchm≤V^ (R)m+Va (R)mの条件を満たしていると判定された場合、端末 Bの学習部 304は、ステップ S 49 2に進み、 mの値を 1だけインクリメントして、ステップ S 49 3に進み、 mの値が 4と等しいか否かを判定し、 m の値が 4と等しくないと判定された場合、ステップ S 49 1に戻り、以降の処理を繰り返し実行する。

ステップ S 49 3において、 mの値が 4と等しいと判定された場合、すなわち、 V jU (R) , V σ (R) , Vchの各ベクトルを構成する 3個の成分について、全て、 VU (R)m-Va (R)m≤Vchm≤V i (R) m + V σ (R) mの条件を満たしていると判定された場合、端末 Bの学習部 304は、ステップ S 4 94に進み、 Vchは Rに対応する感情情報 Eに属しているものと特定する。

ステップ S 488において、全ての感情情報に関してデータを読み出したと判定された場合、端末 Bの学習部 304は、 Vchの感情、状態、およびその強度を特定不能として処理を終了する。

図 60は、使用者 aの各感情情報に対応する振動情報の特徴量べクトルを示した図である。この図は、 Tstr軸、 Tint軸、 Imax軸からなる 3次元空間として示されている。図 56のステップ S 43 6において生成された特徴量べクトル 5 5 5 (Vch) は、「嫌悪 ·弱」に対応する特徴量べクトルの分布 5 5 7の中心ベクトル 5 5 6 (V 15) と近接して.おり、上述した Vchの感情、状態、およびその強度特定処理の結果、「缣悪 ·弱」を示す特徴量べクトルであると特定される。

このようにして、特徴量べクトル Vch力、ら、使用者 aの感情、状態、およびその強度が特定される。

次に図 6 1を参照して、特定結果出力再計算処理について説明する。この処理は、端末 Bの学習部 3 0 4において実行される。ステップ S 5 1 1において、端末 Bの学習部 3 0 4は、特定結果を出力制御部 3 2 4に出力し、ステップ S 5 1 2において使用者 aの感情情報 Eに対応する振動情報の特徴量べクトルの分布 fvc、分布の中心べクトル V 、分布の標準偏差べクトル V crを再計算し、蓄積する。すなわち、ステップ S 4 3 6 (図 5 6 ) で生成された特徴量ベクトル Vchは、蓄積部に蓄積されている使用者 aの「嫌悪 '弱」を示す振動情報の特徴量べクトルに加えられ、あらたに、 fvc、 μ、および ν σが計算され、蓄積部 3 0 5に蓄積される。

このようにして、振動情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量べクトルの情報が、あらたに蓄積される。

ここまで、端末 Βが、端末 Αから送信された使用者 aのキーボード打鍵時の振動情報から特徴量べクトル Vchを生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末 Bは、使用者 bについてのキーポード打鍵時の振動情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。

次に、図 6 2と図 6 3を参照して、情報出力処理について説明する。ステップ S 5 3 1において、システム制御部 3 0 7は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、実施の形態 1 の場合と同様に、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の 4種類がある。

ステップ S 5 3 1において、出力情報が選択されたと判定された場合、システム制御部 3 0 7は、ステップ S 5 3 2に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップ S 5 3 3において、特定結果に対応する 2ビットの選択情報 0◦を出力制御部 3 2 4に送信する。

ステップ S 5 3 4において、出力制御部 3 2 4は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「弱い嫌悪を示しているようです。」という文字が出力される。

ステップ S 5 3 2において、特定結果が選択されていないと判定された場合、システム制御部 3 0 7は、ステップ S 5 3 5に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステツプ S 5 3 6に進み、特徴量に基づく情報に対応する 2ビットの選択情報 0 1 を出力制御部 3 2 4に送信する。

ステップ S 5 3 7において、出力制御部 3 2 4は、特徴量（Tstr,

Tint, Imax) を特徴抽出部 3 2 2から取得し、ステップ S 5 3 8に進み、振動呈示部駆動信号を生成する。すなわち、出力のレベルを Iraaxとし、出力 ON時間を Tstrとし、出力 OFF時間を Ti ntとして、図 6 4に示されるような矩形波信号を生成する。そして、ステップ S 5 3 9に進み、出力制御部 3 2 4は、振動提示部 3 6 2を駆動させる。

ステップ S 5 3 5において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部 3 0 7は、ステップ S 5 4 0において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、波形情報に対応する 2ビットの選択情報 1 0を出力制御部 3 2 4に送信する。ステップ S 5 4 2において、出力制御部 3 2 4は、特徴抽出部 3 2 2からサンプリングされた振動情報を取得し、波形信号を生成し、ステップ S 5 4 3において振動呈示部 3 6 2を駆動させる。

ステップ S 5 4 0において、波形情報が選択されていないと判定された場合、システム制御部 3 .0 7は、ステップ S 5 4 4に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップ S 5 4 5に進み、蓄積情報に対応する 2ビットの選択情報 0 1を出力制御部 3 2 4に送信する。蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、キーボードの振動情報などの情報の種類 inf、個人を特定する情報 PID、感情情報 Eが選択される。例えば、 inf としてキーボードの振動情報、 PIDとして個人 a、 Eとして「強い活性」などが選択される。

ステップ S 5 4 6において、システム制御部 3 0 7は、情報の種類 inf、個人を特定する情報 PID、感情情報 Eが選択されたか否かを判定し、選択されたと判定されるまで待機する。

ステップ S 5 4 7において、システム制御部 3 0 7は、使用者に選択された情報に基づいて（inf， PID, E) の情報を生成し、出力制御部 3 2 4に送信する。ステップ S 5 4 8において出力制御部 3 2 4は、（inf， PID, E) に基づいて、蓄積部 3 0 5からキーボードの振動情報の中心べクトルを取得する。この場合、蓄積部に蓄積されている個人 aの「強い活性」に対応する脈拍情報の特徴量べクトノレの分布の中心ベクトル V jU (Tstr, Tint, Imax) が取得される。

ステップ S 5 4 9において、出力制御部 3 2 4は、中心べクトノレ V〃に基づいて、振動呈示部駆動信号を生成する。すなわち、出力のレベルを Imaxとし、出力 ON時間を Tstrとし、出力 OFF時間を Tintとして、図 6 5に示されるような矩形波 5 9 1の信号を生成し、ステップ S 5 5 0において振動呈示部 3 6 2を駆動信号に基づいて、 3回駆動させる。ステップ S 5 4 4において、蓄積情報が選択されていないと判定された場合、システム制御部 3 0 7は、ステップ S 5 5 1に進み、エラー処理を実行して、処理を終了する。

このようにして、使用者は、振動情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、振動呈示部を駆動させることにより、振動情報を体感することができる。

実施の形態 3

図 6 6に本発明の第 3の情報処理装置の構成例を示す。この情報処理装置は、パーソナルコンピュータなどに適用することができる。この情報処理装置には、感情申告情報、マウスクリック情報、マウス握り圧情報、環境温度情報の入力を受け付ける入力部 6 1 1、入力部 6 1 1から入力された情報を処理する処理部 6 1 3、処理部 6 1 3から出力された特徴情報と感情態情報に基づいて、学習、特定を行う学習部 6 1 4、学習部 6 1 4から出力された学習情報、特定情報を蓄積する蓄積部 6 1 5、処理部 6 1 3から出力された出力情報に基づいて、情報を出力する出力部 6 1 2、通信を行う通信部 6 1 6、および各部を制御するシステム制御部 6 1 7が設けられている。

処理部 6 1 3には、入力部 6 1 1から入力された情報を、感情■状態申告情報、環境温度情報、マウスクリック情報またはマウス握り圧情報に分別する情報弁別部 6 3 1、マウスタリック情報とマウス握り圧情報から特徴情報を抽出する特徴抽出部 6 3 2、および出力部 6 1 2に出力情報を出力する出力制御部 6 1 2が設けられている。通信部 6 1 6には、情報の送信を行う情報送信部 6 3 4、情報の受信を行う情報受信部 6 3 5が設けられている。

図 6 7に入力部 6 1 1の構成例を示す。この例では、マウス 6 5 1、使用者がマウスを握るときの強度を検知する握り強度センサ 6 7 1、握り強度センサ 6 7 1からの信号を圧力信号に変換する圧力検出部 6 5 2、環境温度を測定する温度センサ 6 5 3、および温度センサ 6 5 3からの信号を増幅する電源アンプ部 6 5 4により構成されている。図 6 8に出力部 6 1 2の構成例を示す。この例では、所定の信号に基づいて熱を発生する温度呈示部 6 9 2、温度呈示部を駆動する電源アンプ部 6 9 1により構成されている。温度呈示部 6 9 2は、電流を流すと温度が変化するペルチェ素子 6 9 3で構成されている。

使用者 aがもっている情報処理装置を端末 Aとし、使用者 bがもっている情報処理装置を端末 Bとして、使用者 aと使用者 bがそれぞれの端末を用いて、相互に通信を行う場合、図 6 9に示される手順で情報の送受信が行われる。最初に端末 Aは、端末 Bに接続要求を送信し、それに対応して端末 Bは端末 Aに接続応答を送信する。その後、端末 Aと端末 Bの間で、メール、チャットなどの文字情報などを送受信する。

次に端末 Aはクリック情報と握り圧情報（この例の場合、使用者がマウスを握るときの握り圧）の送受信の初期設定を行い、端末 Bに送受信要求を送信する。このとき、実施の形態 1の場合と同様に、端末 Aから図 1 1に示される送信設定情報と受信設定情報が送信される。

端末 Aから振動情報の送信要求を受け取った端末 Bは、クリック情報と握り圧情報送受信設定の変更を行い、端末 Aに応答を送信する。

そして端末 Aから端末 B に使用者 aのタリック情報と握り圧情報が送信され、端末 Bから端末 Aに使用者 bの振動情報が送信される。端末 A、端末 Bにはそれぞれクリック情報と握り圧情報が蓄積される。

このようにして、端末 Aと端末 Bの間で通信が行われ、クリック情報と握り圧情報が蓄積される。クリック情報と握り圧情報が充分に蓄積された後は、図 7 0に示されるように情報の送受信が行われる。すなわち、端末 Aと端末 Bとの間でクリック情報と握り圧情報が送受信されると、端末 Aと端末 Bにおいて、使用者の感情■状態の特定処理が行われる。次に図 7 1を参照して、端末 Bにおけるクリック情報、握り圧情報蓄積処理について説明する。最初に端末 Bのシステム制御部 6 1 7は、ステップ S 5 7 1において、端末 Aとの通信開始時に、通信相手である端末 Aの使用者 aを特定する情報（例えば、氏名、ニックネームなど） PIDを取得し、ステップ S 5 7 2において、端末 Aから送信されてきた環境温度情報 Kを取得する。ステップ S 5 7 2において、端末 Bのシステム制御部 6 1 7は、情報弁別部 6 3 1に、端末 Aから感情■状態申告情報の入力があつたか否かを判定させ、入力されたと判定されるまで待機する。

端末 Aのディスプレイには、図 7 6に示されるような感情 ·状態チャートが表示されており、使用者 aは、この感情 '状態チャートをマウスで所定の回数だけクリックすることにより感情 ·状態の申告を行う。感情 ·状態チャートをマウスでクリックすると、図 7 7に示される感情 '状態申告情報が端末 Aから端末 Bに送信される。また感情 '状態の強度は、感情 '状態チャートをクリックする回数により申告することができ、強度が弱のときは²回、強度が中のときは 3回、強度が強のときは 4回クリックする。

また、使用者の感情 .状態の申告情報は、仮想空間における使用者のエージェント（例えば、アバターなど）を用いて取得することもできる。

ステップ S 5 7 3において、感情 ·状態申告情報の入力があつたと判定された場合、ステップ S 5 7 4に進み、端末 Bのシステム制御部 6 1 7は、特徴抽出部 6 3 2に、端末 Aから送信されてきた使用者 aのクリック情報と握り圧情報のサンプリング処理を開始させる。そして、ステップ S 5 7 5に進み、端末 B のシステム制御部 6 1 7は、感情 ·状態申告情報のから、感情情報 E を抽出し、ステップ S 5 7 6において、特徴抽出部 6 3 2に、クリック情報と握り圧情報のサンプリング処理を終了させる。

なお、マウスのクリック情報と握り圧情報のサンプリング処理は、端末 Aの特徴抽出部 6 3 2において行い、サンプリングした結果を端末 Bに送信してもよい。使用者 aが感情■状態申告チャートの驚きの部分をマウスで 4回クリックした場合、感情情報 Eとして、「強い驚き」が抽出される。

ステップ S 5 7 7において、端末 Bのシステム制御部 6 1 7は、特徴抽出部 6 3 2に、使用者 aのタリック情報と握り圧情報に基づいて、特徴べクトル Vc の生成処理を実行させ、ステップ S 5 7 8に進み、環境温度 Kの値が、基準値 K1以上であるか否かを判定し、環境温度 Kの値が、基準値 K1以上であると判定された場合、ステップ S 5 7 9に進み、 K≥K1における PIDと Εに対応するクリック情報と握り圧情報を蓄積部 6 1 5から読み出す。この場合、環境温度が K1 以上のときの使用者 aの強い驚きに対応するクリック情報と握り圧情報の特徴ベタトルが読み出される。

ステップ S 5 7 8において、環境温度 Kの値が、基準値 K1未満であると判定された場合、端末 Bのシステム制御部 6 1 7は、ステップ S 5 8 0に進み、 K< Klにおける PIDと Eに対応するタリック情報と握り圧情報を蓄積部 6 1 5から読み出す。この場合、環境温度が K1未満のときの使用者 aの強い驚きに対応するタリック情報と握り圧情報の特徴べクトルが読み出される。

そして、ステップ S 5 8 1に進み、端末 Bのシステム制御部 6 1 7は、学習部 6 1 4に、読み出された特徴べクトルに新たに生成された特徴べクトル Vcを加えて、べクトルの分布 fvc、分布の中心べクトル V 、標準偏差べクトル ν σ を再計算させ、ステップ S 5 8 2において、再計算した結果を蓄積部 6 1 5に記憶する。

次に図 7 3を参照して、クリック情報と握り圧情報の特徴べクトル Vcの生成処理について説明する。この処理は、端末 Bの特徴抽出部 6 3 2で行われる。ステップ S 5 9 1において、端末 Bの特徴抽出部 6 3 2は、サンプリングしたクリック情報と握り圧情報を読み出し、その後、実施の形態 1の場合と同様に、ステップ S 5 9 2において、図 1 6の極性判定処理を行い、ステップ S 5 9 3に進み、図 1 7の TV出力処理を行い、ステップ S 5 9 4において、図 1 8の Vmin, Vtnax判定処理を行い、ステップ S 5 9 5において、後述するクリック特徴算出処理を行い、値 Tclmと Tcimを取得する。

そして、ステップ S 5 9 6に進み、端末 Bの特徴抽出部 6 3 2は、サンプリングした握り圧情報を読み出し、ステップ S 5 9 7において、極性判定処理を行い、ステップ S 5 9 8に進み、 TV 出力処理を行い、ステップ S 5 9 9において

Vmin, Vtnax判定処理を行い、ステップ S 6 0 0において、後述する握り圧特徴算出処理を行い、値 Tgrpmと I grpmを取得する。

ステップ S 6 0 1において、端末 Bの特徴抽出部 6 3 2は、特徴量ベクトル

Vc u'clm, Tcim, Tgrpm, Igrpm) を生成する。

次に図 7 4を参照して、クリック特徴算出処理について説明する。使用者がマウスをクリックするときのクリック情報の波形は図 7 9に示す波形のようになる。すなわち、使用者がマウスのクリックボタンを押下しているとき、パルス 7

7 1、パルス 7 7 3、パルス 7 7 5、パルス 7 7 7が出力され、クリックボタンが押下される間の時間 7 7 2，時間 7 7 4，時間 7 7 6は、それぞれ出力が 0となる。この波形をサンプリングし、極性判定処理、 TV出力処理を行うと、 Tv十、

Τν0、 Τν+、 Τν0、 Τν+. . . のような出力を得る。

図 7 4のステップ S 6 2 1において、端末 Βの特徴抽出部 6 3 2は、変数 η と Ρに 1をセットし、ステップ S 6 2 2に進み Tcl (n)に Tv+ (P)の値をセットし

Tci (n)に ΤνΟ (Ρ)の値をセットする。そして、ステップ S 6 2 3に進み、端末 Β の特徴抽出部 6 3 2は、 Ρと ηの値を 1だけィンクリメントし、ステップ S 6 2

4において、 Τν+ (Ρ)または ΤνΟ (Ρ)があるか否かを判定し、 Τν+ (Ρ)または

ΤνΟ (Ρ)があると判定された場合、ステップ S 6 2 2に戻り、以降の処理を繰り返し実行する。

ステップ S 6 2 4において、 Τν+ (Ρ)または ΤνΟ (Ρ)がないと判定された場合、端末 Βの特徴抽出部 6 3 2は、ステップ S 6 2 5に進み、 Telの平均値 Tclmと Tciの平均値 Tciraを計算する。図 7 9の場合、 Tcltnと Tciraは、それぞれ次の式で算出される。 Tclm= (Tel (1) +Tcl (2) +Tcl (3) +Tcl (4) ) /4 Tcim= (Tci(l)+Tci(2)+Tci(3)) / 3

次に、図 7 5を参照して、握り圧特徴算出処理について説明する。使用者がマウスを握るときの握り圧情報は、図 8 0に示すような波形 7 9 1になる。この波形をサンプリングし、極性判定処理、 TV出力処理を行うと、 Τν+、 ΤνΟ,

Τν+. . . のような出力を得る。すなわち、使用者がマウスを閾値 VthOより強い強度で握っている時間は Tv+となり、閾値 VthOより弱い強度で握っている時間は TvOとなる。

また、 Vmax， Vtnin判定処理を行うと、使用者がマウスを閾値 VthOより強い強度で握っている時間 Tv+における出力の最大強度 Vm を得る。

ステップ S 6 4 1において、端末 Bの特徴抽出部 6 3 2は、変数 nと Pに 1 をセットし、ステップ S 64 2に進み Tgrp(n)に Tv+(P)の値をセットし、 Igrp(n)に Vmax(P)の値をセットする。

ステップ S 6 4 3において端末 Bの特徴抽出部 6 3 2は、 Pと nの値を 1だけインクリメントして、ステップ S 6 4 4に進み、 Tv+(P)または Tv0(P)があるか否かを判定し、 Τν+(Ρ)または Tv0(P)があると判定された場合、ステップ S 64 5に進み、 Tgrpの平均値 Tgrptnと Igrpの平均値 Igrptnを算出する。図 8 0 の場合、 Tgrpmと Igrpmは、それぞれ次の式で算出される。 Tgrpm=

(Tgrp(l)+Tgrp(2)) /2 Igrpm= (Igrp (1) +Igrp (2) ) / 2

このようにして、使用者 aの強い驚きに対応するクリック情報と握り圧情報の特徴べクトノレ Vcが生成される。

ここまで、端末 B力端末 Aから送信された使用者 aのマウスのクリック情報と握り圧情報から特徴量べクトル Vcを生成し、蓄積する処理について説明したが、同様に端末 Bは、使用者 bのマウスのクリック情報と握り圧情報から特徴量べクトルを生成し、蓄積する。その結果、端末 Bの蓄積部 6 1 5には、図 7 8にしめされるように、マウスのクリック情報と握り圧情報に関する学習結果 7 1 1がそれぞれ、環境温度 K≥K1の場合 7 3 1と環境温度 Κ<Κ1の場合 7 3 2に分けて蓄積される。さらに、環境温度 K≥K1の場合 7 3 1と環境温度 K < K1 の場合 7 3 2のそれぞれにおいて、マウスのタリック情報と握り圧情報は、使用者 aと使用者 bにに分けて蓄積される。

また、端末 Aも同様にして、マウスのクリック情報と握り圧情報に関する学習結果をそれぞれ、使用者 aと使用者 bに分けて蓄積することができる。

上述したクリック情報と握り圧情報の蓄積処理を操り返し行い、クリック情報と握り圧情報が充分蓄積された後は、クリック情報と握り圧情報をもとに、使用者の感情、状態、およびその強度を特定することができる。

次に図 8 1を参照して、端末 B による感情状態の特定処理について説明する。ステップ S 6 6 1において、端末 Bのシステム制御部 6 1 7は、端末 Aとの通信開始時に、通信相手である端末 Aの使用者 aを特定する情報 PIDを取得する。ステップ S 6 6 2において、端末 Bのシステム制御部 6 1 7は、情報弁別部 6 3 1に、使用者 aのマウス入力があつたか否かを判定させ、入力があったと判定されるまで待機する。

ステップ S 6 6 2において、マウス入力があつたと判定された場合、ステップ S 6 6 3に進み、端末 Bのシステム制御部 6 1 7は、特徴抽出部 6 3 2に、端末 Aから送信されてきた使用者 aのマウスのクリック情報と握り圧情報のサンプリング処理を開始させる。そして、ステップ S 6 6 4に進み、端末 Bのシステム制御部 6 1 7は、情報弁別部 6 3 1にマウス入力が終わったか否かを判定させ、マウス入力が終わったと判定されるまで待機する。

ステップ S 6 6 4において、マウス入力が終わったと判定された場合、端末 B のシステム制御部 6 1 7は、特徴抽出部 6 3 2に、端末 Aから送信されてきた使用者 aのマウスのクリック情報と握り圧情報のサンプリング処理を終了させる。

なお、マウスのクリック情報と握り圧情報のサンプリング処理は、端末 Aの特徴抽出部 6 3 2において行い、サンプリングした結果を端末 Bに送信してもよい。ステップ S 6 6 6において、端末 Bのシステム制御部 3 1 7は、特徴抽出部 6 3 2に、特徴ベクトル Vcの生成処理を実行させ、ステップ S 6 6 7に進み、学習部 6 1 4に Vcの感情、状態、およびその強度の特定処理を実行させ、ステップ S 6 6 8において、特定結果出力再計算処理を実行させる。

次に図 8 2を参照して、 Vc生成処理について説明する。この処理は端末 Bの特徴抽出部 6 3 2において実行される。ステップ S 6 8 1において、端末 Bの特徴抽出部 6 3 2は、サンプリングしたクリック情報と握り圧情報を読み出し、ステップ S 6 8 2において、極性判定処理を行い、ステップ S 6 8 3に進み、 TV出力処理を行い、ステップ S 6 8 4において、 Vmin， Vtnax判定処理を行い、ステップ S 6 8 5において、後述するクリック特徴算出処理を行い、値 Tclmと Tcimを取得する。

そして、ステップ S 6 8 6に進み、端末 Bの特徴抽出部 6 3 2は、サンプリングした握り圧情報を読み出し、ステップ S 6 8 7において、極性判定処理を行レヽ、ステップ S 6 8 8に進み、 TV 出力処理を行い、ステップ S 6 8 9において、 Vmi n, Vmax判定処理を行い、ステップ S 6 9 0において、後述する握り圧特徴算出処理を行い、値 Tgrpmと I grprnを取得する。

ステップ S 6 9 1において、端末 Bの特徴抽出部 6 3 2は、特徴量べクトル Vc (Tc lm, Tcim, Tgrpm, Igrpm) を生成する。

次に図 8 3を参照して、クリック特徴算出処理について説明する。

ステップ S 7 1 1において、端末 Bの特徴抽出部 6 3 2は、変数 nと Pに 1 をセットし、ステップ S 7 1 2に進み Tc l (n)に Tv+ (P)の値をセットし、 Tc i (n) に TvO (P)の値をセットする。そして、ステップ S 7 1 3に進み、端末 Βの特徴抽出部 6 3 2は、 Ρと ηの値を 1だけィンクリメントし、ステップ S 7 1 4において、 Τν+ (Ρ)または ΤνΟ (Ρ)があるか否かを判定し、 Τν+ (Ρ)または ΤνΟ (Ρ)があると判定された場合、ステップ S 7 1 2に戻り、以降の処理を繰り返し実行する。ステップ S 7 14において、 Tv+(P)または TvO(P)がないと判定された場合、端末 Βの特徴抽出部 6 32は、ステップ S 7 1 5に進み、 Telの平均値 Tclmと Tciの平均値 Tcimを計算する。

次に、図 84を参照して、握り圧特徴算出処理について説明する。ステップ S 73 1において、端末 Bの特徴抽出部 632は、変数 nと Pに 1をセットし、ステップ S 73 2に進み Tgrp(n)に Tv+(P)の値をセットし、 Igrp(n)に Vmax(P) のィ直をセットする。

ステップ S 7 3 3において端末 Bの特徴抽出部 6 3 2は、 Pと nの値を 1だけインクリメントして、ステップ S 734に進み、 Tv+(P)または TvO(P)があるか否かを判定し、 Τν+(Ρ)または ΤνΟ(Ρ)があると判定された場合、ステップ S 7 3 5に進み、 Tgrpの平均値 Tgrpmと Igrpの平均値 Igrpmを算出する。

このようにして、使用者 aのマウスのクリック情報と握り圧情報から特徴量ベタトル Vcが生成される。

次に図 8 5を参照して、 Vcの感情、状態、およびその強度の特定処理について説明する。この処理は、端末 Bの学習部 6 14において実行される。

ステップ S 7 5 1において、端末 Bの学習部 6 14は、端末 Aから送信されてきた環境温度情報 Kの値が基準値 K1以上か否かを判定し、 K1以上であると判定された場合、蓄積部 6 1 5に蓄積されている K K1における使用者 aに対応するマウスのクリック情報と握り圧情報の特徴量べクトルの分布 fvc、分布の中心べクトノレ VjU、分布の標準偏差べクトノレ νσを読み出す。ステップ S 75 1において、 Κの値が基準値 K1未満であると判定された場合、端末 Βの学習部 6 1 4は、蓄積部 6 1 5に蓄積されている Κ<Κ1における使用者 aに対応するマウスのタリック情報と握り圧情報の特徴量べクトルの分布 fvc、分布の中心べクトル v 、分布の標準偏差べクトル νσを読み出す。

上述したように感情情報は 36通りあり、 fvc,V ,VCT も感情情報に対応してそれぞれ 36通り存在する。ステップ S 7 5 4において、端末 Bの学習部 6 1 4は、変数 Qに 1をセットし、ステップ S 7 5 5に進み、ベクトル V （Q)とステップ S 6 6 6 (図 8 1 ) で生成した特徴量べクトル Vcの内積値を算出し、内積値に対応させて V i (Q)を記憶する。そして、ステップ S 7 5 6に進み、端末 Bの学習部 6 1 4は、 Qの値を 1だけィンクリメントし、ステップ 7 5 7において、全ての感情情報について計算したか否か、すなわち、 3 6種類の中心べクトル Vjt について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップ S 7 5 5に戻り、以降の処理を繰り返し実行する。

全ての感情情報に対応する 3 6種類の中心べクトル V jU について内積値の計算が終わると、端末 Bの学習部さ 0 4の中にある図示せぬ記憶部には、実施の形態 1の場合と同様に感情情報、内積値、中心ベクトル V/ の種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップ S 7 5 8において、端末 Bの学習部 6 1 4は、内積値の大きい順にデータをソートする。

ステップ S 7 5 9において、端末 Bの学習部 6 1 4は、変数尺に 1をセットし、 S 7 6 0において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップ S 7 6 1に進み、ソートしたデータを読み出す。ステップ S 7 6 2において、変数 mに 1をセットし、ステップ S 7 6 3に進み、 V i (R) m- νσ (R) m≤Vcm≤V | (R) m+V σ (R) mの条件を満たしているか否かを判定する。ここで、 V i (R) mは、ベタトル V〃（R)の ra番目の成分を表し、 V σ (R) m， Veraもそれぞれ同様にベクトル νσ， Vchの m番目の成分を表す。マウスのクリック情報と握り圧情報の特徴量べクトルは上述したように Tclm, Tcim, Tgrpra, Igrpraの 4 個の成分により構成されている。 mの値が 1のとき、 V i (R)， νσ (R) , Vcの各ベクトルの Tclm成分が抽出され、処理が行われる。

ステップ S 7 6 3において、 V i (R) m— ν σ (R) m≤Vchm≤V i (R) m+V CT (R) mの条件を満たしていないと判定された場合、端末 Bの学習部 6 1 4は、ステップ S 7 6 8に進み、 Rの値を 1だけインクリメントして、ステップ S 7 6 0に戻り、以降の処理を繰り返し実行する。ステップ S 7 6 3において、 Vju (R) m— νσ (R) m≤Vcm≤V^ (R) m+ Y a (R) mの条件を満たしていると判定された場合、端末 Bの学習部 6 1 4は、ステップ S 7 6 4に進み、 mの値を 1だけィンクリメントして、ステップ S 7 6 5に進み、 mの値が 5と等しいか否かを判定し、 mの値が 5と等しくないと判定された場合、ステップ S 7 6. 3に戻り、以降の処理を繰り返し実行する。

ステップ S 4 9 3において、 mの値が 5と等しいと判定された場合、すなわち、 V // (R) , V a (R) , Vchの各ベクトルを構成する 4個の成分について、 V i (R) m— ν σ (R) m≤Vcm≤V i (R) m+V σ (R) mの条件を満たしていると判定された場合、端末 Bの学習部 6 1 4は、ステップ S 7 6 6に進み、 Vcは Rに対応する感情情報 Eに属しているものと特定する。

ステップ S 7 6 0において、全ての感情情報に関してデータを読み出したと判定された場合、端末 Bの学習部 6 1 4は、 Vcの感情、状態、およびその強度を特定不能として処理を終了する。

図 8 6は、使用者 aの各感情情報に対応するマウスのクリック情報と握り圧情報の特徴量べクトルを示した図である。この図は、 Tclm軸、 Tcim軸、 Tgrpm 軸、 Igrpra軸からなる 4次元空間として示されている。図 8 1のステップ S 6 6 6において生成された特徴量べクトル 8 1 1 (Vc)は、「喜び ·強」に対応する特徴量べクトルの分布 8 1 3の中心べクトル 8 1 2 ( μ 1)と近接しており、上述した Vcの感情、状態、およびその強度特定処理の結果、「喜び '強」を示す特徴量べクトルであると特定される。

このようにして、特徴量ベクトル Vcから、使用者 aの感情、状態、およびその強度が特定される。

次に図 6 1を参照して、特定結果出力再計算処理について説明する。この処理は、端末 Bの学習部 6 1 4において実行される。ステップ S 6 9 1において、端末 Bの学習部 6 1 4は、特定結果を出力制御部 6 3 3に出力し、ステップ S 6 9 2において使用者 aの感情情報 Eに対応するマウスのタリック情報と握り圧情報の特徴量べクトルの分布 fvc、分布の中心べクトル V i、分布の標準偏差ベクトル V C7を再計算し、蓄積する。すなわち、ステップ S 6 6 6 (図 8 1 ) で生成された特徴量ベクトル Vcは、蓄積部に蓄積されている使用者 aの「喜び ·強」を示すマウスのクリック情報と握り圧情報の特徴量べクトルに加えられ、あらたに、 fvc、 V i、および ν σが計算され、蓄積部 6 1 5に蓄積される。

このようにして、マウスのクリック情報と握り圧情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量ベクトルの情報が、あらたに蓄積される。

ここまで、端末 Βが、端末 Αから送信された使用者 aのマウスのクリック情報と握り圧情報から特徴量ベクトル Vcを生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末 Bは、使用者 bについてのマウスのクリック情報と握り圧情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。

次に、図 8 8と図 8 9を参照して、情報出力処理について説明する。ステップ S 7 8 1において、システム制御部 6 1 7は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、実施の形態 1 の場合と同様に、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の 4種類がめる。

ステップ S 7 8 1において、出力情報が選択されたと判定された場合、システム制御部 6 1 7は、ステップ S 7 8 2に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップ S 7 8 3において、特定結果に対応する 2ビットの選択情報 0 0を出力制御部 6 3 3に送信する。ステップ S 7 8 4において、出力制御部 6 3 3は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「強い喜びを示しているようです。」という文字が出力される。

ステップ S 7 8 2において、特定結果が選択されていないと判定された場合、システム制御部 6 1 7は、ステップ S 7 8 5に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステツプ S 7 8 6に進み、特徴量に基づく情報に対応する 2ビットの選択情報 0 1 を出力制御部 6 3 3に送信する。

ステップ S 7 8 7において、出力制御部 6 3 3は、特徴量（Tgrp, Igrp) を特徴抽出部 6 3 2から取得し、ステップ S 7 8 8に進み、温度呈示部駆動信号を生成する。すなわち、出力のレベルを Igrpとし、出力 ON時間を Tgrpとして、図 9 0に示されるような矩形波信号を生成する。そして、ステップ S 7 8 9に進み、出力制御部 6 3 3は、温度提示部 6 9 2を駆動させる。

ステップ S 7 8 5において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部 6 1 7は、ステップ S 7 9 0において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、ステップ S 7 9 1において、波形情報に対応する 2ビットの選択情報 1 0を出力制御部 6 3 3に送信する。ステップ S 7 9 2において、出力制御部 6 3 3は、特徴抽出部 6 3 2からサンプリングされたマウスのクリック情報と握り圧情報を取得し、波形信号を生成し、ステップ S 7 9 3において温度呈示部 6 9 2を駆動させる。

ステップ S 7 9 0において、波形情報が選択されていないと判定された場合、システム制御部 6 1 7は、ステップ S 7 9 4に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップ S 7 9 5に進み、蓄積情報に対応する 2ビットの選択情報 0 1を出力制御部 3 2 4に送信する。蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、マウスのタリック情報と握り圧情報などの情報の種類 inf、個人を特定する情報 PID、感情情報 Eが選択される。例えば、 inf としてマウスのクリック情報と握り圧情報、 PIDとして個人 _a、 Eとして「弱い驚き」などが選択される。

ステップ S 7 9 6において、システム制御部 6 1 7は、情報の種類 inf、個人を特定する情報 PID、感情情報 Eが選択されたか否かを判定し、選択されたと判定されるまで待機する。

ステップ S 7 9 7において、システム制御部 6 1 7は、使用者に選択された情報に基づいて（inf, PID, E) の情報を生成し、出力制御部 6 3 3に送信する。ステップ S 7 9 8において出力制御部 6 3 3は、（inf, PID, E) に基づいて、蓄積部 6 1 5からキーボードの振動情報の中心べクトルを取得する。この場合、蓄積部に蓄積されている個人 aの「弱い驚き」に対応する脈拍情報の特徴量べタトルの分布の中心ベクトル V / (Tel, Tci, Tgrp, Igrp) が取得される。

ステップ S 7 9 9において、出力制御部 6 3 3は、中心べクトル V に基づいて、温度呈示部駆動信号を生成する。すなわち、出力のレベルを Igrpとし、出力 ON時間を Tgrpとし、出力 OFF時間を Tgrpとして、図 9 1に示されるような矩形波 8 5 1の信号を生成し、ステップ S 8 0 0において温度呈示部 6 9 2を駆動信号に基づいて、 3回駆動させる。

ステップ S 7 9 4において、蓄積情報が選択されていないと判定された場合、システム制御部 6 1 7は、ステップ S 8 0 1に進み、エラー処理を実行して、処理を終了する。

このようにして、使用者は、マウスのクリック情報と握り圧情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、温度呈示部を駆動させることにより、握り圧情報を体感することができる。

実施の形態 4

図 9 2は本発明の情報処理装置を利用した第 2のコミュニケーシヨンシステムの構成を示す図である。図 1のシステムと異なり、端末 1、端末 2、および端末 3に代わり、ゲーム機 8 7 1、ゲーム機 8 7 2、およびゲーム機 8 7 3が、設置されている。そしてゲーム機 8 7 1乃至 8 7 3は、それぞれインターネットなどのネットワーク 8 8 0を経由してサーバ 8 8 1に接続され、互いに情報通信を行うように構成されている。

ゲーム機 8 7 1 (ゲーム機 A) 、ゲーム機 8 7 2 (ゲーム機 B ) 、ゲーム機 8 7 3 (ゲーム機 C ) には、図 1の場合と同様に、それぞれ、情報の入力を受け付ける入力部 8 9 1 A乃至 8 9 1 C、入力された情報を処理する処理部 8 9 3 A乃至 8 9 3 C、入力された情報から使用者の感情、状態、およびその強度を学習、特定する学習部 8 9 4 A乃至 8 9 4 C、学習部によって学習、特定された情報を蓄積する蓄積部 8 9 5 A乃至 8 9 5 C、学習部によって特定された情報、または蓄積部に蓄積された情報を出力する出力部 8 9 2 A乃至 8 9 2 C、情報の送受信を行う通信部 8 9 6 A乃至 8 9 6 C、および各部を制御するシステム制御部 8 9

7 A乃至 8 9 7 Cが設けられている。

なお、ゲーム機 8 7 1 (ゲーム機 A) 乃至ゲーム機 8 7 3 (ゲーム機 C ) の構成は同一であるため、それらを構成する入力部 8 9 1 A乃至システム制御部 8 9 7 A、入力部 8 9 1 B乃至システム制御部 8 9 7 B、並びに入力部 8 9 1 C乃至システム制御部 8 9 7 Cは、それぞれ同一の機能を有している。以下においては、それらを個々に区別する必要がない場合には、入力部 8 9 1乃至システム制御部

8 9 7と、まとめて表現する。

図 9 3にゲーム機 8 7 1乃至 8 7 3の構成例を示す。このゲーム機には、音声情報、加速度情報、およびゲーム機のコントローラ ^{9 4} 1 (図 9 4 ) の握り圧情報の入力を受け付ける入力部 8 9 1、入力部 8 9 1から入力された情報を処理する処理部 8 9 3、処理部 8 9 3から出力された特徴情報と感情態情報に基づいて、学習、特定を行う学習部 8 9 4、学習部 8 9 4から出力された学習情報、特定情報を蓄積する蓄積部 8 9 5、処理部 8 9 3から出力された出力情報に基づいて、情報を出力する出力部 8 9 2、通信を行う通信部 8 9 6、および各部を制御するシステム制御部 8 9 7が設けられている。

処理部 8 9 3には、入力部 8 9 1から入力された情報から、加速度情報、握り圧情報、または音声情報を分別する情報弁別部 9 1 1、加速度情報とコントローラ 9 4 1の握り圧情報から特徴情報を抽出する特徴抽出部 9 1 2、音声情報から感情情報を抽出する意味抽出部 9 1 3、および出力部 8 9 2に出力情報を出力する出力制御部 9 1 4が設けられている。通信部 8 9 6には、情報の送信を行う情報送信部 9 2 1、情報の受信を行う情報受信部 9 2 2が設けられている。

入力部 8 9 1は、マイクロホン、 3軸（相互に垂直な X， Y， Ζ軸）方向の加速度を検知する加速度センサ、使用者がコントローラ 9 4 1を握るときの強度を検知する握り圧センサにより構成され、ゲーム機に付属のコントローラ 9 4 1に配置される。また、出力部 8 9 2は、所定の信号に基づいて、光を発する光呈示部、および、所定の信号に基づいて振動する振動モータにより構成される振動呈示部により構成され、やはりコントローラ 9 4 1に配置される。

図 9 4にコントローラ 9 4 1の構成例を示す。使用者は、コントローラ 9 4 1 の所定のボタンを操作することにより、ゲームを行う。コントローラ 9 4 1内部の上部中央には、 3軸加速度センサ 9 6 1が設けられている。 3軸加速度センサ 9 6 1は、使用者がコントローラ 9 4 1を動かすとき、 X軸方向（図中紙面と平行な左右の方向）、 Υ軸方向（図中紙面と平行な上下の方向）、 Ζ軸方向（図中紙面と垂直な前後の方向）のそれぞれの加速度を検知する。コントローラ 9 4 1 の下部中央には、マイクロホン 9 6 2が設けられており、使用者が発する音声は、マイクロホン 9 6 2に入力される。コントローラ 9 4 1の下部の左右両端には、握り圧センサ 9 6 3 Lと 9 6 3 Rが設けられており、使用者がコントローラ 9 4 1を使用するとき、通常握り圧センサ 9 6 3 Lと 9 6 3 Rが設置された部分が、それぞれ、使用者の左手と右手で握られる。

また、 3軸加速度センサ 9 6 1の左右の両端の近傍には、それぞれ光呈示部 9 6 4 Lと 9 6 4 Rが設けられている。握り圧センサ 9 6 3 Lおよび 9 6 3 Rとほぼ同じ位置の下側に、それぞれ振動呈示部 9 6 5 Lおよび 9 6 5 Rが設けられている。上述したように、振動呈示部 9 6 5 Lおよび 9 6 5 Rは、コントローラ 9 4 1に内蔵される振動モータにより構成される。使用者 aがもっているゲーム機をゲーム機 Aとし、使用者 bがもっているゲ一ム機をゲーム機 Bとして、使用者 aと使用者 bは、それぞれのゲーム機を用いて、多人数参加型のオンラインゲームに参加することができる。このオンラインゲームにおいて、参加者は、同じくゲームに参加している他の参加者と音声によるコミュニケーションを行うことができる。例えば、使用者 aの音声が、ゲーム機 Aのコントローラのマイクロホン 9 6 2から入力され、ゲーム機 Bに送信され、ゲーム機 Bが接続されているテレビのスピーカ、またはゲーム機専用のスピー力などから出力され、使用者 bに使用者 aが発した音声が伝えられる。同様に、使用者 bが発した音声も使用者 aに伝えられ、使用者 aと使用者 bは音声によるコミュ-ケーシヨンを行うことができる。

この場合、図 9 5に示される手順で情報の送受信が行われる。最初にゲーム機 Aは、ステップ S 1 0 0 1でサーバ 8 8 1に、接続要求を送信し、ステップ S 1 1 0 1でサーバ 8 8 1は、接続要求を受信する。サーバ 8 8 1は、ステップ S 1 1 0 2で接続要求に基づいて、認証を行う。ゲーム機 Aから送信される接続要求には、使用者 aを特定する、例えば、氏名、ニックネームなどの情報、およびゲームに参加するためのパスワードが含まれており、サーバ 8 8 1は、これらの情報に基づいて、使用者 aがゲームに参加する資格があるか否かを判定（認証）し、使用者 aがゲームに参加する資格があると判定された場合、ステップ 1 1 0 3でゲーム機 Aに接続要求受付を送信する。ゲーム機 Aは、ステップ S 1 0 0 2で接続要求受付を受信し、ステップ S 1 0 0 3でゲーム機 Aにおいてゲームが開始される。

一方ゲーム機 Bとサーバ 8 8 1の間においても同様の手順で情報の送受信が行われ（ステップ S 1 2 0 1 (ステップ S 1 0 0 1に対応）， S 1 1 04 (ステップ S 1 1 0 1に対応）， S 1 1 0 5 (ステップ S 1 1 0 2に対応）， S 1 1 0 6 (ステップ S 1 1 0 3に対応） , S 1 2 0 2 (ステップ S 1 00 3に対応））、ステップ S 1 2 0 3で、ゲーム機 Bにおいてもゲームが開始される。ステップ S 1 00 4で、ゲーム機 Aから、サーバ 8 8 1にゲーム機 Bへの接続要求が送信されると、ステップ S 1 1 0 7でサーバ 8 8 1は、ゲーム機 Bへの接続要求を受信する。そして、サーバ 8 8 1は、ステップ S 1 1 0 9でゲーム機 Aに接続要求受付を送信し、これがステップ S 1 0 0 5でゲーム機 Aに受信される。サーバ 8 8 1は、ステップ S 1 1 0 8でゲーム機 B の呼び出しを行い、これがステップ S 1 20 4でゲーム機 Bに受信される。サーバ 8 8 1は、ステップ S 1 2 0 5でゲーム機 Bから送信された応答を、 S 1 1 1 0で受信し、ステツプ S 2 1 1 1でゲーム機 Aと Bの接続を開始する。サーバ 8 8 1は、ステップ S 1 1 1 2でゲーム機 Aに接続確認を送信し、これは、ステップ S 1 0 0 6でゲーム機 Aに受信される。

そして、ゲーム機 Aからサーバ 8 8 1を介して、ゲーム機 Bに音声情報が送信され、ゲーム機 Bからサーバ 8 8 1を介して、ゲーム機 Aに音声情報が送信される（ステップ S 1 0 0 7, S 1 1 1 3 , S 1 1 1 4 , S 1 20 6 , S 1 2 0 7 , S 1 1 1 5 , S 1 1 1 6 , S 1 0 0 8) 。

次にゲーム機 Aは、ステップ S 1 ◦ 0 9で、加速度情報と握り圧情報の送受信の初期設定を行い、ステップ S 1 0 1 0で、サーバ 8 8 1に加速度 '握り圧情報送受信要求を送信する。これは、ステップ S 1 1 1 7でサーバ 8 8 1に受信される。サーバ 8 8 1は、ステップ S 1 1 1 8で、ゲーム機 Bに加速度 '握り圧情報送受信要求を送信する。このとき、実施の形態 1の場合と同様に、ゲーム機 Aから図 1 1に示される送信設定情報と受信設定情報が送信される。

ステップ S 1 20 8で、サーバ 8 8 1から加速度 ·握り圧情報送受信要求を受信したゲーム機 Bは、ステップ S 1 2 0 9で加速度情報と握り圧情報の送受信設定の変更を行い、ステップ S 1 2 1 0でサーバ 8 8 1に応答を送信する。ステップ S 1 1 2 0でゲ^ "ム機 Bからの応答を受信すると、サーバ 8 8 1は、ステップ S 1 1 2 1でゲーム機 Aと Bの加速度 '握り圧情報送受信を開始する。サーバ 8 8 1は、ステップ S 1 1 2 2でゲーム機 A に接続確認を送信し、これが、ステップ S 1 0 1 2でゲーム機 Aに受信される。これにより、ゲーム機 Aにおいて、ゲーム機 Bから使用者 bに関する加速度情報と握り圧情報が送信されてくることが認識され、ゲーム機 Bにおいて、ゲーム機 Aから使用者 aに関する加速度情報と握り圧情報が送信されてくることが認識される。

そして、サーバ 8 8 1を介して、ゲーム機 Aからゲーム機 Bに、加速度 '握り圧情報が送信され（ステップ S 1 0 1 3 , S 1 1 2 3 , S 1 1 24, S 1 2 1 1) 、ゲーム機 Bにおいて、ステップ S 1 1 1 2で、特徴情報蓄積処理が行われる。同様に、サーバ 8 8 1を介して、ゲーム機 Bからゲーム機 Aに、加速度 -握り圧情報が送信され（ステップ S 1 2 1 3 , S 1 1 2 5 , S 1 1 2 6 , S 1 0 1 4) 、ゲーム機 Aにおいて、ステップ S 1 0 1 5で、特徴情報蓄積処理が行われる。なお、特徴情報蓄積処理については、図 9 7を参照して後述する。ステップ S 1 0 1 6で、ゲーム機 Aからサーバ 8 8 1へゲーム機 Bへの接続終了要求が送信されると、ステップ S 1 1 2 7でサーバ 8 8 1によりこれが受信され、さらに、ステップ S 1 1 2 8でサーバ 8 8 1からゲーム機 Bにこれが送信される。ステップ S 1 2 1 4で接続終了要求を受信したゲーム機 Bは、ステップ S 1 2 1 5でそれに応答し、ステップ S 1 1 3 0で、サーバ 8 8 1に受信される。この結果、通信は終了する。同様に、ステップ S 1 1 2 9でサーバ 8 8 1 から接続終了要求受付が送信され、これがゲーム機 Aにおいてステップ S 1 1 0 9で受信される。

このようにして、サーバ 8 8 1を介して、ゲーム機 Aとゲーム機 Bの間で通信が行われ、加速度情報と握り圧情報が蓄積される。加速度情報と握り圧情報が充分に蓄積された後、ゲーム機 Aとゲーム機 Bにおいて、図 1 1 4を参照して後述する感情情報特定処理が行われる。この場合、図 9 6に示されるように情報の送受信が行われる。

すなわち、図 9 6のゲーム機 Aにおける、ステップ S 1 3 0 1乃至 S 1 3 1 7の処理は、図 9 5のゲム機 Aにおける、ステップ S I O O 1乃至 1 0 1 7 の処理と基本的に同様の処理であるが、ステップ S 1 3 1 5において、ゲーム機 Bから送信される加速度情報と握り圧情報に基づいて、感情情報特定処理が行われる。また、図 9 6のゲーム機 Bにおける、ステップ S 1 5 0 1乃至 S 1 5 1 5の処理は、図 9 5のゲーム機 Bにおける、ステップ S 1 2 0 1乃至 1 2 1 5 の処理と基本的に同様の処理であるが、ステップ S 1 5 1 2において、ゲーム機 Aから送信される加速度情報と握り圧情報に基づいて、感情情報特定処理が行われる。

図 9 6のサーバ 8 8 1における、ステップ S 1 4 0 1乃至 S 1 4 3 0の処理は、図 9 5のサーバ 8 8 1における、ステップ S 1 1 0 1乃至 1 1 3 0の処理と同様の処理なのでその説明は省略する。

次に図 9 7を参照して、ゲーム機 Aおよびゲーム機 Bにおける特徴情報蓄積処理（図 9 5のステップ S 1 0 1 5， S 1 2 1 2における処理）について説明する。ゲーム機 Aは、ゲーム機 Aに付属するコントローラ 9 4 1から出力される使用者 aに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行うこともできるし、ゲーム機 Bから送信される使用者 bに関する加速度情報、握り圧情報に基づいて、特徴情報蓄積処理を行うことも可能である。

最初にゲーム機 Aが使用者 aに関する加速度情報と握り圧情報に基づいて、特情報蓄積処理を行う場合について説明する。ゲーム機 Aのシステム制御部 8 9 7は、ステップ S 1 6 2 1において、ゲーム機 Aの使用者 aを特定する情報 (例えば、氏名、ニックネームなど） PIDを取得し、ステップ S 1 6 2 2において、システム制御部 8 9 7は、情報弁別部 9 1 1に、使用者 aの音声情報の入力があったか否かを判定させ、入力されたと判定されるまで待機する。

ステップ S 1 6 2 2において、音声情報の入力があつたと判定された場合、ステツプ S 1 6 2 3に進み、システム制御部 8 9 7は、特徴抽出部 9 1 2に、使用者 aに関する加速度情報と握り圧情報のサンプリング処理を開始させる。そして、ステップ S 1 6 2 4に進み、システム制御部 8 9 7は、意味抽出部 9 1 3に入力された音声情報の音声認識を行わせる。

ステップ S 1 6 2 5において、システム制御部 8 9 7は、認識された音声の中に感情、状態およびその強度を表す語句があるか否かを判定し、感情、状態およびその強度を表す語句がないと判定された場合、ステップ S 1 6 2 2に戻り、それ以降の処理を繰り返し実行する。実施の形態 1で上述したように、感情と状態を表す語句は、図 2 3に示されるようなものであり、強度を示す語句は図 2 4に示されるようなものである。

ステップ S 1 6 2 5において、感情、状態およびその強度を示す語句があると判定された場合、システム制御部 8 9 7は、ステップ S 1 6 2 6において、認識された語句の主語は使用者か否か、すなわち、認識された語句が、使用者 aの感情、状態およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップ S 1 6 2 2に戻り、それ以降の処理を繰り返し実行する。

ステップ S 1 6 2 6において、主語は使用者であると判定された場合、システム制御部 8 9 7は、ステップ S 1 6 2 7において、使用者 aの音声が 1フレーズ分入力されたか否かを判定し、 1フレーズ分入力されたと判定されるまで待機する。ステップ S 1 6 2 7において、 1フレーズ分入力されたと判定された場合、システム制御部 8 9 7は、ステップ S 1 6 2 8に進み、特徴抽出部 9 1 2に、カロ速度情報と握り圧情報のサンプリング処理を終了させる。

そして、ステップ S 1 6 2 9に進み、システム制御部 8 9 7は、意味抽出部 9 1 3に、感情情報 Eを抽出させる。

例えば、使用者 aが「びっくりした」と発話した場合、「びっくり」という語句に対応する感情、状態は驚きであり、その他特に形容詞（例えば、「とても」、「少し」など）がないことからその強度は中であると認識され、感情情報 Eとして、「中の驚き J が抽出される。

ステップ S 1 6 3 0において、システム制御部 8 9 7は、特徴抽出部 9 1 2に、使用者 aに関する加速度情報と握り圧情報に基づいて、特徴べクトル Vcの生成処理を実行させ、ステップ S 1 6 3 1に進み、情報 PIDと感情情報 Eに対応する加速度情報と握り圧情報を蓄積部 8 9 5から読み出す。この場合、使用者 a の中の驚きに対応する加速度情報と握り圧情報の特徴べクトルが読み出される。そして、ステップ S 1 6 3 2に進み、システム制御部 8 9 7は、学習部 8 9 4 に、読み出された特徴べクトルに新たに生成された特徴べクトル Vcを加えて、ベタトルの分布 fvc、分布の中心べクトル V 、標準偏差べクトノレ ν σを再計算させ、ステップ S 1 6 3 3において、再計算した結果を蓄積部 8 9 5に記憶する。このようにして、加速度情報と握り圧情報から使用者 aの中の驚きに対応する特徴べクトルが生成され、ベタトルの分布、分布の中心べクトル、および標準偏差べクトルが再計算され、蓄積される。

次に図 9 9を参照して、加速度情報と握り圧情報の特徴べクトル Vcの生成処理の詳細について説明する。この処理は、特徴抽出部 9 1 2で行われる。ステツプ S 1 6 5 1において、特徴抽出部 9 1 2は、図 1 0 0と図 1 0 1を参照して後述する加速度情報の特徴量算出処理を行う。これにより、特徴ベクトル Vcを構成する成分のうち、第 1番目乃至第 1 2番目の成分

(Acc+ (1) , Acc+ (2)， Acc+ (3)， Tac+ (l) , Tac+ (2)， Tac+ (3) , Acc_ (1)， Acc -

(2) , Acc- (3) , Tac- ( 1) , Tac- (2) , Tac- (3) ) が算出される。ステップ S 1 6 5 2 において、特徴抽出部 9 1 2は、図 1 0 4と図 1 0 5を参照して後述する握り圧情報の特徴量算出処理を行う。これにより、特徴ベクトル Vcを構成する成分のうち、第 1 3番目乃至第 2 0番目の成分

(Igr_R(l)， I gr_R (2) , Tgr_R(l) , Tgr_R (2)，

Igr一 L (1) , Igr_L (2) , Tgr一 L (1) , Tgr_L (2) ) が算出される。

そして、ステップ S 1 6 5 3において、特徴抽出部 9 1 2は、特徴べクトル

Vc (Acc+ (1) , Acc+ (2) , Acc+ (3)， Tac+ (1) , Tac+ (2)， Tac+ (3) , Acc -（1) , Acc -

(2) , Acc- (3)， Tac— ( 1) , Tac— (2)， Tac— (3)，

Igr一 R (1) , Igr一 R (2)， Tgr一 R (1) , Tgr_R (2)，

Igr_L (1) , Igr_L (2) , Tgr_L (1) , Tgr_L (2) ) を生成する。

このようにして、加速度情報と握り圧情報から、使用者 aの中の驚きに対応する特徴べクトル Vcが生成される。次に、図 1 0 0と図 1 0 1を参照して、図 9 9のステップ S 8 5 1の加速度情報の特徴量算出処理について説明する。ステップ S 1 6 7 1において、特徴抽出部 9 1 2は、サンプリングされた加速度情報を読み込み、その後、実施の形態 1 の場合と同様に、ステップ S 1 6 7 2において、図 1 6の極性判定処理を行い、ステップ S 1 6 7 3に進み、図 1 7の TV出力処理を行い、ステップ S 1 6 74 において、図 1 8の Vmin, Vmax判定処理を行う。

図 1 0 2は、コントローラ 94 1の 3軸加速度センサ 9 6 1により、出力される加速度情報の波形の例を示す図である。 3軸加速度センサ 9 6 1は、上述したように X軸方向の加速度、 Y軸方向の加速度、および Z軸方向の加速度を検知する。図 1 0 2に示される加速度情報は、縦軸に X軸方向、 Y軸方向、および Z軸方向の加速度の和が示され、横軸に時間が示されている。この波形をサンプリングし、ステップ S 1 6 7 2の極性判定処理、ステップ S 1 6 74の TV出力処理を行うと、 Tv+、 ΤνΟ、 Τν -、 ΤνΟ、 Τν+. . . のような出力が得られる。

ここで、時間 Τν+は、コントローラに対して、正方向の加速度が生じている時間を示すものであり、時間 Τν-は、コントローラに対して、負方向の加速度が生じている時間を示すものであり、時間 ΤνΟは、コントローラに対する加速度がほぼゼ口となる時間を示すものである。

さらに、ステップ S 1 6 7 4の Vmin, Vmax判定処理が行われると、時間 Tv+ に対応する出力値 Vmaxと時間 Tv -に対応する出力値 Vminが得られる。この結果、図 1 0 3に示されるような波形の情報が得られる。

図 1 0 1のステップ S 1 6 7 5において、特徴抽出部 9 1 2は、時間の早い順にソートされている出力値 Vmax (P)を、値の大きい順にソートして、出力値 Vmax(l), Vmax (2) _N Vmax(3)を抽出し、ステップ S 1 6 7 6において、出力値 Vmax(l) Vmax (2)、 Vmax (3)に対応する時間 Tv+ (1)、 Τν+(2)、 Τν+(3)を抽出する。

すなわち、図 1 0 3に示される正方向の出力値をもつ 3つの矩形波の中で出力値の最も大きいもの（図中、左側から 3番目の矩形波）が選択され、その出力値が Vmax(l)とされ、その時間が Tv+(1)とされる。同様に、 2番目に出力値の大きい矩形波の出力値が Vmax(2)、その時間が Tv+ (2)とされ、 3番目に出力値の大きい矩形波の出力値が Vmax(3)、その時間が Tv+(3)とされる。図 1 0 3においては、正方向の出力値をもつ矩形波が 3つある場合を例として説明したが、正方向の出力値をもつ矩形波が 2つしかない場合は、 Vniax(3)と Tv+(3)の値は 0 とされる。

図 1 0 1に戻って、ステップ S 1 6 7 7において、特徴抽出部 9 1 2は、特徴ベタトル Vcを構成する第 1番目乃至第 6番目の成分

Acc+ (1)， Acc+ (2)， Acc+ (3) , Tac+(l)， Tac+ (2)， Tac+ (3)にそれぞれ、 Vmax(l)、 Vmax(2)、 Vmax(3)、 Τν+(1)、 Τν+(2)、 Τν+ (3)の値をセットする。

ステップ S 1 6 7 8において、特徴抽出部 9 1 2は、時間の早い順にソートされている出力値 Vtnin(P)を、値の小さい順にソートして、出力値 Vmin(l)、 Vmin(2)、 Vmin(3)を抽出し、ステップ S 1 6 7 9において、出力値 Vmin(l)、 Vmin(2)、 Vmin(3)に対応する時間 Tv- (1)、 Τν -（2)、 Τν -（3)を抽出する。

すなわち、図 1 0 3に示される負方向の出力値をもつ 3つの矩形波の中で出力値の最も小さいもの（図中、左側の矩形波）が選択され、その出力値が Vmin(l) とされ、その時間が Tv_(l)とされる。同様に、 2番目に出力値の小さい矩形波の出力値が Vtnin(2)、その時間が Tv_ (2)とされ、 3番目に出力値の小さい矩形波の出力値が Vmin(3)、その時間が Tv_(3)とされる。図 1 0 3においては、負方向の出力値をもつ矩形波が 3つある場合を例として説明したが、負方向の出力値をもつ矩形波が 2つしかない場合は、 Vmin(3)と Tv -（3)の値は 0とされる。図 1 0 1に戻って、ステップ S 1 6 8 0において、特徴抽出部 9 1 2は、特徴ベタトル Vcを構成する第 7番目乃至第 1 2番目の成分 Acc- (l),Acc- (²),Acc - (3)， Tac- (1)， Tac- (2)， Tac- (3)にそれぞれ、 Vmin(l)、 Vmin(2)、 Vmin(3)、 Tv_ (1)、 Tv- (2)、 Tv- (3)の値をセットする。

このようにして、加速度情報の特徴量が算出される。次に図 1 04と図 1 0 5を参照して、図 9 9のステップ S 1 6 5 2の握り圧情報の特徴量算出処理について説明する。握り圧情報は、コントローラ 9 4 1の右側の握り圧センサ 9 6 3 Rと左側の握り圧センサ 9 6 3 Lにより出力される。握り圧情報の特徴量算出処理は、握り圧センサ 9 6 3 Rにより出力された握り圧情報と、握り圧センサ 9 6 3 Lにより出力された握り圧情報のそれぞれに対して行われる。

ステップ S 1 7 0 1において、特徴抽出部 9 1 2は、サンプリングされた握り圧情報を読み込み、その後、実施の形態 1の場合と同様に、ステップ S 1 7 0 2 において、図 1 6の極性判定処理を行い、ステップ S 1 7 0 3に進み、図 1 7の TV出力処理を行い、ステップ S 1 7 04において、図 1 8の Vmin， Vmax判定処理を行う。図 1 0 6は、握り圧センサ 9 6 3 Rにより出力された握り圧情報の波形を示す図であり、図 1 0 7は、握り圧センサ 9 6 3 Lにより出力された握り圧情報の波形を示す図である。図 1 0 6および図 1 0 7は、それぞれ縦軸に握り圧の出力値が示され、横軸に時間が示されている。

この波形をサンプリングし、ステップ S 1 7 0 2の極性判定処理、ステップ S 1 7 0 3の TV出力処理を行うと、 Tv+、 ΤνΟ、 Τν+、 ΤνΟ. . · のような出力を得る。

ここで、時間 Τν+は、使用者 aがコントローラを所定の強度以上の強度で握つている時間を示すものであり、時間 TvOは、使用者 aがコントローラを所定の強度未満の強度で握っている時間を示すものである。

さらに、ステップ S 1 704の Vtnin, Vmax判定処理が行われると、時間 Tv+ に対応する出力値 Vmaxと時間 Tv -に対応する出力値 Vminが得られる。この結果、図 1 0 6に示される握り圧情報から図 1 0 8に示されるような波形の情報が得られ、図 1 0 7に示される握り圧情報から図 1 0 9に示されるような波形の情報が得られる。

図 1 0 5のステップ S 1 7 0 5において、特徴抽出部 9 1 2は、右側の握り圧センサ 9 6 3 Rの出力について、時間の早い順にソートされている Vmax(P)を、値の大きい順にソートして、 Vmax(l)、 Vmax(2)を抽出し、ステップ S 1 7 0 6 において、 Vmax(l) Vmax(2)に対応する Tv+(1)、 Τν+(2)を抽出する。

すなわち、図 1 0 8に示される正方向の出力値をもつ 2つの矩形波の中で出力値の最も大きいもの（図中、左の矩形波）が選択され、その出力値が Vmax(l)とされ、その時間が Tv+(1)とされる。同様に、 2番目に出力値の大きい矩形波の出力値が Vmax(2)、その時間が Tv+(2)とされる。図 1 0 3においては、矩形波が 2つある場合を例として説明したが、矩形波が 1つしかない場合は、 Vmax(2) と Tv+(2)の値は 0とされる。

図 1 0 5に戻って、ステップ S 1 7 0 7において、特徴抽出部 9 1 2は、特徴ベクトル Vcを構成する第 1 3番目乃至第 1 6番目の成分

Igr— R(l), Igr— R(2)， Tgr— R(l), Tgr— R(2)にそれぞれ、 Vmax(l), Vmax(2) Tv+(1)、 Tv+(2)の値をセットする。

ステップ S 1 7 0 8において、特徴抽出部 9 1 2は、右側の握り圧センサ 9 6 3 Rの出力について、時間の早い順にソートされている Vmax(P)を、値の大きい順にソートして、 Vraax(l)、 Vmax(2)を抽出し、ステップ S 1 7 0 9において、 Vmax(l)_N Vmax(2)に対応する Tv+(1)、 Τν+(2)を抽出する。

そして、ステップ S 1 7 1 0において、特徴抽出部 9 1 2は、特徴べクトル Vcを構成する第 1 7番目乃至第 20番目の成分

Igr— L(l)， Igr— L(²)，Tgr_L(l),Tgr_L(²)にそれぞれ、 Vmax(l)、 Vmax(2)、 Tv+(1)、 Tv+(2)の値をセットする。

このようにして、握り圧情報の特徴量が算出される。

ここまで、ゲーム機 Αが、使用者 aに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行う場合について説明したが、ゲーム機 Aは、ゲーム機 Bから送信される使用者 bに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行うこともできる。この場合、使用者 bに関する加速度情報と握り圧情報について、ゲーム機 Bの特徴抽出部 9 1 2においてサンプリング処理が行われ、サンプリングされた値に、出力制御部 9 1 4と情報送信部 9 2 1において、所定のヘッダが付加され、ゲーム機 Aに送信される。一方で使用者 bが発した音声は、ゲーム機 Aに送信され、ゲーム機 Aの意味抽出部 9 1 3 において、使用者 bの音声情報から感情情報の抽出が行われる。

そして、ゲーム機 Aは、ゲーム機 Bから送信されてきた、使用者 bに関する加速度情報と握り圧情報にもとづいて、図 9 7と図 9 8を参照して上述した特徴情報蓄積処理を行う。例えば、使用者 bが、「これは焦る」と発話した場合、ゲーム機 Aにおいて、特徴情報蓄積処理が行われ、図 9 7のステップ S 1 6 2 9で感情情報として、「中の不安定」が抽出される。一方ゲーム機 Bでは、使用者が「これは焦る」と発話したとき、図 1 1 0に示される波形の信号がグーム機 Bのコントローラ 9 4 1の 3軸加速度センサ 9 6 1により検出され、図 1 1 1に示される波形の信号がゲーム機 Bのコントローラ 9 4 1の握り圧センサ 9 6 3 Rにより検出され、図 1 1 2に示される波形の信号がゲーム機 Bのコントローラ 9 4 1の握り圧センサ 9 6 3 Lにより検出される。

図 1 1 0乃至図 1 1 2に示される波形の信号は、ゲーム機 Bの特徴抽出部 9 1 2により、それぞれ期間 Tclkの間隔でサンプリングされる。そして、加速度情報として、図 1 1 0の信号がサンプリングされた値 Vs l， Vs2, Vs3 , · · · Vs nが、使用者 bの加速度情報であること示すヘッダが付加されて、ゲーム機 A に送信される。同様に握り圧情報として、図 1 1 1の信号がサンプリングされた値 VsRl， VsR2, VsR3， ■ ■ · VsRnが、使用者 bの右の握り圧情報であること示すヘッダが付加されて、ゲーム機 A送信され、図 1 1 2の信号がサンプリングされた値 VsL l , VsL2 , VsL3 , · · ■ VsLnが、使用者 bの左の握り圧情報であること示すヘッダが付加されて、ゲーム機 Aに送信される。ゲーム機 Aは、ゲーム機 Bから送信された加速度情報と握り圧情報にもとづいて、図 9 8のステツプ S 1 6 3 0の特徴べクトル Vcの生成処理において、使用者 Bの中の不安定に対応する特徴べクトルを生成し、蓄積する。

同様にゲーム機 Bは、使用者 bの加速度情報と握り圧情報から特徴べクトルを生成し、蓄積すると同時に、ゲーム機 Aから送信される使用者 aの加速度情報と握り圧情報から特徴ベクトルを生成し、蓄積する。その結果、ゲーム機 A とゲーム機 Bの蓄積部 8 9 5には、図 1 1 3に示されるように、加速度情報と握り圧情報に関する学習結果 9 8 1がそれぞれ、使用者 aの情報 9 9 1と使用者 bの情報 9 9 2に分けて蓄積される。

上述した特徴情報蓄積処理を繰り返し行い、加速度情報と握り圧情報が充分蓄積された後は、加速度情報と握り圧情報をもとに、使用者の感情、状態、およびその強度を特定することができる。

次に図 1 1 4を参照して、ゲーム機 Bによる使用者 aの感情状態特定処理について説明する。ステップ S 1 7 3 1において、ゲーム機 Bのシステム制御部 8 9 7は、通信相手であるゲーム機 Aの使用者 aを特定する情報 PIDを取得する。ステップ S 1 7 3 2において、ゲーム機 Bのシステム制御部 8 9 7は、情報弁別部 9 1 1に、使用者 aに関する加速度情報または握り圧情報の少なくとも一方の出力値が閾値を超えたか否かを判定させ、閾値を超えたと判定されるまで待機する。閾値は、プログラムなどにより予め設定しておいてもよいし、使用者がその都度設定するようにしてもよい。

ステップ S 1 7 3 2において、加速度情報または握り圧情報の少なくとも一方の出力値が閾値を超えたと判定された場合、ステップ S 1 7 3 3に進み、システム制御部 8 9 7は、特徴抽出部 9 1 2の図示せぬ記憶部に、使用者 aに関する加速度情報と握り圧情報の出力値を記憶させる。そして、ステップ S 1 7 3 4に進み、システム制御部 8 9 7は、情報弁別部 9 1 1に使用者 aに関する加速度情報または握り圧情報の出力値が所定の時間 (例えば、 1 0秒）以上閾値以下になつたか否かを判定させ、所定の時間以上閾値以下になっていないと判定された場合、ステップ S 1 7 3 3に戻る。

ステップ S 9 3 4において、使用者 aに関する加速度情報または握り圧情報の出力値が所定の時間以上閾値以下になったと判定された場合、ステップ S 1 7 3 5に進み、システム制御部 8 9 7は、特徴抽出部 9 1 2に図 1 1 5を参照して後述する特徴ベクトル Vcag生成処理を実行させる。これにより、使用者 aに関する加速度情報と握り圧情報に基づいて、特徴ベクトル Vcagが生成される。ステップ S 1 7 3 6において、システム制御部 8 9 7は、学習部 8 94に、図 1 20 を参照して後述する Vcagの感情情報特定処理を実行させる。これにより、特徴ベタトル Vcag に対応する感情情報が特定される。ステップ S 1 7 3 7において、システム制御部 8 9 7は、学習部 8 9 4に、図 1 2 2を参照して後述する特定結果出力再計算処理を実行させる。

次に図 1 1 5を参照して、 Vcag生成処理について説明する。この処理はゲーム機 B の特徴抽出部 9 1 2において実行される。ステップ S 1 7 5 1において、特徴抽出部 9 1 2は、加速度情報の特徴量算出処理（図 1 0 0と図 1 0 1に示した処理と同様の処理なので、その説明は省略する）を行い、ステップ S 1 7 5 2 において、特徴抽出部 9 1 2は、握り圧情報算出処理（図 1 04と図 1 0 5に示した処理と同様の処理なので、その説明は省略する）を実行する。そして、ステップ S 1 7 5 3に進み、特徴抽出部 9 1 2は、特徴べクトル Vcag

(Acc+ (1)， Acc+ (2)， Acc+ (3)， Tac+ (1) , Tac+ (2) , Tac+ (3) , Acc - (1)， Acc - (2), Acc-(3), Tac-(l), Tac-(2), Tac-(3),

Igr_R(l), Igr_R(2), Tgr_R(l), Tgr_R(2),

Igr_L (1) , Igr_L (2) , Tgr_L (1) , Tgr_L (2) ) を生成する。

このようにして、使用者 aに関する加速度情報と握り圧情報から特徴べクトノレ Vcagが生成される。

次に図 1 1 6を参照して、 Vcagの感情情報特定処理について説明する。この処理は、ゲーム機 Bの学習部 8 9 4において実行される。

ステップ S 1 8 3 1において、学習部 8 94は、蓄積部 8 9 5に蓄積されている使用者 aに関する加速度情報と握り圧情報の特徴べクトルの分布 f_VC、分布の中心べクトル V 、分布の標準偏差べクトル νσを読み出す。

上述したように感情情報は 3 6通りあり、 fvc,V /，VCT も感情情報に対応してそれぞれ 3 6通り存在する。ステップ S 1 8 3 2において、学習部 8 9 4は、変数 Qに 1をセットする。ここで変数 Qは、 1から 3 6までの整数とされ、 3 6種類の感情情報に対応する。ステップ S 1 8 3 3において、学習部 8 9 4は、ベクトル V〃（Q)とステップ S 1 7 3 5 (図 1 1 4 ) で生成した特徴べクトル Vcagの内積値を算出し、内積値に対応させて V〃（Q)を記憶する。そして、ステップ S 1 8 3 4に進み、学習部 8 9 4は、 Qの値を 1だけィンクリメントし、ステップ S 1 8 3 5において、全ての感情情報について計算したか否か、すなわち、 3 6種類の中心べクトル V〃について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップ S 1 8 3 3に戻り、以降の処理を繰り返し実行する。

全ての感情情報に対応する 3 6種類の中心べクトル V について内積値の計算が終わると、学習部 8 9 4の中にある図示せぬ記憶部には、実施の形態 1の場合と同様に感情情報、内積値、中心べクトル V の種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップ S 1 8 3 6において、学習部 8 9 4は、内積値の大きい順にデータをソートする。このとき、内積値の大きさの順番が変数 Rで表され、変数 Rの値は 1から 3 6までの整数となる。

ステップ S 1 8 3 7において、学習部 8 9 4は、変数に 1をセットし、 S 1 8 3 8において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステツプ S 1 8 3 9に進み、ステップ S 1 8 3 6の処理によりソートされたデータを順番に読み出す。例えば、ステップ S 1 8 3 3で 3 6種類の感情情報に対応する中心べクトルと特徴べクトル Vcagの内積値が算出され、それらの中心べクトルの中で、特徴べクトル Vcagとの内積値が最も大きくなる中心べクトルが、使用者 aの感情情報「活性 ·強」に対応する特徴べクトルの中心べクトノレ V i 3 0であつた場合、 Rの値が 1のとき中心べクトル V 3 0と、使用者 aの感情情報「活性 -強」に対応する特徴べクトルの標準偏差べクトル ν σ 3 0が読み出される。ステップ S 1 8 4 0において、変数 mに 1をセットし、ステップ S 1 84 1に進み、 V〃 (R)ra-Va (R)m≤Vcagm≤V/ (R)m+Va (R)mの条件を満たしている力否かを判定する。ここで、 V （R)mは、ベクトル V （R)の tn番目の成分を表し、 νσ (R)m, Vcagmもそれぞれ同様にベクトル νσ， Vcagの m番目の成分を表す。加速度情報と握り圧情報の特徴べクトルは上述したように

Acc+ (1)， Acc+ (2)， Acc+ (3)， Tac+(l) , Tac+ (2)， Tac+ (3)， Acc- (1) , Acc -（2)， Acc_ (3),Tac-(l),Tac-(2),Tac-

(3)， Igr_R (1)， Igr一 R (2)， Tgr一 R (1)， Tgr_R (2)， Igr_L (1)， Igr_L (2) , Tgr一 L (1) , T gr_L (2)の 2 0個の成分により構成されている。 mの値が 1のとき、 V （R)， νσ (R), Vcagの各ベクトルの成分 Acc+(1)が抽出され、処理が行われる。

ステップ S 1 8 4 1において、 V (R)m-Va (R) ra≤ Vcagm≤V i (R)m+

VCT (R)mの条件を満たしていないと判定された場合、学習部 8 94は、ステップ S 1 8 4 6に進み、 Rの値を 1だけインクリメントして、ステップ S 1 8 3 8に戻り、以降の処理を繰り返し実行する。ステップ S 1 8 4 1において、 V （R)m -νσ (R)m≤Vchm≤V i (R)m + Va (R)m の条件を満たしていると判定された場合、学習部 8 9 4は、ステップ S 1 8 4 2に進み、 mの値を 1だけィンクリメントして、ステップ S 1 8 4 3に進み、 mの値が 2 1と等しいか否か、すなわち、 V i (R) , V σ (R) , Vcagの各ベクトルを構成する 2 0個の成分について、すべてチェックしたか否か判定し、 mの値が 2 1と等しくないと判定された場合、ステップ S 1 8 4 1に戻り、それ以降の処理を繰り返し実行する。

ステップ S 1 8 4 3において、 mの値が 2 1と等しいと判定された場合、すなわち、 V i (R)， νσ (R), Vcagの各ベクトルを構成する 2 0個の成分について、全て、 Vjli (R)m-Va (R)m≤Vcagtn≤V/i (R)m+Va (R)mの条件を満たしていると判定された場合、学習部 8 9 4は、ステップ S 1 844に進み、 Vcagは Rに対応する感情情報 Eに属しているものと特定する。例えば、 Rが 1の場合、ベタトル V 3 0および νσ 3 0を構成する 2 0個の成分について、すべて V 3 Ora -Va 3 Om≤Vcagm≤VjU 3 Om+νσ 3 Omの条件を満たしているとき、特徴べタトル Vcagは、感情情報「活性 '強」に属しているものと特定される。

ステップ S 1 8 3 8において、全ての感情情報に関してデータを読み出したと判定された場合、学習部 8 9 4は、ステップ S 1 8 4 5に進み、特徴べクトル Vcagに対応する感情情報を特定不能として処理を終了する。すなわち、 3 6種類の感情情報に対応する 3 6個の中心べクトル V (R)と 3 6個の標準偏差べクトノレ νσ (R)のそれぞれについて、 μ (R)m— νσ (R)m≤Vcagm≤V i (R)m+ νσ (R)mの条件を満たしているか否かがチェックされ、その結果、 V i (R), νσ (R), Vcagの各ベクトルを構成する 2 0個の成分について、全て、 V U (R)m 一 νσ (R)m≤Vcagm≤VjU (R)m+Va (R) raの条件を満たしていると判定されたものがなかった場合、特徴ベクトル Vcagに対応する感情情報は、特定不能と判定される。 '

図 1 1 7は、使用者 aの各感情情報に対応する振動情報の特徴量べクトルを示した図である。この図は、 Acc+(1)軸， Acc+(2)軸， Acc+(3)軸， Tac+(1) 軸， Tac+(2)軸， Tac+(3)軸， Acc- (1)軸， Acc- (2)軸， Acc- (3)軸， Tac- (1)軸， Tac - (2)軸， Tac- (3)軸， Igr一 R(l)軸， Igr_R(2)軸， Tgr_R (1)軸， Tgr一 R (2)軸， Igr— L(l) 軸， Igr_L(2)軸， Tgr_L(l)軸，および Tgr— L (2)軸からなる 2 0次元空間として示されている。この空間には、使用者 aの感情情報「悲しみ ·弱」に対応する特徴ベタトル郡 V 9の分布とその中心べクトル V 9、使用者 aの感情情報「嫌悪 ' 弱」に対応する特徴べクトル郡 V I 5の分布とその中心べクトノレ VjU 1 5、使用者 aの感情情報「興味 '中」に対応する特徴べクトル郡 VI 7の分布とその中心ベタトル V / 1 7などが存在する。

各感情情報に対応する中心べクトルのうち、図 1 1 4のステップ S 1 7 3 5において生成された特徴ベクトル Vcagは、感情情報「活性 '強」に対応する特徴ベクトル群 V3 0の分布の中心ベクトル Vjt 3 0と近接しており、上述した Vcag の感情情報特定処理の結果、「活性 ·強」を示す特徴べクトルであると特定される。このようにして、特徴べクトル Vcagから、使用者 aの感情、状態、およぴその強度が特定される。

次に図 1 1 8を参照して、特定結果出力再計算処理について説明する。この処理は、ゲーム機 Bの学習部 8 9 4において実行される。ステップ S 1 8 6 1において、学習部 8 9 4は、特定結果を出力制御部 9 1 4に出力し、ステップ S 1 8 6 2において使用者 aの感情情報 Eに対応する加速度情報と握り圧情報の特徴べクトルの分布 fvc、分布の中心べクトル V 、分布の標準偏差べクトル ν σ を再計算し、蓄積する。すなわち、図 1 1 4のステップ S 1 7 3 5において生成された特徴べクトル Vcagは、蓄積部 8 9 5に蓄積されている使用者 aの強い活性を示す加速度情報と握り圧情報の特徴ベクトル郡に加えられ、あらたに、 fvc、 V i、および ν σが計算され、蓄積部 8 9 5に蓄積される。

このようにして、加速度情報と握り圧情報から使用者の感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴べクトルの情報が、あらたに蓄積される。

ここまで、ゲーム機 Βが、ゲーム機 Αから送信された使用者 aに関する加速度情報と握り圧情報から特徴量べクトル Vcagを生成し、感情情報を特定する処理について説明したが、同様にゲーム機 Bは、使用者 bに関する加速度情報と握り圧情報から特徴べクトルを生成し、感情情報を特定することもできる。

また、ゲーム機 Aも同様にして、使用者 aと使用者 bの感情情報を特定することができる。

次に、図 1 1 9と図 1 2 0を参照して、情報出力処理について説明する。ステップ S 1 8 8 1において、システム制御部 8 9 7は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、例えば、ゲーム機に接続されたテレビまたはディスプレイ上に表示されたメュユーを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の 4種類がある。ステップ S 1 8 8 1において、出力情報が選択されたと判定された場合、システム制御部 8 9 7は、ステップ S 1 8 8 2に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップ S 1 8 8 3において、特定結果に対応する 2ビットの選択情報 0 0を出力制御部 9 1 4に送信する。ステップ S 1 8 8 4において、出力制御部 9 1 4は、感情情報の特定結果に応じてキャラクタの表示を制御する。ゲーム機に接続されたテレビまたはディスプレイ上には、使用者が選択したキャラクタが表示されており、出力制御部 9 1 4 は、特定された感情情報にもとづいて、キャラクタの表情や動作を制御する。例えば、感情情報として「活性，強」が特定された場合、キャラクタの表情を元気にあふれた表情とし、また、キャラクタの手足を上下に動かし、元気な様子を表現する。

ステップ S 1 8 8 2において、特定結果が選択されていないと判定された場合、システム制御部 8 9 7は、ステップ S 1 8 8 5に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップ S 1 8 8 6に進み、特徴量に基づく情報に対応する 2ビットの選択情報 0 1を出力制御部 9 1 4に送信する。

ステップ S 1 8 8 7において、出力制御部 9 1 4は、特徴量

(Acc+ (1)， Acc+ (2) , Acc+ (3)， Tac+ ( l) , Tac+ (2) , Tac+ (3) , Acc -（1) , Acc - (2) , Acc- (3) , Tac- ( 1) , Tac- (2) , Tac- (3) ) を特徴抽出部 9 1 2から取得し、ステツプ S 1 8 8 8に進み、振動呈示部駆動信号を生成する。すなわち、図 1 2 2 に示されるように、出力のレベルを Acc+ ( 1)， Acc+ (²)， Acc+ (³)とし、出力 ON時間を Tac+ (l) , Tac+ (2)，Tac+ (3)とした矩形波と、出力のレベルを Acc -（1) , Acc- (2) , Acc- (3)とし、出力 ON時間を Tac- ( 1) , Tac- (2) , Tac- (3)とした矩形波からなる駆動信号が生成される。そして、ステップ S 1 8 8 9に進み、出力制御部 9 1 4は、生成された駆動信号にもとづいて、振動提示部 9 6 5 Lと 9 6 5 Rを同時に駆動させる。そして、ステップ S 1 8 90において、出力制御部 9 14は、特徴量

(Igr— R ( 1) , Igr_R (2), Tgr_R ( 1) , Tgr— R (2), Igr_L (1)， Igr一 L (2), Tgr_L ( 1)， Tgr — L(2)) を特徴抽出部 9 1 2から取得し、ステップ S 1 8 9 1に進み、光呈示部駆動信号を生成する。すなわち、図 1 23に示されるように、出力の振幅を Igr_R(l)とし、出力 ON時間を Tgr— R(l)とした正弦波と、出力の振幅を

Igr_R(2)とし、出力 ON時間を Tgr— R(2)とした正弦波からなる駆動信号が生成される。また、図 1 24に示されるように、出力の振幅を Igr_L(l)とし、出力 ON時間を Tgr_L(l)とした正弦波と、出力の振幅を Igr— L(2)とし、出力 ON時間を Tgr_L(2)とした正弦波からなる駆動信号が生成される。

ステップ S 1 89 2において、出力制御部 9 14は、図 1 23に示される駆動信号に基づいて、光呈示部 964 Rを駆動し、図 1 24に示される駆動信号に基づいて、光呈示部 964 Lを駆動する。

ステップ S 1 88 5において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部 8 9 7は、ステップ S 1 893において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、ステツプ S 1 8 94において、波形情報に対応する 2ビットの選択情報 1 0を出力制御部 9 1 4に出力する。

ステップ S 1 89 5において、出力制御部 9 14は、特徴抽出部 9 1 2からサンプリングされた加速度情報を取得し、取得された加速度情報に基づいて、振動呈示部 96 5 Lと 965 Rを駆動する駆動信号を生成し、ステップ S 1 8 96において、振動呈示部 96 5 Lと 965 Rを駆動信号に基づいて、同時に駆動する。ステップ S 1 8 97において、出力制御部 9 14は、特徴抽出部 9 1 2からサンプリングされた握り圧情報を取得し、取得された右側の握り圧情報 (握り圧センサ 96 3 Rにより、検出された握り圧情報）に基づいて、光呈示部 964 Rを駆動する駆動信号を生成し、取得された左側の握り圧情報（握り圧センサ 96 3 L により、検出された握り圧情報）に基づいて、光呈示部 964 Lを駆動する駆動信号を生成し、ステップ S 1 8 9 8において、光呈示部 9 6 4 Rと 9 6 4 Lをそれぞれの駆動信号に基づいて駆動する。

ステップ S 1 8 9 3において、波形情報が選択されていないと判定された場合、システム制御部 8 9 7は、ステップ S 1 8 9 9に進み、蓄積情報が選択されたか否かを判定する。蓄積情報が選択されていないと判定された場合、ステップ S 1 9 0 4でエラー処理が実行される。ステップ S 1 8 9 9で、蓄積情報が選択されたと判定された場合、システム制御部 8 9 7は、ステップ S 1 9 0 0において、蓄積情報に対応する 2ビットの選択情報 0 1を出力制御部 9 1 4に出力する。蓄積情報が選択された場合、ゲーム機に接続されたテレビまたはディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報をどのゲーム機に出力するかを選択することができる。すなわち、加速度情報または握り圧情報を示す情報の種類 inf、個人を特定する情報 PID、感情情報 E、および出力先を示す情報 Toが選択される。例えば、 inf として加速度情報または握り圧情報、 PID として使用者 a、 Eとして強い活性、出力先として使用者 bなどが選択される。ステップ S 1 9 0 1において、システム制御部 8 9 7は、情報の種類 inf、個人を特定する情報 PID、感情情報 E、出力先 Toが選択されたか否かを判定し、選択されたと判定されるまで待機する。

ステップ S 1 9 0 2において、システム制御部 8 9 7は、使用者に選択された情報に基づいて（inf, PID, E， To) の情報を生成し、出力制御部 9 1 4に送信する。

ステップ S 1 9 0 3において、出力制御部 9 1 4は、図 1 2 1を参照して後述する蓄積情報出力処理を行う。これにより、選択された情報の種類 inf、個人を特定する情報 PID、感情情報 Eに基づく信号が生成され、出力先 To に基づいて、生成された信号が送信される。

ここで、図 1 2 1を参照して、図 1 2 0のステップ S 1 9 0 3の蓄積情報出力処理について説明する。ステップ S 1 9 2 1において出力制御部 9 1 4は、選択された情報（PID， E) に基づいて、蓄積部 8 9 5から加速度情報と握り圧情報の中心べクトルを取得する。この例では、蓄積部 8 9 5に蓄積されている使用者 _aの「活性 .強」に対応する加速度情報と握り圧情報の特徴べクトルの分布の中心べクトル V//30 (Acc+30 (1)， Acc+30 (2)， Acc+30 (3)， Tac+30 (1)， Tac+30 (2) , Tac+30 (3) , Acc - 30(1), Acc - 30 (2) , Acc - 30 (3)， Tac-30 (1) , Tac - 30 (2) , Tac-

30 (3)， Igr— R30 (1) , Igr_R30 (2)， Tgr_R30 (1) , Tgr_R30 (2) , Igr_L30(l)， Igr一 L30 (2),Tgr_L30(l), Tgr_L30(2)) が取得される。

ステップ S 1 9 2 2において、出力制御部 9 1 4は、情報の種類 inf として加速度情報が選択されたか否かを判定し、加速度情報が選択されたと判定された場合、ステップ S 1 9 2 3に進み、 V /30の第 1番目乃至第 1 2番目の成分を抽出する。

そして、ステップ S 1 9 24に進み振動呈示部駆動信号を生成する。すなわち、図 1 2 5に示されるように、出力のレベルを Acc+30(1), Acc+30 (2)， Acc+30 (3) とし、出力 ON時間を Tac+30 (1), Tac+30 (2), Tac+30 (3)とした矩形波と、出力のレベルを Acc-³0(1), Acc -³0(2)， Acc- ³0(³)とし、出力 ON時間を Tac - 30(1), Tac-30 (2)， Tac-30 (3)とした矩形波からなる駆動信号が生成される。

ステップ S 1 9 2 5において、出力制御部 9 1 4は、出力先 Toが自端末（ゲーム機）の使用者か否かを判定し、自端末の使用者ではないと判定された場合、ステップ S 1 9 2 7に進み、出力先の端末へ駆動信号を送信する。例えば、出力先 Toとして使用者 bが選択されている場合、使用者 bの端末（ゲーム機 B) に駆動信号が送信される。そして、ステップ S 1 9 2 8において、ゲーム機 Bでは、情報受信部 9 2 2から駆動信号が受信され、情報弁別部 9 1 1を介して、出力制御部 9 1 4に駆動信号が供給される。ゲーム機 Bの出力制御部 9 1 4は、駆動信号に基づいて、ゲーム機 Bの振動呈示部 9 6 5 Rと 9 6 5 Lを同時に駆動する。 8

86

ステップ S 1 9 2 5において、出力先 Toが自端末（ゲーム機）の使用者であると判定された場合、ステップ S 1 9 2 6に進み、出力制御部 9 1 4は、駆動信号に基づいて、自端末（ゲーム機）の振動呈示部 9 6 5 Rと 9 6 5 Lを同時に駆動する。

ステップ S 1 9 2 2において、情報の種類 inf として加速度情報が選択されていないと判定された場合（握り圧情報が選択された場合）、ステップ S 1 9 2 9に進み、出力制御部 9 1 4は、 Vj« 30の第 1 3番目乃至第 2 0番目の成分を抽出する。

そして、ステップ S 1 9 3 0に進み、出力制御部 9 1 4は、光呈示部駆動信号を生成する。すなわち、図 1 2 6に示されるように、出力の振幅を Igr_R30(l) とし、出力 ON時間を Tgr_R30(l)とした正弦波と、出力の振幅を Igr一 R30 (2)とし、出力 ON時間を Tgr_R30(2)とした正弦波からなる駆動信号が生成される。また、図 1 2 7に示されるように、出力の振幅を Igr一 L30(l)とし、出力 ON時間を Tgr— L30(l)とした正弦波と、出力の振幅を I_gr_L30(2)とし、出力 0N時間を Tgr_L30(2)とした正弦波からなる駆動信号が生成される。

ステップ S 1 9 3 1において、出力制御部 9 1 4は、出力先 Toが自端末（ゲーム機）の使用者か否かを判定し、自端末の使用者ではないと判定された場合、ステップ S 1 9 3 3に進み、出力先の端末へ駆動信号を送信する。例えば、出力先 Toとして使用者 bが選択されている場合、使用者 bの端末（ゲーム機 B) に駆動信号が送信される。そして、ステップ S 1 9 3 4において、ゲーム機 Bでは、情報受信部 9 2 2から駆動信号が受信され、情報弁別部 9 1 1を介して、出力制御部 9 1 4に駆動信号が供給される。ゲーム機 Bの出力制御部 9 1 4は、図 1 2 6に示される駆動信号に基づいて、ゲーム機 Bの光呈示部 9 6 4 Rを駆動し、図 1 2 7に示される駆動信号に基づいて、ゲーム機 Bの光呈示部 9 64 Lを馬区動する。

ステップ S 1 9 3 1において、出力先 Toが自端末（ゲーム機）の使用者であると判定された場合、ステップ S 1 9 3 2に進み、出力制御部 9 1 4は、図 1 2 6に示される駆動信号に基づいて、自端末（ゲーム機）の光呈示部 9 6 4 Rを駆動し、図 1 2 7に示される駆動信号に基づいて自端末（ゲーム機）の光呈示部 9 6 4 Lを駆動する。

このようにして、使用者は、加速度情報と握り圧情報から特定された感情、状態、およびその強度を表示させ、認識することができる。ゲーム機のコントローラの振動により、加速度情報を体感することができ、ゲーム機のコントローラが発する光により、握り圧情報を体感することができる。また、使用者が所望する特定の個人の特定の感情情報に対応する加速度情報または握り圧情報を指定して、特定の相手に体感させることができる。

さらに、オンラインゲームにおいて、通信する相手の感情、状態、およびその強度を体感させることにより、より臨場感のあるゲームを行うことができる。以上では、本発明の実施の形態を、実施の形態 1、実施の形態 2、実施の形態 3、および実施の形態 4に分けて説明してきたが、実施の形態 1、実施の形態 2、実施の形態 3、および実施の形態 4を組み合わせて 1つの端末を構成してもよい。なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿つて時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

以上の如く、本発明によれば、生体情報、キーボードの振動情報、マウスのクリック情報、握り圧情報、ゲーム機のコントローラの加速度情報および握り圧情報などの情報から、使用者の感情、状態、およびその強度を特定することができる。また、従来のように言語、音声、画像による通信だけでなく、生体情報、キ一ボードの振動情報、マウスのクリック情報、握り圧情報、ゲーム機のコント口ーラの加速度情報、握り圧情報などの情報を伝送し、様々な形で出力することができるので、より親密で感情が伝わるコミュニケーシヨンを実現することができる。

Claims

請求の範囲

1 . 非言語的情報と言語的情報の入力を受け付ける入力受付手段と、

入力された前記非言語的情報を前記言語的情報に関係付けて、使用者の感情を学習する学習手段と、

前記学習手段による学習の結果得られた情報を蓄積する蓄積手段と、

入力された前記非言語的情報、または蓄積された前記非言語的情報を所定の信号に変換し、出力する出力手段と

を備えることを特徴とする情報処理装置。

2 . 前記学習手段は、使用者の感情を、その強度とともに学習する

ことを特徴とする請求の範囲第 1項に記載の情報処理装置。

3 . 前記学習手段は、新たに前記非言語的情報が入力されたとき、前記蓄積手段に蓄積された前記非言語的情報に基づいて、使用者の感情を特定し、

前記出力手段は、前記学習手段が特定した結果を出力する

4 . 前記蓄積手段は、前記学習手段により特定された感情に対応する前記非言語的情報を、前記蓄積手段に既に蓄積された非言語的情報に付加してさらに蓄積する

ことを特徴とする請求の範囲第 3項に記載の情報処理装置。

5 . 前記非言語的情報の特徴を表す変数を生成する変数生成手段をさらに備え、前記学習手段は、生成された前記変数を統計的に処理し、前記変数を蓄積手段に蓄積する

6 . 前記学習手段は、入力された前記非言語的情報から前記変数生成手段が生成した前記変数と、前記蓄積手段に蓄積された前記変数を比較して、使用者の感情を特定する

ことを特徴とする請求の範囲第 5項に記載の情報処理装置。

7 . 前記入力手段は、前記非言語的情報として、使用者の脈拍情報、または体動情報の入力を受け付ける

8 . 前記入力手段は、前記非言語的情報として、使用者の打鍵による振動情報の入力を受け付ける

9 . 前記入力手段は、前記非言語的情報として、使用者のマウス握り圧情報、または環境温度情報の入力を受け付ける

1 0 . _it前記情報処理装置は、オンラインゲームを行うゲーム機である

1 1 . 前記入力手段は、前記非言語的情報として前記ゲーム機のコントローラの加速度情報、または握り圧情報の入力を受け付ける

ことを特徴とする請求の範囲第 1 0項に記載の情報処理装置。

1 2 . 前記出力手段は、蓄積された前記非言語的情報のうち、使用者が指定した特定の前記非言語的情報を抽出し、抽出された前記非言語的情報を所定の信号に変換し、使用者が指定する他のゲーム機に出力する

1 3 . 非言語的情報と言語的情報の入力を受け付ける入力受付ステップと、入力された前記非言語的情報を前記前記言語的情報に関係付けて、使用者の感情を学習する学習ステップと、

前記学習ステップの処理による学習の結果得られた情報を蓄積する蓄積ステップと、

入力された前記非言語的情報または、蓄積された前記非言語的情報を所定の信号に変換し、出力する出力ステップと

を含むことを特徴とする情報処理方法。

1 4 . 非言語的情報と言語的情報の入力を受け付けを制御する入力受付制御ステツプと、

入力された前記非言語的情報を前記前記言語的情報に関係付けて、使用者の感情の学習を制御する学習制御ステップと、

前記学習制御ステップの処理による学習の結果得られた情報の蓄積を制御する蓄積制御ステップと、

入力された前記非言語的情報または、蓄積された前記非言語的情報の所定の信号への変換、出力を制御する出力制御ステップと

をコンピュータに実行させることを特徴とするプログラム。

1 5 . 請求の範囲第 1 4に記載されたプログラムが記録されたことを特徴とする記録媒体。