WO2002041254A1

WO2002041254A1 - Dispositif robot et procede d'identification faciale, et dispositif et procede d'identification d'images

Info

Publication number: WO2002041254A1
Application number: PCT/JP2001/010101
Authority: WO
Inventors: Atsushi Okubo; Kohtaro Sabe; Kenta Kawamoto; Masaki Fukuchi
Original assignee: Sony Corporation
Priority date: 2000-11-17
Filing date: 2001-11-19
Publication date: 2002-05-23
Also published as: US20070122012A1; JP2002157596A; US7317817B2; US7200249B2; US20030059092A1; JP4590717B2

Description

明細書ロボット装置及び顔識別方法、並びに画像識別装置及び画像識別方法技術分野本発明は、ロボット装置及び顔識別方法、並びに画像識別装置及び画像識別方法に関し、詳しくは、自律的に行動し、且つ顔を識別することができるロボット装置、そのようなロボット装置に適用可能な顔識別方法、並びに画像識別装置及び画像識別方法に関する。背景技術顔認識に関する研究は、パターン認識理論を検証する上でペンチマーク的な位置付けを持っており、古くから多くの手法が鬨発されてきた。そこで想定されていたアプリケーションは、セキュリティシステムにおける認証や大規模データベースからの人物検索等、静的な環境下で正確性を要するものがほとんどである。ところで、近年、外観形状が犬等の動物に模して形成され、エンターティンメントとしてのロボット装置が提供されている。このロボット装置は、外部からの情報（例えば、周囲環境の情報等）や内部の状態（例えば、感情状態等）等に応じて目や脚等を自律的に動作させることで、動物のような仕草を表出させている < このようなロボット装置の出現により、多少不正確でも動的に変化する環境下で一定時間内に応答できるようなヒューマンィン夕ーフェース技術が要求されてきており、その一つとしてロボヅト装置による顔識別が求められている。例えば、顔識別を利用すれば、ロボット装置は、多くの中からユーザ（飼い主）を識別することができ、よりエンターテインメント性のあるものとなる。

こうしたロボヅト装置に搭載される顔識別のアプリケーシヨンでは、ある与えられた 1枚のシーンの中の人物を識別する問題に加え、次のような問題を解決する必要がある。 ( 1 ) 口ポット装置自身が移動するため、環境の変化やその多様性を許容しなくてはならない。

( 2 ) 人間とロボヅト装置の位置関係も変化するため、インタラクション中には人間を視野に入れ続ける必要がある。

( 3 ) 数多くのシーン画像から人物の識別に使える画像を選び出し、総合的に判断しなくてはならない。

( 4 ) ある時間内に応答しなくてはならない。発明の鬨示本発明は、上述の実情に鑑みてなされたものであり、口ポット装置自体の自律性を損なうことなく、上述の種々の問題を解決することができるロポヅト装置及びそのロボット装置の顔識別方法、並びに画像識別装置及び画像識別方法を提供することを目的としている。

本発明に係る'ロボット装置は、上述の課題を解決するために、撮像手段.により撮像された画像内で変化する顔を追跡する顔追跡手段と、顔追跡手段による顔の追跡情報に基づいて、撮像手段により撮像された画像内の顔の顔デ一夕を検出する顔デ一タ検出手段と、顔データ検出手段が検出した顔デ一夕に基づいて、特定顔を識別する顔識別手段とを備える。

このロボット装置は、画像内で変化する顔を追跡しながら当該顔の顔デ一夕を検出して、検出した顔データに基づいて、特定顔を特定する。

また、本発明に係る顔識別方法は、上述の課題を解決するために、撮像工程にて撮像された画像内で移動する顔を追跡する顔追跡工程と、顔追跡工程による顔の追跡情報に基づいて、撮像工程にて撮像された画像内の顔の顔デ一夕を検出する顔データ検出工程と、顔デ一夕検出工程にて検出した顔データに基づいて、特定人物を識別する人物識別工程とを有する。

このような顔識別方法は、画像内で変化する顔を追跡しながら当該顔の顔デー夕を検出して、検出した顔デ一夕に基づいて、特定顔を特定する。

また、本発明に係る画像識別装置は、上述の課題を解決するために、予め顔画像が記憶された登録顔画像記憶手段と、外部から所定の画像が入力される画像入力手段と、上記画像入力手段から入力された顔画像を色情報に基づいて追跡する顔画像追跡手段と、上記顔画像追跡手段による追跡結果から算出される上記入力顔画像の顔の推定位置について、サポートベクターマシーンを用いて顔の検出を行う顔検出手段と、上記顔検出手段により検出された顔と上記登録顔画像記憶手' 段に記憶されている顔画像とを比較することにより人物識別を行う人物識別手段とを備える。

この画像識別装置は、外部から入力された顔画像を色情報に基づいて追跡'しながら当該顔のデータを検出し、検出した顔データと登録顔画像記憶手段に記憶されている顔画像とを比較することにより人物識別を行う。

また、本発明に係.る画像識別方法は、上述の課題を解決するために、外部.から所定の画像が入力される画像入力工程と、上記画像入力.工程にて入力.された顔画像を色情報に基づいて追跡する顏画像追跡工程と、 .上記顔画,像：追跡工程における追跡結果から算出される上記入力顔画像の顔の推定位置について、' サポートぺク夕一マシーンを用いて顔の検出を行う顔検出工程と、上記顔検出工程にて検出された顔と予め顔画像が記憶された登録顔画像記憶手段に記憶されている顔画像とを比較することにより ·'人物識別を行う人物識別工程とを有する。

このような画像識別方法は、外部から入力された顔画像を色情報に基づいて追跡しながら当該顔のデータを検出し、検出した顔データと登録顔画像記憶手段に記憶されている顔画像とを比較することにより人物識別を行う。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。図面の簡単な説明図 1は、本発明の実施の形態であるロボツト装置の外観構成を示す斜視図である。

図 2は、上述のロボット装置の回路構成を示すブロック図である。

図 3は、上述のロボット装置のソフトウエア構成を示すブロック図である。図 4は、上述のロボヅト装置のソフトウエア構成におけるミドル · ウェア ' レィャの構成を示すプロック図である。

図 5は、上述のロボヅト装置のソフトウエア構成におけるアプリケーション · レイヤの構成を示すプロヅク図である。

図 6は、上述のアプリケーシヨン ' レイヤの行動モデルライブラリの構成を示すブロック図である。

図 Ίは、ロボット装置の行動決定のための情報となる有限確率ォートマトンを説明するために使用した図.である。

図 8は、有限確率ォ一トマトンの各ノ一ドに用意された状態遷移表を示す図である。

図 9は、顔識別における各処理の説明に使用した図である。

図 1 0は、顔のトラッキングの説明に使用した図である _d

図 1 1は、顔検出処理及び顔識別処理に:おいて行われる入力画像内から顔が切り出されモーフィングされるまでの処理の説明に使用した図である。

図 1 2は、顔識別処理において行われる顔の差分画像を得る処理の説明に使用した図である。発明を実施するための最良の形態以下、本発明の実施の形態について図面を用いて詳細に説明する。この実施の形態は、本発明を、外観形状が犬等の動物に摸して形成されたロボット装置に適用したものである。ロボット装置は、外部からの情報（例えば、周囲環境の情報等）や内部の状態（例えば、感情状態等）等に応じて目や脚等を自律的に動作させることで、動物のような仕草を表出させている。そして、このロボヅト装置は、ユーザ（飼い主）等の顔を識別することができるものとして構成されている。実施の形態では、先ず、ロボット装置の構成について説明して、その後、ロボット装置における本発明の適用部分とされる顔識別について詳細に説明する。

( 1 ) 本実施の形態によるロボット装置の構成

図 1に示すように、例えば「犬 I を模した形状のいわゆるぺットロボットとされ、胴体部ユニット 2の前後左右にそれぞれ脚部ユニット 3 A， 3 B, 3 C, 3 Dが連結されると共に、胴体部ュニツト 2の前端部及び後端部にそれそれ頭部ュニヅト 4及び尻尾部ュニット 5が連結されて構成されている。

胴体部ユニット 2には、図 2に示すように、 CPU (Central Processing Uni t) 10、 'DRAM (Dynamic Random Access Memory) 1 1、フラヅシュ ROM (Read Only Memory) 1 2、 P C (Personal Co聊 ter).カードインターフエ一ス回路 1 3及び信号処理回路 14が内部バス 1 5を介して相互に接続されることにより形成されたコントロ一ル部 1 6と、このロボヅト装置 1の動力源としてのノ、"ヅテリ 1 7とが収納されている。また、胴体部ュニヅト 2には、ロボヅト装置 1の向きや動きの加速度を検出するための角速度センサ 1 8.及び加速度センサ 1 9なども収納されている。

また、頭部ユニット 4には、外部の状況を撮像するための C CD (Charge Gou pled Device) カメラ 2.0と、使用者からの「撫で:る」'や「叩く」といった物理的な働きかけにより受けた圧力を検出するための夕ツチセンサ 2 Γと、 '前方に位置する物体までの距離を測定するための距離センサ 22と外部音を集音するためのマイクロホン 23と、鳴き声等の音声を出力するためのスピーカ 24と、ロボヅト装置 1の「目」に相当する L E D (Light Emitting Diode) (図示せず）などがそれそれ所定位置に配置されている。ここで、 C CDカメラ 20は、顔識別において顔画像を撮像する撮像手段を構成する。

さらに、各脚部ュニヅト 3 A〜 3 Dの関節部分や各脚部ュニット 3 A〜3 D及び胴体部ュニット 2の各連結部分、頭部ュニ、ト 4及び胴体部ュニット 2の連結部分、並びに尻尾部ュニット 5の尻尾 5 Aの連結部分などにはそれそれ自由度数分のァクチユエ一夕 2 5 〜 2 5 _n及びポテンショメータ 2 6₁〜2 6 _nが配設されている。例えば、ァクチユエ一夕 25 i〜 2 5 _nはサーボモータを構成として有している。サーボモ一夕の駆動により、脚部ュニヅト 3 A~ 3 Dが制御されて、目標の姿勢或いは動作に遷移する。

そして、これら角速度センサ 1 8、加速度センサ 1 9、夕ヅチセンサ 21、距離センサ 22、マイクロホン 23、スピーカ 24及ぴ各ポテンショメ一夕 2 6 ι~ 26nなどの各種センサ並びに: LED及び各ァクチユエ一夕 25 〜2 5_nは、それそれ対応するハブ 27 〜27_ηを介してコントロール部 16の信号処理回路 1 4と接続され、 C CDカメラ 20及びバッテリ 1 7は、それそれ信号処理回路 1 と直接接続されている。

信号処理回路 14は、上述の各センサから供給されるセンサデ一夕や画像デ一夕及び音声データを順次取り込み、これらをそれそれ内部バス 1 5を介して DR AM 1 1内の所定位置に順次格納する。また信号処理回路 14は、これと共にバッテリ 1 7から供給されるバッテリ残量を表すバッテリ残量データ-を順次取り込み、これを DJTAM 1 1内の所定位置に格納する。

このようにして DRAM 1 1に格納された各センサデ一夕、画像デ一夕、音声データ及びバッチリ残量デ—夕は、この後 CPU 10がこのロポヅト装置 1·の動作制御を行う際に利用される。

実際上 CPU 1 0は、ロボット装置 1の電源が投入された初期時、胴体部ュニヅト 2の図示しない P Cカースロヅトに装填されたメモリカード.28'又はブラヅシュ R OM 1 2に格納された制御プログラムを P Cカードインタ一フ iース回路 1 3を介して又は直接読み出し、これを DRAM 1 1に格納する。

また、 CPU 1 0は、この後上述のように信号処理！]路 14より DRAM 1 1 に順次格納される各センサデータ、画像データ、音声デ一夕及びバッテリ残量デ一夕に基づいて自己及び周囲の状況や、使用者からの指示及び働きかけの有無などを判断する。

さらに、 CPU 10は、この判断結果及び DRAM 1 1に格納した制御プログラムに基づいて続く行動を決定すると共に、当該決定結果に基づいて必要なァクチユエ一夕 25 !〜25 _nを駆動させることにより、頭部ュニヅト 4を上下左右に振らせたり、尻尾部ュニット 5の尻尾 5 Aを動かせたり、各脚部ュニット 3 A〜 3 Dを駆動させて歩行させるなどの行動を行わせる。

また、この際 CPU 1 0は、必要に応じて音声データを生成し、これを信号処理回路 14を介して音声信号としてスピーカ 24に与えることにより当該音声信号に基づく音声を外部に出力させたり、上述の LEDを点灯、消灯又は点滅させる。

このようにしてこのロボット装置 1においては、自己及び周囲の状況や、使用者からの指示及び働きかけに応じて自律的に行動し得るようになされている。 ( 2 ) 制御プログラムのソフトウェア構成

ここで、ロボヅト装置 1における上述の制御プログラムのソフトウエア構成は、図 3に示すようになる。この図 3において、デバイス ' ドライノ · レイヤ 3 0は、この制御プログラムの最下位層に位置し、複数のデバイス · ドライバからなるデバイス · ドライノ ·セット 3 1から構成されている。この場合、各デバイス · ドライバは、 C C Dカメラ 2 0 (図 2 ) や夕イマ等の通常のコンピュータで用いら、れるハ一ドウエアに直接アクセスすることを許されたォブジェクトであり、対応するハ一ドウエアからの割り込みを受けて処理を行う。

また、ロボティヅク 'サバ 'オブジェクト 3 2は、デバイス ' ドライノ ' レィャ 3 0の最下位層に位置し、例えば上述の各種センサゃァクチユエ.一夕 2 5 ί〜 2 5 _η等のハードウェアにアクセスするためのィン夕ーフェースを提供するソフトゥヱァ群でなるバ一チ.ャル · 口ボヅト 3 3と、電源の切換えなどを管理するソフ卜ウェア群でなるパワーマネージ 3 4と、他の種々のデバイス · ドライバを管理するソフトウェア群でなるデバィス · ドライバ 'マネージャ 3 5と、ロボヅト装置 1の機構を管理するソフトウヱァ群でなるデザィンド ' ロボット 3 6とから構成されている。

マネージャ . オブジェクト 3 7は、オブジェクト 'マネージャ 3 8及ぴサービス .マネージャ 3 9から構成されている。オブジェクト ·マネージャ 3 8は、口ボティヅク ·サーバ .オブジェクト 3 2、ミドル · ウェア · レイヤ 4 0、及ぴァプリケーシヨン · レイヤ 4 1に含まれる各ソフトウヱァ群の起動や終了を管理するソフトウェア群であり、サ一ビス ·マネージャ 3 9は、メモリカード 2 8 (図 2 ) に格納されたコネクションファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウヱァ群である。

ミドル . ウェア . レイヤ 4 0は、ロボティヅク ·サーバ 'オブジェクト 3 2の上位層に位置し、画像処理や音声処理などのこのロボット装置 1の基本的な機能を提供するソフトウェア群から構成されている。また、アプリケーション ' レイャ 4 1は、ミドル . ウェア ' レイヤ 4 0の上位層に位置し、当該ミドル ' ウェア ' レイヤ 4 0を構成する各ソフトウエア群によって処理された処理結果に基づいて口ポヅト装置 1の行動を決定するためのソフトウヱァ群から構成されている。なお、ミドル ' ウェア，レイヤ 4 0及びアプリケーション ' レイヤ 4 1の具体なソフトウエア構成をそれぞれ図 4に示す。

ミドル · ウェア · レイヤ 4 0は、図 4に示すように、騒音検出用、温度検出用、明るさ検出、用、音階認識用、距離検出用、姿勢検出用、夕ッ 'チセンサ用、動き検出用及び色認識用の各信号処理モジュ一ル 5 0〜 .5 8並びに入力セマンティクスコンバ一夕モジュール 5 9などを有する認識系 6 0と、出力セマンティクスコンバー夕モジュール 6 8並びに姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、 L E D点灯用及び音再生用の各信号処理モジュール 6 1〜

6 7な.どを有する出力.系 6 9 .とから構成されている。

認識系 6. 0iの各信号処理モジュール 5 0〜 5 8は、ロボティック ·サーバ ·ォブジェクト 3 2のバーチャル ' ロボヅト 3 3により D R A M 1 1 (図 2 ) から読み出される各センサ.デ夕や画像デ一夕及び音声データのうちの対応^ Tるデ一夕を取り込み、当該デ夕に基づいて所定の処理を施して、処理結果を入力セマンティクスコンバ一夕モジュール 5 9に与える。ここで、例えば、バーチャル ' 口ボット 3 3は、所定の通信規約によって、信号の授受或いは変換をする部分として構成されている。

入力セマンティクスコンバ一夕モジュール 5 9は、これら各信号処理モジユール 5 0〜 5 8から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ボールを検出した」、「転倒を検出した」、「撫でられた」、「叩かれた」、「ドミソの音階が聞こえた」、「動く物体を検出した」又は「障害物を検出した」などの自己及び周囲の状況や、使用者からの指令及び働きかけを認識し、認識結果をアプリケーション · レイヤ 4 1 (図 2 ) に出力する。

アプリケーション . レイヤ 4 1は、図 5に示すように、行動モデルライブラリ

7 0、行動切換モジュール 7 1、学習モジュール 7 2、感情モデル 7 3及び本能モデル 7 4の 5つのモジュールから構成されている。

行動モデルライブラリ 7 0には、図 6に示すように、「バッテリ残量が少なくなった場合」、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」などの予め選択されたいくつかの条件項目にそれそれ対応させて、それそれ独立した行動モデル 7 0 i〜7 O nが設けられている。

そして、これら行動モデル 7 0 i〜7 O nは、それそれ入力セマンティクスコンバータモジュール 5 9から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、必要に応じて後述のように感情モデル 7 3に保持されている対応する情動のパラメ一夕値や、本能モデル 7 4に保持されている対応す.る欲求のパラメ一夕値を参照しながち続く行動をそれそれ決定し、決定結果を行動切換モジュール 7 1に出力する。

なお、この実施の形態の場合、各行動モデル 7 0 i〜 7 0 _nは、次の行働を決定する手法として、図 7に示すような 1つのノード（状態） NO DE。〜NOD E_n から他のどのノ一.ド NOD E。〜NOD E_nに遷移するかを各ノード. NO D E (！〜 N

〇 D E_nに間を接続するアーク AR C i〜AR C_nに対してそれそれ設定された遷移確率 p ₁〜p_nに基づいて確率的に決定する有限確率ォートマトンと呼ばれ.るアルゴリズムを用いる。

具体的に、各行動モデル 7 0 〜 7 0 _nは、それそれ自己の行動モデル 7 0 ~ 7 0 _nを形成するノド NOD E。〜NOD E_nにそれぞれ対応させて、これらノード NOD E。〜NOD E_nごとに図 8に示すような状態遷移表 8 0を有している。この状態遷移表 8 0では、そのノード] SiOD E。〜NOD E_nにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の列に優先順に列記され、その遷移条件についてのさらなる条件が「デ一夕名」及び「デ一夕範囲」の列における対応する行に記述されている。

したがって、図 8の状態遷移表 8 0で表されるノード NOD E i。。では、「ポールを検出（BA L L) 」という認識結果が与えられた場合に、当該認識結果と共に与えられるそのボールの「大きさ（S I Z E) 」が「0から 1000」の範囲であることや、「障害物を検出（OB S TA C L E) 」という認識結果が与えられた場合に、当該認識結果と共に与えられるその障害物までの「距離（D I S T AN C E) 」が「0から 100」の範囲であることが他のノードに遷移するための条件となつている。

また、このノード NOD E !。。では、認識結果の入力がない場合においても、行動モデル 7 (^〜ァ 0_nが周期的に参照する感情モデル 7 3及び本能モデル 7 4にそれそれ保持された各情動及び各欲求のパラメ一タ値のうち、感情モデル 7 3に保持された「喜び（J O Y) 」、「驚き（S URP R I S E) j 若しくは「悲しみ（SUD NE S S) 」のいずれかのパラメ一夕値が「50から 100」の範囲であるときには他のノ一ドに遷移することができるようになつている。

また、状態遷移表 8 0では、「他のノードへの遷移確率」の欄における「遷移先ノード」の行にそのノード NOD E。〜 N〇D E_nから遷移できるノード名が列記されていると共に、「入力イベント名」、「デ一夕値」及び「デ一夕の範囲」の列に記述された全ての条件が揃ったときに遷移できる他の各ノード N 0 D E。〜 N〇 D E_nへの遷移確率が「他のノ一ドへの遷移確率」.の欄内の.対応する箇所にそれそれ記述され、そのノード, NOD E。〜N〇D E_nに遷移す..る際に出力すべき行動が「他のノードへの遷移確率」の欄における「出力行動」の行に記述され.ている。なお、「他のノードへの遷移確率」の欄における各行の確率の和は 1 0 0 [%] となっている。

したがって、図 8の状態遷移表 8 0で表されるノード N Q D E !QQでは、例えば「ボールを検出（B A L L ) 」し、そのボールの「S I Z E (大きさ）」が「0から 1000」の範囲であるという認識結果が与えられた場合には、「30. [%] 」の確率で「ノード NOD E ₁₂。（node 120) 」に遷移でき、そのとき「A C T I ON 1」の行動が出力されることとなる。

各行動モデル 7 0 !〜 7 O nは、それそれこのような状態遷移表 8 0として記述されたノード NOD E。〜 NOD E_nがいくつも繋がるようにして構成されており、入力セマンティクスコンバータモジュール 5 9から認識結果が与えられたときなどに、対応するノード NO D E。〜NOD E_nの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換モジュール 7 1に出力するようになされている。

図 5に示す行動切換モジュール 7 1は、行動モデルライブラリ 7 0の各行動モデル 7 0 i〜7 0_nからそれぞれ出力される行動のうち、予め定められた優先順位の高い行動モデル 7 0 !〜 7 0 _nから出力された行動を選択し、当該行動を実行すべき旨のコマンド（以下、これを行動コマンドという。）をミドル ' ウェア ' レィャ 4 0の出力セマンティクスコンバータモジュール 6 8に送出する。なお、この実施の形態においては、図 6において下側に表記された行動モデル 7 0 1 ~ 7 0 _nほど優先順位が高く設定されている。

また、行動切換モジュール 7 1は、行動完了後に出力セマンティクスコンパ一夕モジュール 6· 8から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール 7 2、感情モデル 7 3及び本能モデル 7 4に通知する。一方、学習モジュール.7 2は、入力セマンティクスコンバータモジュール 5 9 から与えられる認識結果のうち、「叩かれた」や「撫でられた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。

そして、学習モジュール 7 2は、この認識結果及び行動切換モジュール 7 1からの通知に基づいて、「叩かれた（叱られた）.」ときにはその行動の発現確率を低下させ、「撫でられた . (誉められた）」ときにはその行動の発現確率を上昇させるように、' 行動モデル.ライブラリ 7 0における対応する行動モデル 7 .0 i〜 7 0 _nの対応する遷移確率を変更する。

他方、感情モデ 7 3は、「喜び（joy) 」、「悲しみ（sadness) j 、「怒り (anger) 」、「驚き（surprise) 」、「嫌悪（disgust) 」及び「恐れ（fea r) 」の合計 6つの情動について、各情動ごとにその情動の強さを表すパラメ一夕を保持している。そして、感情モデル 7 3は、これら各情動のパラメータ値を、それぞれ入力セマンティクスコンパー夕モジュール 5 9から与えられる「叩かれた」及び「撫でられた」などの特定の認識結果と、経過時間及び行動.切換モジュール 7 1からの通知などに基づいて周期的に更新する。

具体的には、感情モデル 7 3は、入力セマンティクスコンバータモジュール 5 9から与えられる認識結果と、そのときのロボット装置.1の行動と、前回更新してからの経過時間などに基づいて所定の演算式により算出されるそのときのその情動の変動量を Δ Ε [ t ] 、現在のその情動のパラメ一夕値を E [ t ] 、その情動の感度を表す係数を k _eとして、（ 1 ) 式によって次の周期におけるその情動のパラメータ値 E [ t + 1 ] を算出し、これを現在のその情動のパラメ一夕値 E [ t ] と置き換えるようにしてその情動のパラメータ値を更新する。また、感情モデル 7 3は、これと同様にして全ての情動のパラメ一夕値を更新する。 E t + 1 E t + ke x AE (1 )

なお、各認識結果や出力セマンティクスコンバータモジュール.6 8からの通知が各情動のパラメ一タ値の変動量 Δ Ε [ t ] にどの程度の影響を与えるかは予め決められて.おり、例えば「叩かれた」といった認識結果は '「怒り」の情軌の.'バラメ一夕値の変動量厶； E . [ t ] に大きな影響を与え、「撫でちれた」というた認識. 結果は「喜び」の情動のパラメータ値の変動量 Δ Ε [ t ] に大.きな影響を与えるようになつている。.

ここで、出力セマンティクスコンパ '"タモジュール 6 8からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報であり、 '感情モデル 7 3は、このような情報によっても感情を変化させる。これは、例えば、. 「吠える」といった行動により怒りの感情レベルが下がるといったようなことである。'なお、出力セマンティクスコンバ一夕モジュール 6 8からの通知は、上述した学習モジュール 7 2にも入力されており、学習モジュール 7 2 は、その通知に基づいて行動モデル 7 0 i〜 7 0 _nの対応する遷移確率を変更する。なお、行動結果のフィードバックは、行動切換モジュール 7 1の出力（感情が付加された行動）によりなされるものであってもよい。

一方、本能モデル 7 4は、「運動欲（exerci se) 」、「愛情欲（affecti on) 」、「食欲（appetite) 」及び「好奇心（curios i ty) 」の互いに独立した 4つの欲求について、これら欲求ごとにその欲求の強さを表すパラメ一夕を保持している。そして、本能モデル 7 4は、これらの欲求のパラメータ値を、それそれ入力セマンティクスコンバ一夕モジュール 5 9から与えられる認識結果や、経過時間及び行動切換モジュール 7 1からの通知などに基づいて周期的に更新する。

具体的には、本能モデル 7 4は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクスコンバータモジュール 68 からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量を Δ Ι [k] 、現在のその欲求のパラメ一タ値を I [k] 、その欲求の感度を表す係数 kiとして、所定周期で（2) 式を用いて次の周期におけるその欲求のパラメータ値 I [k+ 1 ] を算出し、この演算結果を現在のその欲求のパラメ . 一夕値 I [k] と置き換えるようにしてその欲求のパラメ一夕値'を更新する。また、本能モデル 74は、これと同様にして「食欲」を除.く各欲求のパラメ一タ値を更新する。

k + l] = I [k] + ki x ΔΙ [k] (2)

なお、認識結果及び出力セマンティクスコンバータモジュール 68からの通知などが各欲求の.パラメ一夕値の変動量△ I [k] にどの程度の影響を与えるかは予め決められており、例えば出力セマンティクスコンバ一タモジュール 68からの通知は、「疲れ」のパラメータ値の変動量 Δ I [k〕に大きな影響を与えるようになつている。

なお、本実施の形態においては、各情動及び各欲求（本能）のパラメ一タ値がそれぞれ 0から 100までの範囲で変動するように規制されており、また係数 k_e、 k iの値も各情動及び各欲求ごとに個別に設定されている。

一方、ミドリレ ' ウェア ' レイヤ 40の出力セマンティクスコンバータモジユール 68は、図 4に示すように、上述のようにしてアプリケーション ' レイヤ 41 の行動切換モジュール 7 1から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラヅキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系 69の対応する信号処理モジュール 6 1〜 67に与える。

そしてこれら信号処理モジュール 6 1 ~ 67は、行動コマンドが与えられると当該行動コマンドに基づいて、その行動を行うために対応するァクチユエ一夕 2 5 !〜2 5 _n (図 2 ) に与えるべきサ一ボ指令値や、スピーカ 2 4 (図 2 ) から出力する音の音声データ及び又は「目」の L E Dに与える駆動データを生成し、これらのデータをロボティヅク .サーバ ·オブジェクト 3 2のバ一チャル ' ロボヅト 3 3及び信号処理回路 1 4 (図 2 ) を順次介して対応するァクチユエ一夕 2 5 i〜 2 5 _η又はスピ一力 2 4又は L E Dに順次送出する。

このようにしてロボット装置 1においては、制御プログラムに基づいて、自己 (内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動を行うことができるようになされている。

( 3 ) ロボット装置による顔識別

( 3— 1 ) ロボット装置に適用される顔識別の原理

上述したように、ロボット装置 1は、外部からの情報や内部の状態に応じて自律的に行動する。このようなロボット装置 1において、従来における顔識別の問題点の解決と、顔識別のタスクを遂行とを、次の 3つの技術により実現'している <

( i ) 複雑なシーンからの顔の検出

( i i ) 顔の実時間トラッキング

( i i i ) 顔の識別

顔の検出手法は、対象物の識別に色、動き及びパターンを使うものに大別できるが、複雑なシーンの中から精度良く顔を切り出すためには顔のパターンを使うのが最も高性能である。しかしながら、シーン全体にわたり全てのスケールの顔を探索するのは、非常に処理が重いため、従来より、この手法は静止画に対してしか用いられていない。

その一方で、実時間で顔を検出するシステムのほとんどは肌色の検出を行っている。しかし、色は照明条件により変化してしまうし、肌色にも人種や個人差があるため、単純な肌色認識のみでは有効な手段となり得ない。

そこで、本発明の適用により、検出した顔パターンに含まれる色分布を元に顔の実時間トラッキングを行い、その動的変化に顔検出を適応していく手法を取る, また、推定した色分布から求めた顔領域に対してのみ、顔パターンの探索を行う < これにより、顔検出における演算時間の短縮を図る。さらに、顔の識別には、パターン探索により切り出した顔画像を用いて行う。そして、トラッキングに成功している間は同じ顔の識別結果として扱うことで複数の識別結果から総合的な判断を下すことを可能としている。

例えば、図 9に示すように、ロボヅト装置 1において行う顔識別のための処理は、（i ) 複雑なシーンからの顔の検出を、輝度パターンによる顔の検出（顔認識）により.行い、（i i) 顔の実時間トラッキングを、色による.顔の追跡（顔のト . ラヅキング）により行い、そして、（i i i) 顔の識別を、差分顔を利用した人物識別を行っている。

例えば、ロボット装置 1におけるこのような各処理は、モジュール或いはォブジェクトとして実現される。.すなわち、ロボット装置 1は、図 9に示すように、顔の追跡モジュール M ₂、顔の検出モジュール M i及び顔の識.別モジュール M.₃を.備える。ここで、顔の追跡モジュール M ₂は、 C C Dカメラ 2. 0に撮像された画像内で変化する顔を追跡する顔追跡手段と'して機能し、顔の検出モジュール M iは.、顔の追跡モジュール M ₂による顔の追跡情報に基づいて、撮像手段により撮像された画像内の顔の顔データを検出する顔データ検出手段として機能し、顔の識別モジユール M ₃は、顔の検出モジュール M iが検出した顔データに基づいて、特定顔を識別する顔識別手段として機能する。

ここで、輝度パターンによる顔の検出では、入力画像中から顔を検出（認識）する処理を行う。具体的には、この顔の検出では、サポートベクタ一マシン（S V M) による顔、非顔の識別を行う。この処理は、通常、環境変化に強く、計算量が多く、姿勢変化に弱いといった特徴がある。ここで、環境変化としては、例えば、周囲の照明の変化が挙げられる。

また、色による顔の追跡では、入力画像中の顔を追跡する処理を行う。具体的には、この顔の追跡では、顔の色分布の推定、顔領域の推定を行う。この処理は、通常、環境変化に弱く、計算量が少なく、姿勢変化に強いといった特徴がある。また、人物識別では、上述の顔の検出により認識された顔を特定の顔として識別する処理を行う。具体的には、この人物識別では、目、鼻の位置同定から位置合わせ（モーフイング）を行い、差分顔 P C Aから同一人物判定を行う。

顔識別のシステムでは、以上のような処理を顔識別における各工程として適宜分担させ、相互に補完しあう関係とすることで、精度を高くした顔検出を可能としている。例えば、次のように各処理が補完しあう関係とされている。

例えば、図 9に示すように、色による顔の追跡では環境変化に弱いが、輝度パターンによる顔の検出では環境に強いことを利用することで補完している。逆に、輝度パターンによる顔の検出では計算量が多く、姿勢変化に弱いが、 '色による顔の追跡が計算量が少なく、姿勢変化.に強いことを利用することが補完している。 'すなわち、概略すれば次のように言える。もともと計算量が多い処理とされる顔の検出を実時間で行うことは困難である。しかし、所定のタイミングにより一定期間行うとすれば、計算量の負担は軽減される。一方で、各タイミングにおいて入力画像内から顔の位置まで毎回検出したのでは、負担が大きい。

そこで、計算量が少なぐ、. 姿勢変化に強い処理を利用して、，入力画像内の顔の変化を実時間で追跡して、この追跡結果から得られる入力画像内の顔の推定位置についてだけ顏を検出する'処理をすることとすれば、顔の位置を特定した状態で' の顔の検出が可能になる。すなわち、大雑把ではあるが早い処理と、信頼性は高いが遅い処理とを組み合わせて、役割を分担することで、システム全体においては各処理相互間で補完させ、これにより、協調して実時間による顔検出を可能としている。

これにより、多くの顔検出結果を短時間で獲得でき、この獲得した顔検出結果に基づいて顔の識別を行い、そのような処理を統計的に処理することで、高精度の顔識別を可能にしている。

ロボット装置 1は、このような顏識別のシステムにより、シーン中から人間を見つけ出し（顔検出処理）、それを注視し（顔のトラヅキング処理）、そこから得られた情報を用いた顔の識別による人物の特定（顔識別処理）に至るまで、全ての処理を自動的に行い、信頼性の高い顔識別を実現している。これによりロボヅト装置と人間との間で自然なインタラクションが可能になる。以下、顔の検出、顔の追跡及び顔の識別の各処理について具体的に説明する。

( 3 - 2 ) 顔の検出

顔の検出については、パ夕ーン認識の分野で現在最も学習汎化能力が高いと期待され、注目を集めているサポートベクタ一マシン（S V M ) を用いて顔と非顔の識別を行っている。，このような技術としては、 B . Sholkopfらの報告（B. Sholkopf , C .Burges, A. Sm ola, "Advance in Kernel Methods Support Vector Learning", The MIT Press, 1999. ) や V.Vapnikの報告 (V.Vapnik, "The Nature of Statistical Learning Th eory Second Edition" , Springer, 1999. ) に鬨示されている技術が挙げられる。本願発明者が行つた予備実験の結果からは、この手法が主成分分析やニューラルネットワークを用いる手法と比べ、良好な結果を示すことが分かっている,。

上述の S V Mは、識別関数に線形識別器（パーセプトロン）を用いた学習機械であり、カーネル関数を使うことで非線形空間に拡張することができる。また、識別関数の学習では,、クラス間分離のマージンを最太にとるよ：うに.行われ、その解は二次数理計画法を解くことで得られるため、グロ一.バ.ル解に到達できることを理論的に保証できる。この手法の詳細は次の通りである。入力画像は.以下の手順で作成する。

先ず、シーンから 20 x 20画素の画像を切り出し、さらに、切り出した If像から顔以外の背景部分を除くために画像の 4隅をマスグする。次に、照明による撮像対象物の輝度が変化することを前提として、照明による輝度の勾配を補正して、ヒストグラム平滑化或いはコントラストノーマライゼ一'シヨンを施す。

次に、顔検出に使用する識別関数の学習を行う。学習用のデータとして最初に顏データ、非顔データそれそれ所定の枚数（例えば、 30枚）を用いて、先ず、暫定的な識別関数を得る。それから、このようにして暫定的に得られた識別関数を様々なデータベース上の画像に試して顔の検出を行い、その結果、検出に成功したものを顔デ一夕、失敗したものを非顔デ一夕として学習データに追加し、さらに学習をし直す。

例えば、実施例としては、数百枚の画像に対してこの処理を繰り返し、最終的に顏デ一夕 389枚、非顔データ 576枚を蓄積することができた。また、これらの顔データは全員ほぼ正面を向いていること以外は、人種、表情、' 髪型、眼鏡、ひげ、照明条件等の違いを含んでおり、これにより、これらの条件に左右されない識別器（例えば、識別モジュール）の学習が期待できる。この結果、得られた所定のサポ一トベクタ一、例えば 255本のサポートベクターを用いる。以上のような顔の検出は、後で詳述する顔の追跡処理により追従されている画像内の顔部分と推定される領域についてその処理を実施する。すなわち、顔の検出では、顔の追跡処理により限定された検索領域に対してのみ処理を実施する。これにより、信頼性の高い顔の検出処理を短時間で実行可能としている。

また、この顔の検出処理は、上述したように、ロボヅト装置 1においてモジュ —ル或いはオブジェクトとして構成される。

( 3 - 3 ) 顔の追跡

顔の追跡は、画像中で変化（特に移動）する顔を連続的に追従して、上述の顔の検出において顔の検出のための処理がなされる検索領域を限定するためのものである。特に、自律的に行動するロボット装置 1のような場合には、画像内.における顔の位置等が変化.することから、このような画像内の顔の追従処理は顔識別において効果的に作用する。 '

この顔の追跡では、演算量の少なさ、顔の姿勢変化ゃォクル一ジョン:に対する. 強さを考慮し、色領域の追跡をベースに行う。

例えば、 Yangらの報告 (J.Yang, .Lu, A. Waibel /'Skin-Color Modeling and Adaptation" , Technical Report of CMU, CMU-CS-97-146,' 1997. ) によれば、肌色の分布は輝度で正規化された（3 ) 式及び（4 ).式により得られる（r， g ) 平面上で、人物や人種に依らず正規分布に近い分布となることが実験的に知られている。

r = R

R + G + B (3)

g⁼ R + G + B … （⁴) また、上述の Yangらはこの色空間において肌色を表す正規分布のパラメータ推定値を、過去に測定されたデ一夕の線形和の（5 ) 式及び（6 ) 式として表現し、重み係数 c , ? jの更新規則を最尤推定により導出している。

μ = a, m.

.1 = 1 J J (5) a: ∑ β - S.

i = l ¹ J J (6)

ここで、（ 5 ) 式は平均であり、（6 ) 式は分散である。また、 m j， S jはそれそれ、過去の jステ.ッブ前の平均値と分散値である。また、 rは最大履歴数である。

本手法では、この定式化に基づいて肌色領域の適応的トラッキングを行う。そして、本手法では、色モデルを用いて抽出した画素に対して画像領域上でセグメントを行う。具体的には、色モデルから得られた画素に対して、分布データを取得するための領域を指定する楕円の大きさ、楕円の位置、楕円の傾き等を変化させ、前フレーム中の顔の位置近傍で最も良く適合する楕円を求める。そして、求めた楕円内の画素を現在の肌色の分布データとして取得する。ここで、分布デー夕を取得するための楕円について、その大きさ、位置及び傾きを変化させるのは、例えば、顔までの距離が変化したこと、顔が移動したこと、顔が傾いたこと等に対応するためである。

図 1 0には、色空間と画像上位置の両方向からトラッキング制約をかける場合の処理例を示している。顔領域が推定される画像平面における顔領域の色分布を、色空間上に写像する。そして、この色空間において、色の分布推定によるトラ、ソキングを行い、色分布の時間変化を推定して、推定色を使って、画像平面上において顔領域を推定する。

このように色空間と画像上位置の両方向からトラッキング制約をかけることで、シーン中に似た色がある場合や照明条件が変動する場合でも比較的安定に顔の肌色を追跡できるようになる。

以上のような顔の追跡によって、画像内で移動等する顔を追従することができる。顔の検出では、この顔の追跡によって特定される領域についてその処理を実施しデータを得ている。このように、追従している領域に限定して顔の検出のための処理を実施することができるので、信頼性のある処理内容であっても計算量を少なくして実施することができ、短時間で処理結果を得ることができるようになる。

なお、この顔の追跡処理は、上述したように、ロボ.ッ.ト装置..1においてモジュール或いはォブジェクトとして構成される。

( 3 - 4 ) 顔の識別

顔の識別では、上述の顔め検出によって得られた顔デ一夕を使用して、 '·特定の顔を識別している。具体的には、この顔の識別では、与えられた 2枚の顔画像に対してその画像中の人物が同一人物か、他人であるかの判定をすることで実現している。その判定については、 2枚の顔画像の差分画像に基づい'て行っている。なお、この顔の識別処理は、上述したように、ロボット装置 1においてモジユール或いはオブジェクトとして構成される。

具体的には、顔の識別では、先ず、同一人物の 2枚の顔画像の差分を学習段階. として予め求めており、これを参照して、 2枚の顔画像の差分結果から同一人物か別の人物であるかを判定している。

その学習段階では、同一人物の 2枚の顔画像の差分を求め、同一人物の差分画像群（intra-personal class) を生成し、これを固有値展開することで特徴空間とされる intra- personal classの固有空間を獲得している。例えば、このような学習手法の技術としては、 B . Moghaddamらの報告（B. Moghaddam, W.Wahid, A.Pe ntland, "Beyond Eigenfaces : Probabi l istic Matching for Face Recognition" ₃ MIT Media Lab. Perceptual Computing Section Technical Report No.443, 19 98. ) に鬨示されている技術が挙げられる。そして、このような学習を経て実現される顔識別の処理は次のようになる。先ず、 2枚の顔画像の差分を正しく得るためには顔の位置を精度良く求める必要がある。また、顔の中の眼、鼻の位置は人によって異なるため、これらの位置を正親化する必要もある。例えば、ここでは、得られた顔画像に対し固有眼と固有鼻のマツチングを行うことで眼と鼻の位置同定を行い、検出された眼と鼻が定められた位置になるように,、ァフィン変換で回転 '伸縮.（モーフイング処理）を行つている。

このようなモーフ.イング操作を経て、入力顔画像とデータベース中の登録顔画像デ一夕とされる顔画像との差分を生成する。ここで、デ一夕べ一スとして記憶されている顔画像は、予め登録されているもので..もよい。さ.ちに、. データべ一スとして記憶ざれる顔画像については更新或いは新たに蓄積していくこと.もできる。例えば、ロボット装置 1は、画像撮像を撮像するような画像撮像モードにおいて撮像して得た顔画像を、デ一夕ペースに新たに登録すること'もでき.る。. 例えば、ロボット装置 1は、ユーザの命令によって'画像を撮像する画像撮像モドを備えており、このようなユーザの命令によつて撮像した顔画像をデータベースに新たに登録することもできる。ここで、ユーザによる撮像命令としては、例えば、「顔撮って」といつだ音声による命令等が挙げられる'。このようにすることで、エンターティンメント性を維持しながら、同時に顔画像のデータべ一スの構築が可能になる。また、例えば、データベース中に予め記憶しておく顔画像としては、各個人について正面を.向いた顔画像とする。

次に、上述したような差分により得られた差分画像と上述の固有空間とに基づいて、人物を特定する。具体的には、差分画像と intra- personal class空間の距離 (distance from feature space, D F F S ) 及び差分画像を intra- personal空間に投影した点と原点からの距離（distance in feature space, D I F S ) を計算する。例えば、同一人物の差分画像が intra-personal class空間内で正規分布をとると仮定すれば、 D F F Sと D I F Sの加算値（D F F S + D I F S ) が分布からの距離を表すことになる。そして、この距離が小さいほど同一人物である確率が高いことになる。このような関係を利用して、入力顔画像と最も同一人物確率が高いデータベース画像をシーン中の人物と判断する。例えば、差分値が小さい場合には、差分画像はメリハリなく、いわゆるのつベりとした画像として得られる。

さらに、顔の追跡によるトラッキング情報を利用して上述の確率を時系列的に蓄積している。すなわち、トラヅキングに成功している間は各連続シ一ンごとについてのこのような顔の識別結果を時系列に取得して、このように得られる複数の識別結果が同一人物であるとする制約の下で、 .それら識別結果を統:計的に処理する。この結果、一時的な誤認識があった場合でも、システム全体としては.、その影響を受けにくいものとして、信頼の高い顔識別.を実現する。

例えば、ロボット装置 1は、上述したように自律的に行動しており、撮像画像中の顔の向きや大きさは一定であるとは言えない。 .さらに、，データべ一.スとして予め記憶されている顔画像については、略正面を向いた顔の数枚の顔画像を複数人物分用意しているだけである。 ·

このような条件の下で、顔の識別をしたのでは、誤った識別結果を得る場合も多い。しかし、トラヅキングに成功している間は各連続シーンごとに顔の識別処理を行い、多くの識別結果を取得して、さらにこの識別結果が同一人物のものであるとの制約の下で統計的に処理することにより、一時的に誤った識別結果を得た場合でも、システム全体としては信頼の高い顔儎別が可能になる。

なお、あらゆる 1人の人物についてあらゆるパターンの顔画像を持っていれば良いのだが、そのような横顔のデ一夕を持っていたのでは保持すべきデータ量が膨大なものとなり、非現実的である。

以上、ロボット装置 1に適用される顔の検出、顔の追跡及び顔（人物）の識別として大別される顔識別について説明した。この口ポット装置 1においては、 S V Mによる濃淡顔パ夕一ンの検出、肌色のモデルと顔領域の適応更新を使ったトラッキング手法、差分顔固有値展開を使った人物識別の 3つを組み合わせたものにより、顔識別を行っている。このような顔識別は、実時間、実環境でロバストに動作するトータルな顔識別システムとして実現される。

以上のように、計算量が少なく、姿勢変化に強い処理を利用して、入力画像内の顔の変化を実時間で追跡して、この追跡結果から得られる入力画像内の顔の推定位置についてだけ顔を検出する処理をするにより、顔の位置を特定した状態での顔の検出処理が可能になる。一方で、多くの顔検出結果を短時間で獲得できることから、これら顔検出結果に基づいて顔識別を行い統計的に処理することで、高精度での顔識別を可能としている。

ロボヅト装置 1は、このような顔識別のシステムにより、シーン中から人間を見つけ出し（顔検出処理）、それを注視し（顔のトラッキング処理）、そこから得られた情報を用いた顔の識別による人物の特定人物識別処理）に至るまで、全ての処理を自動的に行い.、信頼性の高い顔識別を実現する。これによりロポット装置と人間との間で自然なインタラクションが可能になる。以下、実施例について説明する。

(3 - 5) 実施例 .

図 1 1及び図 1.2.に例として、顔の検出から顔の識別までの連の流れを示す。条件としては、例えば、 176x120の全シーンから数段階のスケーリングを考慮した顔の検出に 5 sec程度かけ、色のトラッキングでは 50nisec周期で実行している場合を例としている。

図 1 1に示すように、顔の検出処理では、入力画像 G。から顔画像を切り出す。そして、顔画像 G₂のように画像の 4隅'をマスクして、背景部分を取り除く。一方、人物の特定する顔の識別処理では、モーフイング操作をした顔画像 G₃を取得する。そして、このような処理は、顔の追跡処理に応じて時系列的に行われるようになる。

図 1 2に示すように、顔の識別処理では、上述したようにモーフイング操作により得た顔画像 G ₃について、データベースに予め学習段階で得ている顔画像 D G I , DG₂， DG₃, · · · との差分を得る。これにより、差分の顔画像 SD'_l5 S D₂， S D_3j · · ·'がそれそれ得られる。本例では、入力画像内に顔が含まれていた人物は、差分値が P =9.73e_⁷²となったデータベースの第 3の顔画像 D G₃ の人物と同一人物である確率が最も高い結果となっている。例えば、本実施例では、同一人物の画像対 169枚中 123枚（72.8%) が同一人物であ'ると識別され、別人物の画像対 5609枚中 4093枚（73.0%) が別人物であると識別する結果を得ている。産業上の利用可能性上述したような本発明を用いることにより、ロボット装置は、画像内で変化する顔を検出しながら当該顔の顔データを検出して、検出した顏デ一夕に基づいて、人物を識別することができる。したがって、ロボット装置は、例えば多くの中からユーザ（飼い主）を識別することができ、エンターテインメント性が向上する,

Claims

請求の範囲

1 . 自律的に行動する口ポット装置であって、

撮像手段と、

上記撮像手段により撮像された画像内で変化する顔を追跡する顔追跡手段と、上記顔追跡手段による顔の追跡情報に基づいて、上記撮像手段により撮像された画像内の顔の顔データを検出する顔デ一夕検出手段と：、

上記顔データ検出手段が検出した上記顔デ一夕に基づいて、特定顔を識別する顔識別手段と

を備えたことを特徴とするロボット装置。

2 . 上記顔データ検出手段は、顔と非顔とを識別するサポートベクターマシンであること

を特徴とする請求の範囲第 1項記載のロボット装置。

3 . 上記顔追跡手段は、画像内の顔の変化として、画像内の顔の移動或いは形の変化のうちの少なくとも 1つを追跡すること

を特徴とする請求の範囲第 1項記載のロボット装置。

4 . 上記顔追跡手段は、色により画像内の対象物を特定して、特定した対象物を追跡する対象物追跡手段であって、

上記対象物追跡手段は、所定の色により特定した対象物を上記顔として追跡すること

を特徴とする請求の範囲第 1項記載のロボット装置。

5 . 上記顔追跡手段は、色分布を利用して当該顔を追跡すること

を特徴とする請求の範囲第 4項記載のロボット装置。

6 . 上記顔追跡手段は、上記色分布を正規化して得た正規化分布により当該顔を追跡すること

を特徴とする請求の範囲第 5項記載のロボット装置。

7 . 上記顔識別手段は、予め得ている登録顔データと上記顏デ一夕検出手段が検出した上記顔デ一夕との比較結果に基づいて特定顔を識別すること

を特徴とする請求の範囲第 1項記載のロボット装置。

8 . 上記人物識別手段は、上記顔データ検出手段が時系列的に出力する複数の顔データについて得た複数の比較結果の統計により、特定顔を識別することを特徴とする請求の範囲第 7項記載のロボット装置。

9 . 上記顔識別手段は、予め得ている全ての登録顔データと上記顔データ検出手段が検出した上記顔データとを差分して得た検出差分値に基づいて特定顔を識別すること

を特徴とする請求の範囲第 7項記載のロボット装置。

1 0 . 予め得ている登録顔データと上記顔データ検出手段により得た顔データとを差分し、学習差分値を予め得て、上記学習差分値により特徴空間を形成する学習をする学習手段を備え、

上記顔識別手段は、上記特徴空間における上記検出差分値に基づいて特定人物を識別すること

を特徴とする請求の範囲第 9項記載のロボット装置。

1 1 . 上記登録顔データがデータベースとして記憶される記憶手段と、画像撮像モードにより撮像した顔画像を上記データベースに登録顔データとして記憶する撮像モード撮像手段とを備えたこと

を特徴とする請求の範囲第 7項記載のロボット装置。

1 2 . 動物に模した外観形状をなしており、

上記撮像手段は、上記動物の目の機能を果たすこと

を特徴とする請求の範囲第 1項記載のロボット装置。

1 3 . 撮像手段により撮像する撮像工程と、

上記撮像工程にて撮像された画像内で移動する顔を追跡する顔追跡工程と、上記顔追跡工程による顔の追跡情報に基づいて、上記撮像工程にて撮像された画像内の顔の顔データを検出する顔データ検出工程と、

上記顔データ検出工程にて検出した上記顔データに基づいて、特定人物を識別する人物識別工程と

を有することを特徴とする顔識別方法。

1 4 . 自律的に行動するロボット装置が上記撮像手段を備えていること

を特徴とする請求の範囲第 1 3項記載の顔識別方法。

1 5 . 予め顔画像が記憶された登録顔画像記憶手段と、

外部から所定の画像が入力される画像入力手段と、

上記画像入力手段から入力された顔画像を色情報に基づいて追跡する顔画像追跡手段と、

上記顔画像追跡手段による追跡結果から算出される上記入力顏画像の顔の推定位置について、サポ一トベクターマシーンを用いて顔の検出を行う顔検出手段と、上記顔検出手段により検出された顔と上記登録顔画像記憶手段に記憶ざれている顔画像とを比較することにより人物識別を行う人物識別手段と

を備えたことを特徴とする画像識別装置。

1 6 . 外部から所定の画像が入力され.る画像入力工程と、

上記画像入力工程にて入力された顔画像を色情報に基づいて追跡する顔画像追跡工程と、

上記顔画像追跡工程における追跡結果から算出される上記入力顔画像の顔の推定位置について、サポートベクターマシーンを用いて顔の検出を行う顔検出工程と、

上記顔検出工程にて検出された顔と予め顔画像が記憶ざれた登録顔画像記憶手段に記憶されている顔画像とを比較することにより人物識別を行う人物識別工程と

を有することを特徴とする画像識別方法。