WO1992017875A1 - Method and apparatus for image or data processing, and monitoring method and apparatus using the same - Google Patents

Description

明 細 書

映像又は情報処理方法及び装置及び

それを用いた監視方法及び装置 技術分野

本発明は、 音又は映像デ一 夕を利用 したマ ン マ シ ン ィ ン ター フ ェ イ ス （以下単にマ ンマ シ ン と称す） に関 し、 特に対象物 （オブジ ェ ク ト） の音又は映像データを用い て該対象物に関する処理を行う 映像又は情報の処理方法 及び装置及び、 それを用いた対象物の監視方法及び装置 に関する。

背景技術

原子力発電所に代表される大規模なブラ ン ト シ ス テ ム を安全に運転 してい く ためには、 適切なマ ン マ シ ンを も つ た運転監視システムが不可欠である。 プラ ン ト は、 操 作者の 「監視」 「判断」 「操作」 の 3 つの作業によ って 運転維持される 。 運転監視シ ス テムは操作者のこ う した 3 つの作業が円滑にでき る よ う なマ ン マ シ ンを備えてい る必要がある。 「監視」 作業では、 プ ラ ン ト の状態が即 座に また正確に把握でき る必要がある。 「判断」 時には 判断の材料、 根拠となる情報を操作者が素早 く 参照でき なければな らない。 「操作」 時には、 操作の対象、 操作 の結果が直感的にわかり 、 操作者の意図する操作が正確 かつ迅速に実行でる よ う な操作環境が不可欠である。

従来の運転監視シ ス チ 厶 の マ ン マ シ ン を、 「監視」 「判断」' 「操作」 の各作業ごとに概観してみる。

( 1 ) 監視

プ ラ ン ト内の状態は、 圧力や温度な どを検知する各種 のセ ンサか らのデータ と、 プラ ン トの各所に配置された ビデオカ メ ラからの映像とを監視する こ とによ って把握 でき る。 各種セ ンサからの値は、 グラ フ ィ ッ ク ディ スプ レイな どに様々 な形態で表示される。 ト レ ン ドグラ フや バーグラ フな ども多 く 利用されている。 一方、 ビデオ力 メ ラからの映像は、 グラ フ ィ ッ ク ディ スプレイ とは別な 専用のモニタに表示される こ とが多い。 プラ ン ト内には 4 0 個以上のカ メ ラが設置される こ と も少な く ない。 操 作者はカ メ ラを切り替えた り、 カ メ ラの方向やレ ンズを 制御しながらプラ ン ト各所の監視を行な う。 通常の監視 業務では、 カ メ ラからの映像を操作者が見る こ とは滅多 に無く 、 カ メ ラ映像の利用率は低いのが現状である。

( 2 ) 判断

プラ ン ト に何か異常が発生したときには、 操作者はセ ンサゃ力 メ ラから得られる多量の情報を総合的に調べて ブラ ン ト内で何が起きているかを素早 く 的確に判断しな ければな らない。 現状の運転監視システムでは、 各種セ ンサか らのデ一夕や、 カ メ ラからの映像が独立に管理さ れているため、 それらを関連づけながら参照するのが難 し く 、 操作者に大きな負担をかけている。

( 3 ) 操作

操作は操作盤上のボタ ンや レバーを用いて行な う。 最 近では、 グラ フ ィ ッ ク デ ィ スプ レ イ と 夕 ツ チパネルに組 み合わせて、 画面上に表示 した メ ニュ ーや図形を選択す る こ とによ っ て、 操作を行える よ う な シ ス テ ム も多 く な つてきた。 しか しな力 ら、 操作盤上のボタ ンや レバ一、 またディ スプレ イ上の メ ニュ ーや図形といっ た ものは、 現場の事物とは切り離された抽象的な形態であ り、 操作 者がそれらの機能や、 操作の結果を想起するのが困難な 場合がある。 すなわち、 所望の操作がどの レバ一を引け ば可能なのかがす ぐわからなかった り、 ある ボタ ンを押 すとプラ ン ト内の どの機器に どんな操作措合が送られる のかが直感的につかみに く いといった問題がある。 また 操作盤が力 メ ラな どのモニタ とは独立に構成されている ため装置が大型化する という 問題もある。

上記 （ 1 ) で述べた監視作業における カ メ ラの切り替 え、 カ メ ラの遠隔操作を簡単にする従来技術と して下記 がある。 ，

( a ) カ メ ラの撮影対象を模擬 したグラ フ ィ ッ ク スを グラ フ ィ ッ ク ディ スプレイ に表示する。 前記グラ フ ィ ッ ク ス上で撮影場所を指示する。 前記指示に基づいて、 力 メ ラが遠隔操作され、 カ メ ラのモニタ に所望の映像が表 示される。 こ の種のプラ ン ト運転監視システムの例と し て特開昭 6 1 — 7 3 0 9 1 がある。

( b ) 運転ま たは監視を行う プロセス機器をキーボー ドによ り指定する と、 前記指定されたプロセス機器のプ ロセス フ ロ ー図がグラ フ ィ ッ ク表示され、 同時に前記プ ロセス機器を撮影している 力 メ ラの映像が画面に表示さ れる よ う にする。 こ の種のプラ ン ト運転監視システムの 例 と して特開平 2 — 2 2 4 1 0 1 がある。

( c ) プラ ン ト を撮影する カ メ ラのモニタ画面上で指 示した位置に基づいて、 カ メ ラのノ、。ン、 ズーム、 焦点調 整な どを行う。 例えば、 モニタ画面上の上部を指示すれ ばカ メ ラが上方にパン し、 モニタ画面の下部を指示すれ ばカ メ ラが下方向にパンする よ う にする。 この種のブラ ン ト運転監視システムの例と して特開昭 6 2 - 2 2 6 7 8 6 がある。

一方、 一般に、 プロセス制御監視システム等の監視シ ステムにおいては、 中央管理室にモニタ一装置を設置し プロセス側に I T Vカ メ ラ （i ndus t i ra l te l ev i s i on camera) を設置してプロセスの様子をその力 メ ラによ つ て撮られた映像をモニタ一に表示する こ とによ り プロセ スの状況を視覚的に監視する方法が採られている。 こ の 映像、 音は ビデオテープな どの記録媒体に記録されてい る。 こ の映像、 音は、 異常時な どに巻き戻し、 再生が行 われる。

一方、 プロセスから時事刻々 と送られて く る制御のた めのデータ （制御データ） 、 例えばプロセスデータ （測 定データ） は中央管理室のモニタ ーやメ ーター類に表示 される と共に、 システム内のデ一夕ベースに蓄え られ、 異常時や解析が必要な時にはデータベースから引き出せ る よ う にな っている。 このシステムについては特開昭 6 0 — 9 3 5 1 8 号公報のプ ラ ン ト運転履歴表示方式で 紹介 さ れている。

発明の開示

上述の様に、 従来の運転監視シ ス テ ムにおいては、 下 記の問題点があ っ た。

( 1 ) 操作盤上のキー、 ボタ ン、 レバ一による遠隔操作 や、 画面上の メ ニュ ーやアイ コ ンを使った遠隔操作では 現場の臨場感が伝わ り に く いため、 実際の操作対象や操 作結果を直感的につかみに く く 、 誤操作する可能性が高 い。

( 2 ) 操作者が直接カ メ ラの切り替えや、 遠隔操作を し なければな らず、 多数のカ メ ラを用いて監視を行な う場 合、 見たいと こ ろを映して く れるカ メ ラを簡単に選択で きない。 また、 遠隔にある カ メ ラを操作して、 見たいと こ ろがよ く 見える よ う にするのに手間がかかる。

( 3 ) ビデオカ メ ラからの映像を映す画面と、 他のデー 夕を参照する画面と、 操作するための画面または装置と が別にな つてお り、 全体の装置が大き く なる、 映像と他 のデータ との相互参照がやり に く いな どの問題がある。 ( 4 ) カ メ ラ映像は臨場感を伝える効果は高いが、 情報 量が多 く 、 抽象化されていないため、 操作者がカ メ ラ映 像内の構造を直感的につかみに く い という欠点がある。 一方、 グラ フ ィ ッ ク スによる表示は、 重要な部分を強調 し、 不必要な部分を簡略化し、 本質的な部分だけを抽象 化して表示する こ とができ るが、 実際の事物や事象と切 り離された表現とな り 、 操作者がグラ フ ィ ッ ク表現と実 際の事物、 事象との関係を容易に想起できな く なる恐れ がある。 .

( 5 ) カ メ ラからの映像情報と、 他の情報 （例えば、 圧 力や温度な どのデー タ） とが全 く 独立に管理されてお り 相互参照が簡単にできない。 このため状況の総合判断す る こ とが難 しい。

一方、 上記特開昭 6 1 一 7 3 0 9 1 に示された方法で は、 撮影対象をグラ フ ィ ッ ク ス上で指定するだけで、 複 雑なカ メ ラ操作をする こ とな く 所望の映像を表示でき る という利点があるが、 映像に映っている内容 （映ってい る機器な ど） を指示して、 関連する映像や、 制御情報を 参照する こ とはできない。 このため、 運転員がカ メ ラの モニタ上で異常を発見し、 その異常部をも っ とよ く 見て みょ う と思った場合、 グラ フ ィ ッ ク画面に視線を移し、 映像上で発見 した異常部に対応する部分をグラ フ ィ ッ ク ス上で探し直さなければな らない。

また、 特開平 2 — 2 2 4 1 0 1 に示された方法では、 キ一ボー ドから指定した機器に関連する グラ フ ィ ッ ク表 示とカ メ ラ映像とを同時に表示でき る という利点がある が、 機器の指定を画面上で直接行う こ とができない。 こ のため、 運転員がカ メ ラのモニタ上で異常を発見し、 そ の異常部を も っ と よ く 見てみょ う と思った場合、 異常部 に対応するキーをキーボー ト上で探さなければな らない, 更に、 特開昭 6 2 — 2 2 6 7 8 6 に示された方法では. ジ ョ イ ステ ィ ッ ク な どの入力装置を使う こ とな く 、 映像 を表示 している画面上で力 メ ラ の操作を指定する こ とが でき るが、 あ く まで も カ メ ラ のノ、 "ン方向や、 ズームイ ン ズームァ ゥ ト な どのコマ ン ドを選択でき るにすぎない。 どれ ぐ らいパンすれば監視対象が も っ と見やす く なるか は運転員が調節 しなければな らず、 操作の複雑さ はジ ョ ィ スティ ッ ク の場合と大差がない。 また、 操作の対象が 一つのカ メ ラ に限られているため、 複数のカ メ ラの中か ら最適な映像を選ぶこ とができない。

こ の様に、 上記各文献に示された方法では、 映像に映 つている内容 （映っている機器な ど） を直接指示 して、 前記内容に関連する情報 （映像や、 制御情報な どのグラ フ ィ ッ ク表示な ど） を呼び出せない。 このため、 運転員 が自分で映像に映っている内容に関連する情報を探し出 す必要がある。

一方、 上記のプロセス制御監視システム等の監視シス テムにおいては、 映像情報や音情報とプロセスデータ と は相互に関連付け られていないため従来、 再生あるいは 解析する際には、 別々 に再生あるいは解析しなければな らなかった。 例えば、 プラ ン ト上で異常が発生 した場合 は、 それを計器が検出 してブザーがなる。 その後プロセ ス全体図で対応する機器を探 してその原因 と対応策を決 め、 処置を施す。 こ こ でその原因 と故障機器の推定には 多 く の関連するデ一 夕、 映像が必要のため非常に労力を 必要と した。 ビデオを用いた解析においては、 あ らか じ め ビデオを見て異常の起こ る付近^探した後、 プロセス デー タでその付近を調べる方法が用い られた り、 プロセ スデ一夕で異常時点を見つけた後、 そ こ まで ビデオを巻 き戻 して再生する方法が用い られている。

しか し一般に、 プラ ン ト等を監視する I T Vカ メ ラ は 複数あ り、 そこからの映像が複数の ビデオに記録されて いるため、 異常時等、 解析時に各カ メ ラからの映像を関 連付けて見るためにはそれらの ビデオすベてを希望する と こ ろ まで巻き戻 し再生する等、 操作員の負担が大きか つ

方、 データベースから希望のデータをう ま く 引き出 すこ とは難し く 、 多 く の場合、 膨大な量の情報をプ リ ン 夕で出力 した後、 その解析に操作員があたってい'た。

の様に、 従来のプロセス制御監視システム等の監視 システムは以下のよ う な問題点があった。

( 1 ) 映像、 音情報を再生する際にプロセスデ一夕を 同時に参照できなかったため、 せっか く 映像から情報を 得て もその後のプロセスデータの検索に手間と時間がか かる

( 2 ) プロセスデータを ト レ ン ドグラ フ等に表示し、 操作員が映像を参照したい時点がわかって も、 映像を表 示するためには手間 と時間がかかった。 このため迅速な の実際の状況把握が出来なかった。

( 3 ) 異常値等プロセスデー タの探索を行なった場合 でも、 そのプロセスデータ に関する映像を表示するのに 手間がかかる。

( 4 ) 記録さ れたプロセスデー タ を表示する際に、 特 に記録された多 く のデー タ を早送 り で表示する と計算機 に多 く の負担がかかっ た。

( 5 ) デー タの表示方法に制限があ つ たため詳 し く 見 たい、 飛ばして見たい と言った要求には対応できなかつ た。 特に詳し く 見て解析する場合は、 関連する映像や音 もスロ ー再生で参照すれば、 よ り解析に役立つがこ の機 能はない。

( 6 ) プロセスの運転を決定する重要な要素と して、 操作員の操作命令があるが、 これらが再生されないため 何の操作でプロセスの状態が変わったか、 わからなかつ た。

( 7 ) 操作員が操作した命令を箄えていて もその命令 を探索する こ とができなかったため、 結局プロセスデ一 夕等を解析して操作命合を した時点を推測せねばな らな カヽつた。

( 8 ) プロセスデータ と映像情報の関連づけがないた め、 た とえ映像上で異常が発見された場合に も、 その映 像が何を映している もので、 そ こから何のデー タを出力 しているかは、 訓練を積んだベテラ ンのみがわかるので あって、 そ う でない者にはデータがどのプロセス装置と 関係するかわからなかった。

( 9 ) 映像を表示する場所とプロセスデー タを表示す る場所が分立 していたため操作員が視線を動かさねばな らず刻々 と変わるデータ、 映像を同時に見れなかった。

( 1 0 ) 従来用い られる ビデオテープは映像デー タの迅 速なア ク セス等の点で、 その再生能力に問題があ った。 一方、 光ディ ス ク を用いれば迅速なア ク セスは可能であ るが、 映像デ一夕が非常に大き く な つて しま う ため記録 するためには大容量のディ ス クが必要であ った。

本発明の目的は、 出力される、 オブジェ ク 卜 に関する 音又は映像データ に関する処理を、' 該データ に関する情 報に基づいて行いう る情報処理方法及び装置を提供する こ とにある。

本発明の別の目的は、 表示手段の画面に表示される少 な く と も一つのオブジェ ク トの ビデオ映像に関する処理 を、 該ォブジ ェ ク ト に関する情報に基づいて行いう る映 像処理方法及び装置を提供する こ とにある。

本発明の更に別の目的は、 監視対象物 （オブジェ ク ト） に関する制御のための情報と、 該監視対象物に関す る音又は映像データ とを関連付けて出力 しう る監視装置 を提供する こ とにある。

こ の様な目的を達成するために、 本発明の一面によれ ば、 表示ユニッ トの画面に表示される少な く と もひとつ のォブジ ェ ク ト （ o b j e c t ) の ビデオ映像に関する処理を 行う映像処理装置は、 該オブジェ ク ト に関する情報をス ト ァするュニ ッ ト と、 該情報に基づいて該ォブジェ ク ト に関する処理を行う ュニッ ト とを備える。

本発明の別の一面によれば、 対象物に関する制御のた めのデー タ （制御デー タ） を記憶する と共に、 該対象物 に関する音ま たは映像のデー タ を記憶する情報処理装置 は、 制御デー タ と音又は映像デー タ を関連づけるュニ ッ 卜 と、 該関連づけるュニ ッ 卜 に基づいて、 制御データ と 音又は映像デー タ とを関連づけて出力するユニ ッ ト とを Iほん る 。

好ま し く は、 本発明の a i mは、 前記従来技術の問題 を解決し、 下記 （ 1 ) から （ 6 ) の少な く と も一つを達 成する こ とにある。

( 1 ) 遠隔運転監視システム等において、 運転員が操 作の対象や操作結果を直感的に把握でき る よ う にする こ と o . ( 2 ) カ メ ラの選択や、 カ メ ラの遠隔操作に煩わされ る こ とな く 、 監視したいと こ ろの映像を簡単に見れる よ う にする こ と。

( 3 ) 遠隔運転監視システムな どの小型化、 省スぺー ス化を図る こ と。

( 4 ) カ メ ラ映像と グラ フ ィ ッ ク スそれぞれの長所を 生か し、 短所を補う こ と。

( 5 ) 異種の情報を素早 く 相互参照でき る よ う にする 二 と。 例えば、 カ メ ラ映像で現在監視している部分の温 度をす ぐに参照でき る よ う にする こ とな ど。

( 6 ) 上記 a i mを達成する よ う なマ ン マ シ ンを簡単 に設計、 開発でき る よ う にする こ と。

本発明によれば前記 a i m ( 1 ) 〜 （ 5 ) は下記ス テ ッ プを有する方法によ って解決される。

( 1 ) オブジ ェ ク ト指定ステ ッ プ

画面上に表示された ビデオ映像内の事物 （以下では、 オブジ ェ ク ト と呼ぶ） をポイ ンテ ィ ン グデバイ ス （以下、 P D と呼ぶ） な どの入力手段を使って指定する。 ビデオ 映像は遠隔に置かれた ビデオカ メ ラから入力 した り、 蓄 積媒体 （光ビデオディ ス ク、 ビデオテープレ コーダ、 計 算機のディ ス クな ど） から再生 した りする。 ポイ ンティ ン グデバイ ス と しては、 例えば夕 ツ チパネル、 タブレ ッ ト、 マウス、 アイ ト ラ ッ カ、 ジエスチヤ入力装置な どを 用いる。 ォブジェ ク 卜の指定前に、 映像内の措定可能な オブジェ ク トを、 グラ フ ィ ッ ク スの合成表示によ り.明示 してもよい。

( 2 ) 処理実行ステ ッ プ

前記オブジェ ク ト措定ステ ッ プによ って指定されたォ ブジェ ク 卜 に基づいて処理を実行する。 処理の内容には 例えば下記がある。

• 指定されたォブジェ ク トを動作させる または動作した 場合と同様の結果になる よ う な操作指合を送る。 例えば、 指定されたオブジェ ク トがボタ ンである場合、 実際にそ のボタ ンを押し下げる または、 押し下げられた場合と同 様の結果になる よ う な操作指令を送る。

• 指定されたオブジ ェ ク 卜 に基づいて映像を切り替える。 例えば、 遠隔にあるカ メ ラを操作して、 指定されたォブ ジ ェ タ トがも っ とよ く 見える よ う にする。 カ メ ラの向き を動か して、 映像の中央に指定されたオブジ ェ ク トが映 る よ う に した り、 レ ン ズを制御 して指定されたオブジ ェ ク ト か大き く 映る よ う にする。 他の例では、 指定された オブジ ェ ク 卜 を別な角度から捉える カ メ ラの映像に切 り 替えた り、 指定されたオブジ ェ ク ト に関連するオブジ ェ ク ト を映っているカ メ ラ映像に切 り替えた りする。

• 指定されたオブジ ェ ク トが明示される よ う に、 グラ フ ィ ッ ク スを映像上に合成表示する

- 指定されたォブジ ェ ク 卜 に関連する情報を表示する。 例えば、 指定されたオブジェ ク トのマニュアル、 メ ンテ ナ ンス情報、 構造図な どを表示する。

• 指定されたォブジ ェ ク 卜 に関 して実行可能な処理の一 覽をメ ニュ ーで表示する。 メ ニューを図形で表現する こ と もでき る。 すなわち、 い く つかの図形を映像上に合成 表示 し、 合成表示された図形を P Dで選択 し、 選択され た図形に基づいて次の処理を実行する。

本発明によれば、 前記 a i m ( 1 ) は、 映像に映って いる制御対象の上または近傍に前記制御対象を制御する ための操作器をグラ フ ィ ッ ク表示するステ ッ プを有する 方法によ って も解決される。

ま た、 本発明によれば前記 a i m ( 2 ) はテキス ト ま たはグラ フ ィ ッ ク スを入力 して探索キーを指定する探索 キー指定ステ ッ プと、 前記探索キー指定ステ ッ プによ つ て指定された探索キーに適合する事物が表示されている ビデオ映像を表示する映像探索ステ ッ プを有する方法に よ って も解決される。

本発明によれば前記 a i m ( 6 ) は、 ビデオカ メ ラか ら人力 された映像を表示する映像表示ステ ッ プと、 前記 映像表示ステ ッ プによ って表示された映像上で領域を指 定する領域指定ステ ッ プと、 領域指定ステ ッ プによ って 指定された領域に処理を定義する処理定義ステ ッ プとを 有する方法によ って解決される。

画面上の ビデオ映像内のオブジェ ク トを直接指定して 指定したオブジェ ク 卜 に操作指令を送る。 操作者はォブ ジェ ク 卜の実写の映像を見ながら、 操作指示を行な う。 操作指示によ って、 オブジェ ク ト に目 に見える よ う な動 きがあれば、 その動きはカ メ ラ映像にそのま ま反映され る。 このよ う に、 実写の映像に対して直接操作を行なう こ とによ って、 操作者は実際に現場で作業している感覚 で遠隔操作できる。 これによ つて、 操作者は操作の対象 や操作の結果を直感的に把握でき、 誤操作を減らすこ と ができ る。

画面上で指定された映像内のオブジェ ク ト に基づいて カ メ ラを選択 した り、 カ メ ラに操作指合を送る。 これに よ って、 映像内のオブジェ ク トを指定するだけで、 その ォブジ ェ ク ト を監視するのに最適な映像を得る こ とがで き る。 すなわち、 操作者は見たいものを指定するだけで よ く 、 カ メ ラを選択 した り、 カ メ ラを遠隔操作 した りす る必要がない。

映像内のオブジェ ク ト に直接操作を加える際に、 映像 に適宜グラ フ ィ ッ ク スを合成表示する。 例えば、 ユーザ がオブジ ェ ク ト を指定 した ら、 どのオブジ ェ ク トが指定 されたのかを明示する よ う な グラ フ ィ ッ ク ス表示を行な う 。 これによ つて、 操作者は自分の意図する操作が確実 に行われている こ とを確認でき る。 また、 指定したォブ ジ ニ ク ト に対して複数の処理を実行可能な場合は、 所望 の処理を選択するためのメ ニュ ーを表示する。 こ のメニ ユ ーは、 図形によ って構成される場合もある。 メ ニュ ー と して表示された図形を選択する こ とによ り、 操作者は 実際にオブジ ェ ク トを操作している という感覚をよ り強 く 持つこ と ができ る。

画面上で指定された映像内のォブジ X ク ト に基づいて 情報を表示する。 これによ つて、 映像内のォブジヱ ク ト に関連する情報を、 オブジ ェ ク トを指定するだけで、 参 照する こ とができ る。 映像と他の情報とを同時に参照し ながら、 状況判断を下すこ とが容易にでき る。

テキス ト または図形を探索キー と して入力 し、 前記入 力 した探索キーに適合する事物が映っている映像を表示 する。 テキス ト は、 キーボー ドな どの文字入力装置、 音 声認識装置、 手書き文字認識装置な どから入力する。 ま た図形は P Dを用いて入力するか、 すでに何らかの方法 で作成されたデー タを入力する。 ま た、 映像内にあるテ キス ト または図形を探索キー と して指定して も よい。 探 索対象の映像がカ メ ラ映像の場合は、 探索キーに基づい て、 カ メ ラ を選択 し、 さ ら に カ メ ラ の向きや レ ン ズの制 御を行ない、 探索キーが映る よ う にする。 探索キーに適 合する事物が映っている映像にグラ フ ィ ッ ク スを適宜合 成する こ とによ って、 探索キーに適合する部分が映像内 の どこ にあるかを明示 して も よい。 こ のよ う に、 探索キ 一に基づいて映像を表示する こ とによ り、 操作者は見た い ものを言葉や図形で示すだけで、 見たい映像を得る こ とができ る。

映像を表示し、 前記映像上で領域を指定し、 前記指定 した領域に対して処理を定義する こ とによ って、 映像内 の事物が指定された ときに実行すべき処理の内容を定義 する。 これによ つて、 映像内の事物を直接操作する よ う なマ ンマシンを作成でき る。

図面の簡単な説明

図 1 Aは本発明の概念的構成を説明するためのプロ ッ ク図である.。

図 1 B は本発明の各実施例と図 1 Aの概念的構成図と の対応関係を説明するための図である。

図 2 は本発明による映像又は情報処理方法及び装置を 適応した本発明の一実施例であるブラ ン ト監視システム の全体構成例を示す図である。

図 3 は図 2 のマ ンマ シンサーバの一例のハ一 ドウ エア 構成を示す図である。

図 4 は本実施例のプラ ン ト運転監視システムにおける 表示画面の構成例を示す図である。 .

図 5 は表示画面の図面表示領域の画面表示形態例を示 す図である。

図 6 は映像表示領域の画面表示形態と現場との対応を 示す図であ る。

図 7 A、 7 B はオブジ ェ ク ト指定による カ メ ラパラ メ 一 夕設定の一例を示す図。

図 8 A、 8 B はオブジ ェ ク ト指定による 力 メ ラ ノ、。ラ メ 一夕設定の一例を示す図。

図 9 はォブジ ェ ク ト指定によ るボタ ン操作の一例を示 す図。

図 10はォブジ ヱ ク ト指定によ るスラ イ ダ操作の一例を 示す図。

図 11A、 11 B はそれぞれ図形選択による操作の一例を 示す図。 '

図 12は操作可能なオブジ ェ ク トを明示した例を示す図 図 13は探索キーによる映像探索の例を示す図。

図 14は 3 次元モデルの例を示す図。

図 15は 3 次元モデルと画面上の映像との関係を示す図 図 16は画面上の点 とオブジェ ク ト との関係を示す図。 図 17は 3 次元モデルを用いたオブジ ェ ク ト同定処理の 手順を示すフ ロ ー チ ャ ー ト 。

図 18は実施例の実現方法の手順を示すフ ロ ー チ ヤ 一 ト 図 19A、 19B は 2 次元モデル と力 メ ラ ノくラ メ 一 夕 との 関係を示す図。

図 20 A、 20 B は 2 次元モデルと別の力 メ ラ ノ、。ラ メ 一夕 との関係を示す図。 図 2 1 A、 2 1 B は 2 次元モデルと更に別の力 メ ラパラ メ 一 夕 との関係を示す図。

図 22は 2 次元モデルを用いたオブジ ェ ク ト 同定処理の 手順を示す図。

図 23はカ メ ラ デ一夕テーブルの構造を示す図。

図 24は力 メ ラ ノ、' ラ メ ータデータの構造を示す図。

図 25は領域フ レ ー ムのデータ構造を示す図。

図 29は本発明の別の実施例による監視シス テムの構成 を示す図である。

図 30は第 29図のワー ク ス テー ジ ョ ン の構成例を示す図 である。

図 3 1は映像音声記録部の構成例を示す図である。

図 32はディ スプレイ表示画面の一例の説明図で'ある。 図 33はディ スプレイ に表示する ト レ ン ドグラ フの一例 の説明図である。

図 34は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 35 A、 35 B は映像、 音声の再生方向、 速度を決定す る ビデオコ ン ト ロ一ラーの説明図である。

図 36 A〜 36 Gは別な実施例で使用するプロ セ スデータ 映像データ等のデータ構造の説明図である。

図 37は映像音声記録部に映像、 音声を記録する動作例 を示すフ ロ ー チ ヤ 一 トである。

図 38は記録 した映像を表示する動作例を示すフ ロ ーチ ヤ ー 卜である。 図 39は本発明の別な実施例を実現するための動作'例を 示すフ ロ ーチ ヤ一 トである。

図 40は本発明の別な実施例における ディ スプ レ イ表示 の説明図である。

図 4 1は本発明の別な実施例を実現するための動作例を 示すフ ロ一チ ヤ一 トである。

図 42は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 43は本発明の別な実施例を実 する動作例を示すフ ロ ーチ ャ ー トである。

図 44は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 45は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 46は本発明の別な実施例を実現する動作例を示すフ ロ ーチ ャ ー トである。

図 47は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 48は本発明の別な実施例を実現する動作例を示すフ ロ ーチ ャ ー トである。

図 49は本発明の別な実施例におけるディ スプレ イ表示 の説明図である。

図 50は本発明の別な実施例におけるディ スプレ イ表示 の説明図である。

図 5 1は本発明の別な実施例における ディ スプ レ イ表示 の説明図である。

図 52は本発明の別な実施例におけるディ スプレ イ表示 の説明図である。

図 53は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 54は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 55は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 56は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 57は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 58は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 59は本発明の別な実施例におけるディ スプレイ表示 の説明図である。

図 60は本発明の別な実施例における制御部内での選択 対象の決定方法の説明図である。 '

発明を実施するための最良の形態

本発明の実施例を説明する に先立ち、 本発明の概念を 図 1 Aを用いて説明する。 尚、 図 1 B は本概念図の構成 要素と後述する第 1 、 第 2 実施例の構成要素との対応関 係を示す図である。

図 1 Aにおいて、 ォブジェ ク ト情報格納部は、 映像出 力部 （映像撮影/記録 Z再生部） が出力する映像に映つ ている プラ ン ト 内の各種機器 （オブジ ェ ク ト ） に関する 情報 （機器の位置、 形状情報、 制御情報、 マ二ユ アル情 報、 設計情報な ど） を格納する。 以下では、 運転、 監視 の対象となる あ らゆる機器、 装置をオブジ ェ ク ト と総称 する こ とにする。 映像出力部は現在撮影中のプラ ン ト内 の映像や、 過去に記録された映像を出力する。 グラ フ ィ ッ ク ス生成部は、 プラ ン トの系統図や、 各オブジ ェ ク ト の制御情報、 マニ ュ ア ル情報な どをグラ フ ィ ッ ク ス と し て出力する。 グラ フ ィ ッ ク ス生成部からのグラ フ ィ ッ ク ス出力 と、 映像出力部からの映像出力 とは、 映像 Zグラ フ ィ ッ ク ス合成部によ って合成され表示部に表示さ.れる 画面位置指示部によ り、 表示部上の位置が指定される と オブジ ェ ク ト同定 処理実行部は、 前記指定位置とォブ ジ ク ト情報格納部に記億されているオブジ ェ ク ト情報 に基づいて、 表示部上の前記指定位置に表示されている オブジ ェ ク トを同定する。 次に、 オブジェ ク ト同定ノ処 理実行部は前記同定 したオブジ ェ ク ト に対応する処理を 実行する。 例えば、 映像出力部を制御 して前記同定され たォブジ ェ ク ト に関連する映像を表示部に表示 した り、 前記ォブジ ェ ク 卜 に関連する制御情報をォブジ ェ ク ト情 報格納部から取 り だ し、 グラ フ ィ ッ ク ス生成部を制御 し て前記取り 出 した情報を表示部にグラ フ ィ ッ ク表示する 即ち、 図 1 Aにおいてオブジ ェ ク ト情報格納部は、 表 示部の画面に表示されるオブジ ェ ク ト に関する情報をス ト ァ し、 一点鎖線で囲んだ部分は該情報に基づいて該ォ ブジ ェ ク 卜 に関する処理 （例えば、 画面位置指示部によ り指定された情報に対応するォブジ ク ト情報格納部内 の情報を同定する処理や、 該情報に基づいてグラ フ ィ ッ ク スを表示する処理等） を行う。

オブジ ェ ク ト に関する情報とは、' 第 1 実施例ではォブ ジェ ク 卜 に関する グラ フ ィ ッ ク情報、 位置情報等を示す と共に、 第 2 実施例ではォブジ ヱ ク ト に関する制御のた めのデー タ （制御データ又は制御情報） 、 ォブジェ ク ト に関する音又は映像データを示すと共に、 制御データ と 音又は映像データを関連づける情報を示す。

また図 1 Aで一点鏆線で囲まれた部分は、 第 2実施例 においては、 上記関連づける情報に基づいて制御デ一夕 と音又は映像データ とを関連づける ものである。

以下に本発明の実施例を図面を参照して説明する。 先 ず、 本発明の映像又は情報処理方法及び装置を適用 した 本発明の一実施例 （第 1 実施例） であるプラ ン ト運転監 視シス テムを図 2 から図 28までを用いて説明する。

本実施例の全体構成を図 2 を用いて説明する。 図 2 に おいて、 1 0 はグラ フ ィ ッ ク スや映像を表示する表示手 段となるディ スプレイ、 1 2 はディ スプレイ 1 0 の全面 に取付けられた入力手段となる感圧夕 ツ チパネル、 1 4 は音声を出力するためのス ピーカ、 2 0 は操作者がブラ ン ト の監視、 および運転操作を行な う ためのマ ン マ シ ン を提供するマ ン マ シ ンサーバ、 3 0 は複数の映像入力お よ び複数の音声入力か ら一つの映像入力お よ び音声入力 を選択する ためのス ィ ッ チ ヤ 、 5 0 はプラ ン ト 内の機器 を制御 した り、 セ ン サか らのデ一 夕を収拾する制御用計 算機、 5 2 は制御用計算機 5 0 とマ ンマ シ ンサーバ 2 0 やその他の端末、 計算機類とを接続する情報系ロ ー カ ル エ リ ア ネ ッ ト ワー ク （以下 L A N と称す） （例えば I E E E 8 0 2 . 3 で規定される よ う な L A N ) 、 5 4 は制 御用計算機 5 0 と、 制御対象である各種機器、 および各 種セ ンサとを接続する制御系 L A N (例えば I E E E 8 0 2 . 4 で規定される よ う な L A N ) 、 6 0 、 7 0、 8 0 はブラ ン ト内の各所に置かれ、 被制御物となるォブジ ェ ク トを撖影し、 入力するための産業用 ビデオカ メ ラ (以下単に I T Vカ メ ラ と呼ぶ） 、 6 2 , 7 2 , 8 2 は 制御用計算機 5 0 からの指令に従つ！：、 それぞれカ メ ラ 6 0 , 7 0 , 8 0 の向きやレ ンズを制御するためのコ ン ト ローラ、 6 4 , 7 4 , 8 4 は、 それぞれカ メ ラ 6 0 ， 7 0 , 8 0 に取付けられたマイ ク、 9 0 , 9 2 はプラ ン ト各部の状態を知るための各種セ ンサ、 9 4 , 9 6 は制 御用計算機 5 0 の指令に従って、 プラ ン ト内の各種の機 器を制御するァ ク チユエ一 夕である。

感圧夕 ツ チパネル 1 2 は P Dの一種である。 夕 ツ チパ ネル 1 2 上の任意の位置を指で押すと、 押された位置座 標と、 押された圧力をマ ンマ シ ンサーバに報告する。 夕 ツ チパネル 1 2 はディ スプレ イ 1 0 の全面に取付け られ る。 夕 ツ チパネル 1 2 は透明で、 夕 ツ チノ、。ネル 1 2 の後 ろにある ディ スプレ イ 1 0 の表示内容を見る こ とができ る。 これによ り、 操作者はディ スプレ イ 1 0 上に表示さ れたォブジ ェ ク ト を.指で触る感覚で指定する こ とができ る。 本実施例では、 夕 ツ チパネル 1 2 の操作と して、 ( 1 ) 軽 く 押す、 （ 2 ) 強 く 押す、 （ 3 ) ドラ ッ グする の 3 種類を用いる。 ドラ ッ グする とは、 夕 ツ チパネル 1 2 を指で押したま ま措を動かすこ とをいう。 本実施例 では P D と して感圧夕 ツ チパネルを用いたが， 他のデバ イスを用いて も よい。 例えば、 感圧でないタ ツ チパネル、 夕ブレ ッ ト、 マウス、 ライ トペン、 アイ ト ラ ッ カ、 ジ ェ スチヤ入力装置、 キーボー ドなどを用いてもよい。

カ メ ラ 6 0 , 7 0 ， 8 0 で撮影されている複数の映像 は、 スィ ッ チャ 3 0 で一つに選択されマ ンマシ ンサーバ 2 0 を介してディ スプレイ 1 0 上に表示される。 マ ンマ シ ン サ一ノく 2 0 は R S 2 3 2 Cな どの通信ボー トを介し てスィ ッ チャ 3 0 を制御し、 所望のカ メ ラからの映像を 選択する。 本実施例では、 映像を選択する と、 同時にマ イ ク 6 4 ， 7 4 , 8 4 な どからの入力音声も選択される c すわなち、 カ メ ラを選択する と、 選択されたカ メ ラ に付 随するマイ クからの入力に音声も切り替わる。 マイ クか ら入力された音声はス ピーカ 1 4 から出力される。 も ち ろん、 マイ ク とカ メ ラからの入力を独立に切り替える こ と もでき る。 マ ンマシ ンサーノく 2 0 はカ メ ラからの映像 にグラ フ ィ ッ ク スを合成する こ とができ る。 また、 マ ン マ シ ンサーバ 2 0 は情報系 L A N 5 2 を介して制御用計 算機に操作指令を送 り カ メ ラ の撮影方向、 姿勢、 画角、 位置を指定する。 こ の カ メ ラ の撮影方向、 姿勢、 画角、 位置な どカ メ ラ に関する ノ、。ラ メ 一 夕 を力 メ ラ ノくラ メ 一 夕 と呼ぶ こ と にする。

さ らに、 マ ン マ シ ンサーバは、 操作者の指令に従っ て . 制御用計算機 5 0 を介 して、 セ ンサ 9 0， 9 2 な どか ら デー タ を入力 した り 、 ァ ク チ ユ エ一 夕 9 4， 9 6 な どを 遠隔操作する。 マ ンマ シ ンサーバ 2 0 は、 ァ ク チ ユ エ一 夕 に操作指令を送る こ と によ っ て、 プラ ン ト 内の各種機 器の動きや機能を制御する。

図 3 を用いてマ ン マ シ ンサーバの構成を説明する。 図 3 におレ、て、 3 0 0 は C P U ( central processing unit), 3 1 0 は メ イ ン メ モ リ 、 3 2 0 はディ ス ク、 3 3 0 は P D、 夕 ツ チパネル 1 2 , スィ ッ チ ャ 3 0 な どを 接続するための入出力装置 （ I / 0 ) 、 3 4 0 は C P U 3 0 0 によ っ て生成された表示デー タ を格納する グラ フ ィ ッ ク ス用 フ レ ームノく ッ フ ァ 、 3 6 0 は入力 されたアナ π グの映像情報をデジ タ ル化する デジタ イ ザ、

3 7 0 はデジ タ イ ザ 3 6 0 の出力である デジ タ ル化さ れ た映像情報を記憶する ビデオ用 フ レ ー ムバ ッ フ ァ 、

3 8 0 はグラ フ ィ ッ ク 用 フ レ ー厶 ノく ッ フ ァ 3 4 0 と ビデ ォ用 フ レ ー 厶 ノく ッ フ ァ 3 7 0 の内容を合成 してデ ィ ス プ レ イ 1 0 に表示する ブ レ ン ド回路であ る。

カ メ ラか ら入力 した映像情報はマ ンマ シ ンサーバ 2 0 で生成 した グラ フ ィ ッ ク ス と合成 した後、 デ ィ スプ レ イ 1 0 に表示する。 グラ フ ィ ッ ク 用 フ レ ー厶 ノく ッ フ ァ 3 4 0 にはデ ィ スプ レ イ 1 0 上の各画素に対応して、 赤 ( R ) , 綠 （ G ) , 青 （ B ) 各色のデータ と、 ひ値と呼 ばれるデー タを持つ。 α値は、 ビデオ用フ レ ー ムバ ッ フ ァ 3 7 0 内の映像情報と、 グラ フ ィ ッ ク用 フ レームノく ッ フ ァ 3 4 0 内のグラ フ ィ ッ ク表示データ との合成の仕方 をディ スプレイ 1 0 の各画素ごとに指定する。 ブレ ン ド 回路 3 8 0 の機能は、

d = f ( g , ν , a )

で表せる。 ただし、 g と α はそれぞれグラ フ ィ ッ ク用 フ レームバッ フ ァ 3 4 0 内の一つの画素の色情報と α値で あ り、 V は ビデオ用フ レ ームノく ッ フ ァ 3 7 0 内の g に対 応する位置にある画素の色情報、 d は g と V とを合成し た結果の画素の色情報である。 本システムでは関数 f と しては下式を用いる。

f (g, V, a )= [ { a g + (255- a )v} /255]

但し、 f ， g , v， αは整数、 かつ

0 ≤ f , g， v , a ≤ 2 5 5

である。 また、 [ ] は少数点以下を四捨五入する こ と を示す記号である。

もちろん、 関数 f と して他の ものを用いても よい。

グラ フ ィ ッ ク用 フ レ ームバッ フ ァ 3 4 0 はいわゆる ダ ブル ノく ッ フ ァ と呼ばれる構成になっている。 ダブルバッ フ ァ は、 2 画面分のノく ッ フ ァ をもち、 ディ スプレイ 1 0 に表示するバッ フ ァ を随時選択でき る。 ディ スプレイ 1 0 に表示されてし、る方のバ ッ フ ァ を表バ ッ フ ァ、 表示 されてい な い方のバ ッ フ ァ を裏バ ッ フ ァ と呼ぶこ とにす る。 表バ ッ フ ァ と裏ノ ' ッ フ ァ との切 り 替えは瞬時にでき る。 裏バ ッ フ ァ にグラ フ ィ ッ ク ス描画し、 描画が終了 し た時点で裏バ ッ フ ァ を表バ ッ フ ァ に切り替える こ とによ り描画時のち らつきをす く な く でき る。 どち らのバ ッ フ ァの内容も C P Uから随時読み出 した り書き出 した りで き る o

本実施例では、 上記のよ う に、 マ ン マ シ ン サ 一 ノく 2 0 内で、 映像情報をデジタル化 した後、 グラ フ ィ ッ ク ス と 合成する方法を用いているが、 映像情報と グラ フ ィ ッ ク ス とをアナロ グ信号の レベルで合成する外部装置を用い て、 マ ン マ シ ンサー ノく 2 0 から出力される ビデオ信号と . カ メ ラ 6 0 な どからのテ レ ビ信号とを合成してディ スプ レイ 1 0 に表示して も よい。 マ ンマシ ンサー ノく 2 0 のよ う な計算機と、 カ メ ラ 6 0 な どからのテ レ ビ信号とを合 成する装置 （映像合成装置と呼ぶこ とにする） はすでに 市販されている。

また、 本実施例では、 グラ フ ィ ッ ク ス と映像とを同一 ディ スプレイ （ディ スプレイ 1 0 ) に表示しているが、 それ らを別々 なディ スプレ イ に表示 して も よい。 例えば マ ンマ シ ンサー ノく 2 0 に情報系 L A N 5 2 を介 して グラ フ ィ ッ ク端末を接続し、 前記映像合成装置を用いて力 メ ラか らの映像情報を全面に表示する。 マ ンマシ ンサーバ 2 0 で生成される グラ フ ィ ッ ク スは主にディ スプ レ イ 1 0 に表示する。 グラ フ ィ ッ ク端末には感圧夕 ツ チパネ ル 1 2 と同様の夕 ツ チパネルまたはマウスな どのポィ ン テ ィ ン グデバイ スを装備する。 マ ンマ シ ンサ 一 ノく 2 0 は あ らか じめ定め られたプロ ト コ ルに従ってグラ フ ィ ッ ク 情報をグラ フ ィ ッ ク端末に出力する こ とによ り、 グラ フ ィ ッ ク端末に表示された映像上にグラ フ ィ ッ ク スを重ね て表示でき る。 こ のよ う に映像情報をディ スプレイ 1 0 とは別のグラ フ ィ ッ ク端末に表示する こ とによ り、 よ り 多 く のグラ フ ィ ッ ク ス情報をディ スプレイ 1 0 に表示で き るよ う になる。

図 4 にディ スプレイ 1 0 の表示画面構成の一例を示す 図 4 において、 1 0 0 はディ スプレイ 1 0 の表示画面、 1 1 0 はシステム全体に関する コマ ン ドを指定するため のメニュー領域、 1 5 0 はセ ンサからのデータや、 ブラ ン トに関する様々 な資料やデータを表示するためのデー タ表示領域、 1 3 0 はプラ ン ト全体や、 各部分の構成図 構造図、 設計図面な どを表示する図面表示領域、 2 0 0 はカ メ ラから入力された映像を表示する映像表示領域で あ o

図 5 は図面表示領域 1 3 0 の表示形態の一例である。 図 5 において、 1 3 2 はセ ンサの設置してある場所を明 示する コマ ン ドを発行するための メニュ ー、 1 3 4 は操 作者が指定した図面上の一つのオブジ ェ ク トである。 操 作者が図面表示領域 1 3 0 に表示された図面内のォブジ ェ ク ト を選択する と、 そのオブジェ ク ト に関連するセ ン ザか らの情報がデー タ表示領域 1 5 0 または映像表示領 域 2 0 0 上に表示される。 例えば、 指定 したオブジ ェ ク 卜 に関連するセ ンサ と して、 カ メ ラが定義されている と . そのカ メ ラか ら入力 された映像が映像表示領域 2 0 0 に 表示される。 ま た、 例えば、 措定されたオブジ ェ ク ト に 関連するセ ンサと して油圧セ ンサが定義されている場合 には、 現在の油圧値を明示する グラ フ ィ ッ ク スや、 これ までの油圧値の変化を示す ト レ ン ドグラ フがデータ表示 領域 1 5 0 に表示される。 タ ツ チパネル 1 2 上を指で強 く 押すと、 押 した位置に表示されている図面上のォブジ ェ ク 卜が指定される。 指定したオブジェ ク ト に関連する セ ンサが定義されていない場合は何も起こ らない。 図 5 ではォブジヱ ク ト 1 3 4 の表示位置を指で強 く 押した と こ ろを示している。 オブジェ ク ト は指で押される と、 ォ ブジ ェ ク トが指定されたこ とを操作者が確認でき る よ う に強調表示される。 図 5 に示す例では、 オブジ ェ ク ト 1 3 4 にはオブジ ェ ク ト 1 3 4 を映すカ メ ラ 6 0 と、 ォ ブジ ェ ク ト 1 3 4 の周囲の音を入力するためのマイ ク 6 4 が、 関連するセ ンサと して定義されてお り、 ォブジ ェ ク ト 1 3 4 が指定される と、 映像表示領域 2 0 0 にォ ブジ ヱ ク ト 1 3 4 を映す映像が表示され、 ス ピーカ 1 4 からはォブジ ェ ク ト 1 3 4 の周囲の音が出力 される。

図 6 に、 オブジ ェ ク ト 1 3 4 が図面表示領域 1 3 0 上 で指定された と きの映像表示領域 2 0 0 の一表示形態と プラ ン ト内に配置されたオブジ ェ ク ト 1 3 4 との対応関 係を示す。 図 6 において、 2 0 2 〜 2 1 0 は、 現在表示 されている映像を撮影 している 力 メ ラのカ メ ラパラ メ一 夕 を設定するための メ ニュ ー、 2 2 0 は映像内の指定可 能なオブジ ェ ク トを明示するためのメ ニュ ーである。

2 0 2 はカ メ ラの向きを設定するためのメニュ ーである（ メ ニュ ー 2 0 2 を選択する こ とによ り、 カ メ ラを左右に ノ、。ンさせた り、 上下にパンさせた りできる。 2 0 4 は力 メ ラの画角を制御して映像をズームィ ンするためのメ ニ ユ ー、 2 0 6 はカ メ ラの画角を制御して映像をズームァ ゥ トするためのメ ニュ ー、 2 0 8 は力 メ ラ ノくラ メ 一夕を 一つ前の力 メ ラパラ メ 一タに設定しなおすためのメニュ ―、 2 1 0 は最初のカ メ ラパラ メ 一夕に設定しなおすた めのメ ニューである。

4 0 0 〜 4 2 4 はォブジヱ ク ト 1 3 4 に付随する、 ま たは周辺にある各種オブジェ ク トである。 4 0 0 はバル ブ、 4 1 0 , 4 2 0 は、 オブジェ ク ト 1 3 4 上に書かれ た文字表示、 4 1 2 は電圧を示すメ ータ、 4 1 4 は電源 を入れるためのボタ ン、 4 1 6 は電源を切るためのボタ ン、 4 2 2 は油圧を示すメ 一夕、 4 2 4 は油圧を調節す るスライ ダのつまみである。 バルブ 4 0 0 、 ボタ ン

4 1 4 ， 4 1 6 、 つまみ 4 2 4 は実際に手で操作する こ とのでき る操作器である と と もに、 マ ンマシ ンサーバ 2 0 から操作指令を出すこ とによ って遠隔操作もでき る操 作器である。

映像表示領域 2 0 0 内を操作者が措で軽く 押すと、 指 の位置に表示さ れている ォブジ ニ ク 卜 が見やす く な る様 にカ メ ラ ワ ー ク が設定さ れる。 図 7 A、 7 B は、 映像表 示領域 2 0 0 で、 メ 一 夕 4 1 2 に指で軽 く 触る と、 メ 一 夕 4 1 2 が映像の真ん中に く る よ う にカ メ ラ パラ メ 一 夕 が設定される様子を示 している。 図 7 Aのよ う に メ ー タ 4 1 2 が操作者に指定される と、 メ ータ 4 1 2 が映像の 中央に映る よ う にカ メ ラ 6 0 の向きが設定され、 さ らに メ ータ 4 1 2 がズームイ ン される よ う にカ メ ラ 6 0 の レ ンズが制御され、 映像が図 7 B に示すよ う に変化する。 操作者は単に画面上でオブジ ェ ク ト に触れるだけで、 そ のォブジ ェ ク トがよ り はっ き り 見える よ う なカ メ ラパラ メ ータを設定でき、 カ メ ラの遠隔操作に煩わされる こ と がない。 図 7 Aにおいて、 5 0 2 はメ ータ 4 1 2 が指定 された こ とを明示するためのグラ フ ィ ッ クエコーである グラ フ ィ ッ クエコー 5 0 2 は操作者がタ ツ チパネル 1 2 から指をはなすと消去される。 このよ う に、 カ メ ラ映像 上にグラ フ ィ ッ クの表示を合成する こ とによ り、 マ ンマ シ ンィ ン タ フ ヱースを改善でき る。

図 8 A , 8 B は、 映像表示領域 2 0 0 で、 ノくルブ 4 0 0 に指で軽く 触る と、 ノくルブ 4 0 0 が映像の真ん中 に く る よ う にカ メ ラ ワー クが設定される様子を示 してい る。 図 8 Aのよ う にバルブ 4 0 0 が操作者に指定さ れる と、 図 8 B に示すよ う にバルブ 4 0 0 が中央に大き く 映 る よ う な映像に変化する。 図 8 Aにおいて、 5 0 4 はバ ル ブ 4 0 0 が指定さ れた こ と を明示する ための グラ フ ィ ッ クエコ ーである。 グラ フ ィ ッ クエコー ' 5 0 4 は操作者 が夕 ツ チパネル 1 2 から指をはなすと消去される。 他の オブジ ェ ク ト 4 1 0 , 4 1 4 , 4 1 6 ， 4 2 0 , 4 2 2 , 4 2 4 に関 して も同様の操作が可能である。

映像表示領域 2 0 0 内を操作者が指で強 く 押すと、 指 の位置に表示されているォブジ X ク トを操作でき る。 図 9 〜図 1 1 にオブジェ ク トを操作する例を示す。

図 9 はボタ ン 4 1 4 を操作する例を示している。 映像 表示領域 2 0 0 上で、 ボタ ン 4 1 4 が表示されている位 置を指で強く 押すと、 マ ンマシンサーバ 2 0 から制御用 計算機 5 0 を介して、 遠隔にあるボタ ン 4 1 4 を操作す るァクチユエ一夕に、 ボタ ン 4 1 4 を押し下げる という 操作指令が送られ、 遠隔の現場にあるボタ ン 4 1 4 か実 際に押し下げられる。 ボタ ン 4 1 4 が押し下げられ、 そ の結果と してメ ータ 4 1 2 の針がふれる様子はカ メ ラ 6 0 によ って映像表示領域 2 0 0 に映しだされる。 これ によ って、 操作者は画面上で実際にボタ ンを押し下げた かのよ う な感覚を得る。

図 1 0 はタ ツ チノ ネル 1 2上での指の ドラ ッ グによ つ てスライ ダのつまみ 4 2 4 を操作する例を示している。 映像表示領域 2 0 0 上で、 ボタ ン 4 1 4 が表示されてい る位置を強 く 指で押しながら指を横に動かすと、 映像に 映しだされているつまみ 4 2 4 も指の動きに合わせて動 く 。 つまみ 4 2 4 が動いた結果、 メ ータ 4 2 2 の針も動 く 。 この とき、 マ ンマシンサ 一 ノく 2 0 は、 指が動 く 度に、 制御用計算機 5 0 を介 してつまみ 4 2 4 を制御するァ ク チ ユエ一 夕 に指令を出 し、 指の動き にあわせてつまみ 4 2 4 を実際に動かす。 これによ つて、 操作者は自分の 指でつまみ 4 2 4 を実際に動か している よ う な感覚を得 る。

図 9 〜 1 0 のよ う に、 映像に映っている操作器 4 1 4 , 4 2 4 な どを映像上で直接操作する利点は、 下記である , ( 1 ) 操作室にいながらに して現場にいる感覚で操作で き る。 映像は現場の機器の配置や、 機器の雰囲気 （形状. 色な ど） をあ り のま ま に伝える こ とができ る。 このため. 各機器の機能や、 それを操作した ら何が起こ るかな どを 推測、 学習、 想起するのが容易にてる。 例えば、 図 9 に おいてボタ ン 4 1 4 ^押せば、 機器 1 3 4 の電源が入る という こ とは容易に推測でき る。

( 2 ) 操作の結果と して現場で何が起きているかを目で 見れる。 例えば、 ボタ ン 4 1 4 を押 した と き、 機器

1 3 4 から煙りが出れば、 運転員はす ぐその煙り をみる こ とができ、 何か誤操作を したこ とに気がつ く 。

従来のグラ フ ィ カルマ ンマシ ンィ ン 夕一フ ェ ースでは 操作器はグラ フ ィ ッ ク スで表現される。 グラ フ ィ ッ ク ス で表現される際には、 抽象化、 簡略化、 誇張が行われる ため、 実際の機器と グラ フ ィ ッ ク ス表現との対応付けが 困難になる。 画面の大き さ も限られているため、 グラ フ ィ ッ ク スは現場の機器の実際の配置とは無関係に配置さ れる。 このため、 グラ フ ィ ッ ク操作器が、 現場の どの機 器を制御するのか、 直感的に理解 しに く く なる。 また、 操作結果 も グラ フ ィ ッ ク ス で表現されるため異常を直感 的に摑むのが難しい。

図 1 1 Aは、 操作対象のオブジ ェ ク ト上またはその近 傍に合成表示 したグラ フ ィ ッ ク スを操作する こ とによ つ て、 オブジ ェ ク ト を操作する例を示す。 図 1 1 Aにおい て、 5 1 0 , 5 2 0 は、 操作者がバルブ 4 0 0 の表示位 置を指で強 く 押した と きに映像に合成表示される グラ フ ィ ッ ク スである。 操作者が図形 5 1 0 を強 く 指で押すと、 マ ン マ シ ンサーバ 2 0 は、 制御用計算機 5 0 を介 して、 ァ ク チユエ一夕に操作指合を出 し、 バルブ 4 0 0 を左に 回転させる。 逆に、 グラ フ ィ ッ ク ス 5 1 2 を強 く 指で押 すと、 マ ンマ シ ンサーバはバルブ 4 0 0 を右に回転させ る操作指令をァ クチユエ一夕に送る。 バルブ 4 0 0 の回 転する様子はカ メ ラ 6 0 によ って撮影され映像表示領域 2 0 0 に映しだされる。 バルブ 4 0 0 の回転に合わせて、 グラ フ ィ ッ ク ス 5 1 0 , 5 1 2 の表示を回転させて も よ い。 図形 5 1 0 , 5 1 2 のよ う に操作のために画面上に 表示されたグラ フ ィ ッ クスをグラ フ ィ ッ ク ス操作器と呼 ぶこ とにする。

グラ フ ィ ッ ク ス操作器 ( graphic control device) の 別な例を図 1 1 B に示す。 図 1 1 B において、 4 2 6 は オブジェ ク ト 1 3 4 の下部に接続されたパイ プ、 8 0 0 は映像上にグラ フ ィ ッ ク ス と して合成表示されたスラ イ ダ、 8 1 0 はスラ イ ダ 8 0 0 の操作つまみ、 4 2 8 はノ、。 イ ブ 4 2 6 上に合成表示された グ'ラ フ ィ ッ ク スでパイ プ 4 2 6 内の流量の変化を示す。 操作者が映像表示領域 2 0 0 上でパイ プ 4 2 6 を強 く 押す と、 ス ラ イ ダ 8 0 0 がパイ プ 4 2 6 の近傍に合成表示される。 さ らに、 現在 のパイ プ流量を示すグラ フ ィ ッ ク ス 4 2 8 がパイ プ

4 2 6 上に合成表示される。 グラ フ ィ ッ ク ス 4 2 8 は イ ブ 4 2 6 内の流量に応 じて例えばその幅と色が変化す る。 流量が多 く なる と幅が広がり、 少な く なる と細 く な る。 操作者が指でスラ イ ダ 8 0 0 のつまみ 8 1 0 を ドラ ッ グする と、 つまみ 8 1 0 の移動に応じてパイ プ 4 2 6 内の流量を制御する指合がマ ンマシ ンサーバ 2 0 から制 御用計算機 5 0 に送られる。 更に、 計算機からァ ク チュ エー 夕、 例えばポンプに操作指合が出されてポンプを制 御する。 これによ りパイ プ 4 2 6 内の流量が変化する と . その変化に応じてグラ フ ィ ッ ク ス 4 2 8 の表示形態が変 化する。

図 1 1 A , 1 1 Bのよ う に、 グラ フ ィ ッ ク操作器を、 監視映像に写っている機器の上または近傍に合成表示す る利点は下記である。

( 1 ) グラ フ ィ ッ ク操作器によ って実際に制御される機 器が現場の どの機器であるかを運転員に暗示でき る。 図

1 1 Aの例では、 グラ フ ィ ッ ク操作器 5 1 0 , 5 1 2 が 合成表示されたバルブ 4 0 0 を制御する こ とは運転員に は簡単に推測でき る し覚える こ と も容易である。 図 1 1 B の例では、 ス ラ イ ダ 1 8 0 0 が、 近 く に写っている イ ブ 4 2 6 内の流量を制御する という こ とは推測容易で あ o

( 2 ) 制御対象の機器の様子を見なが ら操作できる。 図 1 1 Bの例において、 グラ フ ィ ッ ク操作器 1 8 0 0 を操 作中に、 パイ プ 4 2 6 に亀裂が入っ た り、 液洩れが発生 すれば、 運転員はそれを目で確認する こ とができ、 すば や く 誤操作や異常に気づ く こ とができ る。

従来のグラ フ ィ 力 ノレマ ンマ シ ンィ ン タ 一 フ ェ ースでは， グラ フ ィ ッ ク操作器は現場の機器とは無関係に画面上に 配置されているため、 グラ フ ィ ッ ク操作器が実際に現場 のどの機器を制御するのかわかり に く かった。 また、 グ ラ フ ィ ッ ク操作器の表示されている場所と、 現場の監視 映像が表示されている場所とが離れていたため、 現場の 様子を見ながら操作するには何度も視線を移動しなけれ ばな らなかった。

図 1 1 Bではパイ プ 4 2 6 の映像の上に、 グラ フ イ ツ ク ス 4 2 6 を合成表示して、 パイ プ 4 2 6 の流量を示し ている。 このよ う に、 映像に映っている機器の上に、 グ ラ フ ィ ッ ク スを合成する こ とによ って、 機器の内部状態 な どの映像には映らない情報を補う こ とができ る。 これ によ って、 例えば、 機器の内部状態と外部状態を同時に 参照する こ とができ、 機器の伏態を総合的に監視、 判断 でき る よ う になる。

図 1 2 に操作可能なオブジェ ク ト明示する方法を示す。 映像に映っている事物すべてが操作可能とは限らないの で、 操作可能なオブジ ェ ク ト を明示する手段が必要にな る。 図 1 2 において、 メ ニュ ー 2 2 0 を指で軽 く ふれる と、 グラ フ ィ ッ ク ス 5 1 4 〜 5 2 4 が表示される。 グラ フ ィ ッ ク ス 5 1 4 〜 5 2 4 は、 それぞれオブジ ェ ク ト 4 0 0 , 4 1 2 , 4 1 4 ， 4 1 6 , 4 2 2 ， 4 2 4 が操 作可能な こ とを明示する。 本実施例の場合は、 オブジ ェ ク 卜の外挿矩形を表示 している。 もちろん、 オブジ ェ ク 卜の明示には、 も っ と実物に近いグラ フ ィ ッ ク スを表示 するな ど、 他に も様々 な表示方法が考え られる。

さ らに、 操作可能なオブジ ェ ク トだけでな く 、 あ らゆ るォブジェ ク トを明示する手段を別途設けて も よい。 例 えば、 メニュー 2 2 0 を指で強 く 押すと映像に映ってい るオブジェ ク ト全てを明示する よ う に しても よい。

上記ォブジ X ク ト明示手段は、 操作可能なオブジ ェ ク ト を明示でき るだけでな く 、 例えば煙りや蒸気な どの視 界をさえぎる よ う な ものが発生した と きに も、 操作や事 故原因の究明を可能にする。 操作対象のオブジ ェ ク トが 煙り に被われて も操作対象となるォブジ ェ ク 卜がグラ フ イ ツ ク スによ って明示されるので、 操作ができ る。 また どこ に何の機器があるかわかるので煙り の発生源をつき とめる こ と も可能になる。

図 1 3 に、 テキス ト を入力 して、 そのテキス トが表示 されている映像を探索する例を示す。 図 1 3 において、 5 3 0 は映像に合成表示されたグラ フ ィ ッ ク ス、 6 0 0 はテキス ト探索を実行するための探索シー ト 、 6 1 0 は 探索キーによ って適合する別の映像を探索するための次 メ ニュ ー、 6 2 0 は探索を終了する こ とを指定するため の終了 メ ニ ュ ー、 6 3 0 は探索キーに入力するためのテ キス ト入力領域である。 メ ニ ュ ー領域 1 1 0 で探索を指 定する メ ニュ ーを選択する と、 探索シー ト 6 0 0 が表示 画面 1 0 0 上に表示される。 テキス ト入力領域 6 3 0 に キーボー ドから探索キ一 となるテ午ス トを入力 し、 リ タ — ンキ一を押すと、 探索が開始される。 マ ンマ シ ンサ一 バは探索キ一を含むよ う な事物を映せるカ メ ラを探索し. 探索したカ メ ラを探索キーがはっ き り見える よ う なカ メ ラ ワー ク に設定し、 探索したカ メ ラからの映像を映像表 示領域 2 0 0 に表示する。 映像内の探索キーに適合する 部分にはグラ フ ィ ッ クス 5 3 0 を合成表示して、 探索キ —に適合する部分を明示する。 テキス トを探索キ一 と し た映像探索によ って、 操作者は言葉によ って、 監視した い事物を映しだすこ とができ る。 この方法では、 カ メ ラ を切り替えた り、 カ メ ラの遠隔操作をする こ とな く 、 す ばや く 監視対象をみつける こ とができ る。 本実施例では テキス トの入力にキーボー ドを用いているが、 音声認識 装置や手書き文字認識装置な ど他の入力手段を用いて も よい。 また、 本実施例では、 探索キー と してテキス トを 用いたが、 探索キー と して図形を用い、 探索キーの図形 と適合する よ う な図形が表示されている よ う な映像を探 する よ う に して も よい。

本実施例の実現方法を図 1 4 から図 2 5 を用いて説明 する。 本実施例の主た る機能は、 映像内のォブ ジ ェ ク ト を指定 して、 そのオブジ ェ ク ト に基づいた動作を実行す る機能にあ る。 こ の機能を実現する プロ グラ ムの流れ図 を図 1 8 に示す。 映像表示領域 2 0 0 上で夕 ツ チパネ ル 1 2 が押さ れる と、 その押さ れた位置 （操作者が夕 ツ チ パネルな どの P D を使 っ て措定 した画面上の位置をィ べ ン ト位置と呼ぶ こ と にする） に映っ ている オブジ ェ ク ト を同定する （ステ ッ プ 1 0 0 0 ) 。 オブジ ェ ク 卜 が同定 でき た場合 （ィ ベ ン ト位置にオブジ ェ ク ト が存在する場 合） （ステ ッ プ 1 0 1 0 ) 、 そのオブジ ェ ク ト に対応 し て定義さ れている動作を実行する （ステ ッ プ 1 0 2 0 ) , イベ ン ト位置に映っ ている オブジ ェ ク ト は、 撮影.対象 のモデル と カ メ ラパラ メ ー タ とを参照 して同定する。 撮 影対象のモデルは、 撮影対象とな っている ォブジ ヱ ク ト の形状や、 位置に関する デー タである。 撮影対象のモデ ルはマ ンマ シ ンサー ノ ' 2 0 のディ ス ク 3 2 0 に保存さ れ プラ ン ト運転監視システム稼働時に、 メ イ ン メ モ リ

3 1 0 に読み上げ られる。 力 メ ラ ノくラ メ ー タ は、 撮影対 象のオブジ ェ ク ト をカ メ ラが どのよ う に撮影 しているか すなわちカ メ ラの位置、 姿勢、 画角、 向き な どのデー タ であ る。 カ メ ラ に現在設定さ れている 力 メ ラ ノくラ メ 一 夕 の値は、 カ メ ラ制御用 コ ン ト ロ ー ラ に問いあわせる とわ かる。 も ち ろん、 カ メ ラパラ メ 一 夕 をマ ン マ シ ン サ 一 ノく 2 0 で管理 して も よい。 すなわち、 マ ン マ シ ンサー バ 2 0 の メ イ ン メ モ リ 3 1 0 に 力 メ ラ ノ、。 ラ メ 一 夕 の現在値 を記憶する領域を確保し、 マ ンマ シ ンサーバ 2 0 がカ メ ラを遠隔操作する度に、 メ イ ン メ モ リ 3 1 0 に記憶され た力 メ ラ ノ、。ラ メ 一 夕 の値を更新する。 も ち ろん、 プラ ン ト運転監視システム稼働時にはマ ンマ シ ンサーバ 2 0 か ら全てのカ メ ラのパラ メ 一 夕を初期設定 してお く 。

撮影対象のモデル化の方法には様々 な ものが考えられ る。 本実施例では、 （ 1 ) 3 次元モデル、 （ 2 ) 2 次元 モデルの 2 つのモデルを併用する。 前記 2 つのモデルの 概要と、 長所、 短所を下記にま とめる。

( 1 ) 3 次元モデル

撮影対象の形状や位置を 3 次元座標系で定義したモデ ル。 長所は任意のカ メ ラパラ メ ータに対応してオブジェ ク トを同定でき る点。 すなわち、 カ メ ラを自由に操作し ながらオブジェ ク トを操作できる。' 短所は、 モデルを 3 次元空間で定義しなければな らないため、 モデルの作成 及びオブジェ ク ト の同定処理が 2 次元 （ 2 D ) モデルに 比べて複雑になる点。 ただし、 最近では、 プラ ン 卜の設 計や、 プラ ン ト内の装置の設計、 配置に C A D

(computer aided disign) を利用する場合も多 く 、 それ らのデ一夕を流用すれば 3 次元モデルの作成を容易にで き る。

( 2 ) 2 次元モデル

特定のカ メ ラパラ メ 一夕 ごとに、 2 次元座標系 （ディ スプレイ平面） でオブジェ ク トの形状や位置を定義する モデル。 長所はモデルの作成が容易な点。 画面上で図形 を描 く 要領でモ デ ルを定義でき る。 短所は、 あ らか じめ モデルを定義 してある 力 メ ラパラ メ 一 夕の映像に対 して しか操作できない点。 カ メ ラ操作の自由度を上げる には. よ り多 く の力 メ ラ ノ、。ラ メ 一 夕 ごとに、 対応する平面上で オブジ ェ ク ト の形状や位置を定義する必要がある。 多 く の運転監視シ ス テ ムでは、 あ らか じめ監視する場所が何 ケ所かに決っている場合が多い。 その場合には、 カ メ ラ パラ メ 一夕 も何種類かに決ま るため、 2 次元モデルの短 所は問題にな らない。

3 次元モデルに基づいてォブジヱ ク トを同定する方法 を図 1 4 から図 1 7 を用いて説明する。 図 6 に示 した力 メ ラ 6 0 の撮影対象を、 3 次元直交座標系 x y z (世界 座標系と呼ぶ） でモデル化した例を図 1 4 に示す。 こ こ では、 各ォブジ ヱ ク 卜の形状を平面、 直方体、 円筒な ど でモデル化している。 もちろん、 球や四面体な どよ り多 く の種類の 3 次元基本形状を用いて も よい。 また、 基本 形状の組み合せだけでな く よ り精密な形状モデルを用い て も よい。 操作対象となるオブジェ ク ト 4 0 0， 4 1 0 4 1 2 , 4 1 4 , 4 1 6 , 4 2 0 , 4 2 2 , 4 2 4 は、 モデル上ではそれぞれ平面 8 0 0， 8 1 0 , 8 1 2，

8 1 4 , 8 1 6 , 8 2 0 , 8 2 2 , 8 2 4 と してモデル 化されている。

図 1 5 を用いて、 カ メ ラ によ って撮影された映像と、 3 次元モデル との対応関係を説明する。 カ メ ラ による撮 影は、 3 次元空間内に配置されたオブジ ェ ク ト を 2 次元 平面 （映像表示領域 2 0 0 ) に投影する操作である。 す なわち、 映像表示領域 2 0 0 に表示された映像は、 3 次 元空間内に配置されたォブジ ェ ク トを 2 次元平面に透視 投影 した ものである。 画面上に と られた 2 次元直交座標 系 X s Y s を画面座標系 と呼ぶこ とにする と、 カ メ ラに よる撮影は、 世界座標系上の一点 （ x， y , ζ ) を画面 座標系上の一点 （ X s ， Y s ) へ写像する式 （ 1 ) と し て定式化でき る。

式 （ 1 ) における行列 Tを ビュ ー変換行列と呼ぶ o ビ ユ ー変更行列 Tの各要素は、 カ メ ラノヽ。ラ メ 一タ （力 メ ラ の位置、 姿勢、 向き、 画角） および映像表示領域 2 0 0 の大き さが与えられれば一意に決定される。 カ メ ラノ^ フ メ ータ は世界座標系で与える。 図 1 5 において、 力 メ ラ の位置は レ ンズの中心 O e の座標、 カ メ ラ の姿勢はベ ク 卜 ル 0 e Y e 、 カ メ ラの向きはべク ト ル O e Z e 、 に対 応する。

ォブジ ェ ク ト の同定処理は画面座標系上の一点 Pが指 定されたとき に 、 世界座標系上の どの点が画面座標系上 の点 P に投影されたのかを決定する処理である。 図 1 6 に示すよ う に、 力 メ ラの レ ンズの中心 0 e と画面座標系 上の点 P とを結んだ直線の延長棣上にある点は、 全て点 Pに投影される。 その直線上の点の内、 カ メ ラ によ って 実際に映像表示領域 2 0 0 上に投影される点は、 レ ン ズ の中心 0 e に最 も近いォブジ ェ ク ト 1 と直線 との交点で ある。 図 1 6 においては、 オブジ ェ ク ト 1 と直線 8 4 0 との交点 P 1 が、 カ メ ラ によ って、 映像表示領域 2 0 0 上の一点 Pに投影される。 すなわち、 イベン ト位置が P である とする と、 オブジェ ク ト 1 が同定される こ とにな o

カ メ ラバラ メ ー タから ビュ ー変換行列 Tを求める技術 や、 ビュ ー変換行列 Tに基づいて世界座標系で定義され たモデルを画面座標系に透視投影して表示する技術はグ ラ フ ィ ッ ク ス分野ではよ く 知られた技術である。 また、 透視投影に当 り、 カ メ ラに近いオブジェ ク トの面を画面 に投影し、 他のォブジ ヱ ク ト によ ってカ メ ラカヽら隠され ている面を画面に投影しない処理は、 陰面除去 （hidden surface e 1 imi nat i on)または可視面決定 (Visible- Surface Determinat ion)と呼ばれ、 すでに多 く のァルゴ リ ズムが開発されている。 これらの技術は、 例えば、 Fo 1 ey. vanDam. Fe i ner. Hughes著、 " Computer Graphics Principles and Practice" Add i son Wes 1 ey 発行

( 1 9 9 0 ) や、 Newman. Sproul 1著、 "Princi les of Interactive Computer Graphi cs" McGraw-H i 11 発行 ( 1 9 7 3 ) な どに詳し く 解説されている。 また、 多 く のいわゆる グ ラ フ ィ ッ ク ワ ー ク ス テ ー シ ョ ン では、 カ メ ラパラ メ ー タから ビュ ー変換行列の設定、 透視投影、 陰 面投影な どのグラ フ ィ ッ ク機能がハー ドウエアゃソ フ ト ウェアによ ってあ らか じめ組み込まれてお り、 それらを 高速に処理する こ とができ る。

本実施例ではこれ らのグラ フ ィ ッ ク機能を利用 してォ ブジヱ ク ト の同定処理を行う。 3 次元モデルにおいて、 操作の対象となるオブジェ ク 卜の面をあ らか じめ色分け し、 色によ ってその面がどのオブジェ ク ト に属するのか を識別でき る よ う に してお く 。 例えば、 図 1 4 において- 平面 8 0 0 , 8 1 0 , 8 1 2 , 8 1 4 , 8 1 6 , 8 2 0 , 8 2 2 , 8 2 4 にそれぞれ別な色を設定してお く 。 ォブ ジェ ク ト ごとに設定された色を I D (identofier)色と呼 ぶこ とにする。 この I D色付 3 次元モデルを用いた同定 処理の手顒を図 1 7 に示す。 まず、 現在のカ メ ラパラ メ 一夕を問い合わせ （ステッ プ 1 3 0 0 ) 、 問い合わせた カ メ ラパラ メ ータに基づいて ビュー変換行列を設定する (ステ ッ プ 1 3 1 0 ) マ ンマ シ ンサ一ノく 2 0 では常に 現在のカ メ ラの状態を管理しておき、 カ メ ラパラ メ 一 夕 の問い合わせがある と、 現在のカ メ ラ状態に応じてカ メ ラパラ メ ータを返す。 もちろん、 現在のカ メ ラ状態を力 メ ラ制御用 コ ン ト ローラで管理する よ う に して も よい。 ステ ッ プ 1 3 2 0 では、 ステッ プ 1 3 1 0 で設定された ビュ ー変換行列に基づいて、 色分け したモデルをグラ フ ィ ッ ク用フ レームバッ フ ァ 3 4 0 の裏バッ フ ァ に描画す る。 こ の描画では透視投影および陰面除去処理が行われ る。 裏バ ッ フ ァ に描画するため、 描画 した結果はデ ィ ス プ レ イ 1 0 には表示されない。 描画か終了 した ら、 ィ べ ノ 、 卜 位置に対応する裏バ ッ フ ァ の画素値を読み出す （ ス チ ッ プ 1 3 3 0 ) 。 画素値は、 ィベ ン ト位置に投影され たオブ ジ ェ ク ト の I D色にな っ ている。 I D色はォブ ジ ェ ク ト と一対一に対応 してお り、 オブジ ェ ク ト を同定で き る o

図 1 9 Aから図 2 5 を用いて、 2 次元モデルに基づい てオブジ ェ ク ト を同定する方法を説明する。 2 次元モデ ルでは、 世界座標系から画面座標系に投影された後のォ ブジ ェ ク 卜 の位置や形状を定義する。 カ メ ラの向きや画 角が変れば、 画面座標系に投影されたォブジ ェ ク 卜の位 置や形状が変化する。 従って、 2 次元モデルでは、 個々 のカ メ ラパラ メ ー タ ごとに、 オブジ ェ ク トの形状や位置 のデータを持つ必要がある。 本実施例では、 オブジ ェ ク ト を矩形領域でモデル化する。 すわなち、 ある カ メ ラパ ラ メ 一 夕 におけるオブジ ェ ク ト は、 画面座標系における 矩形領域の位置と大き さ によ って表現される。 も ちろん 他の図形 （例えば、 多角形や自由曲線な ど） を用いてモ デル化して も よい。

図 1 9 A， 1 9 B， 図 2 0 A， 2 0 B , 図 2 1 A， 2 1 B に カ メ ラ パラ メ 一 夕 と 2 次元モデル と の対応関係 を示す。 各図 1 9 A， 2 0 A , 2 1 A に、 個 々 のカ メ ラ パラ メ ー タ に対する映像表示領域 2 0 0 の表示形態を示 す。 ま た、 各図 1 9 B , 2 0 B , 2 1 B に個 々 のカ ； 、。ラ メ ー タ に対応する オブ ジ ェ ク 卜 の 2 次元モデルを示

—4—

9 。 図 1 9 A において、 映像上のオブ ジ ェ ク ト 4 1 0 , 4 1 2 , 4 1 4 , 4 1 6 ， 4 2 0 , 4 2 2 , 4 2 4 は、 図 1 9 B の 2 次元モデルではそれぞれ矩形領域 7 1 0 , 7 1 2 , 7 1 4 , 7 1 6 , 7 2 0 , 7 2 2 , 7 2 4 と し て表現さ れる。 一つのカ メ ラ パラ メ 一 夕 に対応 して、 ォ ブジ ェ ク ト をモデル化 した矩形の集ま り を領域フ レ ー ム と呼ぶ。 力 メ ラ ノ、。ラ メ ー タ 1 に対応する領域フ レ ーム 1 は矩形領域 7 1 0 , 7 1 2 , 7 1 4 , 7 1 6 , 7 2 0 , 7 2 2 ， 7 2 4 カ、 ら構成さ れる。 図 2 0 八， 2 0 8 , 図 2 1 A , 2 I B に異なる カ メ ラパラ メ ータ に対する領域 フ レ ー ムの例を示す。 図 2 0 A， 2 0 B において、 カ メ ラパラ メ ー タ に対応する領域フ レ ーム 2 は、 矩形'領域 7 4 0 , 7 4 2 , 7 4 6 ， 7 4 8 か ら構成される。 矩形領 域 7 4 0 ， 7 4 2 , 7 4 6 , 7 4 8 はそれぞれオブジ ェ ク ト 4 1 2 , 4 1 6 , 4 2 4 , 4 2 2 に対応する。 同様 に、 図 2 1 A， 2 1 B において、 力 メ ラ ノ、⁰ラ メ 一 夕 3 に 対応する領域フ レ ー ム 3 は、 矩形領域 7 3 0 から構成さ れる。 矩形領域 7 3 0 はオブジ ェ ク ト 4 0 0 に対応する 同 じオブジ ェ ク ト で も、 カ メ ラ パラ メ 一 夕が異なれば、 別な矩形領域に対応する。 例えば、 オブジ ェ ク ト 4 1 6 は、 カ メ ラパラ メ 一 夕 1 の時には、 矩形領域 7 1 6 に対 応 し、 カ メ ラ パラ メ 一 夕 2 の時には 7 4 2 に対応する。

図 2 3 ， 図 2 4 , 図 2 5 に 2 次元モデルのデー タ構造 を示す。 図 2 3 において、 1 3 0 0 は各カ メ に対応す る デ一 夕 を格納する 力 ズ デ一 ク テー ブル であ る。 '力 メ デー タ テーブル 1 3 0 0 には、 映像内の事物に対 して 操作か可能な カ メ ラ パラ メ ー タ のデ一 夕 と、 個々 の カ メ ラ ノ、。ラ メ ー タ に対応する領域フ レ ー ムのデー タ が格納さ れ 。

図 2 4 において、 1 3 2 0 はカ メ ラ パラ メ 一 夕 のデー 夕構造である。 カ メ ラパラ メ 一 夕 のデー タ は、 カ メ ラ の 水平方向の向 き であ る水平角、 カ メ ラ の垂直方向の向 き であ る垂直角、 ズー ムの度合を表す画角か らな る。 こ こ では、 カ メ ラ の姿勢や、 カ メ ラ の位置は固定であ る こ と を想定 している。 カ メ ラ の姿勢や、 カ メ ラ の位置を遠隔 操作でき る場合は、 それ らを制御する ためのデー タ も 力 メ ラ ノ、。 ラ メ 一 夕 1 3 2 0 に追加すればよい。 力 メ ラ ノ、。 ラ メ ー タ 1 3 2 0 は、 カ メ ラ をあ ら力、 じめ定義 したカ メ ラ パ ラ メ 一 夕 に設定する ために使われる。 すなわち、 マ ン マ シ ン サー ノく 2 0 は カ メ ラ パ ラ メ 一 夕 を カ メ ラ 制御用 コ ン ト ロ ー ラ に送 り 、 カ メ ラを遠隔操作する。 カ メ ラパラ メ ー タ 1 3 2 0 はオブジ ェ ク 卜 の同定処理に直接必要な 訳ではない。

図 2 5 は領域フ レ ー ム のデー タ構造を示す。 領域フ レ ー厶デ一 夕 は、 領域フ レ ー ムを構成する領域の個数 と、 各矩形領域に関する デー タ か らな る。 領域デー タ には、 画面座標系における矩形領域の位置 （ X ， y ) 、 矩形領 域の大き さ （ w , h ) 、 オブ ジ ェ ク ト の活性状態、 動作 付加情報か らな る。 オブ ジ ェ ク ト の活性状態は、 ォブジ ェ ク トが活性か不活性かを示すデー タである。 ォフ ジ エ ク 卜が不活性状態にある と き には、 そのォブジ ェ ク ト は 同定されない。 活性状態にあるオブジ ェ ク ト だけが同定 される。 動作には、 イ ベ ン ト Z動作対応テーブル

1 3 4 0 へのポイ ン タが格納される。 ィベン ト 動作対 応テーブル 1 3 4 0 には、 ォブジ ヱ ク 卜が P D によ って 指定された時に、 実行すべき動作が、 ィベン ト と対にな つ て格納される 。 こ こ で、 イ ベ ン ト と は、 P Dの操作種 別を指定する ものである。 例えば、 感圧タ ツ チパ ネ ル 1 2 を強 く 押 した場合と、 軽 く 押した場合ではィベン ト が異なる。 イベン トが発生する と、 イベン ト位置にある ォブジ ヱ ク 卜が同定され、 そのオブジ ェ ク ト に定義して ある イベン ト 動作対の内、 発生したィベン 卜 と適合す るィベ ン ト と対になっている動作が実行される。 領域フ レームの付加情報には、 矩形領域と してだけでは表しき れない、 ォブジ ヱ ク 卜 の付加的な情報 1 3 5 0 へのポィ ン 夕が格納される。 付加情報には様々 な ものがある。 例 えば、 オブジ ェ ク ト に描かれたテキス ト、 色、 ォブジ ェ ク 卜の名前、 関連情報 （例えば、 装置のマ二ュ アル、 メ ンテナ ン ス情報、 設計データな ど） がある。 これによ つ て、 オブジ ェ ク ト に描かれたテキス ト に基づいて、 ォブ ジ ェ ク トを検索した り、 指定されたオブジ ェ ク ト の関連 情報を表示 した り でき る。

図 2 2 に、 2 次元モデルを使ってオブジェ ク トを同定 する手順を示す。 まず、 現在のカ メ ラパラ 一 夕 に対応 す る領域フ レ ー ム を 力 メ ラ デ一 夕 チ ー ブル 1 3 0 0 カヽ ら 検索する （ ス テ ッ プ 1 2 0 0 ) 。 次に領域フ レ ー ムを構 成する領域の な かか ら 、 ィ ベ ン 卜 位置を含む領域を検索 する。 すなわち、 領域フ レ ー ムデー タ に格納さ れてい る 各領域の位置 と大き さ のデー タ と、 イ ベ ン ト 位置 と を比 較 し （ステ ッ プ 1 2 2 0 ) 、 イ ベ ン ト位置にあ る領域が 見つかっ た らその番号を上位の処理系に返す。 上位の処 理系は、 見つかっ た領域が活性状態か否かを調べ、 活性 状態だ っ た ら、 イ ベ ン ト に対応 して定義されている動作 を実行する。 ステ ッ プ 1 2 2 0 は、 イ ベ ン ト位置を含む 領域が見つかるか、 領域フ レ ーム内の全領域を調べ終る まで繰 り返される （ステ ッ プ 1 2 1 0 ) 。 .

2 次元モデルは 2 次元モデル定義ツールを使っ て定義 する。 2 次元モデル定義ツールは下記機能か らな る。 ( 1 ) カ メ ラ選択機能

該機能はプラ ン ト 内に配置 してあ る任意のカ メ ラ を選 択 し、 そのカ メ ラ か らの映像を画面に表示する機能をい う 。 カ メ ラ の選択方法 と して、 下記があ る。

• 画面上に表示されたブラ ン 卜 の配置図上でオブジ ェ ク ト を指定する こ と に よ り 、 そのオブジ ェ ク ト を呋すカ メ ラ を指定する。

• 画面上に表示さ れたブラ ン 卜 の配置図上で力 メ ラ の配 置されている場所を指定す る。

• 力 ラ の番号や名前な どの識別子を指定する。

( 2 ) カ メ ラ ワ ー ク設定機能 該機能は前記カ 選択機能によ て、 選択された 力 ラ を遠隔操作 して、 カ ズ の向きや画角を設定する機 能をい う 。

C 3 ) 図形作画機能

該機能は画面上に表示された映像上て、 図形を作画す る機能をい う。 作画は、 矩形、 円、 折れ線、 自由曲線な どの基本図形要素を組み合わせて描 く 。 本機能によ って オブジ ェ ク ト の映像を下敷に して、 オブジェ ク ト の概形 を描 く 。

( 4 ) イベン ト 動作対定義機能

該機能は図形作画機能で描いた少な く と も一つの図形 を指定して、 それに対 してィベン ト Z動作の対を定.義す る機能をいう。 イベン ト は、 メ ニュ ーを選択するか、 ィ ベン ト名をテキス ト と して入力するか して定義する。 動 作はあ らか じめ定義された動作をメ ニュ ーから選択する か、 記述言語を用いて記述する。 こ う した記述言語と し ては例えば、 情報処理学会論文誌、 第 3 0巻、 第 9号、

1 2 0 0ペー ジから 1 2 1 0 ペー ジに記載の 「 メ タュ 一 ザィ ン 夕 フ ヱースを有するユーザィ ン タ フ ヱ 一ス構築支 援シ ス テム 」 に書かれている記述言語 U I D Lを用いる , 本 ■=口-き口五口 U I D L ( U s e I n t e r f a c e

D e f i n i t i o n L a n g u a g e ) の一例 ¾■下 記に示す。

U I D Lでは、 下記形式でィベン 卜 Z動作対を定義す e v e n t ィ ベ ン ト 名 （ 千' パ イ ス .） ί動作 i

「 ィ ベ ン ト 名 」 は、 図形の規定す る画面上 O領域に対 して加え られた操作の種類を指定する。 感 Eク ッ チ パ ネ ル 1 2 を用 い る場合の ィ ベ ン 卜 名 と それに対応する操作 の内容を下記に示す。 ポ イ ン チ イ ン グデバイ ス と して、 マ ウ スな ど他の も のを用 いる場合には、 別な ィ ベ ン ト 名 を指定する こ と にな る。

s 0 f t - t o u c h ： 夕 ツ チパネ ル 1 2 に指で軽 く 夕 ツ チ した と き に発生する ィ ベ ン ト 。

h a r d - t o u c h ： 夕 ッ チ ノ、。 ネ ノレ 1 2 に指で強 く 夕 ツ チ した と き に発生する ィ ベ ン ト。

s 0 f t 一 0 f f ： 夕 ツ チノヽ。ネ ル 1 2 に指で軽 く タ ツ チ した後、 指が離れる と き に発生する イ ベ ン ト 。

h a r d - 0 f f ： 夕 ツ チパネ ル 1 2 に指で強 く タ ツ チ した後、 指が離れる と き に発生する イ ベ ン ト。

s 0 f t — d r a g ： タ ツ チ ノ、。 ネ ル 1 2 に指で軽 く 夕 ツ チ しなが ら指を動かす と発生する ィ ベ ン ト。

h a r d - d r a g ： タ ツ チ ノく ネ ル 1 2 に指で強 く 夕 ツ チ しなが ら指を動かす と発生する ィ ベ ン 卜。

「デバイ ス」 は、 同 じ ィ ベ ン ト を発生する装置が複数 あ る場合に、 どの装置か らその ィ ベ ン 卜 が発生 したかを 指定する。 例えは、 マ ウ スに左右 2 つのボ タ ン かあ る場 台に、 どち らのボ タ ン か ら発生 した ィ ベ ン 卜 であ るかを 指定する。 本実施例では上記 ィ ベ ン ト を発生する装置は 感圧 々 ッ + パ ネ ル 1 ;2 しかないのて、 指定 し な い。 「動作」 は、 「 イ ベ ン ト 名」 に対応する操作が、 図形 の規定する領域に加え られた と き に実行する処理を定義 する。 「動作」 はあ らか じめ用意された基本動作を、 通 常のプロ グラ ミ ン グ言語 （例えば、 C言語な ど） と同様 の構文 （分岐、 ジ ャ ン プ、 操り返 し、 手続き定義、 手続 き呼びだ しな ど） を用いて組みあわせて定義する。 基本 動作の例を下記に示す。

a c t i v a t e 0

オブジ ェ ク ト を活性化する。

d e a c t i v a t e 0

オブジェ ク ト を不活性化する。

a p e a r 0

オブジェ ク 卜の領域を規定している図形を表示する d i s a p p e a r 0

オブジ ェ ク トの領域を規定している図形の表示をやめ

-3 o

s w i t c h し a m e r a ( c a m e r a ,

r e g i o n )

引数 e a rn e r aで指定されるカ メ ラ の映像を、 引数 r e g i o nで指定される表示画面 1 0 0上の領域に表 示する。

s e t C a m e r a P a r a m e t e r

( c a m e r a , p a r a m e t e r )

カ メ ラ パ ラ メ 一 夕をカ メ ラ に設定する。 引数 c a m e r a は設定先の力 ラを指定する。 引数 P a r a m e t e r は設定すへ き 力 パ ラ ズ ー タ の値を指定す o g e t C a m e r a P a r a m e t e r

( c a m e r a , p a r a m e t e r )

現在の カ メ パ ラ メ ー タ の値を帰す。 引数 c a m e r a で指定さ れ る カ ラ の カ メ ラ パ ラ メ 一 夕 力べ引数 P a r a m e t e r に設定さ れ る。

c a 1 1 外部手続き名 （引数並び）

他のプロ グラ ミ ン グ言語 （例えば C言語） で作成 した 手続き を呼び出す。 呼び出す手続き と その引数はそれぞ れ 「外部手続き名 」 と 「引数並び」 で指定する

s e n d オブ ジ ェ ク ト 名 動作名 （引数並び）

他のオブジ ェ ク ト の基本動作、 ま たは手続き を呼び出 す。 呼び出す基本動作、 ま たは手繞き およ びそれ らの引 数はそれぞれ 「動作名」 、 「引数並び」 で指定する。

前記 2 次元モ デ ル定義ツー ル では下記手順に よ り 2 次 元モデルを作成する。

手順 1 ： カ メ ラ およ びカ メ ラ ワ ー ク の指定

前記 （ 1 ) カ メ ラ選択機能を用いて、 カ メ ラ を選択 し 画面上にその映像を表示する。 次に前記 （ 2 ) カ メ ラ ヮ ー ク設定機能を用いて、 カ メ ラ ワ ー ク を設定 し、 所望の 場所の映像を得る。

手順 2 ： オブ ジ ェ ク ト の概形を定義

手順 1 で表示 した映像内の事物の中でォブ ジ ニ ク 卜 と して定義 したいオブ ジ ェ ク ト の概形を前記 （ 2 ) 図形作 画機能を用 いて作画する。 手順 3 ： ィ ベ ン 1、 と動作の対を定義

前記 （' 4 .) ィ ベ ン 卜 Z動作対定義機能を用 いて、 手順 2 で作画 した少な く と も一つの図形を選択 して、 ィ ベ ン ト と動作の対を定義する。

手順 4 ： 定義内容の保存 必要に応 じて定義内容を保存する。 定義内容は図 2 3 図 2 4 、 図 2 5 に示 したデー タ構造で保存さ れる。 他の カ メ ラ や、 他のカ メ ラ ワ ー ク に対 して 2 次元モデルを作

5

4

成 したい と き は、 手順 1 か ら手順 4 ま でを繰 り 返す。

2 次元モデル定義ツー ルはマ ンマ シ ンサ ' 2 0 上に 実装 し、 デ ィ スプ レ イ 1 0 上に表示する よ う に して も よ い し、 全 く 別の ワ ー ク ス テー シ ョ ン、 ノ、。ー ソ ナノレ コ ン ビ 夕上に実装 して、 定義 した 2 次元モデルをマ ンマ シ ンサー バ 2 0 に転送する よ う に して も よい。 上述 した 2 次元モデル定義ツー ルの一例を図 2 6 に示 す。 図 2 6 において、 1 5 0 0 は 2 次元モデル定義ツ ー ル、 1 5 0 1 は領域フ レ ー ム の名前を入力する ためのテ キス ト 入力 フ ィ ール ド、 1 5 0 2 は基本図形 （直線、 矩 形、 楕円、 円弧、 折れ線、 多角形） を組み合わせて領域 フ レ ー ムを作画、 編集 し、 それに動作を定義する ための メ ニ ュ ー、 1 5 0 3 は作成 した領域フ レ ー厶を保存 した り 、 変更する ための管理 メ ニ ュ ー、 1 5 0 4 は カ 選 択する ための ニ ュ ー 、 1 5 0 5 1 5 0 9 は メ ニ ュ ー 1 5 0 4 で選択 した力 ズ ラ を遠隔操作 してパ ン、 ズーム させる ための ズ ニ ュ ー、 1 5 1 0 は メ ニ ュ ー 1 5 0 4 で 選択 した力 メ の映像を表示する領域であ る と と も に、 領域フ レ ー 厶を映像に重ねて作画する 領域、 1 5 1 1 は すフ ジ エ ク ト 4 1 4 をモチ ' ル 化す る ために領域 1 5 1 0 に作画さ れた矩形て、 1 5 1 2 はマ ウ ス、 夕 ツ チパ ネ ル な どのポ ィ ン テ ィ グ千'バ イ ス か ら の位置座標入力に連 動 して動 く ポイ ン タ であ る。 以下では、 ポイ ン テ ィ ン グ デバイ ス と して、 左右 2 つのボタ ン のついたマ ウ スを使 う こ と にする。 マ ウ スのボ タ ン を押 しなか ら、 マ ウ スを 動かす こ と を ド ッ グ、 マ ウ スのボ タ ン を動か さずにボ タ ン を押 し下げ、 解放する こ と を ク リ ッ ク 、 ク リ ッ ク を 続けて 2 回行う こ と を ダブル ク リ ッ ク と呼ぶ こ と にする , メ ニ ュ ― 1 5 0 2 の各項目 の機能は下記であ る。

直線 ： 直線を作画する機能。 本項目 を選択 した後、 領 域 1 5 1 0 内でマ ウ スを ドラ ッ グする と、 ドラ ッ グ開始 時のボイ ン 夕 1 5 1 2 の位置 と、 ド ラ ッ グ終了時のボイ ン 夕 1 5 1 2 の位置 と を結ぶ直線が作画さ れ る。

矩形 ： 矩形を作画する機能。 本項目 を選択 した後、 領 域 1 5 1 0 内でマ ウ スを ドラ ッ グする と、 ドラ ッ グ開始 時のボイ ン 夕 1 5 1 2 の位置 と、 ドラ ッ グ終了時のボイ ン 夕 1 5 1 2 の位置 とを対角の頂点 とする矩形が作画さ 楕円 ： 楕円を作画する機能。 本項目 を選択 した後、 領 域 1 5 1 0 内でマ ウ スを ド ラ ッ グする と、 ドラ ッ グ開始 時のボイ ン 夕 1 5 1 2 の位置 と、 ドラ ッ グ終了時のボイ ノン 1 2 の位置 と を対角線 とす る矩形に内接す る楕 円と （ 円を 含む .） が ί乍画さ れ る。

折れク 線 ： 折れ線を作画する機能。 本項 目 を選択 した後 m域 1 5 1 0 内でポ イ ク 1 5 1 2 の移動 とマ ウ ス の ク ッ ク を繰 り 返 し、 最後に同 じ 位置で 2 度 ク リ ッ ク する ク さ れた時のポ イ ン タ 1 5 1 2 の位置を順次 直線で結んででき る折れ線が作画さ れ る。

多角形 ： 多角形を作画する機能。 本項目 を選択 した後 編集領域 1 5 1 0 内でポイ ン タ 1 5 1 2 の移動 と ク リ ツ ク を繰 り返 し、 最後に同 じ位置で 2 度 ク リ ッ クする と、 ク リ ッ ク さ れた時のポイ ン タ 1 5 1 2 の位置を順次直線 で結び、 最後の点 と最初の点を直線で結んででき る多角 形が作画さ れ る。

削除 ： ポイ ン タ 1 5 1 2 で指定 した図形を削除する と 同時に、 前記図形をバ ッ フ ァ （ペース ト バ ッ フ ァ と呼 ぶ） に格納する。

複写 ： ポイ ン タ 1 5 i 2 で指定 した図形をペース 卜 バ ッ フ ァ に複写する。

貼付 ： ペー ス 卜 バ ッ フ ァ の内容を最 も最近マ ウ スが ク リ ッ ク さ れた時のポイ ン タ 1 5 1 2 の位置に作画する。

グルー プ ： ポイ ン タ 1 5 1 2 で指定さ れた複数の図形 を グル ープ化する。 グルー プ化さ れた複数の図形は以後 一つの図形 と して扱われる。 一つのオブ ジ ェ ク 卜 を複数 の図形を用いてモデル化する には、 それ らの図形を グル ープ化する。 グ'ル ープ化さ れた図形が一つだけ指定さ れ ている場合に本項目 か選択さ れ る と、 措定さ れた ゲル 一 プを解散さ せ、 と の複数の図形に どす

動作 ： ポ イ ン ク 1 5 1 2 で指定 し た図形に ィ ベ ン 卜 ， 作対を定義する ための動作定義 ン ー 卜 を呼ひ出す。 メ ニ ュ ー 1 ； 0 3 の各項 目 の機能は下記てあ る。

新規 ： 新 し く 領域 フ レ ー ムを定義する。

開 く ： 入力 フ ィ ー ル ド 1 5 0 1 で指定 した名前の領域 フ レ ー ムを呼び出 して、 領域 1 5 1 0 に表示する。 同時 に 、 呼び出 した領域 フ レ ー ム に対応する カ メ ラ に対応す る カ メ ラ パ ラ メ ー タ を設定 し、 そ の カ ズ ラ の映像を領域 1 5 1 0 に表示する。

保存 ： 定義 した領域フ レ ー ムを、 入力 フ ィ ー ル ド 1 5 0 1 で指定 した名前で、 カ メ ラ /力 メ ラ ノ、。 ラ メ 一 夕 と対 に して保存する。

終了 ： モ デ ル定義ツ ー ルを終了する 。

メ ニ ュ ー 1 5 0 5 〜 1 5 0 9 の機能は下記であ る。

ニ ュ ー 1 5 0 5 ： 力 メ ラ を上下左右にパ ン する 。 メ ニ ュ ー 1 5 0 6 ： カ メ ラ を 、 ズ ー ム イ ン す る 。

メ ニ ュ ー 1 5 0 7 カ メ ラ を、 ズ ー ム ア ウ ト す る 。 ズ ニ ュ — 1 5 0 8 一つ前 の 力 ズ ラ パ ラ メ ー タ に 力 メ ラ を設定す る 。

メ ニ ュ ー 1 !3 () 9 最後に保存 （ ニ ュ ー 1 5 () 3 の 頁 S 「保存」 を選択） し た と き の カ メ ラ パ ラ メ ー ク の値 二 カ メ ラ を設定する。

ニ ュ ー 1 5 0 4 を選択す る と、 領域 1 5 1 ϋ に選択 メ 映像つ、表示さ れ る _c ニ ュ ー 1 5 (1 5 5 0 9 を使 て 力 メ を遠隔操作 し、 所望の カ パ ^ 一 々 に設定す る 。 モ デ ル 定義 ツ ー ル 1 5 0 0 では 力 を ニ ュ ー 1 5 () 4 で選択 し ている か、 プ 卜 系統 図にア イ コ ン を表示 して カ メ ラ の配置を明示 し 、 ア イ コ ン を選択する 方式で力 を選択でき る よ う に し て も よ い。

モデル定義ツ ー ル 1 5 0 0 では、 基本図形 （直線、 矩 形、 楕円、 円弧、 折れ線、 多 5 角形） を組み合わせてォブ

8

ジ ェ ク 卜 をモデル 化する。 すなわち ある カ メ ラ ハ' ラ ー タ に よ っ て画面座標系に投影さ れ るォブジ ェ ク 卜 は、 一 つま たは複数の基本図形の位置 と大き さ によ っ て表現さ れる。 ォブジ X ク 卜 のモデルは、 領域 1 5 1 0 に表示さ れた映像を下敷にそ こ に映っ ている オブジ ェ ク ト の概形 を作画する要領で定義する。 通常の図形作画ツ ールを使 つ て作画する の と同様の方法でオブジ ェ ク ト の概形を作 画する。 メ ニ ュ ー 1 5 0 2 に よ っ て、 所望の基本図形を 選択 し、 選択 した基本図形の大き さ、 位置を領域 1 5 1 0 上でポイ ン タ 1 5 1 2 を使っ て指定する と領域 1 5 1 0 上に基本図形が作画される。 図 2 6 ではォブジ ク 卜 4 1 4 は矩形 1 5 1 1 に よ っ てモデル化さ れている。 あ る オブ ジ ェ ク ト をモデル化 した一つま たは複数の図形を モデ儿 ォブジ ェ ク ト と呼ぶ こ と にする。 オ ブ ジ ェ ク 卜 の概形を作画 した ら、 次に作画 した図 すなわちモデル ォブジ X ク 卜 に動作を定義する。 動作は 動作定義シ 一 卜 を使 て定義する。 ニ ュ 一 1 5 0 2 の 項 目 「定義」 を選択する と図 2 7 に示すよ う に動作定義 シ ー ト 1 5 0 0 力、開 く 。 図 2 7 に お いて 、 1 6 0 2 は ン 一 卜 1 6 0 ϋ を管理す る た め の メ ニ ュ ー 、 1 6 0 3 は ォ ブ ジ ェ ク ト 名 を人力 す る フ ィ 一 ド、 1 6 0 4 は ィ ベ ン 卜 の種類を選択する た めの メ ニ ュ ー 、 1 6 0 5 はォ っ ジ ェ ク ト にあ らか じめ定義さ れた基本的な動作を選択する メ ニ ュ ー 、 1 6 0 6 はイ ベ ン ト Ζ動作対を前記記述言語 U I D L を用 いて記述する領域であ る。

ィ ベ ン ト 動作対の記述 5に 9際 して、 ィ ベ ン 卜 の種類、 オブジ ェ ク 卜 の基本動作をそれぞれ メ ニ ュ ー 1 6 0 4 、 1 6 0 5 カヽ ら選択でき る。 メ ニ ュ ー 1 6 0 4 、 1 6 0 5 を選択する と、 選択 さ れた イ ベ ン ト 名 ま たは基本動作名 が領域 1 6 0 6 の入力位置に入力 さ れる。 こ れに よ つ て ィ ベ ン ト 名ゃ基本動作名をキーボー ドか ら入力する手間 が省け、 動作記述の労力が柽減される。

メ ニ ュ ー 1 6 0 2 の各項目 の機能は下記であ る。

保存 ： 定義 した動作定義対を領域フ レ ームデー タ の ィ ベ ン ト 動作/対応テーブル と して記憶する。

終了 ： 動作定義シー ト を終了 し、 モ デル定義ツ ー ル 1 5 0 0 に制御を戻す。

図 2 7 では、 オブ ジ ェ ク ト 4 1 4 をモデル化 した図形 1 5 1 1 に動作を定義 している様子を示 している。 入力 フ ィ 一 ノし ド 1 6 0 3 に は図形 1 5 1 1 の オ ブ ジ ェ ク ト 名 と して 「 P o w e r O n B u t t o n 」 カ 入力 さ れ ている。 そ して、 領域 1 6 0 6 には、 「ォ ' ジ ェ ト か 強 く 触られた ら、 R e m o t e P o w e r O n 0 とい う 手続きを呼び出す」 という イベ ン ト Z動作の対が 記述されている。

モデル定義が終了 した ら、 メ ニュー 1 5 0 3 の項目 「保存」 を選択 し、 定義内容を図 2 3 — 2 5 に示 したデ 一夕構造で保存する。 モデル定義ツール 1 5 0 0 をマ ン マシ ンサ 一 ノく 2 0 上で動か している場合には、 メ イ ン メ モ リ 3 1 0 およびディ ス ク 3 2 0 に記億される。

ォブジ ェ ク 卜のモデルを持つこ とによ って、 あるォブ ジ ェ ク 卜が映像内の どこ に どのよ う に表示されているか がわかる。 これによ つて、 オブジ ェ ク ト に関連する情報 を映像内のォブジ ヱ ク トの位置や形状に基づいてグラ フ イ ツ ク スを表示した り、 オブジェ ク トの映像を検索した りでき る。 下記に、 例を挙げる。

' ォブジ ェ ク トの名前、 機能、 操作マニュアル、 メ ンテ ナ ンス方法な どをォブジェ ク トの上、 または付近に合成 表示する。 例えば、 ある コマ ン ドを発行する と映像に映 つている各機器の名前を表示するな ど。

図 2 8 に、 ォブジ ヱ ク 卜 に関する説明をオブジ ェ ク ト のそばに表示する例を示す。 同図 おいて、 2 2 0 1 、 2 2 0 2 はそれぞれオブジェ ク ト 5 1 8 、 5 2 4 の機器 の名前と使用上の注意を表すグラ フ ィ ッ ク スである。

• グラ フ ィ ッ ク スで作成したオブジ ェ ク トを実際にカ メ ラで映されているかのよ う に実写の映像に合成表示する c · オブジ ェ ク トの付加情報を入力されたキー ワ ー ドに基 づいて検索 し、 該当する オブ ジ ェ ク ト を映すよ う に カ メ ラ ゃ カ メ ラ パ メ 一 夕 を設定する。

• 力 メ ラ では映す こ と のでき ないォブ ジ ヱ ク 卜 内部の構 造を、 映像内のオブ ジ ェ ク 卜 に合成表示する。 例えば、 配管内の水流の様子を他のセ ンサか ら得 られたデー タ に 基づいて シ ミ ュ レ ー ン ョ ン し、 その結果を実写の映像に 映っ ている配管の上に合成表示する。 同様に、 ボイ ラ の 中の火炎の様子 （例えば、 セ ンサか ら得 られた情報に基 づいて作成さ れた温度分布図） を表すグラ フ ィ ッ ク スを 映像内のボイ ラ に合成表示する。

• 現在注目すべき オブジ ェ ク ト を、 グラ フ ィ ッ ク スに よ り 明示する。 例えば、 セ ンサによ っ て異常が検知された と き、 映像内のオブジ ェ ク ト に グラ フ ィ ッ ク スを合成表 示する。 ま た、 ト レ ン ドグラ フ に表示さ れている デー タ に関連する映像内のオブジ ェ ク 卜 に グラ フ ィ ッ ク スを合 成 して、 デー タ と映像内のオブジ ェ ク 卜 の関連がす ぐわ 力、る よ う に " 3 る。

以上の実施例では、 通常のカ メ ラで撮影さ れる映像を 用いているが、 特殊なカ メ ラ （赤外線カ メ ラ、 魚眼 レ ン ズ装着カ メ ラ、 サーモ グラ フ ィ な ど） で撮影 した映像や 画像処理後の映像に対 して も本発明が適用でき る こ と は も ち ろんであ る。

本実施例の効果は、 下記 （ 1 ) か ら （ 6 ) の少な く と も一つを達成でき る こ とであ る。

C 1 ) 遠隔運転監視 システムな どにおいて、 運転員か 操作の対象や操作結果を直感的に把握でき る よ う にな り 誤操作が減る。

( 2 ) カ メ ラ の選択や、 カ メ ラ の遠隔操作に煩わされ る こ とな く 、 監視したい と こ ろの映像を簡単に見る こ と ができ る。

( 3 ) 監視用映像上で操作を行なう こ とができ る。 こ のため、 監視モニタ と操作盤とを分ける必要がな く な り 遠隔運転監視シ ス テ ム の小型化、 省スペー ス化を図る こ とができ る。

( 4 ) カ メ ラ映像に グラ フ ィ ッ ク スを合成表示する こ と によ り、 それぞれの長所を生か し、 短所を補う こ とがで き る。 すなわち、 現場の臨場感を伝えながら、 重要な部 分を強調する こ とができ る。

( 5 ) 異種の情報を素早 く 相互参照でき る表示。 例え ば、 カ メ ラ映像で現在監視 している部分を指定するだけ で、 その部分に関連するセ ンサの値を示す ト レ ン ドグラ フを表示させる こ とができ る。 これによ り、 現場の状況 を総合的に判断でき る よ う になる。

( 6 ) 映像に対 して直接操作を加える よ う なマ ンマ シ ン を簡単に設計、 開発でき る よ う になる。

尚、 本実施例においては、 複数のカ メ ラ映像を用いた が、 複数のディ ス ク （例えば光ディ ス ク） 再生装置から の映像を用いる よ う に して も良い。

次に本発明の別の実施例 （第 2 実施例） であるプラ ン ト制御監視シ ス テムを図 2 9 か ら図 6 0 までを用いて説 明する。

以下の実施例ては、 映像又は音と制御のために使用す る デー タ （制御デー タ） を時間的に同期させて再生する こ と、 映像又は音声と制御デー タを相互に参照させる こ と、 映像又は音声 と制御デー タ とを合成する こ とを、 映 像又は音と制御デー タ とを関連づける という 。

図 2 9 は本実施例のプラ ン ト制御監視システムの構成 を表わす。 工場の現場における監視対象物である装置 (以下単に制御対象装置と呼ぶ） 2 1 0 1 は、 各時刻で の運転状況を示すプロ セスデー タをケーブル 2 1 3 5 を 通 して、 第 1 の入力手段である制御用計算機 2 1 0 2 に 送る。 制御用計算機 2 1 0 2 ではプロ セ スデー タ を分析 し、 制御対象装置 2 1 0 1 に制御信号をケーブル · 2 1 3 6 を通 して送る。 また、 ケーブル 2 1 3 7 を通 して L A Ν 2 1 2 0 にプロセスデータを流し、 ケーブル 2 1 3 8 を通 して L A N 2 1 2 0 から流れて く る操作員命令を受 け取り、 処理する。 以上のよ う に、 制御用計算機 2 1 0 2 の主な機能はプロセスデータの収集、 プロセスデータ の L A Nへの出力、 操作員命令の L A Nか らの入力、 制 御対象装置 2 1 0 1 へのプロセス制御信号の出力である L A N 2 1 2 0 は、 E t h e r n e t 等のケーブルで 操作員命合、 プロセスデー タ等の信号を流す。 L A N 2 1 2 0 は、 制御用計算機 2 1 0 2 からの出力用ケープ ル 2 1 3 7 、 制御用計算機 2 1 0 2 への入力用ケーブル 2 1 3 8 、 デー タベース 2 1 0 4 からの出力用ケーブル 2 1 4 3 、 デー タベー ス 2 1 0 4 への入力用ケープル 2 1 4 4 、 ワ ー ク ステ一 シ ョ ン 2 1 0 3 からの出力用ケ 一 ブル ； 2 1 4 0 、 ワ ー ク ステ一 シ ヨ ン 2 1 0 3 への入力 用ケーブル 2 1 3 9 で、 各機器と接続している。

第 1 、 第 3 の記憶ュニ ッ 卜 および第 1 の再生ュニ ッ ト であるデー タベー ス 2 1 0 4 は L A N 2 1 2 0 に流れて いるプロセスデータ等をケ一ブル 2 1 4 4 を通して受け 取り、 内部に持っている時計が出力する時刻 t と と もに 記録する。 また、 ケープル 2 1 4 4 を通してデー夕読み だ しの命令が入力された際には、 読みだし指定を受けた デ一夕をケーブル 2 1 4 3 を通 して L A N 2 1 2 0 に送 複数台の I T Vカ メ ラ 2 1 1 0 は、 制御信号を'入力す る こ とでパ ン、 チル ト、 ズーム等の遠隔操作ができ る 力 メ ラ制御装置、 及びカ メ ラ と共に動 く 音声マイ クが取付 けられている。 カ メ ラ 2 1 1 0 は制御対象装置 2 1 0 1 の映像、 音声をケーブル 2 1 3 0 、 2 1 3 1 を通して、 スィ ッ チ ャ 2 1 0 9 に送る。 スィ ッ チャ 2 1 0 9 は、 ヮ ー ク ステー シ ョ ン 2 1 0 3 から入力するカ メ ラ制御信号 をケーブル 2 1 3 2 を通してカ メ ラ 2 1 1 0 に送る。 I T Vカ メ ラ 2 1 1 0 は、 第 2 の入力ュニ ッ トである。

第 2 の記憶ュニ ッ ト ぉよび第 2 の再生ュニ ッ トである 映像音声記録部 2 1 0 8 は、 光ディ ス ク等のラ ンダムァ クセスが可能な ものを用いる。 ビデオテープの様な もの でも よいがこの場合はデー タの探索が逐次的であるため デー タ の探索及び表示の時間がかかる。 I T V カ メ ラ 2 1 1 0 か らの全ての映像、 音声はス ィ ッ チ ャ 2 1 0 9 をス ル ー ア ウ ト してケ ーブル 2 1 3 3 カヽ ら入力 さ れ る。 ま た制御部であ る ワ ー ク ステー シ ョ ン 2 1 0 3 がス イ ツ チ ヤ 2 1 0 9 を通 してケーブル 2 1 4 5 で読みだ し命合 を入力 した場合は、 指定さ れた映像、 音声情報をケープ ル 2 1 3 4 を通 してスィ ッ チ ャ 2 1 0 9 に出力する。

スィ ッ チ ャ 2 1 0 9 は、 入力する複数の映像、 音声を ワ ー ク ステー シ ョ ン 2 1 0 3 にケーブル 2 1 4 1 を通 し て送る際の映像音声切 り 替えスィ ッ チであ る と共に、 ヮ — ク ステー シ ョ ン 2 1 0 3 カヽ らケーブル 2 1 4 2 を通 し て出力する カ メ ラ制御信号、 記録映像呼び出 し信号を、 カ メ ラ 2 1 1 0 、 映像音声記録部 2 1 0 8 に送る際の信 号送信先切 り 替えスィ ツ チであ る。

ワ ー ク ステー シ ョ ン 2 1 0 3 は、 操作員への出力ュニ ッ 卜 と して第 1 、 第 3 の出力ュニ ッ ト であ る表示用 デ ィ スプ レ イ 2 1 1 1 、 ス ピー カ 一 2 1 1 2 、 操作員か らの 入力ュニ ッ ト （測定デー タ 出力指定ュニ ッ ト 、 選択対象 を選択するュニ ッ ト、 測定デー タ の探索値を指定する ュ ニ ッ ト ） と してキー ボー ド 2 1 0 6 、 マ ウ ス 2 1 0 5 お よ び夕 ツ チパネ ル 2 1 0 7 等の入力デバイ ス と接続 して いる。 ま た、 ケーブル 2 1 3 9 、 2 1 4 0 で L A N 2 1 2 0 と、 ケーブル 2 1 4 1 、 2 1 4 2 でスィ ッ チ ャ 2 1 0 9 と接続する。 ワ ー ク ステー シ ョ ン 2 1 0 3 は、 ー ブル 2 1 3 9 か ら入力する プロ セスデー タ を処理 し 表示画面を作成 して、 ケ一ブル 2 1 4 1 か ら入力する映 像デ一 夕 と共にデ ィ スプ レ イ 2 1 1 1 に表示する。 一方 ケー ブル 2 1 4 1 で入力する音声デー タ はス ピー カ ー 2 1 1 2 で出力する。 ス ピーカ 一 2 1 1 2 と表示用デ ィ スプ レ イ 2 1 1 1 と は、 第 2 の出力ユニ ッ ト であ る。 ま た、 操作員か らのキーボー ド 2 1 0 6 によ るキー入力や マウ ス 2 1 0 5 お よ び夕 ツ チパネル 2 1 0 7 等入力デバ イ スか らの入力はワ ー ク ステー シ ョ ン 2 1 0 3 内で処理 さ れ、 制御対象装置 2 1 0 1 の制御コ ー ド と してケープ ル 2 1 4 0 で出力 した り、 映像、 音声の切 り 替えスイ ツ チ ヤ 2 1 0 9 への切 り 替え命令や、 カ メ ラ 2 1 1 0 の制 御コ ー ド、 映像、 音声記録部 2 1 0 8 への呼び出 し コ ー ド と して、 ケーブル 2 1 4 2 で出力する。

操作員はディ スプ レ イ 2 1 1 1 上に表示された映像、 文字、 グラ フ ィ ッ ク スで示される システムの状況を監視 し、 必要な操作、 およ び命令をマウス 2 1 0 5 、 キ一 ボ ー ド 2 1 0 6 、 夕 ツ チバネル 2 1 0 7 を用いて行な う 。 以下説明上、 操作員か らの入力デバイ ス と しては、 タ ツ チパネル 2 1 0 7 を用いる。 も ち ろん他のデバイ スで も 構わない。

つぎに図 3 0 において ワ ー ク ステー シ ョ ン 2 1 0 3 の 内部構造を示す。 2 2 0 1 は C P U 、 2 2 0 2 は主記憶 2 2 0 3 は 1 〇、 2 2 0 4 はディ スプ レ イ 2 1 1 1 に プロセスデー タ を表示するための グラ フ ィ ッ ク ス画面フ レ ームノく ッ フ ァ 、 2 2 0 5 は入力 した ビデオ信号をデジ 夕 ル信号に換え る デ ィ ジ タ イ ザ、 2 2 0 6 は ビデオ用 フ レ 一 厶バ ッ フ ァ 、 2 2 0 7 は グラ フ ィ ッ ク ス画面 と映像 と をプ レ ン ドする ブ レ ン ド回路てあ る。

図 3 1 において映像、 音声記録部 2 1 0 8 の構成を示 す。 ワ ー ク ス テ ー シ ョ ン 2 1 0 3 か らの各種命令を受け 取 り 処理する と共に記録、 再生の命令を出す C P U 2 3 0 1 、 映像のバ ッ フ ァ リ ン グ等に用いる主記憶 2 3 0 2 . I T Vカ メ ラ 2 1 1 0 か らの信号をデジ タ ル化する と共 に、 デジ タ ル信号を ワ ー ク ス テー シ ョ ン 2 1 0 3 へ送る アナ ロ グ信号に変える A Dノ D A ( ア ナ ロ グ . デジ タ ル /デジ タ ル · ア ナロ グ） 変換器 2 3 0 3 、 映像音声記録 読みだ し部 2 3 0 4 とか らな る。 ·

図 3 2 はプロ セス制御監視シ ス テムにおける ディ スプ レ イ画面を表 している。 ディ スプ レ イ画面は、 プロ セス 全体構成図 2 4 0 1 と、 お も に I T V カ メ ラか らの映像 を表示する動画像表示領域 2 4 0 2 と、 制御対象装置 2 1 0 1 か らのプロ セスデー タ を表示する ト レ ン ドグラ フ 2 4 0 3 と、 時計 2 4 0 6 、 スィ ッ チ、 ヘルプ情報等を 表示する ワ ー ク 領域 2 4 0 4 と、 プ ロ セ スデー タ表示用 メ ー タ 一 2 4 0 5 と、 メ ニュ ー領域 2 4 0 7 と力、 らな る メ ニ ュ ー領域 2 4 0 7 内には、 カ メ ラ切 り 替えボタ ン 2 4 0 8 、 映像内、 プロ セスデー タ 内におけ る選択対象指 定ボタ ン 2 4 0 9 、 監視モー ド と再生モー ドの切 り 替え 標準再生、 ス ロ ー再生の切 り 替えボタ ン 2 4 1 0 、 簡単 なエデ ィ タ ー呼び出 し、 又は表示する グラ フ の選択ボ タ ン 2 4 1 1 、 表示する デ一 夕の選択ボタ ン 2 4 1 2 、 お よびヘルプボタ ン 2 4 1 3 等を表示する。 こ こ で制御対 象装置 2 1 0 1 か らのプロセスデータを表示する もの と して、 他に、 デー タ表や、 スケ一ラー等があ って も よい ま たディ スプレ イ上には上に挙げたデー タ表示手段が複 数個あ つて も よい。

図 3 3 はプロセスデータを表示する ト レ ン ドグラ フ

2 4 0 3 をよ り詳細に表 した ものである。 ト レ ン ドグラ フ 2 4 0 3 はデータ表示部 2 5 0 1 、 データ項目表示部 2 5 0 2 、 時刻力 一 ソ ノレ 2 5 0 3 、 時間軸 2 5 0 4 、 デ 一夕値力一 ソル 2 5 0 5 、 時間軸移動ボタ ン 2 5 0 6、 2 5 0 7 からなる。 .

プロセスデ一夕はデータ表示部 2 5 0 1 にグラ フ と し て表示される と と もに、 データ項目表示部 2 5 0 2 にそ の名前を表示する。 デ一夕、 およびその名前の対応は線 の太さ、 および色または線の種類で行う。

時刻カー ソル 2 5 0 3 は現在ディ スプレイ上に表示 し いるすべてのデータ （例えばメ ータ一 2 4 0 5 の示して いるデータ値、 映像 2 4 0 2 、 時計 2 4 0 6 の時刻、 ト レ ン ドグラ フ 2 4 0 3 の時刻カー ソル 2 5 0 3 上の点） の生成または記録 した時刻を時間軸 2 5 0 4 を用いて表 す。 すなわち、 ト レ ン ド グラ フ 2 4 0 3 の時刻カ ー ソ ル 2 5 0 3 は、 現在表示しているデータの記録した時刻を 表す時刻表示ユニ ッ トである。

時間軸 2 5 0 4 は表示すべきデータの発生 した時刻が. 現在表示 している時間軸 2 5 0 4 内にない場合には、 表 示 している時刻の値が右方向 （時間を戻す方向、 以下逆 方向 と呼ぶ） ま たは左方向 （時間を進ませる方向、 以下 正方向 と呼ぶ） に移動する こ とによ り、 時間軸 2 5 0 4 内にその時刻の値を表示する。 また時間軸 2 5 0 4 は拡 大、 縮小が可能で、 区間を指定 して拡大、 縮小する こ と ができ る。 これによ つて詳し く 見たい区間は時間軸 2 5 0 4 の拡大を行ない、 そ う でない区間は縮小を行な う こ とができ る。

時間軸移動ボタ ン 2 5 0 7 は時間軸 2 5 0 4 に表示 し ている時刻の値を右方向に移動させ、 表示している時刻 よ り前の時刻を表示する。 一方、 ボタ ン 2 5 0 8 は、 左 方向に移動させ、 表示 している時刻よ り後の時刻を表示 する。

デ一夕値カ ー ソ ル 2 5 0 5 は、 プロ セスデー タ の探索 を行な う ものである。 探索したいプロセスデータを選択 した後、 データ値力 一 ソルを探索値に持って行 く と、 時 間軸 2 5 0 4 及び時刻力一 ソ ル 2 5 0 3 が移動 して、 選 択 したデー タが探索値をと る時点に時刻カ ー ソ ル 2 5 0 3 が来る よ う になる。

以下の例では、 プロセスデー タ をディ スプレ イ に表示 するデータ表示ュニ ッ ト と して ト レ ン ドグラ フを用いる こ とにする。 も ち ろん ト レ ン ドグラ フ以外のデー タ表示 ュニ ッ トでも よレヽ。

本実施例のプロ セ ス監視システムにおいては以下の機 能がある。

( 1 ) 記録 した映像を再生する操作で、 映像、 音声を 再生するだけでな く 、 その映像が撮られた時点のプロセ スデー タを呼び出 し、 表示する。

( 2 ) ト レ ン ド グ ラ フ の時刻力 一 ソ ル 2 5 0 3 等時刻表 示ユニ ッ ト を用いて時刻を指定する こ とによ り、 そのデ 一夕が記録された時点の映像及び音声と、 その時点での プロセスデータを呼び出 し、 表示する。

( 3 ) プロセスデー タ、 及びその探索値を指定する 二 と によ り、 そのデータの探索を行い、 そのデ一夕を呼び出 し、 表示する と共に、 そのデータが記録された時点の映 像と、 その時点での他のプロセスデータを呼び出 し、 表 示する。

( 4 ) 記録した映像を再生する際に、 その再生速度によ り プロセスデータの時間に対する表示頻度を変える。

( 5 ) プロセスデータの時刻に関する表示頻度をあ ら かじめ指定する こ とで、 映像再生時にその表示頻度に合 わせた映像、 音声の再生速度を決定し、 再生、 表示する <

( 6 ) 操作員から操作情報を記録 し、 映像再生の際に 操作員の操作も再生する。

( 7 ) 操作員から操作情報を記録 し、 操作員の操作デ — 夕を指定する こ とによ り、 その操作を探索し、 操作が 行われた時点の映像、 およびプロセスデータを呼び出 し、 表不す。。

( 8 ) 映像内に操作員が夕 ツ チパネルを用いて選択で き る選択対象を定義 してお き、 映像再生時にそれを操作 員が選択する こ と に よ り 、 関連する プロ セスデー タ を表 不する。

( 9 ) 映像内に操作員が夕 ツ チパネ ルを用いて選択でき る選択対象を定義 しておき、 映像再生時にそれを操作員 が選択する こ とによ り、 関連する プロセスデー タ を強調 表示する。

( 1 0 ) 映像内に操作員がタ ツ チパネルを用いて選択で き る選択対象を定義 しておき、 映像再生時にそれを操作 員が選択する こ とによ り、 関連するプロセスデ一 夕 に関 する選択メ ニュ ーを表示し、 その メ ニューから一項目を 選択 した場合、 選択された項目のプロセステ一夕を表示 する。

( 1 1 ) 映像内に操作員がタ ツ チパネルを用いて選択でき る選択対象を定義しておき、 映像再生時にそれを操作員 が選択する こ とによ り、 関連するプロセスデータを映像 内の選択対象上に表示する。

( 1 2) 映像内に操作員がタ ツ チパネルを用いて選択でき る選択対象を定義しておき、 映像再生時にそれを操作員 が選択する こ とによ り、 関連するプロセスデー タを映像 上にコ ン ピュ ー タ グラ フ ィ ッ ク スで重ねて表示する。

( 1 3 ) 映像内に操作員が夕 ツ チパネルを用いて選択でき る選択対象を定義 しておき、 映像再生時にそれを操作員 が選択する こ とによ り、 関連する映像内の他の選択対象 を強調表示する。 ( 1 4 ) 映像内に操作員が夕 ツ チパネルを用いて選択でき る選択対象を定義 しておき、 映像再生時にそれを操作員 が選択する こ とによ り、 その選択対象の付加情報を表示 する。

( 1 5 ) 映像内に選択対象を定義 しておき、 映像再生時に プロセスデータを操作員が選択する こ とによ り、 選択 し たプロセスデータに関連する映像に切り替わる と共に、 映像内の選択対象を表示する。

( 1 6 ) 映像内に選択対象を定義 しておき、 映像再生時に プロ セスデータを操作員が選択する こ とによ り 、 選択 し たプロセスデ一夕に関連する映像に切り替わる と共に、 映像内の選択対象を表示しそのデータ値を選択対象上に 重ねて表示する。

( 17 ) 映像内に選択対象を定義しておき、 映像再生時に プロセスデータを操作員が選択する こ とによ り、 選択 し たプロセスデー タ に関連する映像に切り替わる と共に、 映像内の選択対象を表示 しそのデータ値をコ ン ピュ ータ —グラ フ ィ ッ クスで重ねて表示する。

以下、 記録されたプロセスデータ、 映像データ、 音声 デー タの再生について上記機能を詳し く 説明する。

図 2 9 から図 3 9 を用いて機能 1 を説明する。 モー ド 切替ボタ ン 2 4 1 0 を夕 ツ チパネルを用いて選択する事 によ り記録情報標準再生モー ドになる。 再生を している と き は、 再生で使われているの とは別の光ディ ス ク に記 録を行な う。 こ の時、 図 3 2 に示される よ う に、 ワー ク 領域 2 4 0 4 に ビデオコ ン ト ロ 一 ラ 一 2 6 0 3 が表示さ れる。 図 3 5 Aに示される よ う に、 ビデオコ ン ト ロ ー ラ 一は順方向 2 倍速再生ポタ ン 2 7 0 5 、 順方向標準速度 再生ボタ ン 2 7 0 4 、 逆方向 2 倍速再生ボタ ン 2 7 0 1 逆方向標準速度再生ボタ ン 2 7 0 2 、 および映像停止ボ タ ン 2 7 0 3 を持つ。 また、 モー ド切替ボタ ン 2 4 1 0 でス ロ ー モ ー ド再生を選択すれば、 図 3 5 B に示す様に 逆方向 2 倍速ボタ ン、 順方向 2 倍速ボタ ンの代わ り に逆 方向 1 Z 2 倍速再生ボタ ン 2 7 0 6 、 順方向 1 / 2 倍再 生ボタ ン 2 7 0 7 を表示する。 ただ し、 こ こ で標準速度 で再生する こ とは映像、 音声を記録した時と同 じ速度で 再生する こ とであ り、 順方向 とは、 時間が進む方向であ る。 従って例えば逆方向 2 倍速再生とは、 時間の進む方 向 とは逆方向に記録した ときの 2 倍の速度で再生する、 という意味である。 こ こでは、 記録情報を再生する際に 再生モー ドに標準とスロ ーを設けたが、 このよ う に分け な く て も良い。

順方向標準速度再生ボタ ン 2 7 0 4 をタ ツ チパネルで 押すこ とによ り、 順方向、 標準速度で映像デー タおよ び 音声データが再生され、 映像表示部 2 4 0 2 に表示され る。 この時、 この映像にあわせて ト レ ン ドグラ フ内の時 刻カ ー ソル 2 5 0 3 が移動 し、 表示している映像が記録 された時刻におけるプロセスデー タが時刻カ ー ソ ル 2 5 0 3 上に来る よ う にする。 時刻カ ー ソ ル 2 5 0 3 はある 一定の と こ ろ まで来る と、 プ ロ セ スデー タ をデ一 々ベー ス 2 1 0 4 か ら呼び出 し、 時間軸 2 5 0 4 に表示してい る時刻値が左方向 （ または右方向） に移動する こ とによ り 、 現在時間軸 2 5 0 4 上にない新たな時刻のプロ セ ス デー タを表示する。 こ の他にメ 一 タ ー 2 4 0 5 等、 他の プロセスデー タ表示部も映像が撮られたと き にそのデー 夕がと っていた値を映像が表示される と共に次々 に表示 する。 以上のよ う に映像を再生する操作で映像、 音声が 再生するだけでな く 、 その映像が撮られた時点のプロセ スデ一 夕を呼び出 し表示する。

これによ り映像を見ながらその時点におけるプロセス データを参照する こ とができる。 また他の再生ボタ ンを 用いる こ とで映像情報の早送り、 逆再生、 スロー再生等 をプロセスデータを参照しながら行な う こ とが出来、 運 転状況の診断、 制御指合を出すための補助、 異常時点の 発見、 解析等に役立つ。

次に本例の実現方法について示す。

まず、 本例のプロセスデータおよひ'映像、 音声データ のデータ構造および記録方法を示す。 図 3 6 Aにおいて データ 2 8 0 0 は制御装置 2 1 0 1 から制御用計算機に 送られるプロセスデータの構造を表わす。 一般に一つの ケーブルで複数の種類のデータを入力するので、 プロセ スデー タの始ま り を示すヘ ッ ダ 2 8 0 1 、 デー タの種類 2 8 0 2 、 デー タ数 2 8 0 3 、 及びプロセスデータであ るデータ 2 8 0 4 から 2 8 0 6 までのよ う な構成になる < 制御用計算機 2 1 0 2 は、 各ケーブルから入って く る こ の形式の複数個のデー タ を L A N 2 1 0 に流す。 'デ一 夕 べ一 ス 2 1 0 4 では流れて き たプロ セ スデ一 夕 を分解 し、 デー タ ベー ス 2 1 0 4 内にあ る 時計の時刻 t と共に デー タ 2 8 2 0 (図 3 6 B ) の構造を もつ配列に記録す る。 こ こ で、 2 8 2 1 はデー タ イ ン デ ッ ク ス、 2 8 2 2 はデー タ名、 2 8 2 3 は時刻、 2 8 2 4 はプロ セ スデー タであ る。 こ の よ う にデー タベース 2 1 0 4 は、 プロ セ スデー タ の種類に対応する テーブルを持ち、 そのテープ ルの要素であ る配列の最終要素の後に最新のデー タ を時 刻 t と共に記録する。

一方ワ ー ク ステー シ ョ ン 2 1 0 3 か らプロ セスデー タ のブロ ッ ク 呼び出 しの命令がデー タベース 2 1 0 4 に入 力 した場合は、 図 3 6 C のデー タ 2 8 1 0 に示す構造を 持つデー タ を 2 1 0 3 に送る。 こ こ でプロ セスデー タ の 始ま り を示すヘ ッ ダ 2 8 1 1 、 デー タ の種類 2 8 1 2 、 デー タ数 2 8 1 3 、 及びプロ セスデー タであ る デ一 夕 2 8 1 4 か ら 2 8 1 6 まで、 及びデー タ 2 8 1 4 の時刻デ — 夕 2 8 1 7 、 デー タ 2 8 1 5 の時刻デー タ 2 8 1 8 、 デー タ 2 8 1 6 で時刻デー タ 2 8 1 9 で構成さ れる。 も ち ろん、 ブロ ッ ク 呼び出 し命令の種類に よ り 、 こ のデ一 夕 の長さ、 時刻デー タ の間隔等は異な る。

次に映像、 音声デー タ の記録について示す。 ま ず図 3 6 D に示す様に、 記録する映像音声デー タ の構造は 2 8 3 0 の通 り であ る。 一般に複数個のカ メ ラ か らの映像デ 一 夕 を記録する のて、 映像音声デー タ のイ ン デ ッ ク ス 2 8 3 1 (デ ィ ス ク N O . ) とデ一夕名 2 8 3 2 (カ メ ラ N O . またはボイ ラ N O . 等） を有する。 2 8 3 4 は音 声の記錄された時刻、 2 8 3 3 は音声情報、 2 8 3 5 は 映像の記録された時刻、 2 8 3 6 は映像情報である。 こ こで図のよ う に、 映像、 音声を別々 に記録しないで、 一 緒に記録して も よい。 一緒に記録する場合は時刻情報を 共有する こ とになる。

以上の様な映像、 音声デー タに記録、 及びそれを再生 する方法を図 3 7 を用いて述べる。 本実施例においては . 映像記録に関 してまず 2 9 0 1 から 2 9 0 3 に示される 3 段階からなる手順 （ステ ッ プ） をワー ク ステー シ ョ ン 2 1 0 3 内の C P U 2 2 0 1 において実行する。 この手 順が実行された後、 2 9 0 4 で記録開始となる。 映像記 録においては、 システムの立ち上げ時や、 再生モー ドを 終了 し記録モー ドに戻る時等で、 最初に全映像画面の記 録を行ない、 以下は 2 9 0 5 で示す通り、 記録条件を潢 た した場合にのみ 2 9 0 6 で映像を記録する。 音声情報 に関 しては、 映像情報に比べて比較的記録に必要な容量 が小さいので随時記録する こ とにする。 以下、 専ら、 映 像情報の記録及び再生について述べる。

映像記録対象決定手順 2 9 0 1 では、 記録すべき対象 をどこ にするかを決める。 具体的には以下の方法のいず れかである。

( 1 ) カ メ ラ映像画面の全てを記録対象とする。 実現 方法はカ メ ラからの映像信号のすべてを記録対象とする _c ( 2 ) プロセスデー タを出力する部分、 動 く 部分、 変 化する部分等を含む領域をあ らか じめ指定 しておき、 そ の領域のみを記録対象とする。 図 3 6 E に示すデー タ 2 8 4 0 は、 映像デー タ 2 8 3 6 の こ の場合のデー タ構 造である。 データ 2 8 4 0 の要素は、 記録対象とする画 像デ一 夕 2 8 4 6 、 およびその位置情報、 即ち、 その撮 影された画像データの座標値 2 8 4 1 、 2 8 4 2 、 画像 データの大き さ （画面の空間的大き さ） 2 8 4 3、 2 8 4 4 、 およびそれ以前で最も近い全画面デー タを記 録 した時刻 （又はイ ンデ ッ ク ス） 2 8 4 5 からなる。 実 現方法は、 I T Vカ メ ラが、 ズーム、 チル ド、 パン等を 行う際には、 全画面を記録する。 そのよ う なカ メ ラ 作 の後、 カ メ ラが停止した ら、 映像データ 2 8 3 6 をヮ ー ク ステー シ ョ ン 2 1 0 3 に送り、 画像解析を行い、 記録 対象を含む領域を確定する。 こ の領域は簡単のため、 例 えば長方形の様な も のでよい。 こ の領域が決定 した ら、 その領域の座標値、 大き さ等の位置情報を映像、 音声記 録部 2 1 0 8 に送り、 以下 C P U 2 3 0 1 がカ メ ラから 送られて く る画像から こ の領域のみを取り 出 し記録する 以後再びカ メ ラ動作が行われる まで、 こ の領域のみを記 録する様にする。 再生時においては時刻 2 8 4 5 の映像 デー タを呼び出 し記録 したデー タ 2 8 4 6 とを C P U 2 3 0 1 がブ レ ン ドする こ とによ り、 全画面を生成する 映像記録条件決定手順 2 9 0 2 では、 映像を記録する 条件を決定する。 具体的には以下の条件のいずれかであ る。

( 1 ) 定め られた時間間隔で記録する。 これはワー ク ス テ ー シ ョ ン 2 1 0 3 、 または映像、 音声記録ュニ ッ ト 2 1 0 8 内の 〇 ？ 11 2 2 0 1 、 2 3 0 1 に ク ロ ッ クを持 つ。 前者の場合は一定の時間毎に記録する命令を映像、 音声記録部 2 1 0 8 に送る。 後者の場合は記録開始の命 合のみが映像、 音声記録部 2 1 0 8 に送られ以下 C P U 2 3 0 1 が記録時刻を管理する。

( 2 ) 各カ メ ラからの映像において、 前画面との差分 がある閾値以上にな っ た ら記録する。 これは映像、 音声 記録部 2 1 0 8 内の主記憶 2 3 0 2 上に記憶した画面の 映像情報と現時点における映像情報との差分値を C.P U 2 3 0 1 で計算し、 その値によ って記録命令を映像、 音 声読み出 し部 2 3 0 4 に送る。

( 3 ) 各プロセスデータがそのデータ固有のある一定 の値を越えた ら記録する。 これはワー クステー シ ョ ン 2 1 0 3 に入って く るプロセスデ 夕を C P U 2 2 0 1 で処理し、 特に異常があるデータに関する映像を撮って いるカ メ ラ の映像を記録する よ う 、 映像音声記録部 2 1 0 8 に命令する。

( 4 ) 各プロセスデータが前のデータ との差分がその デー タ固有のある一定の値を越えた ら記録する。 実現方 法は （ 3 ) と同様である。

( 5 ) 各プロセスデータの重み付き平均、 即ち重みを w i ( w i ≥ 0 ) 、 各プロセスデータを d i と して e = ∑ w i 氺 d i

がある一定の値を越えた ら記録する。 実現方法は 〔 3 ) と同 じである。

( 6 ) 定め られた時間間隔で記録 し以上の条件のいず れかの状態にな っ た ら よ り短い時間間隔で記録 し条件を 満たさな く な った ら元の時間間隔に直す。

映像記録方法決定手順 2 9 0 3 では記録方法を決定す る。 具体的には以下の方法のいずれかである。

( 1 ) I T Vカ メ ラからの映像情報をそのま ま記憶す る。

( 2 ) 前画面との差分を記録 してい く 。 これは主記憶 部 2 3 0 2 にノ ' ッ フ ァ リ ン グした映像と現在の映像との 差分を C P U 2 3 0 1 でとる。 再生時においては全記録 対象を記録 してある時点から現時点までの差分を加減算 する こ とで記録対象の映像を作成する。

以上のよ う に記録された映像デ一夕の時刻 t における 表示は、 図 3 8 に示す手順で行な う。 手順 3 0 0 1 で映 像デー タのイ ンデッ ク ス 2 8 2 1 及び、 時刻 t の指定を する。 こ こ で映像イ ン デ ッ ク ス の指定はワ ー ク ステー シ ヨ ン 2 1 0 3 によ り行なわれ、 時刻 t の指定はワー ク ス テー シ ヨ ン 2 1 0 3 による場合 と映像、 音声記録部 2 1 0 8 内の C P U 2 3 0 1 によ る場合 とがある。 映像 音声記録読み出 し部 2 3 0 4 は、 手順 3 0 0 2 及び 3 0 0 3 に示される よ う に時刻 t における映像が記録されて ない場合には、 時刻 t よ り以前に記録された t に も つ と も近い時点 s の映像デー タを読みだす。 手順 3 0 0 4 で 映像デー タが映像情報をそのま ま ^録 した ものであれば それを使う。 一方、 .差分を記録 した も のであれば、 手順 3 0 0 5 で時刻 t に も つ と も近 く 、 かつ差分値でない映 像情報を読みだし映像、 音声記録部 2 1 0 8 内の主記憶 2 3 0 2 に記録 し、 手順 3 0 0 6 でそこからの差分をと つて映像を作成する。 映像が、 カ メ ラ画像すべてである 場合は表示する。 そ うでない場合は 3 0 0 8 で背景と合 成 した後表示する。

映像、 音声記録部 2 1 0 8 内の C P U 2 3 0 1 は、 ヮ — ク ステー シ ョ ン 2 1 0 3 か ら再生方向、 速度を指定し た再生命合が送られる と次式で内部に持つ表示時刻デー 夕 t を進ませる。

t = t + a * v

こ こ で wは標準再生速度における映像読みだし速度、 a は再生方向が順方向の時は正で、 逆方向の時は負で、 2 倍速の時は絶対値が 2 であ り、 標準速のときは 1 であ る係数である。 再生時の映像表示は、 順方向再生の場合 は時刻データ 2 8 3 5 をこ の時刻データ t が越えた と き ワー ク ステー シ ョ ン 2 1 0 3 に映像データ 2 8 3 6 を送 り、 逆方向再生の場合はこ の時刻データ t が 2 8 3 5 の 次の時刻デー タを下回 った と き映像データ 2 8 3 6 を送 る。 ワ ー ク ステー シ ョ ン 2 1 0 3 から表示中の呋像の生 成時刻の要求があ った場合はこの時刻 t を 2 1 0 3 に送 o 以上の記録、 再生方式の も とに、 図 3 9 は第一の機能 を実現するための処理手順である。 手順 3 1 0 1 におい て メ ニ ュ ーで再生モ ー ドが選択される 。 こ の時ワ ー ク ス テー シ ヨ ン 2 1 0 3 は図 3 4 の 2 6 0 3 で示される コ ン ト ロ ールボタ ンを表示する。 処理 3 1 0 2 において、 ヮ — ク ステー シ ョ ン 2 1 0 3 は、 タ ツ チ ノ、⁰ネル等のポイ ン ティ ン グデバイ スによ る入力信号を処理し、 その入力位 置を調べる こ とによ ってボタ ンの種類の検出を行う。 こ の時、 そのボタ ンが押されたこ とを示すために図 3 4 で 示される よ う に押されたボタ ンの色を変えてディ スプ レ ィ上に再表示する と共に、 再生方向、 および速度を決定 する。 処理 3 1 0 3 においては、 決定 した方向、 速度を も とに、 次に表示するプロセスデータの生成された時刻 t を決定する。

具体的には次のよ う な 2 通り の方法である。

( 1 ) 映像、 音声記録部 2 1 0 8 に表示中の映像、 音 声の記録した時刻 t を問い合わせる。

( 2 ) 次式で表す時刻 t を次の表示すべき時刻 とする t = t + a * v

こ こ で v は現在表示 しているすべてのデー タを一回ず つ書き換える時間、 a は再生方向が順方向の時は正で、 逆方向の時は負で、 2 倍速の時は絶対値が 2 であ り 、 標 準速の と きは 1 である係数である。 ただ しデー タを書き 換える時間は計算機の他の負荷で変って来るので、 ( 1 ) の方法 も併用する。 これを用いる こ とて、 ワ ー ク ス テー ジ ヨ ン 2 1 0 3 が表示にかかる時間分の映像、 音 声情報の進む時間だけ、 次の表示情報の時刻を進める こ とができ る。

処理 3 1 0 4 においては時刻 t における表示すべきプ ロ セ ス デー タ 力 ワ ー ク ス テ ー シ ョ ン 2 1 0 3 内にバ ッ フ ァ リ ン グされているデータで十分か判断し十分な場合は それらを表示する。 ただ し十分な場合とは、 時刻 t にお けるプ ロ セ スデ一夕がバッ フ ァ リ ン グされているか、 ま たは時刻 t におけるデー タはないがその前後のデータが ノくッ フ ァ リ ン グされている場合である。 前後のデ一夕の みノくッ フ ァ リ ン グされている ときは、 も っ と も t に近い データで代用するか前後のデータを線形に補間する こ と でデータを作成する。 十分でない場合には処理 3 1 0 5 において、 ワー ク ステー シ ョ ン 2 1 0 3 は、 表示速度、 方向を基にデー タ ベース 2 1 0 4 から表示デ一夕 と して 読み込むデー タの範囲を決定し、 処理 3 1 0 6 で、 表示 するプロセスデー タの種類と読み込むデ一夕の範囲を L A Nを通じてデータベース 2 1 0 4 に送り、 データべ一 ス 2 1 0 4 力、 ら要求されたプロセスデータがワー ク ステ — シ ヨ ン 2 1 0 3 に送られる。 処理 3 1 0 7 においては 映像、 音声情報を表示あるいは出力 し、 処理 3 1 0 8 に おいてはワ ー ク ステー シ ョ ン 2 1 0 3 では送られてきた それぞれのプロセスデータを ト レ ン ドグラ フゃメ 一夕一 という よ う に、 主記憶 2 2 0 2 に記録 してある個々 のプ ロ セ スデー タ の表示の仕方で映像情報、 音声情報と共に . 表示する。

次に図 2 9 か ら図 3 4 およ び図 4 0 を用いて第 2 の機 能について述べる。 時刻カ ー ソ ル 2 5 0 3 は、 夕 ツ チパ ネル 2 1 0 7 を用いて力 一 ソ ル 2 5 0 3 上を指で押さえ たま ま左右に動かすこ とによ り、 カ ー ソ ル 2 5 0 3 が左 右に動 く よ う にな っている。 この時、 図 4 0 に示される よ う に、 直接 ト レ ン ドグラ フ 2 4 0 3 内の時刻カ ー ソ ル 2 5 0 3 を参照したい時点に動かすこ とによ り、 他の ト レ ン ドグラ フ 2 4 0 3 内の時刻カ ー ソ ル 3 2 0 1 が、 時 刻力一 ソ ル 2 5 0 3 が指し示す時刻に移動 し、 時刻力 一 ソ ル 2 5 0 3 で決定される時刻の映像を呼び出 し映像表 示領域 2 4 0 2 に表示する。 またこ の時、 図 3 0 におけ る メ ーター 2 4 0 5 等も時刻カ ー ソ ル 2 5 0 3 が指し示 す時刻のデータを表示する。 もちろん現在 ト レ ン ドグラ フ 2 4 0 3 の時間軸に表示されてない時刻の指定も時間 軸移動ボタ ン 2 5 0 6、 2 5 0 7 等を用いる こ とで行な える。 以上のよ う に表示されているプロセスデータの参 照したい所を指定する こ とで、 そのデー タが記録された 時点の映像と、 その時点での他のプロセスデ一 夕を参照 する こ とができ る。 これによ り操作員がプロセスデ一夕 等を参照したい時点を ト レ ン ドグラ フ 2 4 0 3 等を見て 直接指定する こ とで映像の表示が可能とな る。

これによ り、 プロセスデー タの参照によ り具体的な現 場の様子を参照する こ とが出来る。

以下に こ の例の実現方法を図 4 1 を用いて述べる。 図 3 9 のア ルゴ リ ズム とは、 処理 3 3 0 1 で時刻力 一 ソ ル の指す時刻 t を検出す'る こ と と、 処理 3 3 0 2 の時刻 t が既に ワ ー ク ス テー シ ョ ン 2 1 0 3 内 にノ ' ッ フ ァ リ ン グ されているかの判定のみが異なる。 処理 3 3 0 1 におい ては夕 ツ チパネル等のポイ ンテ ィ ン グデバイ スによ る入 力信号の座標値をワ ー ク ス テ ー シ ョ ン 2 1 0 3 内の C P U 2 2 0 1 が処理し、 時刻カ ー ソル 2 5 0 3 をその座標 上に再描画する と共に、 時刻カー ソル 2 5 0 3 のさす時 刻 t を座標値から割り 出す。 も し時刻 t のデ一夕がヮ ー ク ステー シ ョ ン 2 1 0 3 内にノくッ フ ァ リ ングされてない 場合には以下実施例 1 における手順 3 1 0 5 .、 3 1 0 6 を行ない、 以下手順 3 1 0 6 、 3 1 0 7 でデータ、 映像. 音声を表示する。

第 3 の機能について述べる。 図 4 2 に示される よ う に タ ツ チノ、。ネ ル 2 1 0 7 を用いて ト レ ン ドグラ フ 2 4 0 3 内のデータ項目表示部内のデータ項目 3 4 0 1 を選択 し た後に、 データ値力一 ソル 2 5 0 5 を探索を したい値に 持っていき探索値を決定する。 こ の時、 選択されたデ一 夕がデータ値カー ソル 2 5 0 5 の示す値をと る時点に時 刻力一 ソ ノレ 2 5 0 3 が移動 し、 他の ト レ ン ド グ ラ フ 2 4 0 3 において もその時点に時刻力一 ソル 3 4 0 2 が移動 し、 その時点の映像が映像表示部 2 4 0 2 に表示される , ま たこ の時、 図 3 2 における メ ータ 一 2 4 0 5 等も時刻 ガー ソ ル 2 5 0 3 が指し示す時刻のデータを表示する。 こ 二で検索は時間軸に対 して逆方向に一回のみ行われる , さ らに検索 したい場合は時間軸移動ボ タ ン 2 5 0 6 を押 すこ とでさ らに逆方向に検索が行われる。 一方、 順方向 に検索する場合にはボ タ ン 2 5 0 7 を押すこ とで順方向 に検索がな される。 以上のよ う に表示されている プロセ スデー タ において、 値を探索する と、 探索結果が表示さ れ、 その表示されたデー タが記録された時点の映像と、 その時点での他のプロセスデータを参照する こ とができ 以下にこ の例の実現方法を図 4 3 で述べる。 処理 3 5 0 1 におレ、てはタ ツ チノ、。ネル 2 1 0 7 等のポイ ンテ ィ ン グデバイ スによる入力信号の座標値をワー ク ステー シ ョ ン 2 1 0 3 が処理し、 データ項目表示部 2 5 0 2 におい て探索対象に選択されたデータ値カー ソ ル 2 5 0 5 によ つて示された探索値を決定する。 次に処理 3 5 0 2 にお いて探索の方向、 即ち時間軸に対レ順方向探索、 または 逆方向探索を決定する。 これは、 例えば、 基本的には逆 方向探索が一回行われ、 さ らに時間軸移動ボタ ンの順方 向のボタ ン 2 5 0 7 が押された とき には順方向に探索を 時間軸移動ボタ ンの逆方向ボタ ン 2 5 0 6 が押された と きは更に逆方向へ探索を行な う、 とする。 こ のボタ ンが 押されたかの判断はワ ー ク ス テ ー シ ョ ン 2 1 0 3 が行な う。 処理 3 5 0 3 においては、 デ一夕べ一ス 1 0 4 に探 索対象、 探索値、 現在表示 しているデー タ作成時刻、 探 索方向等を含んだ探索命令を出 し、 手順 3 5 0 4 におい て最初に発見できた探索値と表示時刻を決定する。 以下 例 1 の手順 3 1 0 4 から 3 1 0 9 までと同 じであるので 省略する。

こ の機能によ り あるプロ セスデ一夕が一定値を取る条 件での、 他のプロセスデー タ値と映像情報を用いた比較. 分析等や、 極 く まれに しか起こ らない異常値等の呼び出 しが可能となる。

第 4 の機能に対する例を図 4 4、 4 5、 4 6 で述べる < 図 4 4 では映像情報を再生する際に順方向 2 倍速ボタ ン 2 7 0 5 を選択 した場合に、 ト レ ン ドグラ フ 2 4 0 3 内 の時間軸 2 5 0 4 が 2 倍の範囲の時間を表示 し、 現在表 示 してあ っ たプロセスデータ は新しい時間軸にあわせて 再表示される と と もに、 表示されてなかったデータはデ —タベースから読みだされ時間軸にあわせて表示される < 次に、 映像表示部 2 4 0 2 に標準速度の 2 倍の速度で映 像が表示され、 時刻力一 ソ ル 2 5 0 3 が移動する。 こ の よ う に 2 倍速再生時には、 ト レ ン ドグラ フ 2 4 0 3 内に . よ り長い時間のデータを表示する こ とが可能とな り、 デ 一夕の時間による変化を概観する こ とができ る。 このよ う な表示はデータの検索において便利である。

一方図 4 5 においては、 1 Z 2倍速度再生ボタ ン

2 7 0 7 を選択 した場合に、 時間軸 2 5 0 4 が標準速度 の時の半分の範囲の時間を表示する。 こ の と き、 よ り詳 し く データを表示する こ とが出来るので、 標準速度の時 には表示されなかったデー タをデータベースから読み込 みすでにあ っ たデータ と併せて再表示する。 即ち映像を 再生する際に、 再生する速度によ って、 プロ セ スデー タ の呼び出 し方、 表示方法を変える。. これによ つて、 再生 速度を速 く する場合は、 長い時間のデー タ を ト レ ン ド グ' ラ フ 2 4 0 3 に表示でき るのでデー タの探索、 概観等が 容易にな る。 また、 プロセスデー タを呼び出す際に再生 速度が速い と呼び出すデー タの生成時刻の間隔が大き く なるが、 こ の表示を用いる こ とでの呼び出 しの荒さが目 立たな く なる。 一方、 再生ス ピー ドを遅 く する場合は、 デー タを詳し く 表示する こ とができ る。 したがって詳し く 解析したいよ う な時点では、 映像をスロー再生するだ けで、 詳し く プロセスデー タを表示でき る。

これによ り、 再生速度によ ってプロセスデータの時間 に対する表示頻度を変えるので計算機の負荷をある程度 抑える こ とが出来る。

こ の例の実現方法を図 4 6 を用いて述べる。 手順

3 1 0 2 においては操作員か らの入力によ り映像情報、 音声情報を再生する方向、 ス ピー ドを決定する。 手順 3 8 0 1 ではワー ク ステー シ ョ ン 2 1 0 3 において、 決定 された速度に基づき プロセスデー タの表示方法、 呼び出 し方法の決定を行う。 表示方法は、 ト レ ン ドグラ フ

2 4 0 3 等における時間軸表示単位、 即ち、 どの く らい の間隔で時間を刻むか、 を決め、 呼び出 し方法は、 呼び 出すブロ ッ ク内におけるデー タ間の時間間隔、 および一 回の呼び出 しプロ ッ ク における時間の長さを決定する。 手順 3 1 0 4 においてバ ッ フ ァ リ ン グ'されているデー タ では不十分な場合は、 手順 3 1 0 5 においてこ の決定 し た時間間隔、 およ び時間長さをコ ー ド化しデー タベー ス に送る。 データべ一スでは手順 3 1 0 5 で送 られてき た コ ー ドに基づき、 時間間隔、 時間長さ分のブロ ッ ク デ一 夕を読みだ しワ ー ク ス テー シ ョ ン 2 1 0 3 に送る。 以下 ワー ク ステージ ョ ンでは決められた表示方法に基づきデ 一夕表示を行う。 この部分は前記実施例の手順 3 1 0 4 から 3 1 0 9 までと同 じであるので省略する。

第 5 の機能を述べる。 図 4 7 においてはプロセスデ一 夕の表示の仕方と して、 ト レ ン ドグラ フ 2 4 0 3 の時間 軸の区間 3 9 0 1 では、 時間軸 2 5 0 4 を 1 Z 2 に縮小 化し、 区間 3 9 0 2 ではそのま まで、 区間 3 9 0 3 では 2 倍に拡大したものである。 このとき、 表示するプロセ スデ一夕の生成時刻の間隔は区間 3 9 0 1 では区間 3 9 0 2 の 2倍に、 区間 3 9 0 3 では区間 3 9 0 2 の 1 Z 2 倍になる。 したがって、 区間 3 9 0 1 では前実施例にお ける ち ょ う ど 2 倍速再生の時と同 じ表示に、 区間 3 9 0 2 では標準速度再生と同 じ表示に、 区間 3 9 0 3 では 1 Z 2 倍速度再生と同 じ表示にな っている。 この場合に、 ビデオコ ン ト ロ一ラ一 2 6 0 3 で標準順方向再生をボタ ン 2 7 0 4 を用いて行なえば、 映像を呋像表示領域

2 4 0 2 に、 時刻力一 ソル 2 5 0 3 が区間 3 9 0 1 にあ る場合には 2 倍速で、 区間 3 9 0 2 にある場合には標準 速度で、 区間 3 9 0 3 にある場合には 1 / 2 倍速で表示 する。 即ち、 プロセスデータの表示の方法を予め設定 し てお く こ とで、 再生する際に、 映像再生時の速度をその 表示方法にあわせて設定 し、 その速度で再生を行な う 。

これによ り、 操作員が表示するデー タの表示方法を指 定でき るだけでな く デー タ を詳し く 見たい と こ ろは映像 をゆっ く り と、 デー タを飛ば してみたい と こ ろは映像を 飛ば して再生する こ とができ る。

こ の例の実現方法について図 4 8 で述べる。 手順 4 0 0 1 で操作員からの入力によ り 、 縮小、 拡大すべき 時間軸の区間を指定する。 手順 4 0 0 2 でその区間に対 して操作員は、 拡大、 縮小のいずれかを選択する。 これ らの指定、 選択は例えばメ ニュ ーで行な って も よい し、 こ の例のよ う に夕 ツ チパネル等で区間を指定した後その 区間の端点をつかんで区間を延び縮みさせて行な う こ と もでき る。 こ の時、 手順 4 0 0 3 で時間軸を再表示する と共に、 必要な らばデー タベースか らブロ ッ ク呼び出 し を行ない、 プロ セスデータを再表示する。 こ の時各区間 の再生速度をワ ー ク ステー シ ョ ン 2 1 0 3 は決定し、 主 記億 2 2 0 2 に記憶してお く 。 次に再生が開始され、 手 順 3 1 0 3 で、 表示時刻 t が決め られる。 こ の時刻 t を 含む区間を C P U 2 2 0 1 で決定した後、 も しそれまで の区間 と違う 区間であれば、 手順 4 0 0 4 で映像、 音声 記録部 2 1 0 8 に再生速度、 方向等の再生命令を送る。 以下、 前記実施例の手順 3 1 0 4 から 3 1 0 9 と同様で め る。

第 6 の機能について述べる。 図 4 9 においては、 映像 情報を再生する際に、 プロセスデー タのみでな く 操作員 か らの操作情報 も併せて再生する。 こ の と きその時点で デ ィ スプ レ イ上に表示 してあ っ た映像、 プロセスデー タ が表示される と と もに、 マウスカー ソ ル 4 1 0 1 等で示 される操作員の入力が再生、 表示される。 こ の時、

4 1 0 2 で示される よ う に映像表示領域 2 4 0 2 に表示 する映像を新たに選択する こ とによ り、 操作員の操作に よ り起こ り、 かつ記録した時点では見れなかった映像情 報を参照する こ とができ る。 ま た、 同様の操作で表示し ていなかったプロセスデータ等も表示する こ とができ る これによ つて、 例えば操作員の操作ミ ス等で起こ る異常 を素早 く 発見する こ とができ る。 また制御操作の教育に も大きな効果を上げる こ とが出来る。

また、 操作員の操作情報を再生し、 プロセス運転状況 変化が、 操作員の操作命令による ものか、 がわかる。 ま た こ のよ う な操作命合を記録、 再生する こ とで、 操作手 順の説明に使えた り、 教育用のシステム、 操作員の操作 状況の監視を行な う こ とが出来る。 .

第 7 の機能は、 探索したい操作員からの操作情報を入 力 し、 入力 された操作情報を探索し、 その時点での操作 情報と映像情報、 音声情報とプロセスデータが呼び出 さ れ表示される。 これによ つて、 情報の探索を操作員が行 つた操作を目印に して行える。

従って、 操作員の操作命令を検索する こ とができ るの で、 操作員の操作によ って生 じたプロセスデー タの変化- 映像の変化を検索でき る。

以上 2 つの例の実現方法を以下に述べる。 図 3 6 F に おいて、 デー タ 2 8 5 0 はデー タベー ス 2 1 0 4 に記録 する画面情報を示 した も のであ る。 画面情報 2 8 5 0 は 時刻 2 8 5 1 、 動画表示領域 2 2 0 2 に表示する映像を 撮る カ メ ラ名 2 8 5 2 、 ト レ ン ド グラ フ 2 4 0 3 に表示 する プロ セスデー タ名 2 8 5 3 力、 ら 2 8 5 5 まで、 メ ー 夕一 2 4 0 5 や他のデー タ表示ュニ ッ 卜 に表示 してレヽる デー タ名 2 8 5 6 等か らな る。 こ のデー タ は操作員が動 画像表示領域 2 4 0 2 に表示する映像を切 り替えた り 、 ト レ ン ドグラ フ 2 4 0 3 に表示する デー タ を変更、 追加 削除 した と き ワ ー ク ステー シ ョ ン 2 1 0 3 がデー タべ一 ス 2 1 0 4 に送る。 '

操作員か ら入力 される操作デー タ のデー タ構造は図 3 6 B のプロ セスデー タ のデー タ構造 2 8 2 0 と同 じで あ る。 ただ しプロ セスデー タ値 2 8 2 4 の代 り に操作デ 一 夕 と して入力 した操作命令 （ポイ ンテ ィ ン グデバイ ス を用いて操作員が入力 した座標値をワ ー ク ステー シ ョ ン 2 1 0 3 が処理 して生成 した命令） を入れる。 こ のデー タ も操作命令があ っ た時点でワ ー ク ステー シ ョ ン 2 1 0 3 が こ のデー タ をデー タ ベー ス 2 1 0 4 に送る。

再生に関 しては、 図 3 9 で示 したア ルゴ リ ズム と 同 じ である。 ただ し手順 3 1 0 8 において、 プロ セスデー タ は表示する デー タ を表示時刻 t の最 も近い時刻のデー タ 値か、 前後のデー タ を補間する こ とでデー タ を作成 して いたが、 操作員操作データの実行は、 順方向再生の時は 表示時刻 t が操作デー タの記録時刻を越えた とき、 逆方 向再生の場合は操作デー タの記録時刻を下回っ た と き と する。 また時刻 2 8 5 1 に記録 した画面情報デー タの内 容を表示するのは、 順方向再生の時は表示時刻 t が時刻 2 8 5 1 以上にな った と き、 逆方向再生の場合は時刻 2 8 5 7 以下にな った とき とする。

検索に関 しては図 4 3 で示したアルゴ リ ズム と同一で ある。 ただ し、 手順 3 5 0 4 で表示時刻 t を決定した後 手順 3 1 0 6 で t 以前の t に最も近い画面情報データを まず呼びだし、 その後表示すべきプロセスデータを決定 しプロセスデータを呼び出す。

以下の例は上記すベての実施例において、 映像'、 音声. プロセスデータを再生する際に、 映像、 およびプロセス デ一夕の関連表示についての ものである。

第 8 の機能は、 図 5 0 において動画像表示領域 2 4 0 2 に表示してあるボイ ラーの窓を選択対象 4 2 0 1 と定 義しておき、 これを選択する と、 その選択対象が選択さ れた こ とを示すグラ フ ィ ッ ク スが表示され、 さ らにそ こ から生成されるプロセスデータ名 4 2 0 2 力 "^ ト レ ン ドグ ラ フ 2 4 0 3 内のプロセスデータ項目 に表示され、 プロ セスデ一夕 4 2 0 3 がグラ フで表示される。 以上のよ う に映像内の選択対象を、 ポイ ンティ グデバイ スを用いて 選択する こ とによ り 関連するプロセスデータを表示する , こ こでも ちろん、 選択対象がボイ ラーの窓でな く ても、 あ らか じめ選択対象 と して、 制御用計算機内に登録 して あればよい。 ま た ト レ ン ド グ ラ フ 2 4 0 3 にデー タを表 示する以外に メ ー タ ー 2 4 0 5 等に表示する こ と もてき るが、 以下簡単のため ト レ ン ドグラ フ 2 4 0 3 にデー タ を表示する場合のみ示す。

第 9 の機能は、 図 5 1 において動画像表示領域 2 4 0 2 に表示してあるボイ ラーの上方パイ プを選択対象

4 3 0 1 と定義 し、 これを選択する と、 その選択対象が 選択された こ とを示すグラ フ ィ ッ ク スが表示され、 その 選択対象に関連するプロセスデ一 夕 4 3 0 2 が既に ト レ ン ドグラ フ 2 4 0 3 に表示 してある蒸気圧である場合に. プロセスデータ項目の蒸気圧 4 3 0 2 がハイ ライ 卜する と と もに、 グラ フ 4 3 0 3 がハイ ライ ト して操作員によ つて選択された選択対象の関連データである こ とを示す, 即ち選択された映像内の選択対象に関するデー タがすで に表示されている場合はデー タがハイ ラ イ ト等する こ と で選択された こ とを示す。

第 1 0 の機能は、 図 5 2 において動画像表示領域

2 4 0 2 に表示 してあるボイ ラ ーの左方パイ プを選択対 象 4 4 0 1 と定義し、 これを選択する と、 それが選択さ れたこ とを示すグラ フ ィ ッ ク スが表示され、 その選択対 象に関連する プロセスデー タが複数個ある場合に、 動画 像内の選択対象のす ぐ脇にプロセスデー タを項目 とする 選択 メ ニュ ー 4 4 0 2 が表示され、 その中か ら参照した いプロセスデー タ をポイ ン テ ィ ン グデバイ スを用いて選 択する こ とで、 ト レ ン ドグラ フ 2 4 0 3 内にデ一 夕を表 示する。 即ち選択された映像内の選択対象に関連するデ 一 夕が複数個ある場合は選択 メ ニュ ーを表示 し、 操作員 が参照 したいデー タ を選択する こ とが出来る。

第 1 1 の機能は、 図 5 3 において動画像表示領域

2 4 0 2 に表示 してあるボイ ラ ーの本体を選択対象と定 義し、 これを選択する と、 その選択対象が選択されたこ とを示すグラ フ ィ ッ ク ス 4 5 0 1 が表示され、 それに関 連する プロセスデー タ 4 5 0 2 から 4 5 0 4 を、 動画像 のそれぞれのデータが関係する と こ ろに重ねて表示する 即ち映像内の選択対象を、 ポイ ンティ ン グデバイ スを用 いて選択する こ とによ り関連するプロセスデータが映像 内の関連する場所に表示される。

第 1 2 の機能は、 図 5 4 においては動画像表示領域 2 4 0 2 に表示してあるボイ ラー内の全体を選択対象と 定義 し、 これを選択する と、 それが選択されたこ とを示 すグラ フ ィ ッ ク ス 4 6 0 1 が表示され、 その選択対象に 関連する温度分布データを呼び出 し、 コ ン ピュ ータ一 グ ラ フ ィ ッ ク ス 4 6 0 2 で映像に重ねて表示する。 映像内 の選択対象を、 ポイ ンテ ィ ン グデバイ スを用いて選択す る こ とによ り その選択対象上に、 プロセスデータをコ ン ピュ ータ ー グラ フ ィ ッ ク スで表示 した ものが重ね られる , 第 1 3 の機能は、 図 5 5 においては動画像表示領域 2 4 0 2 に表示 してある ボイ ラ ー全体を選択対象と定義 し、 これを選択する と、 その選択対象が選択された 二 と を示す グラ フ ィ ッ ク ス 4 7 0 1 が表示さ れ る と と も に、 その選択対象 と関係深い燃料供給部に グ ラ フ ィ ッ ク ス 4 7 0 2 が表示さ れる。 即ち映像内の選択対象を、 ボ イ ン テ ィ ン グデバイ スを用いて選択する こ と に よ り その選 択対象と関連のあ る映像内の選択対象を表示する。

第 1 4 の機能は、 図 5 6 においては動画像表示領域 2 4 0 2 に表示 してあ る ボイ ラ ー全体を選択対象 と定義 し、 こ れを選択する と、 その選択対象が選択 さ れた こ と を示す グラ フ ィ ッ ク ス 4 8 0 1 が表示さ れる と と も に、 その選択対象に関する制御方法、 メ ン テナ ン ス情報等の 付加情報 4 8 0 2 がデー タベー スか ら読みださ れ、 映像 上に表示さ れる。 即ち、 映像内の選択対象を、 ボイ.ンテ ィ ン グデバイ スを用いて選択する こ と によ り その選択対 象の操作法、 制御方法、 メ ン テナ ンス情報等の付加情報 が表示さ れる。

こ の様に、 機能 8 か ら機能 1 4 に よ り 、 プロ セスデー 夕 と映像情報内に映っ ている装置との関連づけが出来、 プロ セスデー タ によ る映像内の関連する装置への参照や 映像内の装置によ る プロ セスデ一 夕への参照ができ る。 こ れに よ り 、 例えば訓練を積んだ操作員でな く て も、 映 像 と デー タ を見る こ と に よ り 装置の簡単な操作、 監視を 行な う こ とが出来る。

次にプロセスデー タ を用 いて映像内に情報を表示する こ とを示す。

第 1 5 の機能は、 図 5 7 においては、 ト レ ン ド グラ フ 2 4 0 3 内のプロ セ スデー タ項目 4 3 0 2 を選択する こ とに よ り 、 そのプロ セスデー タ項目 4 3 0 2 が ヽ ィ ラ イ 卜 する こ と によ り 、 そのプロ セスデー タが選択 さ れた こ とを示 し、 さ らに映像表示領域 2 4 0 2 内にそのプロセ スデ一夕 に関連する選択対象が存在する こ とを示すグラ フ ィ ッ ク ス 4 3 0 1 が表示される。 即ち、 プロセスデー 夕が映像内でどの選択対象と関連があるかを示すグラ フ ィ ッ クスが表示される。

第 1 6 の機能は、 図 5 8 においては、 ト レ ン ドグラ フ 2 4 0 3 内のプロセスデータ項目 4 3 0 2 を選択する こ とによ り、 映像 2 4 0 2 内にそのプロセスデータが関連 する選択対象にプロセスデータ 5 0 0 1 を重ねて ¾示す o

第 1 7 の機能は、 図 5 9 においては、 ト レ ン ドグラ フ 2 4 0 3 内のプロセスデータ項目 4 3 0 2 を選択する こ とによ り、 映像 2 4 0 2 内にそのプロセスデータが関連 する選択対象にプロセスデータをコ ン ピュータ一グラ フ イ ツ ク ス 5 1 0 1 で重ねて表示する。

以上の機能 8 から 1 6 の例に関 しその実現方法を図 6 0 を用いて説明する。 ワ ー ク ステー シ ョ ン 2 1 0 3 内 に監視対象とする制御対象装置 5 2 0 1 の形状モデルを 記録する。 こ の形状モデルの一部を、 操作員からの入力 を受ける選択対象と して定義する。， こ の形状モデルは C A Dモデル等の 3 次元デー タや、 プロ セスの設計図、 あるいは操作員がカ メ ラ 2 1 1 0 からの映.像を見て定義 した単な る矩形領域で も よ い。 こ の選択対象の映像内に おける位置、 大き さ を決定する ために、 I T V カ メ ラ 2 1 1 0 か ら画角情報、 垂直角情報、 水平角情報をデー 夕ベー ス 2 1 0 4 に時刻 と と も に記録する。 あ る いは I T Vカ メ ラ に送る カ メ ラ制御 コ マ ン ド と I T Vカ メ ラ の初期設定か ら画角情報、 垂直角情報、 水平角情報を ヮ ー ク ステー シ ョ ン 2 1 0 3 内の C P U 2 2 0 1 で算出 し . 結果をデー タ ベース 2 1 0 4 に送 り 、 時刻 と と も に記録 する。 I T Vカ メ ラ や制御対象装置は移動 しないので力 メ ラ の初期位置、 記録する カ メ ラ情報、 形状モデルを組 み合わせる こ と によ り 画像内における選択対象の位置、 大き さ を知る こ とが出来る。

プロ セス装置 5 2 0 1 を映す I T Vカ メ ラ 2 1 1 0 は. その垂直角情報 5 2 1 1 、 およ び水平角情報 5 2 1 2 お よ びズーム値を与える こ と に よ り 、 画像 5 2 0 2 か ら 5 2 0 4 を作成する。 こ こ で、 それぞれの画像に映さ れ る装置 5 2 0 1 の像はズーム値によ り 5 2 0 5 、 5 2 0 6 、 5 2 0 7 とな る。 それぞれのズーム値に合わせて計 算機内部の選択対象のスケー リ ン グを行な う 。 こ こ で、 選択領域と して単な る矩形領域を用いた場合には、 画像 5 2 0 2 に対応する選択対象は 5 2 0 8 であ り 、 画像 5 2 0 3 に対 しては 5 2 0 9 、 画像 5 2 0 4 に対 しては 5 2 1 0 であ る。 スケー リ ン グは全て線形であ る ため容 易に行な う こ とが出来る。

こ の よ う に定義 した選択対象に対 し、 操作員か らの選 択があっ た場合や、 他の選択対象からなんらかの メ ッ セ ー ジコマ ン ドが送 られた と き には、 選択対象を表示する 関連デー タを出す等の動作を起動する よ う に定義してお こ の選択対象のデ一夕構造は図 3 6 Gのデータ 2 8 6 0 で示す。 2 8 6 1 、 2 8 6 2 は選択対象の大き さ、 2 8 6 3 、 2 8 6 4 は位置、 2 8 6 5 は操作員に選択さ れた時起動する動作、 あるいは動作テーブルへのポイ ン 夕 一等を入れ、 2 8 6 6 には関連するテキス ト情報等を 入れる。 これによ つて映像内の装置とプロセスデータや 関連情報とを対応づけする こ とが出来る。 また映像内の 装置同士の関連づけを行な う こ と も出来る。 さ らにプロ セスデータや選択対象を単に表示するだけでな く 、 選択 された場合はあ らか じめ定義した命令を実行する こ と も 可能である。

こ の様に、 映像内の装置上にプロセスデータを表示す る こ とが出来、 操作員は視線を動かさずに動画像、 プロ セスデ一夕を見る こ とが出来る。 また、 これをコ ン ビュ 一夕一 グラ フ ィ ッ ク スで表示してやる こ とによ り、 操作 員に直感的なデータ値の判断をさせる。 さ らに、 映像内 における背景等、 随時記録する必要のないものや、 映像 記録時刻の条件を設定する こ とでむだに映像を記録する こ とを回避でき る。 こ う して、 映像、 音声、 プロセスデ — 夕を同期させて再生する こ とによ り、 よ り わかり やす いプロ セスの状況把握と迅速な異常発見が可能になる。 ま た操作員が参照したいプロ セスデー タ を映像上で選択 した り 、 参照 したい映像を直接プロセスデー タ表示部上 で選択する こ とによ り 、 よ り 直接的に操作が可能とな り プロセスの監視性、 操作性、 確実性を高める。 さ らに映 像デー タを用いたプロセスデー タの検索やプロセスデー 夕を用いた映像デー タの検索が実現でき る。

上記 8 から 1 7 の機能は、 記録 している音や映像だけ でな く 、 実時間で入力 している音や映像について も上記 と同 じ実現法で実現でき る。 こ の時、 表示する制御デー 夕は、 実際にその場で採取 しているデー タである。 また 映像の切 り換えは、 I T Vを切 り換えた り、 I T Vを遠 隔制御 してパ ン、 ズームさせて行う。

以上の様に、 本実施例は以下の様な効果がある。

( 1 ) プロセスデータ値設定の際のプレ ビュ ー 操作員がプロセスデー タをある値に設定する際にその プロセスがどのよ う になるかを過去のデー タから映像、 プロセスデー 夕を検索表示する こ とでプレ ビュ 一する こ とができ る。

( 2 ) 運転監視における比較

監視しているプロセスの運転状況を記録してある運転 状況を写 した映像、 音声、 プロセスデー タ と比較する こ とによ り プロセスの状況を把握する こ とができ る。

( 3 ) プロセスデー タ設定値の決定

あるプロセスデ一 夕値を希望する値に設定するために は関連するデー タ値 も設定する必要がある。 こ の よ う に 複数のデー タ値の設定が必要な際、 過去のデー タ及び映 像、 音声を参照する こ とによ り操作員に設定値の決定の 指針を与える こ とができ る。

( 4 ) 異常時点の探索、 分析

異常時点の探索と、 故障箇所の検出を、 過去のプロセ スデータ と映像、 音声との同期再生を用いる こ とによ り よ り有効に行な う こ とができ る。

( 5 ) 教育用 シ ミ ュ レータ

操作員の操作手順の再生によ って教育用 シ ミ ュ レ一タ と して用いる こ とができ る。

なお、 本実施例では、 測定データ と、 映像または音デ —夕 との同期を取るために時間を記録する こ と と したが 、 本発明は、 これに限られる ものではな く 、 例えば、 測 定データ と映像データ等に一連番号を付しておいて、 こ の一連番号をキー と して測定データ と、 映像または音デ 一夕 との同期を取る こ と と しても良い。

なお、 映像デ一 夕 または音データの再生に関 して、 上 記の実施例では、 再生のス ピー ドを破約する こ と または 遅 く する こ とを述べたが、 本発明は、 これに限られる も のでは無 く 、 再生の仕方と して、 静止 （一時停止） をさ せる こ と と して も良い。 こ の時に、 静止のさせ方と して 、 オペ レ ー タの操作による方法または、 アラ ームを記録 しておいて、 ア ラ ームの発生 した時点で停止する こ と と して も良い。 こ の時は、 事故の原因解析を行な う 時等に 事故の発生時点の画面をすばや く 検索する こ とができ る と い う メ リ ッ ト 力 あ る。

さ ら に、 本実施例は、 上記の よ う な I T V カ メ ラ に よ る動画のみを対象 とする も のではな く 、 スチ ー ル 力 メ ラ に よ る静止画を取 り 扱 う こ と も でき る。

上記の様に本実施例に よ り 、 測定デー タ と、 映像ま た は音 と を同期 して再生でき る監視シ ス テ ムを提供でき る

Claims

請求の範囲 ·

1 . 表示手段の画面に表示される少な く と も ひとつの ォブジ ヱ ク ト （ o b j e c t ) の ビデオ映像に関する処 理を行う映像処理装置であって、

該オブジェ ク 卜 に関する情報をス ト アする手段と、 該情報に基づいて該ォブジ ェ ク 卜 に関する処理を行う 手段、 とを備える映像処理装置。

2 . 請求の範囲第 1 項の映像処理装置において、 更に 該ォブジ ェ ク ト についての情報を指定する手段と、 該指定された情報に基づき上記ス ト ァ手段を検索し、 該指定された情報に対応する該ス トァ手段内の情報を得 る手段とを備え、

上記処理を行う手段は、 該得られた情報に基づき該ォ ブジェ ク ト に関する処理を行う。

3 . 請求の範囲第 2 項の映像処理装置において、 上記処理を行う手段は、 該得られた情報に対応するォ ブジェ ク トの映像を上記表示手段に表示する。

4 . 請求の範囲第 2 項の映像処理装置において、 更に . 該ォブジ ェ ク ト についての情報を指定する手段を有し . 上記処理を行う手段は、 該措定されたォブジェ ク 卜 に ついての情報を上記ス ト アする手段から読み出 して上記 表示手段に表示する手段を有する。

5 . 請求の範囲第 2 項の映像処理装置において、 更に . 該ォブジ ェ ク 卜 についての情報を指定する手段を有し . 上記処理を行う手段は、 該指定されたォブジ ェ ク ト に ついて の情報 と して実行可能な処理の一覧を上記ス ト ァ する手段か ら読み出 して上記表示手段に表示する手段を 有する。

6 . 請求の範囲第 1 項か ら第 5 項のいずれかの映像処 理装置におて、 更に

テキス ト 又は図形を入力する こ とで探索キーを指定す る手段を有 し、

上記処理を行う手段は、 該指定された探索キーに対応 する上記ォブジ ェ ク 卜 についての情報を上記ス ト ァする 手段か ら読み出 して上記表示手段に表示する手段を有す o

7 . 請求の範囲第 6 項の映像処理装置において、 上記処理を行う手段は、 異なるオブジェ ク ト をそれぞ れ映す複数のカ メ ラの映像の う ち、 該得られた情報に対 応する カ メ ラの映像を上記表示手段に表示する。

8 . 請求の範囲第 1 項の映像処理装置において、 更に 上記表示手段に表示されたオブジ ェ ク トの映像の領域 を指定する手段と、

該措定された領域に対応する該ォブジ ェ ク 卜の処理を 定義する手段を有する。

9 . 少な く と も一つのオブジ ェ ク ト （ o b j e c t ) の ビデオ映像を表示手段の画面に表示する映像処理装置 であ って、

該オブジ ェ ク 卜 に関する情報をス ト ァする手段と、 該情報に基づいて該ォブジ ヱ ク 卜 に関する グラ フ ィ ッ ク スを上記表示手段に表示する手段とを有する映像処理 装置。

1 0 . 請求の範囲第 9 項の映像処理装置において、 更 該ォブジ ヱ ク ト についての情報を指定する手段と、 該指定された情報に基づき上記ス ト ァ手段を検索し、 該指定された情報に対応する該ス トァ手段内の情報を得 る手段とを備え、

上記表示する手段は、 該得られた情報に基づき該ォブ ジ X ク ト に関する グラ フ ィ ッ ク スを上記表示手段に表示 する。

1 1 . 請求の範囲第 9 項の映像処理装置において、 更 に、

該画面に表示されたグラ フ ィ ッ ク スを介して該ォブジ 二 ク トを操作する手段を有する。

1 2 . 表示手段の画面に表示される少な く と も一つの ォブジェ ク ト （ o b j e c t ) の ビデオ映像に関する処 理を行う映像処理装置であって、

該ォブジ ェ ク 卜 に関する位置情報をス ト アする手段と . 該位置情報に基づいて、 上記画面上のォブジ ェ ク トを 同定する手段と、

該同定されたォブジ ェ ク 卜 に基づいて処理を行う手段 とを有する映像処理装置。

1 3 . 請求の範囲第 1 2 項の映像処理装置において、 上記同定手段は、 上記画面上の映像を指定する手段と、

該指定さ れた映像の位置情報に基づき上記ス ト ァ手段 を検索 し、 該指定さ れた映像の位置情報に対応する該ス ト ァ手段内の位置情報を得る手段と、

該得られた位置情報に基づき上記画面上のオブジ ェ ク トを同定する手段を有する。

1 4 . 請求の範囲第 1 3 項の映像処理装置において、 上記処理を行う手段は、 該同定されたオブジ ェ ク 卜 に 基づいて対応する グラ フ ィ ッ ク スを上記画面に表示する ,

1 5 . 請求の範囲第 1 3 項の映像処理装置において、 上記処理を行う手段は、 該同定されたオブジ ェ ク ト に 基づいて対応する該ォブジ ェ ク ト の映像を上記画面.に表 示する。

1 6 . 請求の範囲第 1 3 項の映像処理装置において、 上記処理を行う手段は、 該同定されたォブジ ェ ク 卜 に 基づいて対応する該ォブジ ェ ク 卜の操作を行う 。

1 7 . 表示手段の.画面に表示される少な く と もひとつ のォブジ ェ ク ト （ o b j e c t ) の ビデオ映像に関する 処理を行う映像処理方法であって、

該ォブジ ェ ク 卜 に関する情報をス ト アするステ ッ プと 該情報に基づいて該ォブジ ェ ク ト に関する処理を行う ステ ッ プ、 とを備える映像処理方法。

1 8 . 少な く と も一つのオブジ ェ ク ト （ o b j e c t ) の ビデオ映像を表示手段の画面に表示する映像処理 方法であ って、 該ォマ ジ ヱ ク 卜 に関する情報をス I、 了する ス千 ツ プ と 該情報に基ついて該ォブ ジ ヱ ク 卜 に関する ク" つ ィ ッ ク ス を上記表示手段に表示する ス テ ·:' プとを有する映像 処理方法。

1 9 . 表示手段の画面に表示さ れ る少な く と も 一つの オブ ジ ェ ク 卜 （ 0 b j e c t ) の ビデオ映像に関する処 理を行 う 映像処理方法であ っ て、

該ォブジ ヱ ク 卜 に関する位置情報をス ト アする ステ ツ プ と、

該位置情報に基づいて、 上記画面上のオブジ ェ ク ト を 同定する ステ ッ プ と、

該同定さ れたォブジ ェ ク ト に基づいて処理を行う. ステ ッ プ、 とを有する映像処理方法。 ·

2 0 . 表示手段の画面に表示さ れる少な く と も一つの オブ ジ ェ ク ト の ビデオ映像を操作する映像操作方法にお いて、

ビデオ映像内のオブジ ェ ク ト を指定するォブジ ェ ク ト 措定ス テ ッ プと、

指定さ れたォブ ジ ェ ク ト に対応する処理を実行する処 理実行ステ ッ プと を有する映像操作方法。

2 1 . 請求の範囲第 2 0 項の映像操作方法において、 上記オブ ジ ェ ク ト 指定ステ ッ プが、 ビデオカ メ ラ か ら 入力 さ れて上記画面に表示さ れている映像のオブ ジ ェ ク ト を指定する ステ ッ プを含む映像操作方法。

2 2 . 請求の範囲第 2 0 項又は第 2 1 項の映像操作方 ；'去において、

上記処理実行 ス モ '·' つ。か、 指定さ れたす一'' ジ X ク ト に 基づいて ヒ デす映像を変更す る処理を実行-する ス チ V マ を含む映像操作方法。

2 3 . 請求の範囲第 2 1 項の映像操作方法において、 上記処理実行ス テ ッ プが、 指定さ れたォブ ジ ェ ク 卜 に 基づいて ビデオ 力 メ ラ を操作する処理を実行す る ス テ ッ プを含む映像操作方法 o

2 4 . 請求の範囲第 2 1 項の映像操作方法において、 上記処理実行ステ ツ プが、 指定さ れたオブ ジ ェ ク ト を 操作する処理を実行する ステ ッ プを含む映像操作方法。

2 5 . 請求の範囲第 2 0 項又は第 2 1 項の映像操作方 法において、

上記処理実行ス テ ッ プが、 指定さ れたォブジ ェ ク 卜 に 対応する グラ フ ィ ッ ク スを前記映像上に合成表示 し、 ど のオブ ジ ェ ク 卜 か指定さ れたかを明示する ステ ッ プを含 む映像操作方法。

2 6 . 請求の範囲第 2 0 項又は第 2 1 項の映像操作方 法において、

上記処理実行ス テ ツ プは、 指定さ れたォブ ジ ェ ク ト に 対応する実行可能な処理の一覧を メ ニ ュ ー表示 し、 実行 すべき 処理を選択でき う る ス テ ッ プを 含む映像操作方法 2 7 . 請求の範囲第 2 0 項又は第 2 1 項の映像操作方

(·_ しヽ 、

上記処理実行ス 干 プ け 08 指定されたすブジ ェ ク 卜 に対応する グ フ ィ ッ ク スを !JtJ記 ビデオ映像上に合成表示する グ つ ィ ッ ク ス表示 ス モ ッ プ と 、 .

グ ラ フ ィ ッ ク ス の構成要素を選択する グ ラ フ ィ ッ ク ス 要素選択ステ ッ プと、

前記グラ フ ィ ッ ク ス要素選択ステ ッ プによ って選択さ れた構成要素に基づいた処理を実行する実行ステ ッ プと を有する映像操作方法。

2 8 . 請求の範囲第 2 0 項又は第 2 1 項の映像操作方 法において、

上記オブジ ェ ク ト指定ステ ッ プは、 映像内の指定可能 なォブジ ェ ク ト を明示するォブジェ ク ト明示ステ ッ プを 有する映像操作方法。

2 9 . 請求の範囲第 2 0 項又は第 2 1 項の映像操作方 法において、

上記処理実行ステ ッ プは、 上記指定されたォブジ ェ ク ト に関連する情報を表示する処理を実行するス テ ッ プを 含む映像操作方法。

3 0 . 少な く と も一つのオブジェ ク トの ビデオ映像を 画面に表示する表示手段と、 '

該表示手段の画面に表示される ビデオ映像内のォブジ エ タ 卜 を指定するォブジ ェ ク ト指定手段と、

指定されたォブジ ェ ク 卜 に対応する処理を実行する処 理実行手段とを有する映像操作装置。

3 1 . ビデオ映像を探索し、 表示する映像探索方法に しヽ し 、

チキ ス ト ま た は図 形を人力 し て探索キ一を指定する探 索キー指定ス チ ッ プ と 、

前記探索キー指定 ステ ッ プに よ て措定さ れた探索キ 一 に適合す る事物か表示さ れてい る ビデオ映像を表示す る映像探索ステ ッ プ とを有する映像探索方法。

3 2 . 請求の範囲第 3 1 項の映像探索方法において、 上記映像探索ステ ッ プが、 上記探索キー に基づいて ビ デォカ メ ラ を選択する ステ ッ プを有す る映像探索方法。

3 3 . 請求の範囲第 3 1 項又は第 3 2 項の映像探索方 法において、

上記映像探索ステ ッ プが、 探索キー に基づいて ビデオ 力 メ ラ を操作する ステ ッ プを有する映像探索方法。

3 4 . 請求の範囲第 3 1 項か ら第 3 3 項のいずれかの 映像探索方法において、

上記映像探索ステ ッ プが、 探索 した映像上に グ フ ィ ッ ク スを合成表示する こ と によ り 、 探索キー に適合する 事物を明示する ステ ッ プを有する映像探索方法。

3 5 . 請求の範囲第 3 1 項か ら第 3 4 項ま でのいずれ かの映像探索方法において、

上記探索キー入力 ステ ッ プか、 音声に よ っ て探索キー を入力する ステ ッ プを有する映像探索方法。

3 6 . ビデオ映像を探索 し、 表示する映像探索装置に おいて、

テキス ト ま たは図形を入力 し て探索キーを指定する探 索キ一指定手段と、

H'J記探索キー指定手段によ て指定された探索キーに 適合する事物が表示されている ビデオ映像を表示する映 像探索手段とを有する映像探索装置。

3 7 . 映像を表示手段の画面上に表示する映像表示ス テ ッ プと、

上記映像表示ス テ ッ プによ って表示された映像の領域 を指定する領域指定ステ ツ プと、

上記領域指定ステ ッ プによ って指定された領域に対応

1 0 して処理を定義する処理定義ステ ッ プと、 を有する映像 処理 ¾ ¾法。

3 8 . 映像を画面上に表示する表示手段と、

上 示された映像の領域を指定す る領域指定手段と、

1 5 上記領域指定手段によ つて指定された領域に対応 して 処理を定義する処理定義手段と、 を有する映像処理定義

3 9 . 被制御物となるオブジ ェ ク トを撮像する入カス テ ッ プと、

2 0 該撮像されたオブジ ェ ク トを表示する表示ステ ッ プと

主求の範囲第 2 0 項から第 2 9 項までのいずれかに記 載される映像操作方法とを具備する遠隔運転監視方法。

4 0 . 被制御物となるォブジ X ク トを撮像する ビデオ 力 i ラ と、

r ϋ. 該ビデオ力 によ って撮像されたオブジ ェ ク 卜 を表 示する 表示手段 と 、

請求の 囲第 0 項に記載さ れ る映像操作装置 と を具 備する遠隔運転監視装置。

4 1 . 被制御物 と 、

該被制御物を撮像する ビデす 力 メ ラ と 、

該 ビデオ 力 メ に よ っ て撮像 さ れた被制御物を表示す る表示手段 と、

該表示手段に表示さ れ る被制御物を画面上で指定する 指定手段 と、

該画面上で措定さ れた被制御物に対応する所望の処理 を実行する実行手段 とを具備す る遠隔運転監視装置。

4 2 . 被制御物 と、

該被制御物を撮像する ビデオ力 メ ラ と、

該 ビデオ 力 メ ラ に よ っ て撮像さ れた被制御物を表示す る表示手段 と、

該表示手段に表示さ れ る被制御物を画面上で指定する 指定手段 と、

該画面上で指定さ れた被制御物に対応する所望の処理 を定義する定義手段 と、

該画面上で指定さ れた被制御物に対応する上記所望の 処理を実行する実行手段 と を具備する遠隔運転監視装置 4 3 . 対象物に関する制御のためのデー タ （以下制御 デー タ と称す） を記憶する と共に、 該対象物に関する音 ま たは映像のデー タ を記憶する情報処理装置において、 制御千'一 ク と 音 又 は映像千'一 々 を関連づ る手段 と 、 該関連づける手段に基づいて、 制御デー タ と音又は映 像デ一 々 とを関連づけて出力する手段と、 を備える情報 処理装置。

4 4 . 請求の範囲第 4 3 項の情報処理装置において、 更に、

上記制御デー タを再生する第 1 の再生手段と、 上記音データ 又は映像データのう ち少な く と も一方を 再生する第 2 の再生手段と、 を備え、

上記関連づける手段は、 上記制御デー タ と上記音又は0 映像デー タ を関連づける情報をス ト ァする手段を有 し、 上記出力手段は、 上記再生された測定デ一 夕を出力す る第 1 の出力手段と、 ■

上記再生された音データ又は映像データを出力する第 2 の出力手段と、

5 上記出力される制御データ と映像又は音データ とを上 記関連づける情報によ り 同期 して出力する よ う上記第 1 第 2 出力手段を制御する同期手段と、 を有する情報処理 装置。

4 5 . 請求の範囲第 4 4 項の情報処理装置において、0 上記第 2 の再生手段は、

上記音デー タ及び映像デー タのう ち少な く と も一方の 再生方向ま たは再生速度を指定する手段と、

指定された再生方向、 再生速度で再生する手段、 とを 有する情報処理装置。

J 4 6 . 請求の範囲第 4 4 項の情報処理装置において、 更に、

出力すべき制御デ一 とその時刻を指定する手段を冇 し 、

上記同期手段は、 出力指定さ れた制御デー タが記録さ れた時点に最 も近い時点の映像ま たは音デー タ を出力す る よ う に上記第 1 の出力手段に対 して指示する情報処理

4 7 . 請求の範囲第 4 6 項の情報処理装置において、 上記指定手段は、 制御デー タの探索値を受付ける手段 を有 し、

上記同期手段は、 指定 した制御デ一 夕がその探索値を 取っ た時刻を探索する手段を有 し、

上記第 1 の出力手段は、 その時刻 と、 その時刻のデー 夕値を出力する手段を有する情報処理装置。

4 8 . 請求の範囲第 4 5 項か ら 4 7 項のいずれかの情 報処理装置において、

上記同期手段は、 映像または音デー タの再生速度にあ わせて制御デー タの表示頻度を決定する手段と、

映像ま たは音デー タの再生に同期 して、 制御デー タを 決定 した表示頻度で表示する手段とを有する情報処理装

4 9 . 請求の範囲第 4 6 項か ら第 4 8 項のいずれかの 情報処理装置において、

上記指定手段は、 制御デー タ の表示頻度を受付ける手 段を有 し、 上記第 1 の出力手段は、 指定された表示頻度に従 て 制御デ一 々を表示する手段を有 し、

上記同期手段は、 指定 した表示頻度から再生速度を決 定する手段を有 し、

上記第 1 の出力手段は、 決定 した速度で映像、 音デー 夕を出力する手段を有する、 情報処理装置。

5 0 . 請求の範囲第 4 4 項の情報処理装置において、 更に、

操作員の操作入力情報を記憶する第 3 の記憶手段を有 し、

上記出力手段は、 映像、 ま たは音データの再生に同期 して操作員の操作入力情報を出力する第 3 の出力手段と を有する情報処理装置。

5 1 . 請求の範囲第 5 0 項の情報処理装置において、 更に、

操作入力情報の指定を受付ける手段を有 し、

上記同期手段は、 措定した操作が入力 した時刻 と、 そ の時刻に最も近い映像、 音データを探索する手段と、 第 2 の出力手段が映像又は音デー タを再生するのに同 期 して、 第 3 の出力手段が操作入力情報を出力する よ う 制御する手段とを有する、 情報処理装置。

5 2 . 請求の範囲第 4 4 項の情報処理装置において、 更に、

画像内における記録対象の指定と、 どの時点で記録す るかを定める記録条件の指定と、 得られた画像デー タ の 記録方式の指定の少な '、 と も 1 つの指定を受付ける手段 を有 し 、

上記同期手段は、 記錄対象の指定、 記録条件の指定、 記録方式の指定の少な く と も 1 つの指定によ り 上記音又 は映像デー タの読み出 しを制御する情報処理装置。

5 3 . 監視対象物の音又は映像のデー タを処理する監 視装置において、

制御システムを制御する制御のためのデー タ （以下制 御デー タ と称す） と音又は映像デー タ とを関連づける手 段と、

映像上で監視対象物を選択する手段と、

制御デー タ を出力する第 1 の出力手段と、

音又は映像デー タを出力する第 2 の出力手段と、 上記選択された監視対象物に関連する制御デー タ を出 力する よ う 上記第 1 の出力手段を制御する手段と、 を備 える監視装置。

5 4 . 請求の範囲第 5 3 項の監視装置において、 上記関連付ける手段は、 監視対象物に関する情報 と、 該監視対象物 と制御デー タ とを関連付けるための情報と を記憶している記憶手段を有し、

上記制御手段は、 記憶されている上記監視対象物に関 する情報 と関連付けるための情報 とによ り 、 選択された 監視対象物に関連する制御デー タを選択する手段と、 該選択された制御デー タを上記第 1 の出力手段によ り 表示させる手段とを有する、 監視装置。

5 5 . 請求の範囲第 5 4 項の監視装置において、 選択 された監視対象物に関連する制御デー 夕が複数個ある場

. (一

上記第 2 の出力手段は、 選択された監視対象物と共に その近傍に関連する制御デー タの選択 メ ニュ ーを表示す る手段と、

上記選択メ ニュ ーから少な く と も一つの項目の指定を 受付ける手段と、

該受付けた項目 に対応する制御デー タを表示する手段 とを有する、 監視装置。

5 6 . 請求の範囲第 5 4 項の監視装置において、 上記第 2 の出力手段は、 選択された監視対象物に関連 する制御デー タを ト レ ン ドグラ フ内に表示する手段を有 する監視装置。 .

5 7 . 請求の範囲第 5 4 項の監視装置において、 上記第 2 の出力手段は、 選択された監視対象物と共に、 それに関連する少な く と も 1 つの制御デー タを該対象物 の近傍に、 表示する手段を有する監視装置。

5 8 . 請求の範囲第 5 4 項の監視装置において、 上記第 2 の出力手段は、 選択された監視対象物に関連 する制御デー タをグラ フ ィ ッ ク スで表現し、 該選択され た監視対象物の映像に重ねて表示する手段を有する監視 装置。

5 9 . 請求の範囲第 5 3 項の監視装置において、 上記関連付ける手段は、 監視対象物に関する情報と、 該監視対象物と関連のある監視対象物 とを関連付けるた めの情報 とを記憶 している記憶手段を有 し、

上記制御手段は、. 記憶されている監視対象物に関する 情報 と関連付けるための情報 とによ り、 選択された監視 対象物に関連する監視対象物を選択する手段を有 し、 上記第 2 の出力手段は、 映像上に該選択された監視対 象物が選択されたこ とを示 し、 該選択された監視対象物 に関連する上記選択された監視対象物を表示する手段を 有する監視装置。

6 0 . 請求の範囲第 5 3 項の監視装置において、 上記関連付ける手段は、 監視対象物に関する情報と、 該監視対象物と関連のある付加情報とを関連付けるため の情報とを記憶している記憶手段を有し、

上記制御手段は、 記憶されている監視対象物に関する 情報と関連付けるための情報とによ り、 選択された監視 対象物に関連する付加情報を選択 し、

上記第 2 の出力手段は、 映像上に該選択された監視対 象物が選択された こ とを示 し、 該選択された監視対象物 に関連する上記選択された付加情報を表示する手段を有 する監視装置。

6 1 . 監視対象物の音又は映像のデー タを処理する監 視装置において、

制御システムを制御する制御のためのデー タ （制御デ — 夕） と音又は映像デー タ とを関連づける手段と、

少な く と も 1 つの制御デー タ を選択する手段と、 制御デー タ を出力する第 i の出力手段と、

音又は映像デー タ を出力する第 2 の出力手段と、 上記選択された制御デー タ に関連する音又は映像デー タを出力する よ う上記第 1 の出力手段を制御する手段と を備える監視装置。

6 2 . 請求の範囲第 6 1 項の監視装置において、 上記関連付ける手段は、 監視対象物と制御データ とを 関連付けるための情報を記憶する手段を有し、

上記制御手段は、 上記情報に基づき、 上記選択された 制御デー タ に関連する監視対象物を選択する手段を有し 上記第 2 の出力手段は、 該選択された監視対象物を表 示する手段を有する監視装置。

6 3 . 請求の範囲第 6 2 項の監視装置において、 上記第 2 の出力手段は、 ト レ ン ドグラ フ内に制御デ一 夕を表示し、

表示されたデータ項目を選択する手段と、

該制御データに関連する監視対象物が映像内で選択さ れた こ とを示す表示を行な う手段、 とを有する監視装置 6 4 . 請求の範囲第 6 2 項の監視装置において、 上記第 2 の出力手段は、 ト レ ン ドグラ フ内に制御デ一 タを表示 し、

表示されたデー タ項目 を選択する手段を有し、 上記制御手段は、 該制御データ に関連する監視対象物 が映像内にない場合には、 関連する監視対象物が存在す る映像に切 り替える手段を有し、 上記第 2 の出力手段は、 該制御デー タ に関連する監視 対象物が映像内で選択された こ とを示す表示を行な う監 視装置。