DE4290947B4 - Interaktives videogestütztes Bedienungsverfahren und -vorrichtung - Google Patents

Interaktives videogestütztes Bedienungsverfahren und -vorrichtung Download PDF

Info

Publication number
DE4290947B4
DE4290947B4 DE4290947A DE4290947A DE4290947B4 DE 4290947 B4 DE4290947 B4 DE 4290947B4 DE 4290947 A DE4290947 A DE 4290947A DE 4290947 A DE4290947 A DE 4290947A DE 4290947 B4 DE4290947 B4 DE 4290947B4
Authority
DE
Germany
Prior art keywords
data
video
image
information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE4290947A
Other languages
English (en)
Other versions
DE4290947T1 (de
Inventor
Tani Katsuta Masayuki
Yamaashi Hitachi Kimiya
Tanikoshi Hitachi Koichiro
Futakawa Hitachi Masayasu
Tanifuji Hitachi Shinya
Nishikawa Mito Atsuhiko
Hirota Hitachi Atsuhiko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP07492791A external-priority patent/JP3375644B2/ja
Priority claimed from JP3238277A external-priority patent/JP2970964B2/ja
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Application granted granted Critical
Publication of DE4290947B4 publication Critical patent/DE4290947B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0216—Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Abstract

Interaktives videogestütztes Verfahren zur Bedienung eines Objektsystems aus einzelnen Objekten, bei dem
das Objektsystem mittels eines von einer Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) aufgenommenen Videobilds in Echtzeit auf einer Anzeigeeinrichtung (10, 20; 2103, 2111) dargestellt wird;
Modelldaten der Objekte des Objektsystems und Aufnahmeparameter der Videobild-Aufzeichnungseinrichtung in einer Speichereinrichtung (310, 320; 2104) gespeichert werden;
ein Objekt des Objektsystems mittels einer Auswahleinrichtung (12, 20; 2103, 2105, 2106, 2107) ausgewählt und das ausgewählte Objekt auf der Grundlage der gespeicherten Modelldaten und der Aufnahmeparameter identifiziert wird;
an dem ausgewählten Objekt auf der Grundlage von aus der Speichereinrichtung ausgelesenen Daten mittels einer Ausführeinrichtung (300; 2201) ein Steuervorgang ausgeführt wird; und
die Echtzeit-Darstellung des von der Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) aufgenommenen Videobilds auf der Anzeigeeinrichtung (10, 20; 2103, 2111) den ausgeführten Vorgang darstellt.

Description

  • TECHNISCHES GEBIET
  • Die Erfindung betrifft eine Mensch/Maschine-Schnittstelle, die Audio- oder Videodaten verwendet (einfach als "Mensch/Maschine-Schnittstelle" bezeichnet), insbesondere ein Video- oder Informationsverarbeitungsverfahren und eine Verarbeitungsvorrichtung zum Ausführen eines Prozesses für ein Objekt unter Verwendung von Audiodaten oder Videodaten dieses Objekts, sowie ein Objektüberwachungsverfahren und eine Überwachungsvorrichtung unter Verwendung des Verarbeitungsverfahrens/der Verarbeitungsvorrichtung.
  • Um ein großes Anlagensystem, wie ein Kern(Atom-) Kraftwerk sicher zu. betreiben, ist notwendigerweise ein Betriebsüberwachungssystem mit einer geeigneten Mensch/Maschine-Schnittstelle erforderlich. Eine Anlage wird betriebsmäßig durch die drei Arbeiten "Überwachung", "Beurteilung" und "Handhabung" von einer Bedienperson gewartet. Ein Betriebsüberwachungssystem muß mit einer solchen Mensch/Maschine-Schnittstelle ausgebildet sein, die dazu in der Lage ist, daß diese drei Aufgaben von einer Bedienperson ohne Schwierigkeiten ausgeführt werden können. Bei der Aufgabe "Überwachung" müssen die Zustände der Anlage sofort oder genau erfaßt werden. Während der Aufgabe "Beurteilung" muß eine Bedienperson schnell auf Beurteilungsmaterial und auf zu beurteilende Information zugreifen können. Während der Aufgabe "Handhabung" ist notwendigerweise eine Aufgabenumgebung erforderlich, bei der ein zu handhabendes Objekt und das Ergebnis der Handhabung intuitiv erfaßt werden können und mit der die von der Bedienperson beabsichtigte Handhabung schnell und richtig ausgeführt werden kann.
  • Die Mensch/Maschine-Schnittstelle eines herkömmlichen Betriebsüberwachungssystems wird nun zusammenfassend hinsichtlich der Aufgabe "Überwachung", "Beurteilung" und "Handhabung" beschrieben.
  • (1) Überwachung
  • Zustände innerhalb einer Anlage können dadurch erfaßt werden, daß sowohl die von verschiedenen Sensoren zum Messen von Drücken und Temperaturen und dergleichen gewonnenen Daten als auch Videodaten erfaßt werden, die von Videokameras erzeugt werden, die an verschiedenen Orten der Anlage positioniert sind. Werte von den verschiedenen Sensoren werden auf verschiedene Weise auf einer graphischen Anzeige dargestellt. Auch werden in weitem Umfang eine Trendkurve und ein Balkendiagramm dargestellt. Andererseits muß das von der Videokamera erzeugte Videosignal getrennt von der graphischen Anzeige auf einem ausschließlich hierfür verwendeten Monitor dargestellt werden. Mehr als 40 Sätze von Kameras sind in einer Anlage installiert, wobei es sich um keinen seltenen Fall handelt. Durch Umschalten der Kameras und Steuern der Linsen und Richtungen derselben überwacht eine Bedienperson die verschiedenen Orte in der Anlage. Bei einer normalen Überwachungsaufgabe tritt nur sehr selten der Fall auf, daß Bilder oder Videosignale, wie sie von den Kameras erzeugt werden, von der Bedienperson betrachtet werden, und tatsächlich ist der Nutzungsgrad der von den Kameras erstellten Bilder gering.
  • (2) Beurteilung
  • Wenn ein außerordentlicher Fall in der Anlage auftritt, muß eine Bedienperson sofort und genau beurteilen, was gerade in der Anlage vor sich geht, was dadurch erfolgt, daß sie eine große Informationsmenge umfassend überprüft, die von den Sensoren und Kameras erhalten wird. Da die von den verschiedenen Sensoren und die Bilder oder Videosignale von den Kameras erhaltenen Daten im derzeitigen Betriebsüberwachungssystem unabhängig voneinander überwacht oder verwaltet werden, ist es schwierig, auf diese Daten und Bilder unter Herstellen einer Beziehung zwischen diesen zuzugreifen, was zu einer schweren Arbeitsbelastung der Bedienperson führt.
  • (3) Handhabung
  • Handhabungen werden unter Verwendung von Schaltern oder Hebeln ausgeführt, die an einer Bedienkonsole vorhanden sind. In letzter Zeit wurden solche Systeme vorgeschlagen, bei denen eine Handhabung dadurch ausgeführt wird, daß eine Graphikanzeige mit einem Tastpaneel versehen wird und Menüs und Figuren ausgewählt werden, die auf dem Schirm dargestellt werden. Jedoch entsprechen die Schalter und Hebel an der Bedienkonsole, wie auch die auf der Anzeige dargestellten Menüs und Figuren abstrakten Formen, die für die tatsächlichen Objekte irrelevant sind. Es besteht ein schwieriger Fall dahingehend, daß eine Bedienperson eine Annahme über die Funktionen dieser Objekte und die Ergebnisse der Handhabungen treffen oder sich entsprechendes vorstellen muß. Anders ge sagt, bestehen Schwierigkeiten dahingehend, daß eine Bedienperson nicht unmittelbar erkennen kann, welcher Hebel zu betätigen ist, um eine gewünschte Funktion zu erzielen, oder daß sie nicht intuitiv erfassen kann, welcher Betriebsbefehl an ein Anlagenteil innerhalb der Anlage gesendet wird, wenn ein bestimmter Knopf gedrückt wird. Eine weitere Schwierigkeit besteht dahingehend, daß, da die Bedienkonsole getrennt vom Monitor z. B. für die Kamera angeordnet ist, die Vorrichtung platzaufwendig wird.
  • Der nachstehend angegebene Stand der Technik wurde vorgeschlagen, um die Kameraumschaltabläufe und die Kamerafernsteuerungsabläufe hinsichtlich der Überwachungsaufgabe zu vereinfachen, wie sie im obigen Punkt (1) beschrieben wurden:
    • (a) Graphiken, die durch Simulieren eines von einer Kamera zu photographierenden Objekts erzeugt werden, werden auf einer Graphikanzeige dargestellt. Der Photographieoet oder eine Stellung wird auf den oben angegebenen Graphiken angewiesen. Auf diese Anweisung hin wird die Kamera so angesteuert, daß ein gewünschtes Bild auf einem Kameramonitor dargestellt wird. Dieser Typ von Anlagen-Betriebsüberwachungssystem ist z. B. aus JP-A-61-73091 bekannt.
    • (b) Wenn eine Prozeßvorrichtung zum Ausführen entweder eines Betriebs oder eines Überwachungsbetriebs von einer Tastatur aus gekennzeichnet wird, wird ein Prozeßflußdiagramm für die gewünschte Prozeßvorrichtung graphisch dargestellt, und gleichzeitig wird ein Bild von einer Kamera zum Abbilden der oben angegebenen Prozeßvorrichtung auf einem Schirm dargestellt. Eine solche Art von Anlagen-Betriebsüberwachungssystem ist z. B. in JP-A-2-224101 beschrieben.
    • (c) Auf Grundlage einer auf einem Monitorschirm für eine Kamera zum Photographieren einer Anlage spezifizierten Position werden Schwenk-, Zoom- und Fokussierabläufe der Kamera ausgeführt. Wenn z. B. der obere Bereich des Monitorschirms spezifiziert wird, wird die Kamera nach oben verschwenkt, während sie dann, wenn ein unterer Bereich des Monitorschirms gekennzeichnet wird, die Kamera nach unten verschenkt wird. Eine derartige Form eines Anlagen-Betriebsüberwachungssystems ist z. B. in JP-A-62-2267 beschrieben.
  • Einerseits wurde, allgemein gesagt, bei einem Überwachungssystem, wie einem Prozeßsteuerungs-Überwachungssystem, ein Verfahren zum visuellen Überwachen von Zuständen des Prozesses dadurch verwendet, daß ein Monitorgerät in einem Zentralverwaltungsraum und eine ITV-Kamera (industrielle TV-Kamera) am Prozeßort installiert wurden, und Prozeßzustände auf einem Monitor mit Hilfe eines von dieser Kamera aufgenommenen Bildes dargestellt wurden. Dieses Bild und auch Ton wurden auf einem Aufzeichnungsmedium, wie einem Videoband, aufgezeichnet. In außergewöhnlichen Fällen wurde das Aufzeichnungsmedium zurückgespult, um das Bild und den Ton wiederzugeben.
  • Andererseits werden Daten, die der Reihe nach vom Prozeß ausgesendet wurden und zur Steuerung (Steuerungsdaten) verwendet wurden, z. B. Prozeßdaten (Meßdaten) entweder auf einem Monitor oder einem Meßgerät oder dergleichen im Zentralverwaltungsraum dargestellt, in einer Datenbasis innerhalb eines Systems abgespeichert und aus der Datenbasis wiedergewonnen, wenn eine Analyse erforderlich ist oder ein außerordentlicher Fall auftritt. Dieses herkömmliche System ist bei dem in JP-A-60-93518 offengelegten Anzeigeverfahren für den Verlauf des Anlagenbetriebs eingeführt.
  • Tom Williams: "Graphic interfaces make knobs and switches obsolete" in Computer Design, August 1990, Seite 78 bis 94 offenbart die Verwendung von Videobildern oder Ton im Benutzer-Interface einer Prozeßsteuerung. Beispielsweise werden Grafikobjekte aus Videobildern tatsächlicher Instrumente und aufgezeichneter Schall zur Information des Bedienungspersonals verwendet. In diesem Beispiel werden die Videobilder vorab aufgezeichnet und Zur Verwendung als Grafikobjekte entsprechend überarbeitet.
  • W. Riehnecker: "Digitale Bildverarbeitung" in Elektronik 7/30.3.1990, Seite 86 bis 96 beschreibt die Verwendung digitaler Mustererkennungsverfahren in Sensoren der industriellen Fertigungstechnik. DE-A-4033303 betrifft ein Mustererkennungsverfahren zur automatischen Überwachung einer industriellen Anlage. Interaktive Videofilme auf CD-ROM sind Gegenstand der "Digital Video Interactive" Technik (DVI), die von Mathias Ebert: "Animation, brauchen wir die schon?" in Design & Elektronik, 15, Juli 1990, Seite 99 und 100 behandelt wird.
  • Offenbarung der Erfindung
  • Wie oben beschrieben, liegen die folgenden Schwierigkeiten bei herkömmlichen Betriebsüberwachungssystemen vor:
    • (1) Da es schwierig ist, das Gefühl des körperlichen Vorhan denseins an einem Ort über Fernsteuerungen unter Verwendung von Schaltern, Knöpfen und Hebeln an einer Bedienkonsole sowie auf einem Monitorschirm dargestellten Menüs und Ikonen zu erfassen, können das zu bedienende tatsächliche Objekt und das Bedienungsergebnis nur schwer intuitiv erfaßt werden. So bestehen viele Möglichkeiten für fehlerhafte Handhabungen.
    • (2) Die Bedienperson muß direkt die Kameras umschalten und auch direkt den Fernsteuerungsbetrieb ausführen, und sie kann nicht einfach eine solche Kamera auswählen, die dazu in der Lage ist, eine gewünschte Szene abzubilden, wenn eine große Anzahl von Kameras zum Überwachen der Szene verwendet wird. Es ist eine mühselige Aufgabe, die gewünschte Szene dadurch zu betrachten, daß eine am entfernten Ort aufgestellte Kamera betätigt wird.
    • (3) Der Schirm zum Darstellen des Bildes oder des Videosignals von der Videokamera, der Schirm, über den auf andere Daten Bezug genommen wird, und der Schirm oder das Gerät, über die eine Handhabung angewiesen wird, liegen getrennt vor. Demgemäß treten Schwierigkeiten dahingehend auf, daß das sich ergebende Gerät voluminös wird und daß die wechselseitige Beziehung zwischen dem Videobild und den anderen Daten schwierig wird.
    • (4) Obwohl ein Videobild einer Kamera eine große Wirkung dahingehend hat, das Gefühl des körperlichen Vorhandenseins zu vermitteln, da dieses Bild eine große Informationsmenge enthält und auch nicht abstrahiert ist, besteht der Nachteil, daß eine Bedienperson nur schwer und intuitiv eine Struktur innerhalb des Kamerabildes erfassen kann.
  • Bei graphischer Darstellung kann andererseits ein wichtiger Bereich hervorgehoben werden, und unwichtige Bereiche können vereinfacht werden, und dann kann nur ein wesentlicher Bereich als abstraktes Bild dargestellt werden. Jedoch werden diese graphischen Darstellungen vom tatsächlichen Objekt und dem tatsächlichen Vorgang getrennt, und daher besteht die Gefahr, daß eine Bedienperson die Beziehung zwischen den graphischen Darstellungen und dem tatsächlichen Vorgang/Objekt nicht leicht erfassen kann.
    • (5) Die von der Kamera gewonnene Videoinformation wird insgesamt und unabhängig von anderer Information (z. B. von Daten über Druck und Temperaturen und dergleichen) verwaltet, so daß die Wechselbeziehung nicht einfach hergestellt werden kann. Infolgedessen ist es schwierig, eine umfassende Beurteilung der Zustände vorzunehmen.
  • Andererseits weist das im oben angegebenen Dokument JP-A-61-73091 offenbarte Verfahren das Verdienst auf, daß ein gewünschtes Bild einfach dadurch dargestellt werden kann, daß ein zu photographierendes Objekt spezifiziert wird, ohne daß komplexe Kamerabedienungen erforderlich sind. Jedoch kann auf das dem aufgenommenen Bild entsprechende dargestellte Bild und die Steuerinformation nicht einfach dadurch Bezug genommen werden, daß der im Videobild repräsentierte Inhalt spezifiziert wird (darzustellendes Anlagenteil und dergleichen). Infolgedessen muß eine Bedienperson dann, wenn sie einen außergewöhnlichen Bereich auf einem Kameramonitor herausfindet und versucht, diesen außergewöhnlichen Bereich genauer zu betrachten, ihre Augen zum Graphikschirm wenden und den dem außergewöhnlichen Bereich auf dem Bild entsprechenden Bereich hinsichtlich der Graphiken neu überprüfen.
  • Hinsichtlich des in JP-A-2-224101 beschriebenen Verfahrens besteht auch ein Vorteil dahingehend, daß sowohl die dem durch die Tastatur spezifizierten Anlagenteil entsprechende graphische Darstellung als auch das Kamerabild gleichzeitig dargestellt werden können. Jedoch kann die Spezifizierung des Anlagenteils nicht direkt auf dem Schirm vorgenommen werden. Infolgedessen muß eine Bedienperson dann, wenn sie einen außerordentlichen Bereich auf dem Kameramonitor fest stellt und versucht, diesen außerordentlichen Bereich detaillierter zu betrachten, auf der Tastatur nach der diesem außergewöhnlichen Bereich entsprechenden Tate suchen.
  • Darüber hinaus wird bei dem in JP-A-62-226786 offenbarten Verfahren, obwohl der Betrieb der Kamera auf dem Schirm spezifiziert werden kann, auf dem das Bild dargestellt wird, ohne daß hierzu eine Eingabevorrichtung, z. B. ein Joystick, verwendet wird, nur ein Befehl, wie die Schwenkrichtung oder das Aufzoomen oder Abzoomen der Kamera, ausgewählt wird. Die Bedienperson muß die Kamera dahingehend einstellen, wie weit sie verschwenkt werden soll, um das zu überwachende Objekt genauer betrachten zu können, was beinhaltet, daß diese komplexe Bedienung im wesentlichen mit einer solchen identisch ist, bei der ein Joystick verwendet wird. Da das zu bedienende Objekt auf eine einzige Kamera beschränkt ist, kann darüber hinaus nicht das optimale Bild von einer Mehrzahl von Kameras ausgewählt werden.
  • Wie oben beschrieben, kann bei den in den jeweiligen Veröffentlichungen dargelegten Verfahren die inhaltsbezogene Information (graphische Repräsentierungen, wie Bild- und Steuerungsinformation) nicht dadurch aufgerufen werden, daß direkt der auf dem Bild dargestellte Inhalt spezifiziert wird (dargestellte Anlagenteile). Infolgedessen muß die Bedienperson die Information selbst herausfinden, die mit dem im Bild dargestellten Inhalt zusammenhängt.
  • Andererseits müssen beim Überwachungssystem, wie dem oben beschriebenen Prozeßüberwachungssystem und dergleichen, da die Videoinformation, die Ton(Audio-)information und die Prozeßdaten nicht wechselseitig miteinander verknüpft werden, diese Daten dann, wenn sie beim Stand der Technik wiedergegeben oder analysiert werden, getrennt wiedergegeben oder analysiert werden. Wenn z. B. ein außergewöhnlicher Vorgang auftritt, wird dieser Vorgang dadurch festgestellt, daß eine Meßeinrichtung einen Summer betätigt. Danach wird der entsprechende Anlagenteil aus dem gesamten Prozeßdiagramm herausgesucht, und die Ursache und das Lösungsverfahren werden bestimmt, so daß der erforderliche Prozeß ausgeführt werden kann. In diesem Fall ist zum Erkennen der Ursache und der ausgefallenen Vorrichtung eine sehr große Arbeitsbelastung erforderlich, da eine große Menge wechselbezogener Daten und Bilder erforderlich sind. Bei einer Analyse unter Verwendung von Videodaten wird ein Verfahren verwendet, bei dem das Gebiet um den außergewöhnlichen Bereich herum auf Grundlage von Prozeßdaten überprüft wird, nachdem die Videodaten vorab betrachtet wurden, um das Gebiet nahe dem außergewöhnlichen Bereich aufzusuchen, und ein Verfahren zum Wiedergeben des Bildes durch Zurückspulen der Videodaten, nachdem der außergewöhnliche Punkt mit Hilfe der Prozeßdaten herausgefunden wurde.
  • Jedoch sind, allgemein gesagt, mehrere ITV-Kameras zum Überwachen der Anlage und dergleichen vorhanden. Da die von diesen aufgenommenen Bilder auf mehreren Videobändern aufgezeichnet wurden, müssen all diese Videobänder zurückgespult und wiedergegeben werden, bis der gewünschte Videobandabschnitt erscheint, damit die Bilder von den jeweiligen Kameras unter Wechselbeziehung betrachtet werden können, wenn ein außergewöhnlicher Vorgang auftritt und die Analyse ausgeführt wird, was zu einer schweren Arbeitsbelastung der Bedienperson führt.
  • Andererseits ist es schwierig, auf die gewünschten Daten aus der Datenbasis zuzugreifen, und in den meisten Fällen wird, nachdem eine große Informationsmenge ausgedruckt wurde, die gedruckte Information von den Bedienpersonen analysiert.
  • Wie oben beschrieben, bestehen die folgenden Schwierigkeiten bei einem herkömmlichen Überwachungssystem, wie einem Prozeßsteuerungs-Überwachungssystem.
    • (1) Wenn Videoinformation und Audio(Ton-)information wiedergegeben werden, ist, da auf die Prozeßdaten nicht zur selben Zeit zugegriffen werden kann, selbst dann, wenn Information aus einem Bild erhalten wird, mühselige Arbeiten über längere Zeit erforderlich, um anschließend die Prozeßdaten zu suchen.
    • (2) Selbst wenn die Prozeßdaten in einer Trendkurve oder dergleichen aufgezeichnet werden und der Zeitpunkt, zu dem eine Bedienperson auf ein Bild zugreifen möchte, erkannt werden kann, sind sowohl mühselige Arbeit als auch längere Zeit aufzuwenden, um das Bild darzustellen. Infolgedessen können die aktuellen Feldzustände nicht schnell erfaßt werden.
    • (3) Selbst wenn Prozeßdaten, wie solche mit einem außerordentlichen Wert, gesucht werden, ist mühselige Arbeit dazu erforderlich, das diesen Prozeßdaten zugeordnete Bild darzustellen.
    • (4) Während aufgezeichnete Prozeßdaten dargestellt werden, besonders, wenn eine große Menge aufgezeichneter Daten bei schnellem Vorlauf dargestellt wird, wird der Computer stark belastet.
    • (5) Da eine Beschränkung hinsichtlich des Datendarstellungsverfahrens besteht, kann Anforderungen, daß Inhalte derselben im einzelnen beobachtet werden können oder auch übersprungen werden, nicht genügt werden. Insbesondere dann, wenn die Inhalte von Daten dadurch analysiert werden, daß sie im einzelnen betrachtet werden, könnte eine detailliertere Analyse ausgeführt werden, wenn in Beziehung stehende Bilder und auch Toninformation bei langsamer Wiedergabe erfaßt würden. Jedoch ist keine derartige Funktion vorhanden.
    • (6) Die Bedienanweisungen durch die Bedienperson liegen als wichtiges Element zum Bestimmen des Prozeßablaufs vor. Da diese nicht aufgezeichnet werden, kann nicht erkannt werden, ob die Prozeßbedingunqen verändert wurden oder nicht, und falls ja, durch Ausführen welcher Art von Bedienung.
    • (7) Selbst wenn eine Bedienperson sich an den ausgeführten Befehl erinnert, muß, da nach diesem Befehl nicht gesucht werden kann, eine Abschätzung für den Zeitpunkt getroffen werden, zu dem die Bedienanweisung ausgegeben wurde, was dadurch erfolgt, daß die Prozeßdaten und dergleichen analysiert werden.
    • (8) Da keine Beziehung zwischen den Prozeßdaten und der Videoinformation besteht, kann, selbst wenn in einem Bild ein außergewöhnlicher Vorgang aufgefunden wird, nur eine geschickte Bedienperson mit viel Erfahrung verstehen, welche Szene von einem Bild wiedergegeben wird und welche Art von Daten daraus ausgegeben wird. Demgemäß kann nur eine sehr erfahrene Bedienperson erkennen, welche Prozeßeinrichtung in Beziehung zu den Daten steht.
    • (9) Da der Ort zum Darstellen des Videobildes vom Ort zum Darstellen der Prozeßdaten getrennt ist, muß die Bedienperson ihre Blickrichtung verändern, und sie kann nicht gleichzeitig die Daten und die Bilder betrachten, die sich von Zeit zu Zeit ändern.
    • (10) Es besteht eine Schwierigkeit hinsichtlich der Reproduzierbarkeit des herkömmlich verwendeten Videobandes in bezug auf schnellen Zugriff auf Videodaten. Wenn andererseits eine optische Platte verwendet würde, könnte ein schneller Zugriff möglich sein. Da Videodaten jedoch sehr umfangreich werden, wäre eine Platte mit großer Speicherkapazität erforderlich, um die Videodaten aufzuzeichnen.
  • Es ist ein Zweck der Erfindung, ein Bedienungsverfahren und eine Vorrichtung anzugeben, die dazu in der Lage sind, einen mit Ton(Audio-)daten oder Video(Bild-)daten zu einem Objekt in Verbindung stehenden Vorgang bzw. Prozess auf Grundlage dieser Daten auszuführen.
  • Die Lösung dieser Aufgabe gelingt mit einem Verfahren nach Anspruch 1. Die abhängigen Ansprüche betreffen bevorzugte Ausführungsbeispiele der Erfindung. Anspruch 40 betrifft eine Vorrichtung zur Ausführung des Verfahrens der Erfindung.
  • Gemäß einer Erscheinungsform der Erfindung ist eine Videoverarbeitungsvorrichtung zum Ausführen eines mit einem Videobild mindestens eines auf einem Schirm einer Anzeigeeinheit in Beziehung stehenden Prozesses mit einer Einheit zum Speichern von mit dem Objekt in Beziehung stehender Information und mit einer Einheit zum Ausführen eines Prozesses für dieses Objekt auf Grundlage der obigen Information versehen.
  • Gemäß einer anderen Erscheinungsform der Erfindung weist eine Informationsverarbeitungsvorrichtung zum Speichern sowohl von Daten (Steuerungsdaten), die zum Steuern eines Objektes verwendet werden, als auch von Daten für Ton oder ein Bild, die zu diesem Objekt in Beziehung stehen, eine Einheit zum Herstellen einer Beziehung der Steuerungsdaten entweder mit den Tondaten oder den Videodaten auf, und auch eine Einheit zum Herstellen einer Beziehung der Steuerungsdaten mit den auszugebenden Tondaten oder Videodaten auf Grundlage der Beziehungseinheit.
  • Vorzugsweise ist es ein Ziel der Erfindung, die oben angegebenen Schwierigkeiten im Stand der Technik zu lösen und min destens einen der folgenden Punkte (1) bis (6) zu erreichen.
    • (1) Bei einem Fernbedienungs-Überwachungssystem und dergleichen können ein zu bedienendes Objekt und ein Bedienergebnis von einer Bedienperson intuitiv erfaßt werden.
    • (2) Ein Bild eines zu überwachenden Ortes kann einfach ohne mühselige Kamerabedienungen und mühselige Fernsteuerungen von Kameras betrachtet werden.
    • (3) Das Fernbedienungs-Überwachungssystem und dergleichen kann kompakt ausgebildet werden, was zu einer Platzersparnis führt.
    • (4) Vorzüge eines Kamerabildes und von Graphiken werden unabhängig voneinander herausgestellt, und auch Mängel derselben können gegeneinander kompensiert werden.
    • (5) Auf verschiedene Informationsarten kann schnell und mit Wechselbeziehung Bezug genommen werden. Z. B. kann direkt auf die Temperatur eines Bereichs Bezug genommen werden, die gerade durch ein Kamerabild überwacht wird.
    • (6) Eine Mensch/Maschine-Schnittstelle zum Erreichen der obigen Ziele kann einfach entworfen und entwickelt werden.
  • Gemäß der Erfindung werden die oben angegebenen Ziele (1) bis (5) durch ein Verfahren mit den nachstehend angegebenen Schritten gelöst:
  • (1) Objektspezifizierungsschritt
  • Ein Objekt innerhalb eines auf einem Schirm dargestellten Videobildes wird dadurch spezifiziert, daß eine Eingabeeinrichtung, wie eine Zeigeeinrichtung (diese wird im folgenden als "PD" = Pointing Device bezeichnet), verwendet wird. Das Videosignal wird von einer entfernt angeordneten Videokamera eingegeben, oder es wird von einem Speichermedium wiedergegeben (optische Videoplatte, Videobandrecorder, Computerplatte). Als Zeigeeinrichtung wird z. B. ein Tastpaneel, ein Tablett, eine Maus, eine Augenfolgeeinrichtung, eine Zeigeeingabeeinrichtung usw. verwendet. Bevor ein Objekt spezifiziert wird, kann ein innerhalb eines Bildes spezifizierbares Objekt deutlich mit Hilfe einer Graphiksynthese angezeigt werden.
  • (2) Prozeßausführungsschritt
  • Auf Grundlage des durch den oben angegebenen Objektspezifizierungsschritt spezifizierten Objekts wird ein Prozeß ausgeführt. Z. B. ist der Prozeßinhalt der folgende:
    • – Ein Bedienungsbefehl wird ausgesendet, durch den ein ähnliches Ergebnis erhalten wird, wie wenn das spezifizierte Objekt betätigt wird oder betätigt wurde. Wenn das spezifizierte Objekt z. B. einem Knopf entspricht, wird eine derartige Bedienanweisung ausgesendet, durch die ein ähnliches Ergebnis erzielt wird, als wenn der Knopf tatsächlich gedrückt wird oder gedrückt wurde.
    • – Auf Grundlage des spezifizierten Objektes wird das Bild gewechselt. Z. B. kann das spezifizierte Objekt in seiner besten Darstellung durch Betätigen einer entfernt angeordneten Kamera beobachtet werden. Durch Bewegen der Richtung der Kamera wird das spezifizierte Objekt in der Mitte des Bildes abgebildet, und das spezifizierte Objekt wird durch Steuern einer Linse mit großer Gestalt abgebildet. Bei einem anderen Beispiel wird ein Wechsel zu einem solchen Kamerabild vorgenommen, bei dem das spezifizierte Objekt unter einem anderen Winkel dargestellt wird, oder es wird auf ein Bild einer Kamera zum Photographieren eines mit dem spezifizierten Objekt in Beziehung stehenden Objektes gewechselt.
    • – Um das spezifizierte Objekt klar darzustellen, wird eine aus einem Bild und einem Synthesebild zusammengesetzte Gra phik dargestellt.
    • – Mit dem spezifizierten Objekt in Beziehung stehende Information wird dargestellt. Z. B. werden eine Handbedienungsinformation und ein Strukturdiagramm dargestellt.
    • – Eine mit dem spezifizierten Objekt verknüpfte Liste ausführbarer Prozesse wird als Menü dargestellt. Ein Menü kann als Muster (Figur) dargestellt werden. Anders gesagt, werden mehrere Muster mit einem darzustellenden Bild synthetisiert, die synthetisierten und dargestellten Muster werden durch die PD ausgewählt, und dann wird auf Grundlage des ausgewählten Musters der folgende Prozeß ausgeführt.
  • Mit der Erfindung kann das oben angegebene Ziel (1) auch durch ein Verfahren mit einem Schritt zum graphischen Darstellen einer Steuerungseinrichtung erreicht werden, um ein gesteuertes Objekt am oder nahe beim in einem Bild dargestellten gesteuerten Objekt zu steuern.
  • Gemäß der Erfindung kann auch das Ziel (2) durch ein Verfahren erreicht werden, das einen Suchschlüssel-Spezifizierschritt aufweist, um einen Suchschlüssel dadurch zu spezifizieren, daß entweder Text oder Graphik eingegeben wird, und das einen Videosuchschritt beinhaltet, um ein Videobild darzustellen, in dem ein Objekt dargestellt wird, das mit dem im vorstehend genannten Suchschlüssel-Spezifizierschritt spezifizierten Schlüssel zur Übereinstimmung gebracht wurde.
  • Was das oben angegebene Ziel (6) betrifft, so wird dieses mit einem Verfahren erreicht, das einen Bilddarstellungsschritt zum Darstellen eines von einer Videokamera eingegebenen Bildes, einen Bereichspezifizierschritt zum Spezifizieren eines Bereichs auf dem durch den Bilddarstellungsschritt dargestellten Bild sowie einen Prozeßdefinierschritt zum Definieren eines Prozesses in dem durch den Bereichspezifizierschritt dargestellten Bereich verfügt.
  • Ein Objekt in einem Videobild auf einem Schirm wird direkt spezifiziert, und eine Bedienanweisung wird an das spezifizierte Objekt gesendet. Während eine Bedienperson ein aktuell dargestelltes Bild des Objektes betrachtet, führt sie eine Bedienungsanweisung aus. Wenn das Objekt visuell auf die Bedienungsanweisung hin verstellt wird, wird diese Bewegung direkt auf dem Kamerabild wiedergespiegelt. Dadurch kann die Bedienperson die Fernbedienung so ausführen, daß sie das Gefühl hat, als würde sie tatsächlich vor Ort handeln und direkt die Bedienung hinsichtlich des aktuell dargestellten Bildes ausführen. Infolgedessen kann die Bedienperson das Verhalten eines zu bedienenden Objektes und auch das Ergebnis der Bedienung intuitiv erfassen, so daß fehlerhafte Bedienungen verringert werden.
  • Auf Grundlage des im Bild auf dem Schirm spezifizierten Objektes werden die Kameras ausgewählt, und die Bedienungsanweisung wird an die Kameras übertragen. Infolgedessen kann ein zum Überwachen eines Objektes geeignetes Bild nur dadurch erhalten werden, daß das Objekt innerhalb des Bildes spezifiziert wird. D. h., daß die Bedienperson lediglich ein Objekt spezifiziert, das sie zu beobachten wünscht, so daß kein Erfordernis dahingehend besteht, die Kamera auszuwählen und die Kamera fernzubedienen.
  • Wenn ein Objekt innerhalb eines Bildes direkt bedient wird, wird in Verbindung damit eine Graphik in geeigneter Weise synthetisiert, und das Synthesebild wird dargestellt. Wenn z. B. ein Benutzer einmal ein Objekt spezifiziert hat, wird eine derartige graphische Darstellung zum deutlichen Anzeigen, welches Objekt spezifiziert wurde, vorgenommen. Infolgedessen kann eine Bedienperson bestätigen, daß die beab sichtigte Bedienung gewiß ausgeführt, wird. Auch wenn mehrere Prozesse hinsichtlich des spezifizierten Objektes ausgeführt werden können, wird ein Menü zum Auswählen eines gewünschten Prozesses dargestellt. Dieses Menü kann durch ein Muster aufgebaut sein. Während das im Menü dargestellte Muster ausgewählt wird, kann die Bedienperson das starke Gefühl haben, daß sie das Objekt tatsächlich bedient.
  • Auf Grundlage des innerhalb des auf dem Schirm dargestellten Bildes spezifizierten Objektes wird Information dargestellt. Infolgedessen kann auf mit dem Objekt innerhalb des Bildes in Beziehung stehende Information ohne Spezifizierung des Objektes Bezug genommen werden. Während gleichzeitig auf ein Bild und andere Information Bezug genommen wird, ist es einfach möglich, eine Entscheidung über die Zustände zu treffen.
  • Entweder Text oder Muster wird als Suchschlüssel eingegeben, und dann wird ein Bild dargestellt, in dem ein mit dem eingegebenen Suchschlüssel in Übereinstimmung stehendes Objekt dargestellt wird. Der Text wird durch eine Zeicheneingabeeinrichtung, wie eine Tastatur, eine Spracherkennungseinrichtung oder eine Erkennungseinrichtung für handgeschriebene Zeichen, eingegeben. Alternativ kann das Muster unter Verwendung einer PD eingegeben werden, oder es werden Daten eingegeben, die durch ein anderes Verfahren erzeugt wurden.
  • Auch kann der Text oder das Muster im Bild als Suchschlüssel spezifiziert werden. Wenn das auf Grundlage des Suchschlüssels zu suchende Bild einem Kamerabild entspricht, wird die Kamera ausgewählt, und ferner werden die Richtung der Kamera und ihre Linse so eingestellt, daß das dem Suchschlüssel entsprechende Bild dargestellt werden kann. Es ist auch möglich, klar anzugeben, wo ein mit dem Suchschlüssel in Über einstimmung gebrachter Bereich innerhalb des Bildes angeordnet ist, und zwar dadurch, daß die Graphiken für das Bild geeignet synthetisiert werden, in dem das dem Suchschlüssel entsprechende Objekt vorhanden ist. Wie oben beschrieben, wird das Bild auf Grundlage des Suchschlüssels dargestellt, und die Bedienperson versieht lediglich ein gewünschtes, zu betrachtendes Objekt mit einem Namen oder einem Muster, so daß ein gewünschtes Bild für Beobachtungszwecke eingestellt werden kann.
  • Der Inhalt eines auszuführenden Prozesses wird festgelegt, wenn ein Objekt innerhalb eines Bildes durch Anzeigen des Bildes spezifiziert wurde, ein Bereich dieses Bildes spezifiziert wurde und ein Prozeß hinsichtlich des spezifizierten Bereichs definiert wurde. Infolgedessen kann eine Mensch/Maschine-Schnittstelle zum direkten Handhaben des Objektes innerhalb des Bildes gebildet werden.
    •
  • Kurze Beschreibung der Zeichnungen
  • 1A ist ein Blockdiagramm zum Erläutern einer abstrahierten Anordnung der Erfindung.
  • 1B ist ein Diagramm zum Erläutern einer Beziehung zwischen verschiedenen Ausführungsbeispielen der Erfindung und der abstrahierten Anordnung von 1A.
  • 2 ist eine schematische Darstellung zum Veranschaulichen der Gesamtanordnung eines Anlagenüberwachungssystems gemäß einem Ausführungsbeispiel der Erfindung, bei dem ein Video- oder Informationsverarbeitungsverfahren und eine Vorrichtung gemäß der Erfindung eingesetzt wurden.
  • 3 ist ein Diagramm zum Darstellen eines Beispiels einer Hardwareanordnung eines in 2 dargestellten Mensch/Ma schine-Servers.
  • 4 ist ein Diagramm zum Zeigen eines Aufbaubeispiels eines Anzeigeschirms im Anlagenbetriebsüberwachungssystem des vorliegenden Ausführungsbeispiels.
  • 5 ist ein Diagramm zum Darstellen eines Beispiels einer Schirmanzeigebetriebsart für einen Zeichnungsanzeigebereich eines Anzeigeschirms.
  • 6 ist ein Diagramm zum Darstellen einer Beziehung zwischen einem Feld und einer Schirmanzeigebetriebsart des Bildanzeigebereichs.
  • 7A und 7B veranschaulichen ein Beispiel eines Kameraparameter-Einstellablaufs durch Spezifizieren eines Objekts.
  • 8A und 8B zeigen ein Beispiel eines Kameraparameter-Einstellablaufs zum Kennzeichnen eines Objekts.
  • 9 repräsentiert ein Beispiel einer Tastenbetätigung zum Spezifizieren eines Objekts.
  • 10 gibt ein Beispiel einer Schieberbetätigung zum Spezifizieren eines Objekts.
  • 11A und 11B zeigen ein Beispiel für Abläufe zum Auswählen jeweiliger Muster.
  • 12 ist ein Diagramm, das ein Beispiel zum deutlichen Anzeigen eines bedienbaren Objektes zeigt.
  • 13 ist ein Diagramm zum Darstellen eines Beispiels für Bildsuche durch einen Suchschlüssel.
  • 14 veranschaulicht ein Beispiel eines dreidimensionalen Modells.
  • 15 ist ein Diagramm zum Darstellen einer Beziehung zwischen dem dreidimensionalen Modell und dem auf einem Schirm dargestellten Bild.
  • 16 ist ein Diagramm zum Darstellen einer Beziehung zwischen einem Objekt und einem Punkt auf einem Schirm.
  • 17 ist ein Flußdiagramm zum Darstellen des Ablaufs eines Objektidentifizierprozesses unter Verwendung des dreidimensionalen Modells.
  • 18 ist ein Flußdiagramm zum Darstellen einer Folge eines Realisierungsverfahrens gemäß dem Ausführungsbeispiel.
  • 19A und 19B sind Diagramme zum Darstellen einer Beziehung zwischen einem zweidimensionalen Modell und einem Kameraparameter.
  • 20A und 20B sind Diagramme zum Darstellen einer Beziehung zwischen dem zweidimensionalen Modell und einem anderen Kameraparameter.
  • 21A und 21B sind Diagramme zum Darstellen einer Beziehung zwischen dem zweidimensionalen Modell und einem weiteren Kameraparameter.
  • 22 ist ein Diagramm zum Darstellen einer Folge eines Objektidentifizierprozesses unter Verwendung des zweidimensionalen Modells.
  • 23 veranschaulicht eine Struktur einer Kameradatentabelle.
  • 24 repräsentiert eine Struktur einer Kameradatentabelle.
  • 25 zeigt eine Datenstruktur eines Bereichsrahmens.
  • 26 zeigt ein Definitionswerkzeug für ein 2D-Modell eines Objekts.
  • 27 zeigt einen Zustand bei der Modelldefinition.
  • 28 zeigt die Darstellung einer Erklärung zu einem Objekt.
  • 29 ist ein Diagramm zum Darstellen der Anordnung eines Überwachungssystems gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 30 ist ein Diagramm zum Darstellen eines Aufbaubeispiels einer in 29 dargestellten Workstation.
  • 31 ist ein Diagramm zum Darstellen eines Aufbaubeispiels einer Bild/Ton-Aufzeichnungseinheit.
  • 32 ist ein erläuterndes Diagramm für ein Beispiel eines Anzeigeschirms.
  • 33 ist ein erläuterndes Diagramm für ein Beispiel einer auf der Anzeige dargestellten Trendkurve.
  • 34 ist ein erläuterndes Diagramm einer Anzeigedarstellung gemäß einem weiteren Ausführungsbeispiel der Erfindung.
  • 35A und 35B sind erläuternde Diagramme eines Videocontrollers zum Bestimmen der Wiedergaberichtung und der Geschwindigkeit von Bild und Ton.
  • 36A bis 36G sind erläuternde Diagramme zum Darstellen von Datenstrukturen, wie Prozeßdaten und Videodaten, die bei einem weiteren Ausführungsbeispiel verwendet werden.
  • 37 ist ein Flußdiagramm zum Repräsentieren von Beispielen von Abläufen zum Aufzeichnen von Bild und Ton auf der Bild/Ton-Aufzeichnungseinheit.
  • 38 ist ein Flußdiagramm zum Darstellen eines Beispiels eines Betriebs zum Darstellen des aufgezeichneten Bildes.
  • 39 ist ein Flußdiagramm zum Darstellen eines Beispiels eines Ablaufs zum Realisieren eines weiteren Ausführungsbeispiels der Erfindung.
  • 40 ist ein erläuterndes Diagramm zum Darstellen einer Anzeigedarstellung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 41 ist ein Flußdiagramm zum Darstellen eines Beispiels eines Ablaufs zum Realisieren eines anderen Ausführungsbeispiels der Erfindung.
  • 42 ist ein erläuterndes Diagramm zum Anzeigen einer Anzeigedarstellung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 43 ist ein Flußdiagramm zum Darstellen eines Beispiels eines Ablaufs zum Realisieren eines anderen Ausführungsbeispiels der Erfindung.
  • 44 ist ein erläuterndes Diagramm einer Anzeigedarstellung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 45 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 46 ist ein Flußdiagramm zum Darstellen eines Ablaufbeispiels zum Realisieren eines anderen Ausführungsbeispiels der Erfindung.
  • 46 ist ein erläuterndes Diagramm für eine Anzeigedarstellung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 47 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 48 ist ein Flußdiagramm zum Darstellen eines Bedienbeispiels zum Realisieren eines anderen Ausführungsbeispiels der Erfindung.
  • 49 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 50 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 51 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 52 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 53 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 54 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 55 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 56 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 57 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 58 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 59 ist ein erläuterndes Diagramm eines Anzeigedarstelllung gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • 60 ist ein erläuterndes Diagramm zum Darstellen eines Verfahrens zum Bestimmen der Auswahl eines Objektes innerhalb einer Steuereinheit gemäß einem anderen Ausführungsbeispiel der Erfindung.
  • Beste Vorgehensweise zum Ausführen der Erfindung
  • Bevor ein Ausführungsbeispiel der Erfindung beschrieben wird, wird nun ein Konzept der Erfindung unter Bezugnahme auf 1A erläutert. Es ist zu beachten, daß 1B eine Beziehung zwischen einem Aufbauelement dieses Konzeptionsdiagramms und Konstruktionselementen eines ersten und eines zweiten Ausführungsbeispiels zeigt.
  • Gemäß 1A speichert eine Objektinformationsspeichereinheit Information, die zu verschiedenen Arten von Geräten (Objekten) (Positionen von Geräten, Forminformation, Steuerinformation, Handhabungsinformation, Designinformation usw.) innerhalb einer Anlage in Beziehung steht, die in einem Videobild dargestellt werden, das von einer Videoausgabeeinheit ausgegeben wird (Video-Bildaufnahme/Aufzeichnungs/Wiedergabe-Einheit). Es ist zu beachten, daß alle Anlagenteile und Geräte, die zu bedienen und zu überwachen sind, nachfolgend als "Objekt" bezeichnet werden. Eine Videoausgabeeinheit gibt ein Bild (Videosignal) unter Aufnahme eines Bildes innerhalb einer Anlage aus, und sie gibt auch ein in der Vergangenheit aufgezeichnetes Bild aus. Eine Graphikerzeugungseinheit gibt ein Systemdiagramm einer Anlage, Steuerungsinformation für jedes Objekt, Handhabungsinformation, wie Graphiken usw., aus. Die von der Graphikerzeugungseinheit ausgegebene Graphik wird mit einem Videoausgangssignal von der Videoausgabeeinheit durch eine Video/Graphik-Syntheseeinheit synthetisiert, und dann wird das synthetisierte Ausgangssignal auf einer Anzeigeeinheit dargestellt. Wenn eine Position einer Anzeigeeinheit durch eine Schirmpositionsspezifiziereinheit spezifiziert wird, identifiziert eine Objektidentifizier/Prozeßausführungs-Einheit ein an der oben angegebenen spezifizierten Position auf der Anzeigeeinheit dargestelltes Objekt auf Grundlage sowohl der in der Objektinformationsspeichereinheit abgespeicherten Information als auch der oben angegebenen spezifizierten Position. Anschließend führt die Objektidentifizier/Prozeßausführungs-Einheit einen dem oben erläuterten, identifizierten Objekt zugeordneten Prozeß aus. Z. B. wird ein dem oben beschriebenen, identifizierten Objekt zugeordnetes Bild auf der Anzeigeeinheit dadurch dargestellt, daß die Videoausgabeeinheit gesteuert wird, die Steuerungsinformation betreffend das Objekt aus dem Objektinformationsspeicher abgerufen wird und die oben angegebene, abgerufene Information graphisch auf der Anzeigeeinheit dadurch dargestellt wird, daß die Graphikerzeugungseinheit gesteuert wird.
  • D. h., daß die Objektinformationsspeichereinheit in 1A Information über ein auf dem Schirm der Anzeigeeinheit darzustellendes Objekt speichert, und ein von einer strichpunktierten Linie umgebener Bereich führt einen diesem Objekt zugeordneten Prozeß auf Grundlage der abgespeicherten Information aus (z. B. einen Prozeß zum Identifizieren der Information in der Objektinformationsspeichereinheit, der derjenigen Information entspricht, wie sie von der Schirmpositionsanweisungseinheit spezifiziert wird, und einen Prozeß zum Darstellen von Graphiken auf Grundlage dieser Information).
  • Die mit dem Objekt in Beziehung stehende Information kennzeichnet beim ersten Ausführungsbeispiel Graphikinformation, Positionsinformation und dergleichen, wie sie in Beziehung mit einem Objekt steht, und sie kennzeichnet beim zweiten Ausführungsbeispiel auch Steuerungsdaten (Steuerungsdaten oder Steuerungsinformation), die in Beziehung mit einem Objekt stehen, Ton- oder Videodaten in Beziehung mit einem Objekt und ferner Information, die die Steuerungsdaten und die Ton- oder Videodaten betreffen.
  • Auch erstellt der mit einer strichpunktierten Linie in 1A umgebene Bereich eine Beziehung zwischen den Steuerungsdaten und den Ton- oder Videodaten auf Grundlage der oben angegebenen Beziehungsinformation beim zweiten Ausführungsbeispiel her.
  • Unter Bezugnahme auf die Zeichnungen werden nun Ausführungsbeispiele der Erfindung erläutert. Zunächst wird ein Anlagenbedienungs-Überwachungssystem, das einem Ausführungsbeispiel (erstes Ausführungsbeispiel) der Erfindung entspricht, unter Verwendung der 2 bis 28 beschrieben, bei welchem Ausführungsbeispiel das Video- oder Informationsverarbeitungsverfahren und die Vorrichtung gemäß der Erfindung verwendet sind.
  • Die Gesamtanordnung dieses Ausführungsbeispiels wird unter Bezugnahme auf 2 erläutert. In 2 bezeichnet ein Bezugszeichen 10 eine Anzeige, die als Anzeigeeinrichtung zum Anzeigen von Graphiken und Video dient. Ein Bezugszeichen 12 zeigt ein druckempfindliches Tastpaneel, das als Eingabeeinrichtung dient und an einer Gesamtfläche der Anzeige 10 angebracht ist; ein Bezugszeichen 14 kennzeichnet einen Lautsprecher zum Ausgeben von Tonsignalen; ein Bezugszeichen 20 kennzeichnet einen Mensch/Maschine-Server, der von einer Bedienperson dazu verwendet wird, die Anlage zu überwachen und zu bedienen; und ein Bezugszeichen 30 kennzeichnet einen Umschalter zum Auswählen von Videoeingabe oder Toneingabe von mehreren Videoeingaben und auch mehreren Toneingaben. In 2 kennzeichnet ein Bezugszeichen 50 einen Steuerungscomputer zum Steuern von Anlageteilen innerhalb der Anlage und zum Erfassen von Daten, wie sie von Sensoren gewonnen werden; ein Bezugszeichen 52 zeigt ein lokales Netzwerk mit Informationsleitung (dies wird im folgenden als "LAN" = Local Area Network bezeichnet), um den Steuerungscomputer 50, den Mensch/Maschine-Server 20 und andere Endstellen/Computer anzuschließen (z. B. ein LAN, wie es unter IEEE 802.3) definiert ist. Ein Bezugszeichen 54 kennzeichnet eine Steuerleitung LAN zum Anschließen des Steuerungscomputers 50, verschiedener Arten zu steuernder Anlagenteile und verschiedener Sensoren (z. B. einen LRN, wie durch IEEE 802.4 definiert); Bezugszeichen 60, 70 und 80 kennzeichnen industrielle Videokameras (nachfolgend einfach als "ITV-Kameras" bezeichnet), die an verschiedenen Orten innerhalb der Anlage angebracht sind und ein zu steuerndes Objekt abbilden und Objektabbildungssignale eingeben; Bezugszeichen 62, 72, 82 bezeichnen Controller zum Steuern von Richtungen und Linsen der jeweiligen Kameras 60, 70 und 80 auf eine Anweisung vom Steuerungscomputer 50 hin. Bezugszeichen 64, 74 und 84 kennzeichnen Mikrophone, die an den jeweiligen Kameras 60, 70, 80 angebracht sind; Bezugszeichen 90 und 92 zeigen verschiedene Sensoren an, die dazu verwendet werden, verschiedene Zustände der Anlage zu erkennen; und Bezugszeichen 84 und 96 kennzeichnen Stellglieder zum Steuern der verschiedenen Anlagenteile in der Anlage auf eine Anweisung vom Steuerungscomputer 50 hin.
  • Das druckempfindliche Tastpaneel 12 ist eine Art PD. Wenn eine Bedienperson mit dem Finger auf eine willkürliche Position auf dem Tastpaneel 12 drückt, werden sowohl die Koordinaten der niedergedrückten Position als auch der Druck an den Mensch/Maschine-Server berichtet. Das Tastpaneel 12 ist an der gesamten Oberfläche der Anzeige 10 vorhanden. Es ist lichtdurchlässig, und der Anzeigeinhalt der hinter dem Tastpaneel 12 vorhandenen Anzeige 10 kann betrachtet werden. Infolgedessen kann eine Bedienperson ein auf der Anzeige 10 dargestelltes Objekt spezifizieren, indem er dieses mit dem Finger berührt. Bei diesem Ausführungsbeispiel werden drei Arten von Bedienungen als solche des Tastpaneels 12 verwendet, nämlich (1) leichter Druck, (2) starker Druck) und (3) Zug. Das Ausüben von Zug auf das Tastpaneel 12 bedeutet, daß der Finger bewegt wird, während er auf das Tastpaneel 12 drückt. Obwohl bei diesem Ausführungsbeispiel ein druckempfindliches Tastpaneel als PD verwendet wird, können andere Vorrichtungen verwendet werden. Z. B. können ein nichtdruckempfindliches Tastpaneel, ein Tablett, eine Maus, ein Lichtgriffel, ein Augenbewegungsverfolger, eine Zeigeeingabeeinrichtung oder eine Tastatur verwendet werden.
  • Mehrere von den Kameras 60, 70 und 80 aufgenommene Videobilder werden für ein einziges Bild vom Umschalter 30 ausgewählt, das dann über den Mensch/Maschine-Server 20 auf der Anzeige 10 dargestellt wird. Der Mensch/Maschine-Server 20 steuert den Umschalter 30 über einen Kommunikationsport, wie eine RS 232C-Schnittstelle, und er wählt ein Bild von der gewünschten Kamera aus. Bei diesem Ausführungsbeispiel wird beim Auswählen eines Bildes zugleich eine Auswahl unter den von den Mikrophonen 64, 74 und 84 eingegebenen Tonsignalen getroffen. Anders gesagt, wird dann, wenn eine Kamera ausgewählt wird, das mit dieser ausgewählten Kamera verbundene Mikrophon betätigt. Der in das Mikrophon eingegebene Ton wird vom Lautsprecher 14 ausgegeben. Es ist auch möglich, die Eingabe vom Mikrophon und die Eingabe von der Kamera ge trennt auszuwählen. Der Mensch/Maschine-Server 20 kann die Graphiken mit dem von der Kamera aufgenommenen Bild synthetisieren. Auch überträgt der Mensch/Maschine-Server 20 einen Bedienbefehl vom Steuerungscomputer über das Informations-LAN 52, um die Bildrichtung, die Stellung, den Blickwinkel, die Position einer Kamera anzugeben. Es ist zu beachten, daß kamerabezogene Parameter, wie die Abbildungsrichtung, die Stellung, der Blickwinkel und die Position als Kameraparameter bezeichnet werden.
  • Ferner gibt der Mensch/Maschine-Server die Daten von den Sensoren 90 und 92 über den Steuerungscomputer 50 abhängig von einem Befehl von einer Bedienperson ein, und er nimmt eine Fernsteuerung der Stellglieder 94 und 96 vor.
  • Unter Bezugnahme auf 3 wird nun eine Anordnung des Mensch/Maschine-Servers beschrieben. In 3 bezeichnet ein Bezugszeichen 300 eine CPU (zentrale Verarbeitungseinheit); ein Bezugszeichen 310 bezeichnet einen Hauptspeicher; ein Bezugszeichen 320 bezeichnet eine Platte; ein Bezugszeichen 330 bezeichnet eine Eingabe/Ausgabe-Vorrichtung (I/O) zum Anschließen der PD, des Tastpaneels 12 und des Umschalters 30; ein Bezugszeichen 340 bezeichnet einen Graphikrahmenpuffer zum Speichern von von der CPU 300 erstellter Anzeigedaten; ein Bezugszeichen 360 kennzeichnet einen A/D-Wandler zum Digitalisieren angegebener, analoger Videoinformation. Ferner kennzeichnet ein Bezugszeichen 370 einen Videorahmenpuffer zum Einspeichern der digitalen Videoinformation, wie sie dem Ausgabesignal des A/D-Wandlers 360 entspricht; ein Bezugszeichen 380 kennzeichnet eine Mischschaltung zum Mischen des Inhalts des Graphikrahmenpuffers 340 und des Inhalts des Videorahmenpuffers 370 und zum Darstellen des Mischinhalts auf der Anzeige 10.
  • Nachdem die von der Kamera eingegebene Videoinformation mit der vom Mensch/Maschine-Server 20 erstellten Graphik synthetisiert wurde, wird die sich ergebende Videoinformation auf der Anzeige 10 dargestellt. Im Graphikrahmenpuffer 34 sind Farbdaten für Rot (R), Grün (G) und Blau (B) und Daten für einen Wert α gespeichert, der den jeweiligen Pixeln des Displays 10 entspricht. Der Wert α zeigt an, wie die im Videorahmenpuffer 370 abgespeicherte Videoinformation mit den im Graphikrahmenpuffer 340 abgespeicherten Graphikanzeigedaten für jedes jeweilige Pixel der Anzeige 10 zu synthetisieren ist. Die Funktion der Mischschaltung 340 wird wie folgt wiedergeben: d = f (g, v, α),wobei Symbole "g" und "α" Farbinformation bzw. den Wert α für ein im Graphikrahmenpuffer 340 abgespeichertes Pixel anzeigen, das Symbol "v" Farbinformation für ein Pixel anzeigt, das an einer Position liegt, die der im Videorahmenpuffer 370 abgespeicherten Farbinformation "g" entspricht, und das Symbol "d" Farbinformation eines Pixels der synthetisierten Farbinformation "g" und "v" ist. In diesem System wird die folgende Gleichung als Funktion "f" verwendet: f(g, v, α) = [{g + (255 – α)V}/255],wobei die Symbole f, g, v, α ganze Zahlen sind und 0 ≤ f, g, v, α ≤ 255 gilt. Ein Leersymbol [ ] kennzeichnet ein Symbol zum Zählen von Bruchteilen über 1/2 als Eins und zum Verwerfen des Restes hinsichtlich einer Zahl, die kleiner ist als der Dezimalpunkt. Es ist auch möglich, andere Werte für die Funktion "f" zu verwenden.
  • Der Graphikrahmenpuffer 340 ist als sogenannter "Doppelpuffer" ausgebildet. Ein Doppelpuffer weist Puffer auf, die dazu dienen, zwei Schirmbilddaten zu speichern, und der auf der Anzeige 10 dargestellte Puffer wird willkürlich ausgewählt. Ein Puffer, dessen Inhalt gerade auf der Anzeige 10 dargestellt wird, wird als Frontpuffer bezeichnet, während der andere Puffer, dessen Inhalt gerade nicht auf der Anzeige dargestellt wird, als Rückpuffer bezeichnet wird. Der Frontpuffer und der Rückpuffer können augenblicklich gewechselt werden. Wenn Graphikdarstellung ausgeführt wird, ist die Graphik im Frontpuffer vorhanden, und der Rückpuffer wird in den Frontpuffer umgewechselt, um Schwankungen zu verringern, die bei der Graphikdarstellung auftreten. Der Inhalt eines beliebigen der Puffer kann durch die CPU willkürlich ausgelesen und geschrieben werden.
  • Wie oben beschrieben, wird, nachdem die Videoinformation innerhalb des Mensch/Maschine-Servers 20 digitalisiert wurde, diese digitalisierte Videoinformation bei diesem Ausführungsbeispiel mit der Graphik synthetisiert. Alternativ wird eine externe Vorrichtung zum Synthetisieren der Videoinformation und der Graphik auf dem Niveau des Analogsignals verwendet, und das vom Mensch/Maschine-Server 20 ausgegebene Videosignal wird mit dem von der Kamera 60 erzeugten Fernsehsignal synthetisiert, und das synthetisierte Signal kann auf der Anzeige 10 dargestellt werden. Eine Computersynthesevorrichtung, wie der Mensch/Maschine-Server 20 (im folgenden als Videosynthesevorrichtung bezeichnet), für das von der Kamera 60 gewonnene Fernsehsignal ist im Handel erhältlich.
  • Obwohl die Graphik und die Videoinformation bei diesem Ausführungsbeispiel auf derselben Anzeige (Anzeige 10) dargestellt werden, können die Graphik und die Videoinformation auf getrennten Anzeigeeinheiten dargestellt werden. Z. B. ist ein Graphikterminal mit dem Mensch/Maschine-Server 20 über das Informationsleitungs-LAN 52 verbunden, und die von der Kamera erzeugte Videoinformation wird auf einem ganzen Schirm unter Verwendung der oben angegebenen Videosynthesevorrichtung dargestellt. Die vom Mensch/Maschine-Server 20 erzeugte Graphik wird hauptsächlich auf der Anzeige 10 dargestellt. Am Graphikterminal ist eine Zeigevorrichtung, wie ein Tastpaneel oder eine Maus, ähnlich dem druckempfindlichen Tastpaneel 12, angebracht. Abhängig von einem vorgegebenen Protokoll, gibt der Mensch/Maschine-Server 20 die Graphikinformation an das Graphikterminal aus, so daß die Graphik der Videoinformation überlagert werden kann und mit dieser auf dem Graphikterminal dargestellt werden kann. Wie oben beschrieben, kann, da die Videoinformation auf dem getrennt von der Anzeige 10 vorliegenden Graphikterminal dargestellt wird, viel Graphikinformation auf dem Display 10 dargestellt werden.
  • In 4 ist ein Beispiel einer Anzeigeschirmanordnung der Anzeige 10 dargestellt. In 4 bezeichnet ein Bezugszeichen 100 einen Anzeigeschirm der Anzeige 10; ein Bezugszeichen 110 bezeichnet einen Menübereich zum Spezifizieren eines auf ein Gesamtsystem bezogenen Befehls; ein Bezugszeichen 150 bezeichnet einen Datenanzeigebereich zum Anzeigen der Daten von den Sensoren, von verschiedenen Dokumenten sowie von die Anlage betreffenden Daten; ein Bezugszeichen 130 kennzeichnet einen Zeichnungsanzeigebereich zum Darstellen von Aufbauanordnungen und Strukturzeichnungen der Gesamtanlage und der jeweiligen Abschnitte der Anlage; und ein Bezugszeichen 200 bezeichnet einen Videoanzeigebereich zum Anzeigen der Videoinformation oder des von der Kamera eingegebenen Bildes.
  • 5 zeigt ein Beispiel von Anzeigebetriebsarten des Zeichnungsanzeigebereichs 130. In 5 bezeichnet ein Bezugszeichen 132 ein Menü zum Ausgeben eines Befehls, wie er dazu verwendet wird, einen Ort klarzustellen, an dem ein Sensor installiert ist, und ein Bezugszeichen 134 bezeichnet ein Objekt, das in einer von einer Bedienperson spezifizierten Zeichnung dargestellt ist. Wenn das Objekt innerhalb der dargestellten Zeichnung im Zeichnungsanzeigebereich 130 von der Bedienperson ausgewählt wird, wird die Information zu diesem ausgewählten Objekt, wie sie vom Sensor erfaßt wird, entweder im Datenanzeigebereich 150 oder im Videoanzeigebereich 200 dargestellt. Wenn z. B. eine Kamera als dem spezifizierten Objekt zugeordneter Sensor definiert wird, wird ein von dieser Kamera eingegebenes Bild im Videoanzeigebereich 200 dargestellt. Auch wenn z. B. ein Öldrucksensor als zum spezifizierten Objekt gehöriger Sensor definiert ist, wird entweder eine Graphik zum deutlichen Darstellen des aktuellen Öldruckwerts oder eine Schwankungen in den bis jetzt gemessenen Öldruckwerten anzeigende Trendkurve im Datenanzeigebereich 150 dargestellt. Wenn eine Position auf dem Tastpaneel 12 mit einem Finger stark niedergedrückt wird, wird ein in der Zeichnung dargestelltes Objekt, das an der niedergedrückten Stelle vorhanden ist, spezifiziert. Wenn keine Definition für den mit dem spezifizierten Objekt in Beziehung stehenden Sensor vorliegt, geschieht nichts. In 5 ist der Fall dargestellt, daß die Anzeigeposition des Objektes 134 mit einem Finger stark niedergedrückt wird. Wenn der Finger auf das Objekt drückt, wird die Darstellung hervorgehoben, damit die Spezifizierung des Objektes von der Bedienperson erkannt werden kann. Bei dem in 5 dargestellten Beispiel wurden sowohl die Kamera 60 zum Abbilden des Objektes 134 als auch das Mikrophon 64 zum Eingeben von Tönen um das Objekt 134 herum als relevante Sensoren für das Objekt 134 definiert. Nach Spezifizierung des Objektes 134 wird ein Bild des Objektes 134 auf dem Videoanzeigebereich 200 dargestellt, und die Töne um das Objekt 134 herum werden vom Lautsprecher 34 wiedergegeben.
  • In 6 ist eine Darstellungsbetriebsart des Videoanzeigebereichs 200 für den Fall dargestellt, daß das Objekt 134 auf dem Zeichnungsanzeigebereich 130 spezifiziert wurde, und es ist auch die Beziehung zwischen dieser Anzeigebetriebsart und dem in der Anlage positionierten Objekt 134 dargestellt. In 6 bezeichnen Bezugszeichen 202 bis 210 Einrichtungen zum Einstellen eines Kameraparameters einer photographierenden Kamera oder einer solchen, die das gerade dargestellte Bild aufnimmt; ein Bezugszeichen 220 bezeichnet ein Menü zum deutlichen Anzeigen eines geeigneten Objektes im Bild. Ein Bezugszeichen 202 ist ein Menü zum Einstellen der Richtung einer Kamera. Wenn das Menü 202 ausgewählt wird, kann die Kamera nach rechts und links verschwenkt werden, und sie kann nach oben und unten verschwenkt werden. Ein Bezugszeichen 204 zeigt ein Menü zum Steuern des Blickwinkels einer Kamera, um einen Aufzoomvorgang bei einem Bild vorzunehmen. Ein Bezugszeichen 206 bezeichnet ein Menü zum Steuern des Gesichtswinkels der Kamera, um einen Abzoomvorgang des Bildes vorzunehmen. Ein Bezugszeichen 208 kennzeichnet ein Menü zum Korrigieren des aktuellen Kameraparameters, um ihn durch denjenigen Kameraparameter zu ersetzen, der im Schritt zuvor eingestellt wurde. Ein Bezugszeichen 210 bezeichnet ein Menü zum Korrigieren des aktuellen Kameraparameters, um ihn durch den ersten Kameraparameter zu ersetzen.
  • Bezugszeichen 400 bis 424 bezeichnen verschiedene Arten von Objekten, die zum Objekt 134 gehören oder die um dieses Objekt herum angeordnet sind. Ein Bezugszeichen 400 bezeichnet ein Ventil; Bezugszeichen 400 und 420 zeigen eine auf das Objekt 134 geschriebene Zeichenrepräsentation; ein Bezugszeichen 412 ist ein Spannungsmesser; ein Bezugszeichen 414 bezeichnet einen Knopf zum Einschalten einer Spannungsquelle; ein Bezugszeichen 416 bezeichnet einen Knopf zum Ausschalten der Spannungsquelle; ein Bezugszeichen 422 kennzeichnet einen Öldruckmesser; und ein Bezugszeichen 424 kennzeichnet einen Knopf eines Schiebestellers zum Steuern des Öldrucks. Das Ventil 400, die Knöpfe 414, 416 und 424 entsprechen tatsächlichen, handbedienbaren Steuervorrichtungen, wie auch solchen Steuervorrichtungen, die auf die Bedienbefehlausgabe vom Mensch/Maschine-Server 20 hin ferngesteuert werden.
  • Wenn eine Bedienperson eine Position innerhalb des Videoanzeigebereichs 200 mit einem Finger berührt, wird die Kamera in solcher Weise eingestellt, daß das an der Position, auf die der Finger drückte, dargestellte Objekt leicht beobachtet werden kann. In den 7A und 7B sind Zustände dargestellt, gemäß denen ein Kameraparameter auf solche Weise eingestellt wird, daß dann, wenn mit dem Finger leicht auf das Meßgerät 412 im Videoanzeigebereich 200 gedrückt wird, das Meßgerät 412 genau in der Mitte des Bildes dargestellt wird. Wenn das Meßgerät 412 von der Bedienperson spezifiziert wird, wie dies in 2A dargestellt ist, wird die Richtung der Kamera 60 in solcher Weise eingestellt, daß das Meßgerät 412 in der Mitte des Bildes dargestellt wird, und ferner wird die Linse der Kamera 60 auf solche Weise eingestellt, daß das Meßgerät 412 aufgezoomt wird, und dann wird das Bild in dasjenige von 7B umgewechselt. Nur dadurch, daß die Bedienperson das Objekt auf dem Schirm antastet, kann der Kameraparameter in solcher Weise eingestellt werden, daß dieses Objekt deutlich betrachtet werden kann, und die Bedienperson wird nicht mit der Fernsteuerung der Kamera belästigt. In 7A bezeichnet ein Bezugszeichen 502 ein Graphikecho zum deutlichen Anzeigen, daß das Meßgerät 412 spezifiziert wurde. Das Graphikecho 502 wird gelöscht, wenn die Bedienperson den Fingerdruck lockert oder den Finger vom Tastpaneel 12 wegnimmt. Wie oben beschrieben, kann die Mensch/Maschine-Schnittstelle dadurch verbessert werden, daß die graphische Darstellung mit dem Bild der Kamera synthetisiert wird.
  • Die 8A und 8B repräsentieren einen Zustand, gemäß dem ein Ventil 400 innerhalb des Videoanzeigebereichs 200 leicht mit einem Finger berührt wird, wodurch die Kamera in solcher Weise eingestellt wird, daß das Ventil 400 in der Mitte des Bildes lokalisiert ist. Wenn das Ventil 400 durch die Bedienperson spezifiziert ist, wie dies in 8A dargestellt ist, wird das Bild auf solche Weise geändert, daß die Mitte des Bildes so ist, wie dies in 8B dargestellt ist. In 8A bezeichnet ein Bezugszeichen 504 ein Graphikecho zum deutlichen Anzeigen, daß das Ventil 400 spezifiziert ist. Das Graphikecho 504 wird gelöscht, wenn die Bedienperson ihren Finger vom Tastpaneel 12 wegnimmt. Auch hinsichtlich anderer Objekte 410, 414, 416, 420, 424 und 424 können ähnliche Abläufe ausgeführt werden.
  • Wenn eine Position innerhalb des Videoanzeigebereichs 200 von einer Bedienperson stark niedergedrückt wird, kann ein an der Position des Fingers dargestelltes Objekt bedient werden. In den 9 bis 11 sind Beispiele dargestellt, in denen Objekte betätigt werden.
  • 9 stellt ein Beispiel dar, bei dem ein Knopf 414 betätigt wird. Wenn die Position im Videoanzeigebereich 200, in dem der Knopf 414 dargestellt ist, stark mit einem Finger niedergedrückt wird, wird eine Betriebsanweisung betreffend das Niederdrücken des Knopfes 414 vom Mensch/Maschine-Server 200 über den Steuerungscomputer 50 an das Stellglied übertragen, um den fernab angeordneten Knopf 414 zu betätigen, und dann wird der im entfernten Feld vorhandene Knopf 414 tatsächlich gedrückt. Die Situation, daß der Knopf 414 gedrückt wurde und daß als Ergebnis der Zeiger eines Meßgeräts 414 ausschlug, wird im Videoanzeigebereich 200 durch die Kamera 60 dargestellt. Infolgedessen kann die Bedienperson am Videoschirm das Gefühl erhalten, als würde sie den Knopf tatsächlich niederdrücken.
  • 10 repräsentiert ein Beispiel, gemäß dem der Knopf 422 eines Schiebeeinstellers durch Ziehen des Fingers über das Tastpaneel 12 gehandhabt wird. Wenn der Finger entlang der horizontalen Richtung bewegt wird, während er stark auf die Position drückt, an der der Knopf 414 auf dem Videoanzeigebereich 200 dargestellt ist, wird der auf dem Bild dargestellte Knopf 424 zusammen mit der Bewegung des Fingers bewegt. Infolge der Bewegung des Knopfes 424 schlägt der Zeiger des Meßgeräts 422 aus. Hierbei sendet der Mensch/Maschine-Server 20 einen Befehl über den Steuerungscomputer 50 an das Stellglied, um den Knopf 424 jedesmal dann einzustellen, wenn der Finger bewegt wird, so daß der Knopf 424 tatsächlich zusammen mit der Bewegung des Fingers verstellt wird. Infolgedessen kann die Bedienperson das Gefühl erhalten, als würde sie den Knopf 424 tatsächlich mit dem Finger verstellen.
  • Wie dies in den 9 und 10 dargestellt ist, sind Vorteile dahingehend, daß die im Bild dargestellten Bedieneinrichtungen 414 und 412 tatsächlich auf dem Bild bewegt werden, die folgenden:
    • (1) Die Bedienperson hat das Gefühl, daß sie vor Ort steht, während sie sich doch im Betriebsraum aufhält. Ein Bild kann direkt eine Anordnung zur Ausgestaltung (Form, Farbe usw.) der Vorrichtung übertragen. Infolgedessen werden Vorerwartung, Lernen und Vorstellung leicht hinsichtlich der Funktionen der jeweiligen Anlagenteile und der Ergebnisse der Betätigung derselben erzielt. Wenn z. B. der Knopf 414 von 9 niedergedrückt wird, kann leicht erwartet werden, daß die Spannungsquelle des Anlagenteils 134 eingeschaltet wird.
    • (2) Die Bedienperson kann etwas vor Ort Auftretendes als Ergebnis der von ihr ausgelösten Betätigung beobachten. Wenn z. B. der Knopf 414 niedergedrückt wird und Rauch am Anla genteil 134 auftritt, kann eine Bedienperson diesen Rauch unmittelbar erkennen und kann so die Fehlbedienung bemerken.
  • Bei der herkömmlichen graphischen Mensch/Maschine-Schnittstelle werden Steuereinrichtungen graphisch repräsentiert. Wenn die graphische Repräsentation ausgeführt wird, wird es, da Abstrahierung, Vereinfachung und Übertreibungen vorgenommen werden, schwierig, eine Beziehung zwischen den tatsächlichen Vorrichtungen und den graphischen Repräsentierungen aufzustellen. Da die Größe des Anzeigeschirms auf einen beistimmten Wert beschränkt ist, sind die Graphiken irrelevant in bezug auf die tatsächlichen Anordnungen der Vorrichtungen angeordnet. Infolgedessen kann eine Bedienperson kaum mit der Intuition erkennen, wie die Vorrichtungen vor Ort zu steuern sind, wenn sie die graphische Bedieneinrichtung bestätigt. Da das Bedienergebnis graphisch dargestellt wird, ist es schwierig, einen außergewöhnlichen Fall intuitiv zu erfassen.
  • 11A veranschaulicht ein Beispiel, bei dem ein Objekt dadurch betätigt wird, daß eine Graphik betätigt wird, die auf dem oder nahe dem zu betätigenden Objekt in synthetisierter Form dargestellt ist. In 11A bezeichnen Bezugszeichen 510 und 520 Graphiken, die in synthetisierter Form auf einem Bild dargestellt werden, wenn die Anzeigeposition eines Ventils 400 stark durch einen Finger einer Bedienperson niedergedrückt wird. Wenn die Bedienperson stark mit einem Finger auf ein Muster 510 drückt, sendet der Mensch/Maschine-Server 20 über den Steuerungscomputer 50 eine Bedienanweisung an das Stellglied, um das Ventil 400 nach links zu drehen. Wenn dagegen die Graphik 512 mit dem Finger stark niedergedrückt wird, überträgt der Mensch/Maschine-Server einen Bedienungsbefehl an das Stellglied, um das Ventil 400 nach rechts zu drehen. Der Verdrehzustand des Ventils 400 wird durch die Kamera 60 aufgenommen, um im Videoanzeigebe reich 200 dargestellt zu werden. Zusammen mit der Verdrehung des Ventils 400 können Darstellungen der Graphiken 510 und 512 verdreht werden. Die auf dem Schirm zur Manipulation dargestellte Graphik, wie sie durch die Muster 510 und 512 wiedergegeben wird, wird nun jeweils als "graphische Steuereinrichtung" bezeichnet.
  • Ein anderes Beispiel für eine graphische Steuereinrichtung ist in 11B dargestellt. In 11B bezeichnet ein Bezugszeichen 426 ein Rohr, das mit einem unteren Bereich des Objektes 134 verbunden ist; ein Bezugszeichen 800 bezeichnet einen Schiebeeinsteller, der im Bild in synthetisierter Form als Graphik dargestellt wird. Ein Bezugszeichen 810 bezeichnet einen Knopf des Schiebeeinstellers 800; und ein Bezugszeichen 428 bezeichnet eine Änderung der Strömungsgeschwindigkeit innerhalb des Rohrs 426, die am Rohr 426 in synthetisierter Form als Graphik dargestellt wird. Wenn das Rohr 426 im Videoanzeigebereich 200 durch die Bedienperson stark niedergedrückt wird, wird der Schiebeeinsteller 800 nahe dem Rohr 426 in synthetisierter Form dargestellt. Ferner wird eine Graphik 428, die die aktuelle Fließgeschwindigkeit im Rohr 426 anzeigt, am Rohr 426 in synthetisierter Form dargestellt. Die Graphik 428 ändert sich z. B. nach Breite und Farbe, abhängig von der Fließgeschwindigkeit innerhalb des Rohrs 426. Wenn die Fließgeschwindigkeit groß wird, wird die Breite der Graphik breit, wohingegen sie dann, wenn die Fließgeschwindigkeit niedrig wird, eng wird. Wenn der Knopf 810 des Schiebeeinstellers durch den Finger der Bedienperson verschoben wird, wird eine Anweisung zum Steuern der Fließgeschwindigkeit innerhalb des Rohrs 426 auf die Bewegung des Knopfes 810 hin vom Mensch/Maschine-Server 20 an den Steuerungscomputer 50 übertragen. Ferner wird ein Bedienbefehl vom Computer an das Stellglied, z. B. eine Pumpe, ausgegeben, und die Pumpe wird eingestellt. Infolgedessen wird die Fließgeschwindigkeit abhängig vom eingestellten Zustand der Graphik 428 auf die Änderung hin verändert.
  • Wie in den 11A und 11B dargestellt, sind Vorteile dahingehend, daß die graphische Steuereinrichtung in synthetischer Form auf oder nahe dem des im Monitorbild dargestellten Anlageteils angezeigt wird, die folgenden:
    • (1) Durch die graphische Steuerungseinrichtung wird der Bedienperson ein Hinweis darauf gegeben, welcher aktuell gesteuerte Anlagenteil welcher Einrichtung in einem Feld entspricht. Beim Beispiel von 11A kann die Bedienperson einfach und leicht vorhersehen und sich auch daran erinnern, daß die graphischen Steuereinrichtungen 510 und 512 das in synthetisierter Form dargestellte Ventil steuern. Im Beispiel von 11B ist es einfach erfaßbar, daß der Schiebeeinsteller 800 die Fließgeschwindigkeit innerhalb des Rohrs 426 einstellt, das nahe bei diesem Schiebeeinsteller 800 abgebildet ist.
    • (2) Eine Bedienung kann ausgeführt werden, während der Zustand eines zu steuernden Anlagenteils beobachtet wird. Wenn beim Beispiel von 11B während der Bedienung der graphischen Steuereinrichtung 800 ein Riß im Rohr 426 auftritt und Flüssigkeit ausleckt, kann dies eine Bedienperson optisch erkennen, und sie kann unmittelbar wahrnehmen, daß fehlerhafte Betätigung und ein außergewöhnlicher Fall vorliegen.
  • Bei der herkömmlichen, graphischen Mensch/Maschine-Schnittstelle ist es, da die graphische Steuereinrichtung auf dem Schirm unabhängig vom Anlagenteil vor Ort dargestellt ist, schwierig, zu erkennen, welcher Anlagenteil an einem aktuellen Ort durch die graphische Steuereinrichtung gesteuert wird. Da der Platz, an dem die graphische Steuereinrichtung dargestellt wird, vom Platz entfernt ist, an dem das Monitorbild für den Ort dargestellt wird, muß eine Bedienperson den Blick mehrfach wechseln, um die Bedienungen auszuführen, während sie die Situationen vor Ort beobachtet.
  • In 11B ist dargestellt, daß die Fließgeschwindigkeit im Rohr 426 dadurch angezeigt wird, daß die Graphik 428 auf dem Bild des Rohrs 426 in synthetisierter Form angezeigt wird. Wie oben beschrieben, wird die Graphik synthetisch auf dem Anlagenteil dargestellt, so daß Information, wie solche zum inneren Zustand des Anlagenteils, was im Bild nicht unmittelbar dargestellt wird, hinzugefügt werden kann. Infolgedessen können z. B. sowohl die innere Situation des Anlagenteils als auch seine äußere Situation gleichzeitig erkannt werden, wodurch der Gesamtzustand des Anlagenteils umfassend überwacht und beurteilt werden kann.
  • 12 veranschaulicht ein Verfahren zum deutlichen Anzeigen eines betreibbaren Objekts. Da nicht immer alle in einem Bild dargestellten Objekte bedienbar sind, ist ein Mittel zum deutlichen Kennzeichnen bedienbarer Objekte erforderlich. Wenn in 12 ein Menü 220 durch einen Finger leicht oder stark berührt wird, werden Graphiken 514 bis 524 dargestellt. Die Graphiken 514 bis 524 zeigen klar an, daß die Objekte 400, 412, 414, 416, 422 und 424 jeweils bedienbar sind. Beim vorliegenden Ausführungsbeispiel wird ein erweitertes Rechteck zu einem Objekt dargestellt. Selbstverständlich ist es möglich, andere, verschiedene Anzeigeverfahren auszudenken, um deutlich Objekte anzuzeigen, wie graphische Repräsentationen eines tatsächlichen Objekts.
  • Ferner kann eine Einrichtung zum deutlichen Anzeigen nicht nur solcher bedienbarer Objekte, sondern beliebiger Objekte verwendet werden. Wenn z. B. das Menü 220 mit dem Finger stark niedergedrückt wird, können alle im Bild dargestellten Objekte klar angezeigt werden. Die oben angegebene Einrichtung zum deutlichen Anzeigen von Objekten kann bedienbare Objekte deutlich anzeigen, jedoch kann sie auch den Betrieb und den Grund einer Störung selbst dann anzeigen, wenn z. B. das Gesichtsfeld störende Substanz, wie Rauch oder Dampf, auftritt. Selbst wenn das zu betätigende Objekt vom Rauch umhüllt wird, kann ein Betrieb vorgenommen werden, da das zu bedienende Objekt deutlich auf der Graphik angezeigt wird. Da auch erkannt werden kann, wo ein Anlagenteil vorhanden ist und welcher es ist, kann der Platz herausgefunden werden, an dem der Rauch entwickelt wird.
  • In 13 ist ein Beispiel dargestellt, bei dem Text eingegeben wird und eine Suche in einem Bild vorgenommen wird, in dem dieser Text dargestellt ist. In 13 bezeichnet ein Bezugszeichen 530 eine Graphik, die auf einem Bild in synthetisierter Form dargestellt wird; ein Bezugszeichen 600 bezeichnet ein Suchblatt zum Ausführen von Textsuche; ein Bezugszeichen 610 bezeichnet das nächste Menü zum Suchen eines anderen an den Suchschlüssel anpaßbaren Bildes; ein Bezugszeichen 620 ist ein Beendigungsmenü zum Bezeichnen des Endes einer Suche; und ein Bezugszeichen 630 bezeichnet einen Texteingabebereich zum Eingeben des Suchschlüssels. Wenn eine Auswahl zum Kennzeichnen einer Suche im Menübereich 110 vorgenommen wird, wird das Suchblatt 600 auf dem Anzeigeschirm 100 dargestellt. Wenn ein ein dem Suchschlüssel entsprechender Text über die Tastatur in den Texteingabebereich 630 eingegeben wird und die Eingabetaste betätigt wird, wird die Suche begonnen. Der Mensch/Maschine-Server sucht nach einer Kamera, die dazu in der Lage ist, einen Gegenstand zu photographieren, der den Suchschlüssel enthält, er stellt die nachgesuchte Kamera auf eine solche Kameraeinstellung ein, daß der Suchschlüssel klar erkannt werden kann, und er stellt das von der nachgesuchten Kamera erfaßte Bild auf dem Videoanzeigebereich 200 dar. Die Graphik 530 wird in synthetisierter Form auf dem Bereich dargestellt, der innerhalb des Bildes an den Suchschlüssel ange paßt ist, und der an den Suchschlüssel angepaßte Bereich innerhalb des Bildes wird deutlich angezeigt. Das zu überwachende Objekt kann von der Bedienperson sprachlich beschriftet werden, wenn eine Bildsuche mit Text als Suchschlüssel ausgeführt wird. Gemäß diesem Verfahren kann das zu überwachende Objekt schnell dadurch herausgefunden werden, ohne daß die Kameras geändert werden und ohne daß die Kameras in Fernsteuerungsweise gesteuert werden. Bei diesem Ausführungsbeispiel wird eine Tastatur zum Eingeben von Text verwendet. Alternativ können andere Eingabeeinrichtung, wie ein Spracherkennungsgerät und ein Handschrifterkennungsgerät, verwendet werden. Obwohl bei diesem Ausführungsbeispiel Text als Suchschlüssel verwendet wird, kann auch ein Muster als Suchschlüssel verwendet werden, und es kann nach einem Bild gesucht werden, dessen Muster zum Muster des Suchschlüssels paßt.
  • Ein Verfahren zum Realisieren dieses Ausführungsbeispiels wird nun unter Bezugnahme auf die 14 bis 25 erläutert. Eine Hauptfunktion dieses Ausführungsbeispiels ist eine solche, daß ein Objekt innerhalb eines Bildes spezifiziert wird und eine Bedienung für dieses Objekt ausgeführt wird. Ein Flußdiagramm eines Programms zum Realisieren dieser Funktion ist in 18 dargestellt. Wenn das Tastpaneel 12 am Videoanzeigebereich 200 niedergedrückt wird, wird ein an dieser Niederdrückstelle dargestelltes Objekt (eine Position auf einem Schirm, wie sie von einer Bedienperson unter Verwendung einer PD, wie eines Tastpaneels, spezifiziert wird, wird als "Ereignisposition" bezeichnet) identifiziert (Schritt 1000). Wenn das Objekt identifiziert werden kann (falls das Objekt an der Ereignisposition vorhanden ist) (Schritt 1010), wird eine für dieses Objekt definierte Bedienung ausgeführt (Schritt 1020).
  • Das an der Ereignisposition dargestellte Objekt wird unter Bezugnahme auf ein Modell eines zu photographierenden Objekts und eines Kameraparameters identifiziert. Das Modell eines zu photographierenden Objekts entspricht der Form des zu photographierenden Objekts und Daten zu dessen Position. Das Modell eines zu photographierenden Objekts wird auf einer Platte 320 des Mensch/Maschine-Servers 20 gespeichert und in den Hauptspeicher 310 eingelesen, wenn das Anlagenbedienungs-Überwachungssystem betätigt wird. Der Kameraparameter legt fest, wie ein zu photographierendes Objekt von einer Kamera zu photographieren ist, insbesondere sind es Daten über die Position einer Kamera, die Stellung, den Blickwinkel und die Kamerarichtung. Der Wert eines Kameraparameters, der zu einer Kamera gesendet wurde, kann erkannt werden, wenn bei einem Kameracontroller nachgefragt wird. Selbstverständlich kann der Kameraparameter durch den Mensch/Maschine-Server 20 überwacht werden. Anders gesagt, wird ein Bereich zum Abspeichern des aktuellen Wertes des Kameraparameters im Hauptspeicher 310 des Mensch/Maschine-Servers 20 umgekehrt, und Werte des Kameraparameters, wie sie im Hauptspeicher 310 abgelegt sind, werden jedesmal dann aktualisiert, wenn die Kamera vom Mensch/Maschine-Server 20 ferngesteuert wird. Die Parameter aller Kameras werden durch den Mensch/Maschine-Server 20 initialisiert, wenn das Anlagenbedienungs-Überwachungssystem bedient wird.
  • Verschiedene Verfahren zur Modellbildung für ein zu photographierendes Objekt können erdacht werden. Bei diesem Ausführungsbeispiel werden (1) ein dreidimensionales Modell und (2) zweidimensionale Modelle kombiniert. Die Zusammenfassung der oben beschriebenen zwei Modelle sowie Verdienste und Mängel derselben werden nun erläutert.
  • (1) Dreidimensionales Modell
  • Dies ist ein Modell, bei dem die Form und die Position eines zu photographierenden Objektes durch ein dreidimensionales Koordinatensystem festgelegt werden. Ein Verdienst dieses Modells ist es, daß ein Objekt für einen willkürlichen Kameraparameter identifiziert werden kann. Anders gesagt, kann ein Objekt bedient werden, während eine Kamera frei bedient wird. Ein Nachteil ist es, daß, da das Modell im dreidimensionalen Raum definiert sein muß, ein Modellformungsprozeß und ein Objektspezifizierprozeß im Vergleich mit entsprechenden Prozessen für ein zweidimensionales (2D) Modell komplex werden. Es ist zu beachten, daß in jüngster Zeit viele Fälle vorliegen, bei denen CAD (Computer Aided Design) beim Entwerfen einer Anlage verwendet wird, und daß Design-Positionier-Vorrichtungen in der Anlage verwendet werden. Wenn diese Daten genutzt werden, kann das dreidimensionale Modell leicht gebildet werden.
  • (2) Zweidimensionales Modell
  • Dies ist ein Modell, bei dem die Form und die Position eines Objektes durch ein zweidimensionales Koordinatensystem (Anzeigeebene) hinsichtlich eines besonderen Kameraparameters definiert werden. Ein Verdienst dieses Modells ist, daß es einfach ausgebildet werden kann. Ein Modell kann in solcher Weise definiert werden, daß ein Muster auf einem Schirm gezeichnet wird. Ein Nachteil ist es, daß nur eine Bedienung für ein Bild eines Kameraparameters ausgeführt wird, für den ein Modell vorab definiert ist. Um den Freiheitsgrad einer Kameraeinstellung zu erhöhen, müssen die Form und die Position eines Objektes auf einer entsprechenden Ebene für jeden der Kameraparameter definiert werden, welche Werte größer sind als die im Fall des dreidimensionalen Modells. Bei den meisten Bedienungsüberwachungssystemen tritt häufig der Fall auf, daß verschiedene zu überwachende Orte vorab bestimmt wurden. In einem solchen Fall führt der Mangel des zweidimensionalen Modells zu keiner Schwierigkeit, da mehrere Ar ten von Kameraparametern vorab bestimmt sind.
  • Ein Verfahren zum Identifizieren eines Objekts auf Grundlage des 3-D(dimentionalen)-Modells wird nun unter Bezugnahme auf die 14 bis 17 erläutert. In 14 ist ein Beispiel dargestellt, bei dem das durch die in 6 dargestellte Kamera zu photographierende Objekt in einem 3-D-Orthogonalkoordinatensystem x, y, z (was als "Weltkoordinatensystem" bezeichnet wird) modelliert wird. Bei diesem Zeichnen wird die Form jedes Objekts durch eine Ebene, einen Quader und einen Zylinder und dergleichen modelliert. Viele andere 3-D-Grundformen, wie ein Würfel und ein Tetraeder, können selbstverständlich verwendet werden. Nicht nur die Grundformen werden miteinander kombiniert, sondern es können auch Modelle mit genaueren Formen als denjenigen der Grundformen verwendet werden. Zu bedienende Objekte 400, 410, 412, 414, 416, 4220, 422 und 424 werden mit Modellen als Ebenen 800, 810, 812, 814, 816, 820, 822 bzw. 824 modelliert.
  • Unter Bezugnahme auf 15 wird nun die Beziehung zwischen einem von einer Kamera photographierten Bild und einem 3-D-Modell erläutert. Ein von einer Kamera ausgeführter Photographierablauf entspricht einem Ablauf, bei dem ein innerhalb eines dreidimensionalen Raums angeordnetes Objekt auf eine zweidimensionale Ebene projiziert wird (Videoanzeigebereich 200). D. h., daß das auf dem Videoanzeigebereich 200 dargestellte Bild einem derartigen Bild entspricht, bei dem das im 3-D-Raum angeordnete Objekt durch Perspektivprojektion auf eine zweidimensionale Ebene projiziert wird. Wenn nun angenommen wird, daß das auf dem Schirm definierte 2-D-Orthogonalkoordinatensystem Xy, Ys als Schirmkoordinatensystem bezeichnet wird, kann der Photographierablauf von der Kamera durch die Gleichung (1) zum Abbilden eines Punkts (x, y, z) im Weltkoordinatensystem auf einen Punkt (Xs, Ys) im Schirmkoordinatensystem wie folgt wiedergeben werden:
    Figure 00480001
  • Die Matrix T in der obigen Gleichung (1) wird nun als Ansichtstransformationsmatrix bezeichnet. Die jeweiligen Elemente in der Ansichtstransformationsmatrix können bestimmt werden, wenn die Kameraparameter (Position, Stellung, Richtung und Blickwinkel der Kamera) sowie die Größe des Videoanzeigebereichs 200 vorgegeben sind. Die Kameraparameter sind im Weltkoordinatensystem gegeben. In 15 entspricht die Position der Kamera einer Koordinate des Zentrums "Oe" der Linse, die Stellung der Kamera entspricht einem Vektor OeYe, und die Entfernung der Kamera entspricht einem Vektor OeZe.
  • Ein Identifizierprozeß für ein Objekt entspricht einem Prozeß zum Bestimmen, welcher Punkt im Weltkoordinatensystem auf einen Punkt "p" im Schirmkoordinatensystem projiziert wurde, wenn ein Punkt "p" im Schirmkoordinatensystem spezifiziert wird. Wie es in 16 dargestellt ist, werden alle Punkte, die auf einer langgestreckten geraden Linie zum Verbinden des Zentrums Oe der Linse der Kamera mit dem Punkt "p" auf dem Schirmkoordinatensystem vorhanden sind. auf den Punkt "p" projiziert. Ein Punkt unter den Punkten auf dieser geraden Linie, die gerade durch die Kamera auf den Videoanzeigebereich 200 projiziert wird, entspricht einem Kreuzungspunkt zwischen der geraden Linie und dem Objekt 1, das am nächsten beim Zentrum Oe der Linse angeordnet ist. In 16 wird ein Überkreuzungspunkt P1 zwischen dem Objekt 1 und der geraden Linie 840 auf den Punkt "p" im Videoanzeigebereich 200 projiziert. Anders gesagt, wird dann, wenn die Ereignisposition am Punkt "p" liegt, das Objekt 1 identifiziert.
  • Die Technik zum Erhalten der Ansichtstransformationsmatrix T aus dem Kameraparameter und die Technik zum Darstellen des im Weltkoordinatensystem aufgrund der Ansichtstransformationsmatrix T durch perspektivische Projektion auf das Schirmkoordinatensystem sind auf dem Gebiet der Graphik wohlbekannte Techniken. Der Prozeß zum Projizieren einer Oberfläche auf ein nahe einer Kamera positioniertes Objekt und nicht zum Projizieren einer Oberfläche auf einen Schirm, die von einem anderen Objekt während der perspektivischen Projektion gegenüber der Kamera verdeckt ist, wird entweder als Elimination einer verdeckten Oberfläche oder als Bestimmung einer sichtbaren Oberfläche bezeichnet. Eine große Anzahl von Algorithmen wurde entwickelt. Die Techniken sind detaillierter z. B. in "Computer Graphics Principles and Practice" von Foley, vanDam, Feiner und Hughes beschrieben, erschienen bei Addison Wesley (1990) sowie in "Principles of Interactive Computer Graphics" von Newman, Sproull, erschienen bei McGraw-Hill (1973). In den meisten Graphikworkstations sind Graphikfunktionen, wie das Einstellen einer Ansichtstransformationsmatrix, perspektivische Projektion und Beseitigen einer verdeckten Oberfläche, ausgehend vom Kameraparameter vorab durch Hardware und Software installiert, und diese Funktionen können mit hoher Geschwindigkeit ausgeführt werden.
  • Bei diesem Ausführungsbeispiel wird der Prozeß zum Identifizieren eines Objektes unter Verwendung dieser Graphikfunktionen ausgeführt. Bei einem 3-D-Modell wird die Oberfläche eines zu verarbeitenden Objektes zuvor eingefärbt, und eine Unterscheidung kann dahingehend erfolgen, welche Oberfläche einer Farbe zu welchem Objekt gehört. Z. B. werden in 14 den Ebenen 800, 810, 812, 814, 816, 820, 822 und 824 ver schiedene Farben zugeteilt. Die den jeweiligen Objekten zugeteilten Farben werden nun als ID(Kennzeichnungs)-Farben bezeichnet. Eine Folge von Identifizierprozessen unter Verwendung eines 3-D-Modells mit diesen ID-Farben ist in 17 dargestellt. Zunächst wird ein aktueller Kameraparameter abgefragt (Schritt 1300), und die Ansichtstransformationsmatrix wird ausgehend vom abgefragten Kameraparameter erstellt (Schritt 1310). Im Mensch/Maschine-Server 20 wird der aktuelle Kamerazustand kontinuierlich verwaltet, und wenn eine Abfrage hinsichtlich eines Kameraparameters erfolgt, wird der Kameraparameter für den aktuellen Kamerazustand zurückgeliefert. Der aktuelle Kamerazustand kann vom Kameracontroller verwaltet werden. In einem Schritt 1320 wird das Farbmodell auf Grundlage der im Schritt 1310 eingestellten Ansichtstransformationsmatrix in einen Rückpuffer des Graphikrahmenpuffers 340 eingezeichnet. Bei diesem Zeichnungsablauf werden sowohl der perspektivische Projektionsablauf als auch der Ablauf zum Beseitigen einer verdeckten Oberfläche ausgeführt. Da das Farbmodell in den Rückpuffer eingezeichnet wird, erscheint das eingezeichnete Ergebnis nicht auf der Anzeige 10. Wenn der Zeichnungsablauf abgeschlossen ist, werden die Pixelwerte des Rückpuffers, die der Ereignisposition entsprechen, ausgelesen (Schritt 1330). Die Pixelwerte sind ID-Farben des auf die Ereignisposition projizierten Objektes. Die ID-Farbe entspricht dem Objekt in Eins-zu-Eins-Beziehung, und das Objekt kann so identifiziert werden.
  • Unter Bezugnahme auf die 19A bis 25 wird nun ein Verfahren zum Identifizieren eines Objektes auf Grundlage eines 2D(dimensionalen)-Modells erläutert. Im 2D-Modell werden die Form und der Ort eines Objektes nach Projektion auf dem Weltkoordinatensystem auf das Schirmkoordinatensystem definiert. Wenn die Richtung oder der Blickwinkel der Kamera verändert wird, werden die Position und die Form des auf das Schirmkoordinatensystem projizierten Objektes verändert. Daher muß das 2D-Modell Daten über die Form und die Position des Objektes hinsichtlich jedes Kameraparameters kennen. Bei diesem Ausführungsbeispiel wird das Objekt durch einen rechteckigen Bereich nachgebildet. D. h., daß ein Objekt bei einem bestimmten Kameraparameter durch eine Position und die Größe eines rechteckigen Bereichs im Schirmkoordinatensystem repräsentiert wird. Das Objekt kann unter Verwendung anderer Muster modelliert werden (z. B. eines Polygons oder einer frei festgelegten Kurve).
  • Die 19A, 19B, 20A, 20B, 21A und 21B zeigen Beziehungen zwischen Kameraparametern und zweidimensionalen Modellen an. Die 19A, 20A und 21A zeigen Anzeigebetriebsarten des Videoanzeigebereichs 200 hinsichtlich der verschiedenen Kameraparameter. Die 19B, 20B und 21B zeigen zweidimensionale Modelle für das Objekt, das den jeweiligen Kameraparamtern entspricht. In 19 sind Objekte 410, 412, 414, 416, 420, 422 und 424 auf einem Bild als Rechteckbereiche 710, 712, 714, 716, 720, 722, 724 in den zweidimensionalen Modellen von 19B repräsentiert. Eine Rechteckgruppe von Objekten, die für einen einzigen Kameraparameter modelliert wurden, wird als Bereichsrahmen bezeichnet. Ein Bereichsrahmen 1, der dem Kameraparameter 1 entspricht, wird durch Rechteckbereiche 710, 712, 714, 716, 720, 722 und 724 bezeichnet. 20A, 20B, 21A, 21B repräsentieren Beispiele für Bereichsrahmen, die den verschiedenen Kameraparametern entsprechen. In den 20A und 20B besteht ein Bereichsrahmen 2, der dem Kameraparameter 2 entspricht, aus Rechteckbereichen 740, 742, 746, 748. Diese Rechteckbereiche 740, 742, 746 und 748 entsprechen den Objekten 412, 416, 424 bzw. 422. Auf ähnliche Weise besteht in den 21A und 21B der dem Kameraparameter 3 entsprechende Bereichsrahmen 3 aus einem Rechteckbereich 730. Der Rechteckbereich 730 entspricht dem Objekt 400. Ein Objekt kann verschiedenen Recht eckbereichen entsprechen, wenn die Kameraparameter desselben voneinander verschieden sind. Z. B. entspricht das Objekt 416 dem Rechteckbereich 716 im Fall des Kameraparameters 1, wohingegen dieses Objekt 416 dem Rechteckbereich 742 im Fall des Kameraparameters 2 entspricht.
  • In den 23, 24 und 25 sind Datenstrukturen eines zweidimensionalen Modells dargestellt. In 23 kennzeichnet ein Bezugszeichen 1300 eine Kameradatentabelle zum Abspeichern von Daten für jede Kamera. In der Kameradatentabelle 1300 sind sowohl Daten zu Kameraparametern, wie sie für ein Objekt innerhalb eines Bildes einstellbar sind, und Daten zu Bereichsrahmen, die den jeweiligen Kameraparametern entsprechen, abgespeichert.
  • In 24 bezeichnet ein Bezugszeichen 1320 eine Datenstruktur eines Kameraparameters. Die Daten des Kameraparameters bestehen aus einem vertikalen Winkel, der der Kamerarichtung in vertikaler Richtung entspricht, einem horizontalen Winkel, der der Kamerarichtung in horizontaler Richtung entspricht, und einem Blickwinkel, der das Zoomausmaß anzeigt. Bei diesem Beispiel wird angenommen, daß die Stellung der Kamera und die Position derselben festgelegt sind. Wenn die Stellung der Kamera und die Position derselben ferngesteuert werden, können Daten zum Steuern dieser Punkte zum Kameraparameter 1320 hinzugefügt werden. Der Kameraparameter 1320 wird dazu verwendet, die Kamera auf einen vorgegebenen Kameraparameter einzustellen. Anders gesagt, überträgt der Mensch/Maschine-Server 20 den Kameraparameter an den Kameracontroller, um dadurch die Kamera fernzusteuern. Es ist zu beachten, daß der Kameraparameter 1320 nicht direkt erforderlich ist, um den Prozeß zum Identifizieren des Objektes auszuführen.
  • 25 repräsentiert eine Datenstruktur eines Bereichsrah mens. Die Bereichsrahmendaten sind hinsichtlich der Anzahl von Bereichen zum Bilden des Bereichsrahmens und hinsichtlich von Daten angeordnet, die sich auf die jeweiligen Rechteckbereiche beziehen. Die Bereichsdaten bestehen aus einer Position (x, y) eines Rechteckbereichs im Schirmkoordinatensystems, einer Größe (w, h) eines Rechteckbereichs, einem aktiven Zustand, dem Betrieb und zusätzlicher Information für ein Objekt. Der aktive Zustand des Objekts ist ein solcher Datenwert, der anzeigt, ob das Objekt aktiv oder nicht aktiv ist. Wenn ein Objekt inaktiv ist, wird es nicht identifiziert. Nur ein Objekt im aktiven Zustand wird identifiziert. Ein Zeiger auf eine Ereignis/Bedienvorgang-Korrespondenztabelle 1340 wird im Bedienfeld gespeichert. Die beim Kennzeichnen des Objekts durch eine PD auszuführende Bedienung wird dadurch abgespeichert, daß ein Paar mit dem Ereignis in der Ereignis/Bedienungs-Korrespondenztabelle 1340 gebildet wird. Es ist zu beachten, daß ein Ereignis dazu dient, eine Bedienungsart einer PD zu kennzeichnen. Z. B. ist ein Ereignis beim starken Niederdrücken eines druckempfindlichen Tastpaneels 12 verschieden von einem Ereignis beim schwachen Drücken auf das druckempfindliche Tastpaneel 12. Beim Erzeugen eines Ereignisses wird ein am Ort dieses Ereignisses vorhandenes Objekt identifiziert, und dann wird diejenige Bedienung ausgeführt, die dem mit dem erzeugten Ereignis übereinstimmenden Ereignis entspricht, wobei es sich um die Bedienung innerhalb der Ereignis/Bedienungs-Paare handelt, die für dieses Objekt definiert sind. Zur zusätzlichen Information des Bereichsrahmens wird ein Zeiger auf die zusätzliche Information 1350 des Objekts abgespeichert, die nicht nur durch den Rechteckbereich ausgedrückt werden kann. Es bestehen verschiedene Typen zusätzlicher Information. Z. B. werden Text, Farbe und die Bezeichnung eines Objekts in ein Objekt eingeschrieben, wie auch damit zusammenhängende Information (z. B. eine Bedienungsanleitung für ein Gerät, Wartungsinformation, Designdaten). Im Ergeb nis wird das Objekt auf Grundlage des in das Objekt eingeschriebenen Textes gesucht, und die zugehörige Information für das spezifizierte Objekt wird repräsentiert.
  • In 22 ist eine Folge zum Identifizieren eines Objekts unter Verwendung eines zweidimensionalen Modells dargestellt. Zunächst wird ein dem aktuellen Kameraparameter entsprechender Bereichsrahmen aus der Kameradatentabelle 1300 abgerufen (Schritt 1200). Anschließend wird ein einer Ereignisposition entsprechender Bereich aus dem Bereich zum Bilden des Bereichsrahmens abgerufen. Anders gesagt, werden Daten zur Position und Größe der jeweiligen Bereiche, wie sie in den Bereichsrahmendaten abgespeichert sind, mit der Ereignisposition verglichen (Schritt 1220), und wenn der an der Ereignisposition liegende Bereich aufgefunden wird, wird diese Nummer an das Hostverarbeitungssystem zurückgeliefert. Das Hostverarbeitungssystem überprüft, ob der gefundene Bereich aktiven Zustand aufweist. Wenn der Zustand aktiv ist, wird die in Verbindung mit dem Ereignis festgelegte Bedienung ausgeführt. Der Schritt 1220 wird wiederholt, bis entweder der die Ereignisposition enthaltende Bereich aufgefunden ist oder alle Bereiche innerhalb des Bereichsrahmens überprüft sind (Schritt 1210).
  • Ein zweidimensionales Modell ist dadurch definiert, daß ein Definitionswerkzeug für ein zweidimensionales Modell verwendet wird. Das Definitionswerkzeug für das zweidimensionale Modell ist mit den folgenden Funktionen versehen.
  • (1) Kameraauswahlfunktion
  • Diese Funktion bedeutet, daß eine beliebige, in einer Anlage angeordnete Kamera ausgewählt wird und dann ein von dieser ausgewählten Kamera gewonnenes Bild auf einem Schirm dargestellt wird. Es bestehen die folgenden Kameraauswahlverfah ren:
    • – Eine Kamera zum Abbilden eines Objektes wird durch Spezifizieren dieses Objektes auf einem Anordnungsdiagramm einer Anlage spezifiziert, wie sie auf einem Schirm dargestellt wird.
    • – Ein Ort, an dem eine Kamera angeordnet ist, wird auf einem Anordnungsdiagramm für eine Anlage spezifiziert, wie es auf einem Schirm dargestellt wird.
    • – Kennzeichen für die Nummer und den Namen einer Kamera werden spezifiziert.
  • (2) Kamerabetrieb-Einstellfunktion
  • Diese Funktion bedeutet, daß die oben beschriebene Kamera, wie sie mit der Kameraauswählfunktion ausgewählt wurde, ferngesteuert wird, und daß die Richtung und der Blickwinkel der Kamera eingestellt werden.
  • (3) Musterzeichnungsfunktion
  • Diese Funktion bedeutet, daß ein Muster in einem auf einem Schirm dargestellten Bild gezeichnet wird. Eine Musterzeichnung wird dadurch ausgeführt, daß Grundmusterelemente, wie ein Rechteck, ein Kreis, eine geknickte Linie und eine beliebige Kurve kombiniert werden. Eine angenäherte Form eines Objektes wird dadurch gezeichnet, daß bei dieser Funktion ein Bild des Objekts unterlegt wird.
  • (4) Ereignis/Bedienungs-Paar-Definitionsfunktion
  • Diese Funktion bedeutet, daß mindestens ein von der Musterzeichnungsfunktion gezeichnetes Muster spezifiziert wird und ein Ereignis/Bedienungs-Paar für diese Spezifizierung definiert wird. Ein Ereignis wird entweder durch Auswahl in einem Menü oder durch Eingeben eines Titels für das Ereignis als Text definiert. Eine Bedienung wird dadurch beschrieben, daß eine vorgegebene Bedienung aus einem Menü ausgewählt wird oder daß eine Eingabesprache verwendet wird. Als eine derartige Eingabesprache wird z. B. die Beschreibungssprache UIDL verwendet, die in "Transaction of Information Processing Society of Japan", Vol. 30, Nr. 9, Seiten 1200–1210, User Interface Construction Supporting System Including Meta User Interface, beschrieben ist.
  • Diese Beschreibungssprache UIDL (User Interface Definition Language) wird nun beispielhaft zusammengefaßt.
  • Bei UIDL wird ein Ereignis/Bedienungs-Paar durch das folgende Format definiert.
  • Ereignistitel (Vorrichtung) (Bedienung)
  • Ein "Ereignistitel" kennzeichnet eine Art von Ablauf, wie sie in einem durch ein Muster definierten Schirmbereich ausgeführt wird. Im Fall des druckempfindlichen Tastpaneels 12 wird ein Ereignistitel verwendet, und der Inhalt einer Bedienung, die diesem Ereignistitel entspricht, wird wie folgt wiedergegeben. Ein anderer Ereignistitel wird spezifiziert, wenn eine andere Einrichtung, wie eine Maus, als Zeigeeinrichtung verwendet wird.
  • Sanft-Druck: Dieses Ereignis wird hervorgerufen, wenn mit einem Finger leicht auf das Tastpaneel 12 gedrückt wird.
  • Fest-Druck: Dieses Ereignis wird hervorgerufen, wenn mit einem Finger fest auf das Tastpaneel 12 gedrückt wird.
  • Sanft-Weg: Dieses Ereignis wird hervorgerufen, wenn ein Finger vom Tastpaneel 12 weggenommen wird, nachdem dieses zuvor leicht mit dem Finger berührt wurde.
  • Fest-Weg: Dieses Ereignis wird hervorgerufen, wenn der Finger vom Tastpaneel 12 weggenommen wird, nachdem er zuvor fest auf dieses drückte.
  • Sanft-Zug: Dieses Ereignis wird hervorgerufen, wenn ein Finger bei leichtem Druck auf das Tastpaneel 12 bewegt wird.
  • Fest-Zug: Dieses Ereignis wird hervorgerufen, wenn ein Finger bei festem Druck auf das Tastpaneel 12 bewegt wird.
  • Eine "Einrichtung" dient dazu, zu spezifizieren, von welchem Gerät das Ereignis hervorgerufen wurde, wenn mehrere Geräte zum Erzeugen desselben Ereignisses vorhanden sind. Wenn z. B. zwei Tasten links und rechts an einer Maus vorhanden sind, ist eine Entscheidung dahingehend zu treffen, von welcher Taste das Ereignis hervorgerufen wird. Bei diesem Ausführungsbeispiel wird keine Spezifizierung hinsichtlich des Ereignisses vorgenommen, da das Gerät zum Erzeugen des oben angegebenen Ereignisses nur dem druckempfindlichen Tastpaneel 12 entspricht.
  • Eine "Bedienung" dient dazu, einen Prozeß festzulegen, der ausgeführt wird, wenn eine Bedienung entsprechend dem "Ereignistitel" in einem Bereich ausgeführt wird, der durch ein Muster festgelegt ist. Die "Bedienung" wird dadurch festgelegt, daß bereitgestellte Grundbedienungen miteinander unter Verwendung einer bestimmten Syntax (Verzweigung, Sprung, Wiederholung, Prozedurfestlegung, Prozeduraufruf usw.) kombiniert werden, ähnlich wie dies bei einer normalen Programmiersprache der Fall ist (z. B. der Sprache C usw.). Ein Beispiel für eine Grundbedienung wird nun erläutert:
    • – Aktivieren ( ): Aktivieren eines Objekts
    • – Deaktivieren ( ): Deaktivieren eines Objekts
    • – Erscheinen ( ): Darstellen eines Musters zum Festlegen eines Bereichs eines Objekts
    • – Verschwinden ( ): Löschen der Anzeige eines Musters zum Definieren eines Bereichs eines Objekts.
    • – Kameraeinschalten (Kamera, Bereich): Darstellen eines Bildes einer Kamera, wie sie durch ein Kameraargument in einem Bereich des Anzeigeschirms 100 spezifiziert wird, der durch ein Bereichsargument spezifiziert ist.
    • – Kameraparametersetzen (Kamera, Parameter): Einstellen eines Kameraparameters für eine Kamera. Das Kameraargument bezeichnet die einzustellende Kamera. Das Parameterargument bezeichnet den Wert des einzustellenden Kameraparameters.
    • – Kameraparameterholen (Kamera, Parameter): Rückliefern des Wertes eines aktuellen Kameraparameters. Ein Kameraparameter der durch das Kameraargument spezifizierten Kamera wird in ein Parameterargument eingeschrieben.
    • – Externen Prozedurnamen aufrufen (Argumentliste): Aufrufen einer Prozedur, die in einer anderen Programmiersprache (z. B. der Sprache C) gebildet wurde. Sowohl die aufrufende Prozedur als auch deren Argumente werden mit "externer Prozedurname" bzw. "Argumentliste" bezeichnet.
    • – Objektname und Bedienungsname senden (Argumentliste): Es wird entweder eine Grundbedienung eines anderen Objektes oder eine Prozedur aufgerufen. Die aufzurufende Grundbedienung bzw. die Prozedur und die Argumente derselben werden als "Bedienungsname" bzw. "Argumentliste" bezeichnet.
  • Beim oben angegebenen Definitionswerkzeug für ein 2-D-Modell wird ein zweidimensionales Modell durch die folgenden Schritte erstellt.
  • Schritt 1: Spezifizieren einer Kamera und einer Kameraeinstellung.
  • Eine Kamera wird unter Verwendung der oben angegebenen Kameraauswählfunktion ausgewählt, und dann wird ein von der ausgewählten Kamera erhaltenes Bild auf einem Schirm dargestellt. Danach wird eine Kameraeinstellung unter Verwendung der oben unter (2) angegebenen Kameraeinstellfunktion eingestellt, um ein Bild eines gewünschten Orts zu erhalten.
  • Schritt 2: Definition der Kontur eines Objekts:
  • Die Kontur eines Objekts, wie es als Objekt unter Objekten innerhalb eines im Schritt 1 dargestellten Bildes dargestellt wird, wird dadurch gezeichnet, daß die oben unter (3) angegebene Musterzeichenfunktion verwendet wird.
  • Schritt 3: Festlegen eines Paars eines Ereignisses und einer Bedienungs
  • Mindestens eines der Muster, die mit der Prozedur 2 gezeichnet wurden, wird unter Verwendung der oben unter (4) angegebenen Ereignis/Bedienungs-Paar-Definitionsfunktion ausgewählt, um ein Paar für ein Ereignis und eine Bedienung zu definieren.
  • Schritt 4: Abspeichern eines Definitionsinhalts:
  • Der Inhalt einer Definition wird, falls erforderlich, abgespeichert. Die Definitionsinhalte werden in den Datenstrukturen abgespeichert, wie dies in den 23, 24 und 25 dargestellt ist. Wenn ein zweidimensionales Modell für eine andere Kamera und eine andere Kameraeinstellung ausgebildet werden soll, werden die Schritte 1 bis 4 wiederholt.
  • Das Definitionswerkzeug für das 2-D-Modell kann im Mensch/Maschine-Server 20 untergebracht sein, es kann auf der Anzeige 10 dargestellt werden, oder es kann in einer ganz anderen Workstation und einem Personal Computer installiert sein, so daß das festgelegte zweidimensionale Modell in den Mensch/Maschine-Server 20 übertragen wird.
  • Ein Beispiel für das oben beschriebene Definitionswerkzeug für das 2-D-Modell ist in 26 dargestellt. In 26 bezeichnet ein Bezugszeichen 1500 das Definitionswerkzeug für das zweidimensionale Modell; ein Bezugszeichen 1501 bezeichnet ein Texteingabefeld zum Eingeben eines Titels für einen Bereichsrahmen; ein Bezugszeichen 1502 ist ein Menü zum Erzeugen/Editieren eines Bereichsrahmens durch Kombinieren von Grundmustern (gerade Linie, Rechteck, Ellipse, Bogen, geknickte Linie, Polygon) und zum Zuordnen einer Bedienung zu denselben. Ein Bezugszeichen 1503 bezeichnet ein Verwaltungsmenü zum Speichern und Verändern des erzeugten Bereichsrahmens; ein Bezugszeichen 1504 bezeichnet ein Menü zum Auswählen einer Kamera; Bezugszeichen 1505 und 1509 bezeichnen Menüs für Fernsteuerung der vom Menü 1504 ausgewählten Kamera, um die Kamera zu verschwenken oder zu zoomen. Ein Bezugszeichen 1510 bezeichnet einen Bereich zum Anzeigen eines Bildes einer durch das Menü 1504 ausgewählten Kamera, wie auch einen Bereich, in dem der Bereichsrahmen mit dem Bild zu überlagern ist; ein Bezugszeichen 1511 ist ein im Bereich 1510 gezogenes Rechteck, um das Objekt 414 zu modellieren, und ein Bezugszeichen 1512 bezeichnet eine Zeigerbewegung in Zusammenhang mit der Eingabe eines Positionskoordinatenwertes von einer Zeigeeinrichtung, wie einer Maus oder einem Tastpaneel. Beim folgenden Beispiel wird eine mit zwei Tasten, jeweils einer links und rechts, versehene Maus als Zeigeeinrichtung verwendet. Ein Bewegen der Maus während des Niederdrückens der Tasten der Maus wird als "Ziehen" be zeichnet. Niederdrücken einer Maustaste und Loslassen derselben, während die Maus nicht bewegt wird, wird als "Klicken" bezeichnet. Zwei direkt aneinanderschließende Klickbedienungen werden als "Doppelklicken" bezeichnet.
  • Funktionen der jeweiligen Punkte des Menüs 502 sind die folgenden:
    Gerade Linie: Dies ist eine Funktion zum Ziehen einer geraden Linie. Nachdem dieser Punkt ausgewählt ist, wird, wenn die Maus innerhalb des Bereichs 1510 gezogen wird, eine gerade Linie gezeichnet, die die Position des Zeigers 1512 zu Beginn des Ziehens mit der Position des Zeigers 1512 beim Ende des Ziehens verbindet.
  • Rechteck: Dies ist eine Funktion zum Ziehen eines Rechtecks. Nachdem dieser Punkt ausgewählt wird und die Maus innerhalb des Bereichs 1510 gezogen wird, wird ein Rechteck in solcher Weise eingezeichnet, daß sowohl die Position des Zeigers 1512 beim Beginn des Ziehens als auch die Position des Zeigers 1512 bei Beendigung des Ziehens diagonale Rechteckpunkte bilden.
  • Ellipse: Dies ist eine Funktion zum Ziehen einer Ellipse. Nachdem dieser Punkte ausgewählt ist und die Maus innerhalb des Bereichs 1510 gezogen wird, wird eine Ellipse gezeichnet, die innerhalb eines Rechtecks eingeschrieben wird, bei dem sowohl die Position des Zeigers 1512 zu Beginn des Ziehens, als auch die Position des Zeigers 1512 bei Beendigung des Ziehens eine diagonale Linie bilden.
  • Geknickte Linie: Dies ist eine Funktion zum Ziehen einer geknickten Linie. Nachdem dieser Punkt ausgewählt ist und der Zeiger 1512 bewegt wird, wobei das Klicken der Maus (Taste) innerhalb des Bereichs 1510 wiederholt werden und schließ lich die Maus an derselben Position doppelt geklickt wird, wird eine geknickte Linie gezogen, die dadurch ausgebildet ist, daß diejenigen Punkte des Zeigers 1512 aufeinanderfolgend mit geraden Linien verbunden werden, bei denen die Maus geklickt wurde.
  • Polygon: Dies ist eine Funktion zum Ziehen eines Polygons. Nachdem dieser Punkt ausgewählt ist und die Bewegung des Zeigers 1512 und das Klicken der Maus innerhalb des Editierbereichs 1510 wiederholt werden und schließlich die Maus doppelgeklickt wird, wird ein Polygon gezogen, das dadurch ausgebildet wird, daß die Positionen des Zeigers 1512 beim Klicken der Maus durch gerade Linien miteinander verbunden werden und der Endpunkt mit dem Startpunkt verbunden wird.
  • Löschen: Ein vom Zeiger 1512 spezifiziertes Muster wird gelöscht, und gleichzeitig wird dieses Muster in einen Puffer eingespeichert (dieser wird als "Paste- oder Einfügepuffer" bezeichnet).
  • Kopieren: Ein vom Zeiger 1512 spezifiziertes Muster wird in den Einfügepuffer kopiert.
  • Einfügen: Der Inhalt des Einfügepuffers wird an der Position des Zeigers 1512 eingezeichnet, wenn bei der letzten Mausbewegung geklickt wird.
  • Gruppe: Mehrere vom Zeiger 1512 spezifizierte Muster werden zu einer Gruppe zusammengefaßt. Mehrere zu einer Gruppe zusammengefaßte Muster werden als einziges Muster gehandhabt. Um ein einziges Objekt mit Hilfe mehrerer Muster zu modellieren, werden diese Muster zu einer Gruppe zusammengefaßt. Wenn dieser Punkt ausgewählt wird und nur ein gruppiertes Muster spezifiziert wird, wird die spezifizierte Gruppe freigegeben und in mehrere ursprüngliche Zeichnungen rückge führt.
  • Bedienung: Ein Bedienungsdefinitionsblatt zum Festlegen eines Ereignis/Bedienungs-Paars für das vom Zeiger 1512 spezifizierte Muster wird aufgerufen.
  • Funktionen der jeweiligen Punkte des Menüs 1503 sind die folgenden:
    Neu: Ein Bereichsrahmen wird neu definiert.
  • Öffnen: Ein Name für einen im Eingabefeld 1501 spezifizierten Bereichsnamen wird aufgerufen und dann im Bereich 1510 dargestellt. Dabei wird derjenige Kameraparameter eingestellt, der der Kamera entspricht, die mit dem aufgerufenen Bereichsrahmen in Beziehung steht, und ein Bild dieser Kamera wird im Bereich 1510 dargestellt.
  • Speichern: Der definierte Bereichsrahmen wird unter demjenigen Namen abgespeichert, der im Eingabefeld 1501 mit einem Kamera/Kamera-Parameterpaar spezifiziert wurde.
  • Ende: Das Definitionswerkzeug für das Modell wird abgeschlossen.
  • Die Funktionen der Menüs 1505 bis 1509 sind die folgenden:
    Menü 1505: Eine Kamera wird nach oben/unten bzw. rechts/links verschwenkt.
  • Menü 1506: Eine Kamera wird aufgezoomt.
  • Menü 1507: Eine Kamera wird abgezoomt.
  • Menü 1508: Eine Kamera wird auf einen vorigen Kameraparame ter eingestellt.
  • Menü 1509: eine Kamera wird auf einen Wert für einen Kameraparameter eingestellt, der abschließend abgespeichert wurde (Auswählen des Punktes "Speichern" im Menü 1503).
  • Wenn das Menü 1504 ausgewählt wird, wird ein Bild der ausgewählten Kamera im Bereich 1510 dargestellt. Eine Kamera wird unter Verwendung der Menüs 1505 bis 1509 ferngesteuert und auf einen gewünschten Kameraparameter eingestellt. Im Modelldefinitionswerkzeug 1500 wird die Kamera durch das Menü 1504 ausgewählt. Alternativ kann ein Ikon im Anlagensystemdiagramm dargestellt werden, das die Anordnung einer Kamera klar anzeigt, und die Kamera kann durch ein Verfahren zum Auswählen des Ikons ausgewählt werden.
  • Abhängig vom Modelldefinitionswerkzeug 1500 wird das Objekt dadurch modelliert, daß die Grundzeichnungen (gerade Linie, Rechteck, Ellipse, Bogen, geknickte Linie, Polygon) kombiniert werden. D. h., daß ein auf ein Schirmkoordinatensystem durch einen bestimmten Kameraparameter zu projizierendes Objekt durch die Position und die Größe eines einzigen Grundmusters oder mehrerer Grundmuster ausgedrückt wird. Ein Modell eines Objekts wird auf solche Weise definiert, daß ein im Bereich 1512 dargestelltes Bild unterlegt wird und die Kontur des darin darzustellenden Objektes eingezeichnet wird. Die Kontur des Objektes wird auf solche Weise gezogen, wie sie einem Zeichenverfahren unter Verwendung eines Zeichengerätes für ein normales Muster ähnlich ist. Wenn ein gewünschtes Grundmuster durch das Menü 1512 ausgewählt ist und die Größe und die Position des ausgewählten Grundmusters unter Verwendung des Zeigers 1512 im Bereich 1510 spezifiziert sind, wird das Grundmuster im Bereich 1510 gezeichnet. In 26 ist das Objekt 414 durch das Rechteck 1511 modelliert. Eine einzige oder mehrere Zeichnungen, durch die ein bestimmtes Objekt modelliert wurde, wird nun als Objektmodell bezeichnet.
  • Wenn die Kontur des Objekts gezeichnet ist, wird eine Bedienung für das anschließend gezeichnete Muster, d. h. das Objekmodell definiert. Die Beziehung wird dadurch definiert, daß das Bedienungsdefinitionsblatt verwendet wird. Wenn der Punkt "Definition" im Menü 1502 ausgewählt wird, wird ein Bedienungsdefinitionsblatt 1500 geöffnet, wie es in 27 dargestellt ist. In 27 bezeichnet ein Bezugszeichen 1602 ein Menü zum Verwalten des Blattes 1600; ein Bezugszeichen 1603 bezeichnet ein Feld zum Eingeben eines Objektnamens; ein Bezugszeichen 1604 bezeichnet ein Menü zum Auswählen einer Ereignisart; ein Bezugszeichen 1605 bezeichnet ein Menü zum Auswählen einer Grundbedienung, die vorab für ein Objekt definiert wurde; und ein Bezugszeichen 1606 bezeichnet einen Bereich, in dem ein Ereignis/Bedienungs-Paar unter Verwendung der oben angegebenen Beschreibungssprache UIDL beschrieben ist.
  • Wenn das Ereignis/Bedienungs-Paar eingegeben wird, können die Ereignisart und die Grundbedienung des Objektes aus den Menüs 1604 und 1605 ausgewählt werden. Nach Auswahl der Menüs 1604 und 1605 wird entweder der ausgewählte Ereignisname oder der Name für den ausgewählten Grundbetrieb in die Eingabeposition im Bereich 1606 eingegeben. Infolgedessen kann ein Prozeßablauf zum Eingeben des Ereignisnamens oder des Namens für die Grundbedienung über die Tastatur weggelassen werden, so daß die Arbeitsbelastung für die Bedienungseingabe verringert werden kann.
  • Funktionen der jeweiligen Punkte des Menüs 1602 sind die folgenden:
    Speichern: Ein definiertes Bedienungs/Definitions-Paar wird als Ereignis-Bedienungs/Entsprechungstabelle der Bereichsrahmendaten abgespeichert.
  • Ende: Ein Bedienungsdefinitionsblatt wird beendet, und die Steuerung wird an das Modelldefinitionswerkzeug 1500 zurückgegeben.
  • 27 repräsentiert einen Zustand, bei dem eine Bedienung für ein Muster 1511 definiert wird, bei dem das Objekt 414 modelliert ist. In ein Eingabefeld 1603 wird "Spannung-Ein-Knopf" als Objektname für das Muster 1511 eingegeben. Dann wird in einen Bereich 1606 ein Ereignis/Bedienungs-Paar dahin eingegeben, daß dann, wenn "stark auf ein Objekt gedrückt wird, eine Prozedur "Ferngesteuerte-Spannung-Ein-0" aufgerufen wird".
  • Nachdem die Modelldefinition abgeschlossen ist, wird ein Punkt "Speichern" des Menüs 1503 ausgewählt, um den Inhalt der Definition in den Datenstrukturen abzuspeichern, wie in den 23 bis 25 dargestellt. Wenn das Modelldefinitionswerkzeug 1500 durch den Mensch/Maschine-Server 20 betätigt wird, wird der Definitionsinhalt im Hauptspeicher 310 und in der Platte 320 abgespeichert.
  • Da ein Modell zu einem Objekt vorliegt, kann erkannt werden, wo und wie das Objekt innerhalb eines Bildes repräsentiert wird. Infolgedessen kann die mit dem Objekt verbundene Information graphisch auf Grundlage der Position und der Form des Objekts innerhalb des Bildes dargestellt werden, und das Bild des Objekts kann wieder aufgefunden werden. Beispiele dafür sind die folgenden.
    • – Der Name eines Objekts, die Funktion, die Bedienungsanleitung, das Wartungsverfahren und dergleichen des Objekts werden auf oder nahe dem darzustellenden Objekt syntheti siert.
  • In 28 ist ein Beispiel dargestellt, gemäß dem eine auf ein Objekt bezogene Erklärung neben dem Objekt dargestellt ist. In dieser Figur bezeichnen Bezugszeichen 2201 und 2202 graphische Anzeigen für die Einrichtungen der Objekte 518 bzw. 524.
    • – Ein von einer Graphik gebildetes Objekt wird mit einem tatsächlich darzustellenden Bild in solcher Weise synthetisiert, daß das Objekt aktuell von einer Kamera so photographiert wird, wie es vorlag.
    • – Das Suchen zusätzlicher Information zu einem Objekt auf Grundlage eines eingegebenen Schlüsselwortes, das Einstellen einer Kamera und eines Kameraparameters, um das relevante Objekt abzubilden, werden ausgeführt.
    • – Eine interne Struktur eines Objekts, die von einer Kamera nicht photographiert werden kann, wird zusammen mit dem darzustellenden Objekt synthetisch im Bild dargestellt. Z. B. wird der Zustand, bei dem Wasser in einem Rohr fließt, auf Grundlage der von einem anderen Sensor erhaltenen Daten simuliert, und dann wird das Simulationsergebnis mit der Darstellung des Rohrs, wie es in einem tatsächlichen Bild zu sehen ist, für Anzeigezwecke synthetisiert. Auf ähnliche Weise wird eine Graphik zum Anzeigen des Zustandes von Flammen innerhalb eines Dampferzeugers (z. B. ein Temperaturverteilungsdiagramm, wie es aus von einem Sensor erhaltener Information erzeugt wird) zu Anzeigezwecken dem Dampferzeuger überlagert, wie er im Bild dargestellt wird.
    • – Ein hierbei zu beachtendes Objekt wird durch die Graphik deutlich angezeigt. Wenn z. B. ein außergewöhnlicher Vorgang von einem Sensor festgestellt wird, wird für Anzeigezwecke eine Graphik mit einem Objekt in einem Bild synthetisiert. Graphiken werden mit einem Objekt in einem Bild synthetisiert, das sich auf Daten bezieht, die durch eine Trennkurve dargestellt werden, so daß eine Beziehung zwischen den Daten und dem Objekt im Bild sofort erkannt werden kann.
  • Obowhl beim oben beschriebenen Ausführungsbeispiel die von einer normalen Kamera aufgenommenen Bilder verwendet werden, kann die Erfindung selbstverständlich mit jedem Bild verwendet werden, das von einer speziellen Kamera aufgenommen wird (einer Infrarotkamera, einer Kamera mit Fischaugenlinse, thermographische Aufnahme), oder es kann ein bildverarbeitetes Bild verwendet werden.
  • Als Wirkung des vorliegenden Ausführungsbeispiels kann mindestens einer der folgenden Punkte (1) bis (6) erzielt werden.
    • (1) Bei einem Fernbedienungs-Überwachungssystem kann eine Bedienperson intuitiv ein zu betätigendes Objekt und das Bedienungsergebnis erfassen, was zu weniger fehlerhafter Bedienung führt.
    • (2) Ein erwünschtes Überwachungsbild kann einfach beobachtet werden, ohne daß eine Bedienperson mit Kameraauswahl oder Kamerafernsteuerung belästigt wird.
    • (3) Eine Bedienung kann auf einem Überwachungsbild ausgeführt werden. Infolgedessen besteht kein Erfordernis dahingehend, einen Überwachungsmonitor von einem Bedienpaneel abzusondern. Ein Fernsteuerungs-Überwachungssystem kann kompakt ausgebildet werden, und daher kann Raumersparnis erzielt werden.
    • (4) Graphiken werden mit einem Kamerabild kombiniert, und das kombinierte Bild wird dargestellt, so daß die Vorzüge der Graphik und des Kamerabildes erzielt werden und die Nachteile dieser Punkte einander kompensieren. Anders gesagt, kann ein wesentlicher Bereich hervorgehoben werden, während das Gefühl des Vorhandenseins vor Ort beibehalten wird.
    • (5) Es ist eine Repräsentation möglich, bei der auf verschiedene Informationsarten wechselseitig auf einmal Bezug genommen werden kann. Z. B. kann lediglich durch Spezifizieren eines durch ein Kamerabild zu überwachenden Bereichs eine Trendkurve dargestellt werden, die einen Sensorwert veranschaulicht, der diesem spezifizierten Bereich zugeordnet ist. So können die Zustände vor Ort umfassend beurteilt werden.
    • (6) Eine Mensch/Maschine-Schnittstelle, durch die eine Bedienung direkt in einem Bild ausgeführt werden kann, kann einfach entworfen und entwickelt werden.
  • Es ist zu beachten, daß, obwohl bei diesem Ausführungsbeispiel mehrere Kameravideobilder verwendet wurden, Bilder verwendet werden können, die von mehreren Plattenwiedergabegeräten (z. B. einer optischen Platte) gewonnen werden.
  • Unter Bezugnahme auf die 29 bis 60 wird nun ein Anlagesteuerungs-Überwachungssystem gemäß einem anderen Ausführungsbeispiel (zweiten Ausführungsbeispiel) der Erfindung beschrieben.
  • Das unten beschriebene Ausführungsbeispiel betrifft die Verknüpfung von entweder Videodaten oder Tondaten mit Daten (Steuerdaten), wie sie zum Steuern von Einrichtungen verwendet werden, die synchrone Wiedergabe von entweder Videodaten oder Tondaten mit Steuerdaten, die Wechselbeziehung von entweder Videodaten oder Tondaten und Steuerdaten sowie die Synthese von entweder Videodaten oder Tondaten mit Steuerdaten.
  • 29 zeigt eine Anordnung des Anlagesteuerungs-Überwachungssystems gemäß dem vorliegenden Ausführungsbeispiel.
  • Eine in einem Fabrikfeld zu überwachende Vorrichtung (wird einfach als "gesteuerte Vorrichtung" bezeichnet) 2101 überträgt Betriebszustände anzeigende Prozeßdaten über ein Kabel 2135 an einen Steuerungscomputer 2102, der zu jedem Zeitpunkt als erste Eingabeeinrichtung wirkt. Im Steuerungscomputer 2102 werden die Prozeßdaten analysiert, und Steuerdaten werden über ein Kabel 2136 an die gesteuerte Vorrichtung 2101 ausgegeben. Auch werden Prozeßdaten, die über ein Kabel 2137 in ein LAN 2120 eingeleitet werden, und Bedienerbefehle, die über ein Kabel 2138 vom LAN 2120 zugeführt werden, empfangen und dann im Steuerungscomputer 2102 verarbeitet. Wie oben beschrieben, besteht die Hauptfunktion des Steuerungscomputers 2102 darin, die Prozeßdaten zu erfassen, die Prozeßdaten an das LAN auszugeben, die Bedienerbefehle vom LAN einzulesen und die Prozeßsteuerungssignale an die gesteuerte Vorrichtung 2101 auszugeben.
  • Der LAN 2120 weist ein "Ethernet"-Kabel auf, über das Signale, wie Bedienerbefehle und Prozeßdaten, fließen. Der LAN 2120 ist mit den jeweiligen Vorrichtungen über ein Ausgangskabel 2137 vom Steuerungscomputer 2102, ein Eingangskabel 2138 zum Steuerungscomputer 2102, ein Ausgangskabel 2143 von einer Datenbasis 2104, einem Eingangskabel in die Datenbasis 2104, einem Ausgangskabel 2140 aus einer Workstation 2103 und einem Eingangskabel 2139 in die Workstation 2103 verbunden.
  • Die Datenbasis 2104, die ersten und dritten Speichereinheiten und einer ersten Wiedergabeeinheit entspricht, greift über das Kabel 2144, die im LAN 2120 fließen, zu und zeichnet die Prozeßdaten und dergleichen zusammen mit einem Zeitpunkt "t" auf, wie er von einem Takt angezeigt wird, der intern vorhanden ist. Wenn ein Datenlesebefehl über das Kabel 2144 eingegeben wird, wird der durch diesen Datenlesebefehl spezifizierte Datenwert über das Kabel 2143 an den LAN 2120 übertragen.
  • Mehrere ITV-Kameras 2110 sind mit Kamerasteuerungsvorrichtungen versehen, die dazu in der Lage sind, die ITV-Kameras in Steuerungsbetriebsarten für Verschwenken, Verdrehen und Zoomen auf den Empfang von Steuerungssignalen hin fernzusteuern, was auch für Mikrophone gilt, die zusammen mit den Kameras bewegbar sind. Die Kameras 2110 senden Videobilder und Tonsignale für die gesteuerte Vorrichtung 2101 über die Kabel 2130 und 2131 an einen Umschalter 2109. Der Umschalter 2109 überträgt das von der Workstation 2103 eingegebene Kamerasteuerungssignal über das Kabel 2132 an die Kameras 2110. Die ITV-Kameras 2110 entsprechen einer zweiten Eingabeeinheit.
  • Als Video/Audio-Aufzeichnungseinheit 2108, die der zweiten Speichereinheit und der zweiten Wiedergabeeinheit entspricht, wird eine Einheit mit wahlfreiem Zugriff verwendet, wie eine optische Platte. Obwohl ein Videoband als Einheit mit wahlfreiem Zugriff verwendet werden kann, ist hier die Suche und die Anzeige zeitaufwendig, da die Datensuche bei einem Videoband sequentiell ausgeführt wird. Alle Videobilder und Tonsignale, die von den ITV-Kameras 2110 aufgenommen werden, werden über den Umschalter 2109 geleitet und über das Kabel 2133 eingegeben. Wenn die der Steuereinheit entsprechende Workstation 2103 den Lesebefehl über den Umschalter 2109 und das Kabel 2145 eingibt, wird die spezifizierte Video/Audio-Information über das Kabel 2134 an den Umschalter 2109 ausgegeben.
  • Der Umschalter 2109 ist ein Schalter, der dazu dient, die Video- und Toninformation auszuwählen, wenn mehrere eingegebene Video- und Tonsignale über das Kabel 2141 an die Workstation 2103 gesendet werden, und er entspricht auch einem Schalter zum Auswählen eines Signalzielortes, wenn ein Kamerasteuerungssignal und ein Videoaufzeichnungs-Aufrufsignal, die von der Workstation 2103 über das Kabel 2142 ausgegeben werden, an die Kameras 2110 und die Video/Audio-Aufzeichnungseinheit 2108 gesendet werden.
  • Die Workstation 2103 ist mit einer Anzeige 2111 und einem Lautsprecher 2112 verbunden, die der ersten und der dritten Ausgabeeinheit als Ausgabeeinheiten an die Bedienperson entsprechen, und sie ist auch mit Eingabevorrichtungen, wie einer Tastatur 2106, einer Maus 2105, einem Tastpaneel 2107 als Eingabeeinheit von der Bedienperson her verbunden (einer Meßdaten-Ausgabespezifiziereinheit, einer Einheit zum Auswählen eines Objekts und einer Einheit zum Spezifizieren eines Suchwertes für Meßdaten). Auch ist das LAN 2120 über die Kabel 2139 und 2140 angeschlossen, und der Umschalter 2109 ist über die Kabel 2141 und 2142 angeschlossen. Die Workstation 2103 verarbeitet die über das Kabel 2139 eingegebenen Prozeßdaten, um einen Anzeigeschirm aufzubauen, und sie stellt auf der Anzeige 2111 die Prozeßdaten zusammen mit den über das Kabel 2141 eingegebenen Videodaten dar. Andererseits werden die über das Kabel 2141 eingegebenen Tondaten vom Lautsprecher 2112 ausgegeben. Sowohl der Lautsprecher 2112 als auch die Anzeigeeinheit 2111 entsprechen der zweiten Ausgabeeinheit. Eine von der Bedienperson vorgenommene Tasteneingabe über die Tastatur 2106, und auch Eingaben von Eingabevorrichtungen, wie der Maus 2105 und dem Tastpaneel 2107, werden in der Workstation 2103 verarbeitet, und sie werden auch als Steuerungscode für die gesteuerte Vorrichtung 2101 über das Kabel 2140 ausgegeben, und sie werden ferner als Umschaltbefehl an den Video/Audio-Umschalter 2109, als Steuercode für die Kamera 2100 und als Aufrufcode für die Video/Audio-Aufzeichnungseinheit 2108 ausgegeben.
  • Die Bedienperson überwacht die durch die Videosignale, Zeichen und Graphiken auf der Anzeige 2111 angezeigten System zustände und führt die erforderlichen Bedienungen und Befehle unter Verwendung der Maus 2105, der Tastatur 2106 und des Tastpaneels 2107 aus. Zum Zweck der Erläuterung wird das Tastpaneel 2107 als Eingabevorrichtung von der Bedienperson verwendet. Andere Vorrichtungen können selbstverständlich als eine solche Eingabevorrichtung verwendet werden.
  • Die innere Struktur der Workstation 2103 ist in 30 dargestellt. Ein Bezugszeichen 2201 bezeichnet eine CPU (zentrale Verarbeitungseinheit); ein Bezugszeichen 2202 bezeichnet einen Hauptspeicher; ein Bezugszeichen 2203 bezeichnet eine I/O-Schnittstelle (Eingabe/Ausgabe); ein Bezugszeichen 2204 bezeichnet einen Graphikschirmrahmenpuffer zum Darstellen von Prozeßdaten auf der Anzeige 2111; ein Bezugszeichen 2205 bezeichnet einen A/D-Wandler zum Umwandeln eines eingegebenen Videosignals in ein digitales Signal; ein Bezugszeichen 2206 bezeichnet einen Videopufferrahmen und ein Bezugszeichen 2207 bezeichnet eine Mischschaltung zum Mischen eines Graphikschirms mit einem Videobild.
  • In 31 ist eine Anordnung der Video/Audio-Aufzeichnungseinheit 2108 dargestellt. Diese Video/Audio-Aufzeichnungseinheit 2108 besteht aus einer CPU 2301, die zum Zugreifen auf verschiedene Befehle, wie sie von der Workstation 2103 zum Verarbeiten dieser Befehle erzeugt werden, und auch zum Ausgeben von Aufzeichnungs/Wiedergabe-Befehlen dient; einem Hauptspeicher 2302, der als Videopuffer verwendet wird; einem AD/DA(Analog/Digital-Digital/Analog)-Wandler 2303 zum Digitalisieren eines Signals von der ITV-Kamera 2100 und zum Umwandeln eines digitalen Signals in ein analoges Signal, das an die Workstation zu übertragen ist; und ferner aus einer Video/Audio-Aufzeichnungs/Lese-Einheit 2304.
  • 32 repräsentiert einen Anzeigeschirm im Prozeßsteuerungs-Überwachungssystem. Der Anzeigeschirm ist mit folgen dem versehen: einem Prozeßgesamtanordnungsdiagramm 2401, einem Bewegungsbildanzeigebereich 2402 zum hauptsächlichen Anzeigen von Videobildern von den ITV-Kameras, einer Trendkurve 2403 zum Darstellen der Prozeßdaten der gesteuerten Vorrichtung 2101; einem Takt 2406; einem Aufgabenbereich 2404 zum Darstellen von Umschalt-Hilfeinformation und dergleichen; einem Prozeßdaten anzeigenden Meßgerät 2405 und einem Menübereich 2407. Innerhalb des Menübereichs 2407 ist folgendes dargestellt: ein Kamerawechselknopf 2408; ein Knopf 2409 zum Spezifizieren eines innerhalb eines Videobildes und von Prozeßdaten auszuwählenden Objektes; ein Betriebsartknopf 2410 zum Auswählen einer Überwachungsbetriebsart und einer Wiedergabebetriebsart, einer Standardwiedergabe und einer verlangsamten Wiedergabe; ein Auswahlknopf 2411 zum Auswählen eines einfachen Editoraufrufablaufs und eines darzustellenden Graphen. Wenn nun angenommen wird, daß die Prozeßdaten von der gesteuerten Vorrichtung 2101 in diesem Menübereich 2407 dargestellt werden, können andere Datenlisten und skalare Größen dargestellt werden. Auch können mehrere Datenanzeigeeinrichtungen, wie sie oben erläutert wurden, auf der Anzeige vorhanden sein.
  • 33 zeigt eine Trendkurve 2403 zum Darstellen von Prozeßdaten genauer. Die Trendkurve 2403 besteht aus einer Datenanzeigeeinheit 2501, einer Datengrößenanzeigeeinheit 2502, einem Zeitkursor 2503, einer Zeitachse 2504, einem Datenwertkursor 2505 sowie Zeitachsenverstellknöpfen 2506 und 2507.
  • Die Prozeßdaten werden auf der Datenanzeigeeinheit 2501 als Kurve dargestellt, und es wird auch die Benennung derselben in der Datengrößenanzeigeeinheit 2502 dargestellt. Die Beziehung zwischen den Daten und einer Bezeichnung derselben wird durch die Breite einer Linie, durch die Farbe oder die Art der Linien hergestellt.
  • Der Zeitkursor 2503 repräsentiert unter Verwendung der Zeitachse 2504 den Aufzeichnungszeitpunkt oder die Erzeugungszeitpunkte aller Daten (z. B. einen Datenwert, wie er vom Meßgerät 2405 angezeigt wird, ein Bild 2402, einen Zeitpunkt des Taktes 2406, einen Punkt der Trendkurve 2403 am Ort des Zeitkursors 2503), wie sie in der aktuellen Anzeige dargestellt werden. Anders gesagt, entspricht der Zeitkursor 2503 der Trendkurve 2403 einer Zeitanzeigeeinheit zum Anzeigen des Zeitpunkts, zu dem die aktuell dargestellten Daten aufgezeichnet wurden.
  • Die Zeitachse 2504 zeigt einen Wert zum aktuellen Zeitpunkt an, wenn der Zeitpunkt, zu dem Daten darzustellen sind, nicht innerhalb der dargestellten Zeitachse 2504 vorhanden ist, was dadurch erfolgt, daß der Wert des dargestellten Zeitpunktes nach rechts hin (d. h. in zeitlicher Rückwärtsrichtung, was als "Rückwärtsrichtung" bezeichnet wird) oder nach links hin bewegt wird (d. h. zu fortschreitender Zeit hin, was als "positive Richtung" bezeichnet wird). Die Zeitachse 2504 kann ausgeweitet oder verkürzt werden, und ein Ausschnitt aus derselben kann ausgeweitet oder verkürzt werden. Infolgedessen wird ein Abschnitt der Zeitachse 2504, für den Detailbetrachtung gewünscht wird, expandiert, wohingegen ein anderer Abschnitt derselben verringert wird, für den keine Detailbetrachtung erwünscht ist.
  • Der Zeitachsenbewegungsknopf 2507 dient dazu, den Wert des Zeitpunkts zu verstellen, wie er auf der Zeitachse 2504 nach rechts dargestellt wird, so daß der Zeitpunkt vor dem aktuell dargestellten Zeitpunkt repräsentiert wird. Andererseits dient der Knopf 2508 dazu, den Wert des Zeitpunktes nach links zu verschieben, um einen Zeitpunkt darzustellen, der auf den aktuell dargestellten Zeitpunkt folgt.
  • Der Datenwertkursor 2505 dient dazu, einen Prozeßdatenwert aufzusuchen. Nachdem der aufzusuchende Prozeßdatenwert ausgewählt wurde und der Datenwertkursor auf den Suchwert gefahren wurde, werden sowohl die Zeitachse 2504 als auch der Zeitpunktkursor 2503 bewegt, und dann nähert sich der Zeitpunktkursor 2503 dem Zeitpunkt, zu dem der ausgewählte Datenwert den Suchwert aufweist.
  • Beim folgenden Beispiel wird eine Trendkurve als Datenanzeigeeinheit zum Darstellen der Prozeßdaten auf der Anzeige verwendet. Jede andere Datenanzeigeeinheit als eine Trendkurve kann auch verwendet werden.
  • Beim vorliegenden Ausführungsbeispiel liegen die folgenden Funktionen für das Prozeßüberwachungssystem vor:
    • (1) Der Betrieb zum Wiedergeben aufgezeichneter Videobilder kann nicht nur die Videobilder und den Ton wiedergeben, sondern er kann auch Prozeßdaten zu demjenigen Zeitpunkt auffinden, zu denen das Videobild aufgenommen wurde, und er kann diese Prozeßdaten darstellen.
    • (2) Wenn eine Zeitanzeigeeinheit, wie der Zeitpunktkursor 2503 der Trendkurve, verwendet wird, kann der Zeitpunkt angegeben werden, zu dem sowohl das Videobild als auch der Ton aufgenommen wurden, und es können auch die zu diesem Zeitpunkt aufgefundenen Prozeßdaten dargestellt werden.
    • (3) Die Prozeßdaten werden durch Spezifizieren dieser Prozeßdaten und eines Suchwertes für dieselben gesucht. Diese Daten werden aufgerufen und dargestellt, und darüber hinaus werden sowohl das Videobild zum Zeitpunkt, zu dem diese Daten aufgezeichnet wurden, als auch andere Prozeßdaten für diesen Zeitpunkt für die Darstellung aufgerufen.
    • (4) Wenn das aufgezeichnete Videobild wiedergegeben wird, wird die Anzeigefrequenz der Prozeßdaten hinsichtlich der Zeit durch die Wiedergabegeschwindigkeit verändert.
    • (5) Die dem Zeitpunkt der Prozeßdaten zugeordnete Anzeige frequenz wird vorab bestimmt, damit die Wiedergabegeschwindigkeiten für die Video- und Tonsignale für diese Anzeigefrequenz festliegen, wenn die Videosignale wiedergegeben werden, und dann werden die Video- und Tonsignale wiedergegeben und angezeigt.
    • (6) Die Bedienungsinformation von der Bedienperson wird aufgezeichnet und beim Wiedergeben des Videobildes wird auch die von der Bedienperson vorgenommene Bedienung wiedergegeben.
    • (7) Die Bedieninformation von der Bedienperson wird aufgezeichnet, und Bediendaten von der Bedienperson werden spezifiziert, wodurch dieser Bedienvorgang aufgesucht wird, und die Videodaten und die Prozeßdaten für den Zeitpunkt der Ausführung der Bedienung werden aufgerufen und dargestellt.
    • (8) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte festgelegt. Wenn das Videobild wiedergegeben wird, wählt die Bedienperson dieses Objekt aus, um die zugehörigen Prozeßdaten darzustellen.
    • (9) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte festgelegt. Wenn die Bedienperson eines dieser Objekte während der Wiedergabe des Videobildes auswählt, werden die zugehörigen Prozeßdaten auf hervorgehobene Weise dargestellt.
    • (10) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert. Wenn die Bedienperson eines der Objekte bei der Wiedergabe des Bildes auswählt, wird ein Auswahlmenü betreffend die zugehörigen Prozeßdaten dargestellt. Wenn ein Punkt aus diesem Menü ausgewählt wird, werden die Prozeßdaten des ausgewählten Punktes dargestellt.
    • (11) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert. Wenn die Bedienperson eines der Objekte bei Wiedergabe des Videobildes auswählt, werden zugehörige Prozeßdaten für das ausgewählte Objekt innerhalb des Videobildes dargestellt.
    • (12) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswählt, werden zugehörige Prozeßdaten durch Computergraphik dargestellt und dem Bild überlagert.
    • (13) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswählt, wird ein anderes innerhalb des zugehörigen Videobildes auswählbares Objekt auf hervorgehobene Weise dargestellt.
    • (14) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswählt, wird zusätzliche Information zu diesem ausgewählten Objekt dargestellt.
    • (15) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswählt, wird das aktuelle Bild in ein Videobild umgewechselt, das den ausgewählten Prozeßdaten zugeordnet ist, und es werden auch auswählbare Objekte innerhalb des Videobildes dargestellt.
    • (16) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswählt, wird das aktuelle Bild in ein Videobild umgewechselt, das den ausgewählten Prozeßdaten zugeordnet ist, und es werden auch auswählbare Objekte innerhalb des Videobildes dargestellt, und es wird der zugehörige Datenwert dem ausgewählten Objekt für Anzeigezwecke überlagert.
    • (17) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswählbare Objekte definiert.
  • Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswählt, wird das aktuelle Bild in ein Videobild umgewechselt, das den ausgewählten Prozeßdaten zugeordnet ist, und es werden auch auswählbare Objekte innerhalb des Videobildes dargestellt, und ferner wird der zugehörige Datenwert dem Videobild unter Verwendung von Computergraphik für Anzeigezwecke überlagert.
  • Die oben angegebenen Funktionen werden nun detaillierter hinsichtlich der Wiedergabe von aufgezeichneten Prozeßdaten, Bilddaten und Audiodaten erläutert.
  • Unter Bezugnahme auf die 29 bis 39 wird nun die Funktion 1 beschrieben. Eine Standardwiedergabebetriebsart für aufgezeichnete Information wird dadurch ausgewählt, daß der Betriebsartwählknopf 2410 unter Verwendung des Tastpaneels ausgewählt wird. Wenn eine optische Platte abgespielt wird, wird der Aufzeichnungsablauf für eine andere optische Platte ausgeführt, die sich von der vorigen optischen Platte unterscheidet. Wie es in 32 dargestellt ist, wird der Videocontroller 2603 im Aufgabenbereich 2404 dargestellt. Wie es in 35A dargestellt ist, weist der Videocontroller folgendes auf: einen Wiedergabeknopf 2705 für verdoppelte Wiedergabegeschwindigkeit in Vorwärtsrichtung; einen Wiedergabeknopf 2704 mit Standardwiedergabegeschwindigkeit in Vorwärtsrichtung; einen Wiedergabeknopf 2701 mit verdoppelter Wiedergabegeschwindigkeit in Rückwärtsrichtung; einen Wiedergabeknopf 2702 für Standardwiedergabegeschwindigkeit in Rückwärtsrichtung und einen Bildstoppknopf 2703. Wenn mit einem Betriebsartwählknopf 2410 eine Betriebsart für langsame Wiedergabe ausgewählt wird, wie in 35B dargestellt, werden ein Wiedergabeknopf 2706 für 1/2 Wiedergabegeschwindigkeit in Rückwärtsrichtung und ein Wiedergabeknopf 2707 für 1/2 Wiedergabegeschwindigkeit in Vorwärtsrichtung statt des Wiedergabeknop fes für verdoppelte Wiedergabegeschwindigkeit in Rückwärtsrichtung bzw. des Wiedergabeknopfes für verdoppelte Wiedergabegeschwindigkeit in Vorwärtsrichtung dargestellt. Es ist zu beachten, daß der Wiedergabebetrieb für Bild- und Toninformation mit Standardgeschwindigkeit bedeutet, daß diese Wiedergabe mit derselben Geschwindigkeit wie bei der Aufnahme ausgeführt wird; die Vorwärtsrichtung entspricht der Richtung des Zeitablaufs. Demgemäß bedeutet z. B. eine Wiedergabe mit verdoppelter Wiedergabegeschwindigkeit in Rückwärtsrichtung, daß der Wiedergabebetrieb mit verdoppelter Aufzeichnungsgeschwindigkeit in einer Richtung ausgeführt wird, die umgekehrt zur Zeitablaufrichtung verläuft. Obwohl bei diesem Ausführungsbeispiel die Wiedergabebetriebsart in die Standardbetriebsart und die Betriebsart mit langsamer Wiedergabe für aufgezeichnete Information unterteilt ist, ist die Erfindung nicht auf diese zwei Betriebsarten beschränkt.
  • Wenn der Wiedergabeknopf 2704 mit der Standardwiedergabegeschwindigkeit in Vorwärtsrichtung am Tastpaneel niedergedrückt wird, werden sowohl die Videodaten als auch die Audio(Ton-)daten mit Standardgeschwindigkeit in Vorwärtsrichtung wiedergegeben, und die wiedergegebenen Videodaten werden auf der Videoanzeigeeinheit 2402 dargestellt. Dabei wird der Zeitkursor 2503 innerhalb der Trendkurve in Übereinstimmung mit diesem Bild bewegt, und die Prozeßdaten für den Zeitpunkt, zu dem das dargestellte Bild aufgezeichnet wurde, erscheinen auf dem Zeitkursor 2503. Wenn der Zeitkursor 2503 einen bestimmten Ort erreicht, werden die Prozeßdaten aus der Datenbasis 2104 abgerufen, und dann wird der auf der Zeitachse 2504 dargestellte Zeitpunktwert nach links (nach rechts) verschoben, so daß die Prozeßdaten zu einem neuen Zeitpunkt, der auf der aktuellen Zeitachse 2504 nicht vorhanden ist, dargestellt werden. Wenn andere Bilder dargestellt werden, werden Daten zu Werten für diese Bilddar stellabläufe sequentiell auf anderen Prozeßdatenanzeigeeinheiten, wie dem Meßgerät 2405, dargestellt. Wie zuvor erläutert, wird nicht nur die Video- und Audioinformation wiedergegeben, sondern auch die zum Zeitpunkt beim Erhalten der Videoinformation erfaßten Prozeßdaten werden aus der Datenbasis abgerufen, um dargestellt zu werden, wenn der oben beschriebene Bildwiedergabeablauf ausgeführt wird.
  • Infolgedessen können die zum Zeitpunkt der Bildaufnahme erfaßten Prozeßdaten beobachtet werden, während das Bild betrachtet wird. Da auch andere Wiedergabeknöpfe verwendet werden, kann schnelle Wiedergabe in Vorwärtsrichtung, umgekehrte Wiedergabe, langsame Wiedergabe und dergleichen für die Videoinformation ausgeführt werden, was dazu nützlich ist, außergewöhnliche Umstände zu entdecken/zu analysieren, wodurch ein Bedienzustand diagnostiziert wird und auch eine Steueranweisung für den Bedienzustand ausgegeben wird.
  • Ein Verfahren zum Realisieren des vorliegenden Beispiels wird nun erläutert.
  • Zunächst sei auf Datenstrukturen und Aufzeichnungsverfahren für Video- und Audio(Ton-)daten und auch von Prozeßdaten bei diesem Beispiel hingewiesen. In 36A zeigen Daten 2800 eine Struktur für Prozeßdaten an, die von der gesteuerten Vorrichtung 2101 an den Steuerungscomputer übertragen werden. Da im allgemeinen mehrere Datenarten über ein einziges Kabel eingegeben werden, besteht diese Struktur aus einem Informationskopf 2801, der den Beginn von Prozeßdaten anzeigt, der Datenart 2802, der Anzahl von Daten 2803 und Daten ab 2804 bis 2806, die den Prozeßdaten entsprechen. Der Steuerungscomputer 2102 gibt mehrere Daten mit diesem Format aus, die von den jeweiligen Kabeln über das LAN 2120 eingegeben wurden. In der Datenbasis 2104 werden die zugeführten Prozeßdaten faktorisiert und mit einer Anordnung mit der Struktur der Daten 2820 (36B) zusammen mit einem Zeitpunkt "t" eines in der Datenbasis 2104 vorliegenden Taktes aufgezeichnet. Hierbei bezeichnet ein Bezugszeichen 2821 einen Datenindex, ein Bezugszeichen 2822 kennzeichnet einen Datentitel, ein Bezugszeichen 2823 bezeichnet einen Zeitpunkt, und ein Bezugszeichen 2824 bezeichnet Prozeßdaten. Wie oben beschrieben, beinhaltet die Datenbasis 2104 eine Tabelle, die der Prozeßdatenart entspricht, und der letzte Datenwert wird zusammen mit dem Zeitpunkt "t" nach dem abschließenden Element dieser Anordnung aufgezeichnet, bei dem es sich um das Element dieser Tabelle handelt.
  • Wenn andererseits eine Anweisung zum Aufrufen eines Blocks der Prozeßdaten von der Workstation 2103 in die Datenbasis 2104 eingegeben wird, werden Daten mit der Struktur, wie sie für die Daten 2810 in 36C dargestellt ist, an die Workstation 2103 übertragen. Diese Daten 2810 bestehen aus einem Informationskopf 2811, der den Beginn der Prozeßdaten anzeigt, einer Datensortenangabe 2812, einer Datennummer 2813, Daten 2814 bis 2816, die den Prozeßdaten entsprechen, einem Zeitpunktdatenwert 2817 für die Daten 2814 und einem Zeitpunktdatenwert 2819 für die Daten 2816. Abhängig von den Arten der die Blöcke aufrufenden Anweisungen können selbstverständlichen die Datenlängen und die Intervalle der Zeitpunktdaten verändert werden.
  • Nachfolgend wird der Aufzeichnungsbetrieb für Video- und Tondaten erläutert. Zunächst zeigt 2830 in 36D die Strukturen für die aufzuzeichnenden Video/Audio-Daten. Allgemein gesagt, beinhalten, da von mehreren Kameras aufgenommene Videodaten aufgezeichnet werden, die jeweiligen Video/Audio-Daten einen Index 2831 (Plattennummer) und einen Datentitel 2832 (Kameranummer oder Dampferzeugernummer). In dieser Figur bezeichnet ein Bezugszeichen 2834 einen Zeitpunkt, zu dem eine Toninformation aufgezeichnet wird; ein Bezugszeichen 2833 bezeichnet Audio(Ton-)information; ein Bezugszeichen 2835 bezeichnet einen Zeitpunkt, zu dem Videoinformation aufgezeichnet wird, und ein Bezugszeichen 2836 bezeichnet Videoinformation. Es ist zu beachten, daß die Videoinformation und die Audioinformation getrennt aufgezeichnet werden, wie dies in dieser Figur dargestellt ist, daß jedoch alternativ sowohl die Videoinformation als auch die Audioinformation in Kombination aufgezeichnet werden können. Im Fall eines solchen kombinierten Aufzeichnungsablaufs wird die Zeitpunktinformation gemeinsam verwendet.
  • Unter Bezugnahme auf 37 wird nun ein Verfahren zum Aufzeichnen der oben beschriebenen Video- und Audiodaten beschrieben, wie auch ein Verfahren zum Wiedergaben der Video- und Audiodaten. Bei diesem Ausführungsbeispiel wird, was den Videoaufzeichnungsbetrieb betrifft, eine dreistufige Folge (Schritte) in der CPU 2201 der Workstation 2103 ausgeführt, wie durch 2901 bis 2903 angezeigt. Nachdem diese Folge ausgeführt wurde, wird der Aufzeichnungsablauf in einem Schritt 2904 gestartet. Beim Videoaufzeichnungsbetrieb werden dann, wenn das System initiiert wird und die Wiedergabebetriebsart abgeschlossen wird und dann die Betriebsart zur Aufzeichnungsbetriebsart zurückkehrt, alle Videoschirme zunächst aufgezeichnet. Anschließend wird, wie dies in einem Schritt 2905 dargestellt ist, die Videoinformation nur dann in einem Schritt 2906 aufgezeichnet, wenn die Aufzeichnungsbedingung erfüllt ist. Was die Audioinformation betrifft, wird diese, da die zum Aufzeichnen derselben erforderlich Kapazität verhältnismäßig klein im Vergleich zu der für das Aufzeichnen von Videoinformation erforderlichen Kapazität ist, jederzeit aufgezeichnet. Sowohl die Aufzeichnungs- als auch die Wiedergabeabläufe nur für Videoinformation werden nun beschrieben.
  • In einem Schritt 2901 zum Bestimmen des aufzuzeichnenden Vi deoobjekts wird entschieden, welches Objekt aufzunehmen ist. Bei einem konkreten Verfahren kann ein beliebiges der folgenden Verfahren eingesetzt werden.
    • (1) Alle Kamerabildschirme werden auf Aufnahme eingestellt. Gemäß einem Realisierungsverfahren werden alle von den Videokameras gelieferten Signale aufgezeichnet.
    • (2) Bereiche, die einen prozeßdatenausgebenden Abschnitt, einen sich bewegenden Abschnitt und einen sich verändernden Abschnitt enthalten, werden vorab spezifiziert. Nur diese Bereiche sind aufzuzeichnen. In 36E dargestellte Daten 2840 entsprechen in diesem Fall einer Datenstruktur der Videodaten 2836. Ein Element der Daten 2840 enthält eine Anordnung aufzuzeichnender Bilddaten 2846 sowie Positionsinformation für diese, nämlich Koordinatenwerte 2841 und 2842 für die Bilddaten, Größen der Bilddaten (räumliche Abmessung eines Schirms) 2843, 2844 sowie Zeitpunkt oder Index-)daten 2845, wenn der letzte aller Schirmdatenwerte aufgezeichnet wurde. Gemäß einem Realisierungsverfahren werden dann, wenn eine ITV-Kamera gezoomt, geneigt und verschwenkt wird, alle Schirme aufgezeichnet. Nach einem solchen Kamerabetrieb werden, wenn der Kamerabetrieb angehalten wird, die Videodaten 2836 an die Workstation 2103 gesendet, damit eine Bildanalyse ausgeführt wird und dann ein ein aufzuzeichnendes Objekt enthaltender Bereich festgelegt wird. Der Einfachheit halber sei dieser Bereich z. B. ein Rechteck. Wenn dieser Bereich festgelegt ist, wird Positionsinformation zu diesem Bereich, wie ein Koordinatenwert, und die Größe an die Video/Audio-Aufzeichnungseinheit 2108 gesendet, und anschließend wird nur dieser von der Kamera gesendete Bereich aufgenommen und von der CPU 2301 aufgezeichnet. Während des Wiedergabebetriebs werden die Videodaten für den Zeitpunkt 2845 aufgerufen und dann mit den aufgezeichneten Daten 2846 durch die CPU 2301 vermischt, so daß alle Schirme wiedergegeben werden.
  • In einem Schritt 2902 zum Bestimmen einer Videoaufzeichnungsbedingung wird eine Bedingung zum Aufzeichnen eines Bildes festgelegt. Als konkrete Bedingung wird eine beliebige der folgenden Bedingungen verwendet.
    • (1) Aufzeichnungsbetrieb wird in einem vorbestimmten Zeitintervall ausgeführt. Dies wird so ausgeführt, daß die CPU 2201 und 2301 innerhalb entweder der Workstation 2103 oder der Video/Audio-Aufzeichnungseinheit 2108 Takte beinhalten. Im ersteren Fall wird eine Anweisung zum Aufzeichnen von Videodaten für jeden konstanten Zeitpunkt an die Video/Audio-Aufzeichnungseinheit 2108 gesendet. Im letzteren Fall wird nur die Anweisung zum Beginnen eines Aufzeichnungsablaufs an die Video/Audio-Aufzeichnungseinheit 2108 übertragen. Danach verwaltet die CPU 2301 die Aufzeichnungszeit.
    • (2) Wenn die Differenz zwischen dem aktuellen Videobild und dem zuletzt von jeder Kamera aufgezeichneten Videobild größer wird als ein vorgegebener Schwellenwert, wird das aktuelle Bild aufgezeichnet. Dies wird so ausgeführt, daß der Differenzwert zwischen der Videoinformation des Schirms, der im Hauptspeicher 2302 innerhalb der Video/Audio-Aufzeichnungseinheit 2108 abgespeichert ist, und der Videoinformation zum aktuellen Zeitpunkt in der CPU 2301 berechnet wird und die Aufzeichnungsanweisung abhängig von diesem Wert an die Video/Audio-Leseeinheit 2304 gesendet wird.
    • (3) Wenn jeder der Prozeßdatenwerte einen für diesen Prozeßdatenwert spezifischen konstanten Wert überschreitet, werden Videobilder für diesen Datenwert aufgezeichnet. Dies erfolgt dahingehend, daß die in die Workstation 2103 eingegebenen Prozeßdaten in der CPU 2201 verarbeitet werden und eine Anweisung an die Video/Audio-Aufzeichnungseinheit 2108 in solcher Weise ausgegeben wird, daß ein Videobild einer Kamera, die das sich auf einen solchen außergewöhnlichen Datenwert beziehende Bild aufnimmt, aufgezeichnet wird.
    • (4) Wenn die Differenz zwischen dem aktuellen Wert und dem vorigen Wert jedes Prozeßdatenwerts einen konstanten, für diesen Prozeßdatenwert spezifischen Wert überschreitet, werden mit diesen Prozeßdaten in Beziehung stehende Videobilder aufgezeichnet. Dieses Realisierungsverfahren ist ähnlich zu Punkt (3).
    • (5) Wenn ein gewichteter Mittelwert der jeweiligen Prozeßdaten einen konstanten Wert überschreitet, werden mit diesem Datenwert in Beziehung stehende Videobilder aufgezeichnet. anders gesagt, muß der folgende Wert den Wert e = Σwi·diüberschreiten, bei dem die Gewichtung wi(wi ≥ 0) und der jeweilige Prozeßdatenwert di ist. Ein Realisierungsverfahren kann dasselbe sein wie beim obigen Punkt (3).
    • (6) Ein erster Aufzeichnungsbetrieb wird mit vorgegebenem Zeitintervall ausgeführt, und ein anderer Aufzeichnungsbetrieb wird mit einem kürzeren Zeitintervall ausgeführt, wenn eine der oben angegebenen Bedingungen erfüllt ist, und wenn die Bedingung nicht erfüllt ist, wird dieses kürzere Zeitintervall auf das ursprüngliche Zeitintervall rückgeführt.
  • Der Schritt 2903 zum Bestimmen des Videoaufzeichnungsverfahrens legt ein Aufzeichnungsverfahren fest. Als konkretes Beispiel besteht eine der folgenden konkreten Bedingungen:
    • (1) Von einer ITV-Kamera aufgenommene Videoinformation wird direkt aufgezeichnet.
    • (2) Die Differenz zwischen einem vorigen Schirm und einem aktuellen Schirm wird aufgezeichnet. Dies bedeutet, daß die Differenz zwischen dem aktuellen Bild und dem zwischengespeicherten Bild von der CPU 2301 berechnet wird und die berechnete Differenz in der Hauptspeichereinheit 2302 abgespeichert wird. Während des Wiedergabebetriebs wird ein Videobild eines aufgezeichneten Videobildes dadurch erzeugt, daß die Differenzen zwischen allen aufgezeichneten Objekten ab einem bestimmten Zeitpunkt bis zum aktuellen Zeitpunkt addiert/subtrahiert werden.
  • Videodaten zu einem Zeitpunkt "t", die auf die oben beschriebene Weise aufgezeichnet wurden, werden mit den aufeinanderfolgenden Schritten dargestellt, wie sie in 38 gezeigt sind. Der Schritt 3001 spezifiziert einen Index 2821 und einen Zeitpunkt "t" für die Videodaten. Es ist zu beachten, daß die Spezifizierung des Videoindex von der Workstation 2103 ausgeführt wird, während die Spezifizierung des Zeitpunktes "t" entweder von der Workstation 2103 oder der in der Video/Audio-Aufzeichnungseinheit 2108 verwendeten CPU 2301 ausgeführt wird. Wenn Videoinformation für den Zeitpunkt "t" nicht aufgezeichnet ist, wie dies durch die Schritte 3002 und 3303 gezeigt wird, liest die Video/Audio-Aufzeichnungs/Lese-Einheit 2304 die Videodaten aus, die zu einem Zeitpunkt "s" erfaßt wurden, der der nächstliegende Zeitpunkt in bezug auf den Zeitpunkt "t" ist. Im Schritt 3004 wird, falls ein Videodatenwert einem Wert für direkt aufgezeichnete Videoinformation entspricht, dieser Videodatenwert direkt verwendet. Wenn dagegen die Differenz aufgezeichnet wurde, wird in einem Schritt 3005 auf die sehr dicht beim Zeitpunkt "t" liegende Videoinformation zugegriffen, bei der es sich nicht um den Differenzwert handelt. Dann wird die aufgefundene Videoinformation in den Hauptspeicher 2302 innerhalb der Aufzeichnungseinheit 2108 eingeschrieben. In einem Schritt 3006 wird die Differenz gegenüber der Videoinformation aus diesem Speicher berechnet, um ein Bild zu erzeugen. Wenn das Videobild alle Teile der entsprechenden Videobilder enthält, wird dieses Videobild dargestellt. Falls nicht, wird das durch Kombinieren dieses Videobildes mit einem Hintergrund erstellte Videobild dargestellt.
  • Wenn eine Wiedergabeanweisung zum Spezifizieren einer Wiedergaberichtung und einer Wiedergabegeschwindigkeit von der Workstation 2103 ausgesendet wird, stellt die CPU 2301 innerhalb der Video/Audio-Aufzeichnungseinheit 2108 die Anzeigezeitdaten "t" innerhalb derselben nach der folgenden Gleichung ein: t = t + a·w,wobei das Symbol "w" eine Videolesegeschwindigkeit bei der Standardwiedergabegeschwindigkeit und das Symbol "a" einen positiven Wert anzeigt, wenn die Wiedergaberichtung die Vorwärtsrichtung ist, dagegen einen negativen Wert, wenn die Wiedergaberichtung die umgekehrte Richtung ist, und auch einen Koeffizienten vom Absolutwert 2 im Fall der doppelten Wiedergabegeschwindigkeit und des Absolutwerts 1 im Fall der Standardwiedergabegeschwindigkeit anzeigt. Was die Bilddarstellung während des Wiedergabebetriebs betrifft, werden im Fall der Wiedergabe in Vorwärtsrichtung dann, wenn der Zeitdatenwert "t" den Datenwert 2835 überschreitet, die Videodaten 2836 an die Workstation 2103 gesendet. Im Fall der Wiedergabe in Rückwärtsrichtung werden dann, wenn der Zeitdatenwert "t" kleiner als der auf den Zeitdatenwert 2835 folgende Zeitdatenwert wird, die Videodaten 2836 übertragen. Wenn eine Anfrage zum Erkennen eines Zeitpunkts beim Darstellen eines Bildes durch die Workstation 2103 ausgegeben wird, wird dieser Zeitpunkt "t" an die Workstation 2103 übertragen.
  • Unter den oben genannten Aufzeichnungs/Wiedergabe-Verfahren repräsentiert 39 eine Prozeßfolge zum Realisieren der ersten Funktion. In einem Schritt 3101 wird eine Wiedergabebetriebsart aus einem Menü ausgewählt. Zu diesem Zeitpunkt stellt die Workstation 2103 den Steuerknopf dar, wie er durch das Bezugszeichen 2603 in 34 gekennzeichnet ist. In einem Prozeßschritt 3102 erfaßt die Workstation 2103 die Art des Knopfes durch Verarbeiten eines Eingangssignals von der Zeigeeinrichtung, wie dem Tastpaneel, und durch Überprüfen dieses Eingangssignals. Zu diesem Zeitpunkt wird zum Anzeigen, daß dieser Knopf, wie er in 34 dargestellt ist, niedergedrückt wurde, der niedergedrückte Knopf mit veränderter Farbe wieder auf der Anzeige dargestellt, und sowohl die Wiedergaberichtung als auch die Geschwindigkeit werden bestimmt. In einem Prozeßschritt 3101 wird ein Zeitpunkt "t", zu dem darzustellende Prozeßdaten zum nächsten Zeitpunkt zu erzeugen sind, auf Grundlage der festgelegten Wiedergabegeschwindigkeit und Wiedergaberichtung bestimmt.
  • Als konkretes Beispiel bestehen die folgenden zwei Verfahren:
    • (1) An die Video/Audio-Aufzeichnungseinheit 2108 wird eine Abfrage betreffend den Zeitpunkt "t" ausgegeben, zu dem die dargestellten Video- und Audiodaten aufgezeichnet wurden.
    • (2) Ein durch die unten angegebene Formel angezeigter Zeitpunkt "t" wird als Zeitpunkt für das nächste Mal verwendet: t = t + a·v.
  • Dabei bezeichnet das "v" eine Zeitspanne zum Neuschreiben aller zu einem Zeitpunkt dargestellter Daten, und das Symbol "a" weist einen positiven Wert auf, wenn die Wiedergaberichtung die Vorwärtsrichtung ist, und einen negativen Wert, wenn die Wiedergaberichtung die Rückwärtsrichtung ist, und es weist auch den Wert eines Koeffizienten vom Absolutwert 2 im Fall doppelter Wiedergabegeschwindigkeit, jedoch eines Absolutwerts 1 im Fall der Standardwiedergabegeschwindigkeit auf. Es ist zu beachten, daß, da die Datenneuschreibzeitspanne durch andere Belastungen des Computers verändert wird, auch das Verfahren (1) kombiniert ist. Da dieses Verfahren verwendet wird, kann die Zeitspanne für die nächste Anzeigeinformation von einer führenden Zeitspanne eingeleitet werden, die einer Zeitspanne entspricht, während der die Videoinformation und die Audioinformation durch die Workstation 2103 dargestellt werden.
  • In einem Prozeßschritt 3104 wird eine Beurteilung dahingehend vorgenommen, ob die zum Zeitpunkt "t" darzustellenden Prozeßdaten innerhalb des Datenpuffers in der Workstation 2103 vorhanden sind oder nicht, und wenn diese Prozeßdaten vorhanden sind, werden sie dargestellt. Dieser zutreffende Fall gilt dafür, daß die Prozeßdaten für den Zeitpunkt "t" zwischengespeichert wurden, oder daß, obwohl für den Zeitpunkt "t" keine Daten vorlagen, die Daten vor/nach diesen Daten zwischengespeichert wurden. Wenn nur Daten vor/nach diesen Daten zwischengespeichert wurden, werden die sehr dicht zum Zeitpunkt "t" liegenden Daten dazu verwendet, diese Prozeßdaten zu ersetzen, oder es werden neue Daten dadurch erzeugt, daß die Daten vor/nach diesen Daten linear interpoliert werden. Wenn keine Daten vorliegen, bestimmt die Workstation 2103 in einem Prozeßschritt 3105 einen Bereich zum Lesen von Daten als Anzeigedaten aus der Datenbasis 2104, was auf Grundlage der Anzeigegeschwindigkeit und der Anzeigerichtung erfolgt. In einem Prozeßschritt 3106 werden beide Arten anzuzeigender Prozeßdaten und der Bereich der auszulesenden Daten über ein LAN an die Datenbasis 2104 gesendet, und die von der Datenbasis 2104 nachgefragten Prozeßdaten werden an die Workstation 2103 übertragen. In einem Prozeßschritt 3107 wird die Video- und Audioinformation dargestellt oder ausgegeben, und in einem Prozeßschritt 3108, in der Workstation 2103, werden die jeweils gesendeten Prozeßdaten zusammen mit der Videoinformation und der Audioinformation in Form einer Trendkurve oder eines Meßgeräts unter Verwendung der im Hauptspeicher 2202 abgelegten Prozeßdaten dargestellt.
  • Unter Bezugnahme auf die 29 bis 34 sowie 40 wird nun eine zweite Funktion beschrieben. Der Zeitkursor 2503 ist durch Bewegen eines Fingers nach rechts/links ebenfalls nach rechts/links bewegbar, während der Kursor 2503 durch den Finger unter Verwendung des Tastpaneels 2107 niedergedrückt wird. Dabei wird, wie dies in 40 dargestellt ist, der Zeitkursor 2503 in der Trendkurve 2403 direkt auf einen Zeitpunkt bewegt, auf den sich eine Bedienperson beziehen möchte, so daß ein Zeitkursor 3201 innerhalb einer anderen Trendkurve 2403 zu dem durch den Zeitkursor 2503 angezeigten Zeitpunkt bewegt wird und ein für den durch den Zeitkursor 2503 festgelegten Zeitpunkt geltendes Bild aufgerufen und dann im Videoanzeigebereich 2402 dargestellt wird. Dabei zeigen das Meßgerät 2405 und dergleichen in 30 Daten für den durch den Zeitkursor 2503 angezeigten Zeitpunkt an. Eine Spezifizierung eines Zeitpunktes, der aktuell nicht auf der Zeitachse der Trendkurve 2403 dargestellt wird, kann dadurch erfolgen, daß die Zeitachsenverstellknöpfe 2506 und 2507 verwendet werden. Wie zuvor beschrieben, kann durch Spezifizieren des Orts, auf den sich dargestellte Prozeßdaten beziehen sollen, sowohl Beziehung zum Bild für den Zeitpunkt, zu dem diese Prozeßdaten aufgezeichnet wurden, als auch zu anderen Prozeßdaten zu diesem Zeitpunkt hergestellt werden. Infolgedessen spezifiziert eine Bedienperson direkt den Zeitpunkt, zu dem Beziehung auf Prozeßdaten erfolgen soll, während sie die Trendkurve 2403 beobachtet, wodurch das Bild dargestellt werden kann.
  • Infolgedessen kann auf konkrete Zustände vor Ort durch Bezugnahme auf die Prozeßdaten Bezug genommen werden.
  • Ein Leseverfahren für dieses Beispiel wird nun unter Bezugnahme auf 41 beschrieben. Der durch 41 veranschaulichte Algorithmus weist Punkte auf, die sich von solchen des Algorithmus von 39 unterscheiden, und zwar dahingehend, daß ein durch den Zeitkursor bezeichneter Zeitpunkt "t" in einem Schritt 3301 festgestellt wird und in einem Schritt 3302 beurteilt wird, ob der Zeitpunkt "t" zuvor innerhalb der Workstation 2103 gepuffert wurde oder nicht. Im Schritt 3301 wird der Koordinatenwert des Eingangssignals der Zeigeeinrichtung, wie des Tastpaneels und dergleichen, von der CPU 2201 in der Workstation 2103 verarbeitet, der Zeitkursor 2503 wird erneut in dieses Koordinatensystem eingezeichnet, und auch der durch den Zeitkursor 2503 bezeichnete Zeitpunkt wird aus dem Koordinatenwert berechnet. Wenn keine Datenwerte für den Zeitpunkt "t" innerhalb der Workstation 2103 gepuffert sind, werden die sequentiellen Schritte 3105 und 3106, wie sie beim bevorzugten Ausführungsbeispiel 1 beschrieben wurden, ausgeführt, und dann werden Daten, Video- und Toninformation in den sequentiellen Schritten 3106 und 3107 dargestellt.
  • Es wird nun eine dritte Funktion beschrieben. Wie in 42 dargestellt, wird, nachdem eine Datengröße 3401 in einer Datengrößenanzeigeeinheit innerhalb der Trendkurve 2403 durch Benutzen des Tastpaneels 2107 ausgewählt wurde, ein Datenwertkursor 2505 auf einen zu suchenden Wert gebracht, wodurch ein Suchwert bestimmt wird. Wenn zu diesem Zeitpunkt der ausgewählte Datenwert den vom Datenwertkursor 2505 angezeigten Wert aufweist, wird der Zeitkursor 2503 bewegt, und der Zeitkursor 3402 wird hierbei in einer anderen Trendkurve 2403 bewegt, so daß das Bild für diesen Zeitpunkt auf der Videoanzeigeeinheit 2402 dargestellt wird. Zu diesem Zeitpunkt wird auch der Datenwert für den durch den Zeitkursor 2503 bezeichneten Zeitpunkt auf dem in 32 dargestellten Meßgerät 2405 dargestellt. Hierbei wird der Suchablauf nur einmal in Umkehrrichtung betreffend die Zeitachse ausgeführt. Ferner wird, wenn ein anderer Suchablauf erwünscht ist, der Suchablauf in Umkehrrichtung dadurch asugeführt, daß der Zeitachsen-Verstellknopf 2506 gedrückt wird. Wenn andererseits ein Suchablauf in Vorwärtsrichtung ausgeführt wird, wird dies dadurch vorgenommen, daß ein Knopf 2507 für die Vorwärtsrichtung gedrückt wird. Wie zuvor festgestellt, wird hinsichtlich der gerade dargestellten Prozeßdaten dann, wenn ein Wert aufgesucht wird, das Suchergebnis dargestellt und sowohl das Bild für den Zeitpunkt, zu dem die angezeigten Daten aufgezeichnet wurden, als auch die anderen Prozeßdaten für diesen Zeitpunkt können erfaßt werden.
  • Ein Verfahren zum Realisieren dieses Beispiels wird nun beschrieben. In einem Schritt 3501 wird ein Koordinatenwert eines Eingangssignals von einer Zeigeeinrichtung, wie des Tastpaneels 2107 und dergleichen, durch die Workstation 2103 verarbeitet, und ein Suchwert, wie er von einem Datenwertkursor 2505 angezeigt wird, der als Suchobjekt in einer Datengrößenanzeigeeinheit 2502 ausgewählt ist, wird bestimmt. Nachfolgend wird in einem Schritt 3502 die Suchrichtung, d. h. Suche in Vorwärtsrichtung oder in Rückwärtsrichtung, hinsichtlich der Zeitachse bestimmt. Als Beispiel sei angenommen, daß grundsätzlich Suche in Rückwärtsrichtung ausgeführt wird und daß ferner dann, wenn der Vorwärtsrichtungsknopf 2507 unter den Zeitachsen-Verstellknöpfen gedrückt wird, der Suchablauf in Vorwärtsrichtung ausgeführt wird, und dann, wenn ein Rückwärtsrichtungsknopf 2507 unter den Zeitachsenverstellknöpfen gedrückt wird, der Suchablauf in Rückwärtsrichtung ausgeführt wird. Eine Beurteilung dahingehend, ob dieser Knopf gedrückt wurde, wird von der Workstation 2103 ausgeführt. In einem Schritt 3503 werden eine ein Suchobjekt enthaltende Suchanweisung, ein Suchwert, ein Zeitpunkt für die gerade dargestellten Daten, die Suchrichtung und dergleichen an die Datenbasis 104 ausgegeben, und sowohl ein Suchwert, wie er für den ersten Zeitpunkt festgestellt wird, und die Anzeigezeit werden in einem Schritt 3504 bestimmt. Da die folgenden Schritt 3104 bis 3109 mit denen von Beispiel 1 übereinstimmen, werden Erläuterungen hierzu weggelassen.
  • Gemäß dieser Funktion kann der Vergleich und die Analyse unter Verwendung anderer Prozeßdatenwerte und der Videoinformation erfolgen, und ein außerordentlicher Wert, wie er sehr selten auftritt, kann unter einer Bedingung aufgerufen werden, bei der bestimmte Prozeßdaten einen konstanten Wert einnehmen.
  • Ein Beispiel für die vierte Funktion wird nun unter Bezugnahme auf die 44, 45 und 46 beschrieben. In 44 repräsentiert im Fall, daß der Knopf 2705 für die verdoppelte Wiedergabegeschwindigkeit in Vorwärtsrichtung ausgewählt wird, wenn Videoinformation wiedergegeben wird, eine Zeitachse 2504 innerhalb einer Trendkurve 2403 eine Zeit mit verdoppeltem Bereich darstellt, gerade darzustellende Prozeßdaten für die erneute Darstellung an die neue Zeitachse angepaßt werden, und auch Daten, die bisher nicht dargestellt wurden, aus der Datenbasis ausgelesen werden und dann an die auszulesende Zeitachse angepaßt werden. Nachfolgend wird ein Bild mit einer Geschwindigkeit auf der Videoanzeigeeinheit 2403 dargestellt, die doppelt so groß ist wie die Standardgeschwindigkeit, wobei der Zeitkursor 2503 bewegt wird. Wie oben beschrieben, werden während der Wiedergabe mit doppelter Geschwindigkeit Daten für eine längere Zeitspanne in der Trendkurve 2403 dargestellt, und zeitbedingte Änderungen der Daten können beobachtet werden. Eine solche Repräsentation ist für Datensuchabläufe nützlich.
  • Wenn andererseits, wie in 45 dargestellt, der Knopf 2707 für 1/2-Wiedergabegeschwindigkeit betätigt wird, zeigt die Zeitachse 2504 nur die halbe Zeitspanne im Vergleich zu derjenigen bei Standardgeschwindigkeit an. Da hierbei genauere Daten dargestellt werden können, werden Daten, die während der Darstellung mit Standardgeschwindigkeit nicht dargestellt wurden, nun zusammen mit den zuvor aus der Datenbasis ausgelesenen Daten, die noch vorhanden sind, darge stellt. D. h., daß dann, wenn das Bild wiedergegeben wird, das Verfahren zum Aufrufen der Prozeßdaten und das Verfahren zum Darstellen der Prozeßdaten verändert werden, und zwar abhängig von der Wiedergabegeschwindigkeit. Infolgedessen können dann, wenn die Wiedergabegeschwindigkeit erhöht wird, da die Daten innerhalb einer verlängerten Zeitspanne in der Trendkurve 2403 dargstellt werden können, die Datensuche und die Beobachtung leicht ausgeführt werden. Wenn die Wiedergabegeschwindigkeit erhöht wird, während die Prozeßdaten aufgerufen werden, werden die Zeitintervalle zwischen den Datenerzeugungszeitpunkten lang. Jedoch wird der grobe Aufruf, wie er durch diese Darstellung bewirkt nicht, nicht hervorgehoben. Wenn andererseits die Wiedergabegeschwindigkeit verlangsamt wird, können die Daten genauer dargestellt werden. Wenn eine detaillierte Analyse erforderlich ist, können demgemäß die Daten einfach dadurch genauer dargestellt werden, daß das Bild mit langsamerer Wiedergabegeschwindigkeit wiedergegeben wird.
  • Da der Anzeigegrad der Prozeßdaten hinsichtlich der Zeit demgemäß abhängig von der Wiedergabegeschwindigkeit verändert wird, kann die Belastung des Computers in gewissem Ausmaß abgesenkt werden.
  • Ein Verfahren zum Realisieren dieses Beispiels wird nun unter Bezugnahme auf 46 beschrieben. In einem Schritt 3102 werden die Wiedergaberichtung und die Wiedergabegeschwindigkeit für Videoinformation und Audioinformation dadurch bestimmt, daß eine Eingabe von einer Bedienperson empfangen wird. In einem Schritt 3801 werden auf Grundlage der festgelegten Geschwindigkeit ein Anzeigeverfahren und ein Aufrufverfahren für Prozeßdaten in der Workstation 2103 bestimmt. Als Anzeigeverfahren wird eine Anzeigegröße für die Zeitachse in der Trendkurve 2403 bestimmt, d. h. es wird bestimmt, wie lange ein Zeitintervall sein soll. Als Aufruf verfahren werden sowohl ein Zeitintervall für Daten in einem aufgerufenen Block als auch die zeitliche Länge in dem zu einem Zeitpunkt aufgerufenen Block bestimmt. Wenn die im Schritt 3104 gepufferten Daten nicht ausreichend sind, werden das Zeitintervall und die zeitliche Länge, wie sie im Schritt 3105 bestimmt wurden, codiert und dann an die Datenbasis übertragen. In der Datenbasis werden auf Grundlage der im Schritt 3105 ausgesendeten Codes die Blockdaten zum Zeitintervall und das Zeitintervall aus der Datenbasis ausgelesen und dann an die Workstation 2103 übertragen. Anschließend wird die Datendarstellung auf Grundlage des in der Workstation vorbestimmten Anzeigeverfahrens ausgeführt. Da dieser Teil mit den Schritten 3104 bis 3109 des oben beschriebenen Ausführungsbeispiels übereinstimmt, wird eine Erläuterung hierzu weggelassen.
  • Es wird nun eine fünfte Funktion beschrieben. In 47 ist als Verfahren zum Darstellen von Prozeßdaten die Zeitachse 2504 in einem Abschnitt 3901 der Zeitachse der Trendkurve 2403 auf 1/2 verkürzt, in einem Abschnitt 3902 bleibt sie unverändert, und in einem Abschnitt 2903 ist sie auf das Doppelte verlängert. Dabei wird das Zeitintervall für die Erzeugungszeit der darzustellenden Prozeßdaten im Abschnitt 3901 doppelt so lang als im Abschnitt 3902, wohingegen das Zeitintervall für die Erzeugungszeit der Daten im Abschnitt 3903 nur halb so groß wird wie das Zeitintervall im Abschnitt 3902. Infolgedessen wird im Abschnitt 3901 dieselbe Anzeige wie bei verdoppelter Wiedergabegeschwindigkeit gemäß dem vorigen Ausführungsbeispiel wiedergegeben, dieselbe Anzeige wie bei Standardwiedergabegeschwindigkeit erfolgt im Abschnitt 3902, und dieselbe Anzeige wie bei halbierter Wiedergabegeschwindigkeit erfolgt im Abschnitt 3903. Wenn in diesem Fall die Wiedergabe mit Standardgeschwindigkeit in Vorwärtsrichtung vom Videocontroller 2603 unter Verwendung des Knopfes 2704 ausgeführt wird, wird das Bild im Videoan zeigebereich 2402 mit doppelter Wiedergabegeschwindigkeit wiedergegeben, wenn der Zeitkursor 2503 im Abschnitt 3901 positioniert ist. Wenn der Zeitkursor 2503 im Abschnitt 3902 positioniert wird, wird das Bild mit Standardwiedergabegeschwindigkeit wiedergegeben, und wenn der Zeitkursor 2503 im Abschnitt 3903 positioniert ist, wird das Bild mit halbierter Wiedergabegeschwindigkeit wiedergegeben. Anders gesagt, wird, da das Verfahren zum Darstellen der Prozeßdaten vorab eingestellt ist, die Wiedergabegeschwindigkeit des Bildes, abhängig von diesem Anzeigeverfahren, eingestellt, und dann wird das Bild während des Wiedergabeablaufs mit dieser eingestellten Geschwindigkeit wiedergegeben.
  • Infolgedessen kann nicht nur das Verfahren zum Darstellen der Daten von der Bedienperson angegeben werden, sondern es kann das Bild auch mit niedriger Geschwindigkeit wiedergegeben werden, wenn die Bedienperson die Daten im Detail zu betrachten wünscht, jedoch auch mit hoher Geschwindigkeit, wenn die Bedienperson Daten zu überspringen wünscht.
  • Als Realisierungsverfahren zu diesem Beispiel wird nun eine Beschreibung unter Bezugnahme auf 48 gegeben. In einem Schritt 4001 werden auf eine Eingabe durch eine Bedienperson hin zu verkleinernde und zu vergrößernde Zeitachsenabschnitte bestimmt. In einem Schritt 4002 wählt die Bedienperson eine Verkleinerung und eine Vergrößerung für die Abschnitte. Diese Bezeichnung und Auswahl kann z. B. mit Hilfe eines Menüs ausgeführt werden. Auch ist es, ähnlich wie bei diesem Beispiel, möglich, nachdem ein Abschnitt mit Hilfe des Tastpaneels bestimmt wurde, Endpunkte dieses Abschnitts zu erfassen, um den Abschnitt zu verkleinern oder zu vergrößern. Dabei wird die Zeitachse wieder im Schritt 4003 dargestellt, und auch die Prozeßdaten werden erneut dargestellt. Zu diesem Zeitpunkt bestimmte die Workstation die Wiedergabegeschwindigkeiten für die jeweiligen Abschnitte, und die be stimmten Wiedergabegeschwindigkeiten werden in den Hauptspeicher 2202 eingespeichert. Anschließend wird die Wiedergabe begonnen, und der Anzeigezeitpunkt "t" wird in einem Schritt 3103 bestimmt. Nachdem der diesen Anzeigezeitpunkt "t" enthaltende Abschnitt bestimmt wurde, wird, wenn der festgelegte Abschnitt nicht mit dem vorigen Abschnitt übereinstimmt, eine Wiedergabeanweisung, wie eine solche für die Wiedergabegeschwindigkeit und die Wiedergaberichtung, in einem Schritt 4004 an die Video/Audio-Aufzeichnungseinheit 2108 gegeben. Die folgenden Schritte dieses Verfahrens sind ähnlich zu den Schritten 3104 bis 3109 des vorigen Ausführungsbeispiels.
  • Es wird nun eine sechste Funktion beschrieben. Wenn, was in 49 dargestellt ist, Videoinformation wiedergegeben wird, werden nicht nur Prozeßdaten dargestellt, sondern in Kombination hiermit wird auch Bedienungsinformation, wie sie von einer Bedienungsperson ausgegeben wurde, wiedergegeben. Hierbei werden sowohl das Bild auch die Prozeßdaten, die zu diesem Zeitpunkt auf der Anzeige dargestellt wurde, wiedergegeben, und ferner wird eine Eingabe von der Bedienperson, wie sie über einen Mauskursor 4101 erfolgte, wiedergegeben und dargestellt. Zu diesem Zeitpunkt wird, wie dies durch 4102 dargestellt ist, ein im Bildanzeigebereich 2402 dargestelltes Bild neu ausgewählt, so daß Videoinformation, die auf die Bedienung durch die Bedienperson erfolgte und nicht zu sehen war, als der Aufzeichnungsbetrieb ausgeführt wurde, erfaßt werden kann. Auch können Prozeßdaten und dergleichen, die nicht dargestellt wurden, durch einen ähnlichen Ablauf dargestellt werden. Infolgedessen kann z. B. ein außergewöhnlicher Vorgang, der wegen einer Fehlbedienung durch eine Bedienperson erfolgte, schnell aufgefunden werden. Dies kann zu einem großen Vorteil bei der Ausbildung für Steuerungsbedienung führen.
  • Ob Änderungen in den Prozeßablaufbedingungen durch eine Bedienungsanweisung einer Bedienperson hervorgerufen sind oder nicht, kann dadurch erkannt werden, daß die von der Bedienperson ausgegebene Bedienungsanweisung wiedergegeben wird. Auch wird eine solche Bedienungsanweisung aufgezeichnet und wiedergegeben, und sie kann dazu verwendet werden, eine Bedienungsabfolge zu erläutern und sowohl das Überwachungssystem als auch die Arbeitsbedingungen einer Bedienperson zu überwachen.
  • Eine siebte Funktion besteht darin, daß aufzusuchende, von einer Bedienperson ausgegebene Bedienungsinformation eingegeben wird, die eingegebene Bedienungsinformation gesucht wird und die Bedienungsinformation, Videoinformation, Audioinformation und auch Prozeßdaten für diesen Zeitpunkt abgerufen und dargestellt werden. Infolgedessen kann die Suche nach Information dadurch ausgeführt werden, daß die von einer Bedienperson ausgeführte Bedienung als Ziel genommen wird.
  • Da eine von einer Bedienperson ausgegebene Bedienungsanweisung gesucht werden kann, kann nach Änderungen in den Prozeßdaten und im Bild, die durch die von der Bedienperson vorgenommene Bedienung hervorgerufen wurden, aufgesucht werden.
  • Es wird nun ein Verfahren zum Realisieren der oben erläuterten zwei Beispiele beschrieben. In 36F zeigt ein Datenwert 2850 Schirminformation an, wie sie in der Datenbasis 2104 aufgezeichnet ist. Die Schirminformation 2850 weist einen Zeitpunkt 2851, eine Bezeichnung für eine Kamera 2852 zum Aufnehmen eines im Bewegungsbildazeigebereich 2202 darzustellenden Bildes, Bezeichnungen von Prozeßdaten 2853 bis 2855, wie sie in einer Trendkurve 2403 dargestellt werden, und Bezeichnungen von Daten auf, die auf einem Meßgerät 2405 und anderen Datenanzeigeeinheiten dargestellt werden. Diese Daten werden von der Workstation 2103 an die Datenbasis 2104 übertragen, wenn die Bedienperson die im Bewegungsbildanzeigebereich 2402 darzustellenden Bilder auswählt und in der Trendkurve 2403 darzustellende Daten ändert, hinzufügt oder löscht.
  • Die Datenstruktur der von der Bedienperson eingegebenen Bedienungsarten stimmt mit der Datenstruktur 2820 der Prozeßdaten von 36B überein. Es ist zu beachten, daß statt des Prozeßdatenwertes 2824 eine als Bedienungsdaten eingegebene Bedienungsanweisung eingegeben wird (d. h. eine Anweisung, die dadurch erzeugt wird, daß ein Koordinatenwert verarbeitet wird, wie er von der Bedienperson unter Verwendung einer Zeigeeinrichtung in der Workstation 2103 eingegeben wird). Diese Daten werden auch von der Workstation 2103 zu demjenigen Zeitpunkt an die Datenbasis 2104 ausgegeben, zu dem die Bedienungsanweisung ausgegeben wird.
  • Was die Wiedergabe betrifft, ist der Wiedergabealgorithmus derselbe wie derjenige, der in 39 angezeigt ist. Es ist zu beachten, daß, obwohl im Schritt 3108 die Prozeßdaten dadurch erzeugt wurden, daß Daten sehr dicht beim Anzeigezeitpunkt "t" gewählt wurden oder dadurch, daß der vorige und der folgende Datenwert interpoliert wurden, die Ausführung von Daten betreffend eine von einer Bedienperson vorgenommene Bedienung dann bewirkt wird, wenn der Anzeigezeitpunkt "t" den Aufzeichnungszeitpunkt der Bedienungsdaten bei der Wiedergabe in Vorwärtsrichtung überschreitet bzw. wenn der Anzeigezeitpunkt "t" den Aufzeichnungszeitpunkt der Bedienungsdaten bei Wiedergabe in Rückwärtsrichtung unterschreitet. Der Inhalt der zum Zeitpunkt 2851 aufgezeichneten Schirminformationsdaten wird dann dargestellt, wenn der Anzeigezeitpunkt "t" den Zeitpunkt 2851 bei der Wiedergabe in Vorwärtsrichtung überschreitet bzw. dann, wenn der Anzeige zeitpunkt "t" kleiner ist als der Zeitpunkt 2857 bei Wiedergabe in Rückwärtsrichtung.
  • Was den Suchbetrieb betrifft, ist der Suchalgorithmus derselbe wie der in 43 dargestellte. Es ist zu beachten, daß, nachdem der Anzeigezeitpunkt "t" im Schritt 3504 bestimmt wurde, zunächst in einem Schritt 3506 der Schirminfirmationsdatenwert aufgerufen wird, der sehr dicht bei einem Zeitpunkt vor dem Anzeigezeitpunkt "t" liegt, und daß danach anzuzeigende Prozeßdaten bestimmt und aufgerufen werden.
  • Die folgenden Beispiele beschreiben bezugnehmende Darstellungen von Video- und Prozeßdaten, wenn Video-, Audio- und Prozeßdaten in all den oben beschriebenen Ausführungsbeispielen wiedergegeben werden.
  • Eine achte Funktion ist eine solche, wie sie in 50 dargestellt ist. Das Fenster eines Dampferzeugers, wie es im Bewegungsbildanzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt 4201 definiert, wenn dieses Objekt ausgewählt wird, eine Graphik, die anzeigt, daß dieses Auswahlobjekt ausgewählt ist, wird angezeigt, und es wird auch eine Bezeichnung daraus erzeugter Prozeßdaten 4202 als Prozeßdatengröße in der Trendkurve 2403 dargestellt, und ferner werden die Prozeßdaten 4203 als Kurve dargestellt. Wie oben beschrieben, werden die betreffenden Prozeßdaten dadurch dargestellt, daß das Auswahlobjekt innerhalb des Bildes unter Verwendung der Zeigeeinrichtung ausgewählt wird. Es ist zu beachten, daß das ausgewählte Objekt nicht das Fenster des Dampferzeugers ist, sondern das Fenster kann vorab als Auswahlobjekt im Steuerungscomputer registriert sein. Obwohl die Daten auf einem Meßgerät 2405 statt in der Trendkurve 2403 dargestellt werden können, wird nun der Einfachheit halber nur der Fall beschrieben, daß die Daten in der Trend kurve 2403 dargestellt werden.
  • Eine neunte Funktion ist die gemäß 5. Ein oberes Rohr eines Dampferzeugers, wie er im Bewegungsbildanzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt 4301 definiert, wenn dieses Objekt ausgewählt wird, eine Graphik zum Anzeigen, daß dieses Auswahlobjekt ausgewählt wurde, wird dargestellt, im Fall, daß in Beziehung zu diesem Auswahlobjekt stehende Prozeßdaten 4302 dem Dampfdruck entsprechen, der vorab in der Trendkurve 2403 aufgezeichnet wurde, wird der Dampfdruck 4302 als Prozeßdatengröße hervorgehoben, und auch die Kurve 4303 wird hervorgehoben, die die Daten repräsentiert, die zu dem Auswahlobjekt in Beziehung stehen, das von der Bedienperson ausgewählt wurde. Anders gesagt, werden dann, wenn die Daten zum Auswahlobjekt innerhalb dem ausgewählten Bild bereits dargestellt wurden, die Daten hervorgehoben, die zum Auswahlobjekt gehören.
  • Eine zehnte Funktion ist die gemäß 52. Das linke Rohr eines im Bewegungsbildanzeigebereich 2402 dargestellten Dampferzeugers wird als Auswahlobjekt 4401 definiert, wenn dieses Objekt ausgewählt wird, eine Graphik, die anzeigt, daß dieses Objekt ausgewählt wurde, wird dargestellt, wenn mehrere auf dieses Auswahlobjekt bezogene Prozeßdaten vorhanden sind, wird ein Prozeßdaten als Größen enthaltendes Auswahlmenü 4402 direkt neben dem ausgewählten Objekt innerhalb des Bewegungsbildes dargestellt, und es werden auch Daten innerhalb der Trendkurve 2403 dadurch dargestellt, daß gewünschte Prozeßdaten zur Bezugnahme durch das Auswahlmenü 4402 unter Verwendung der Zeigeeinrichtung dargestellt werden. Anders gesagt, wird dann, wenn mehrere Größen in Beziehung zum ausgewählten Objekt innerhalb des ausgewählten Bildes stehen, das Auswahlmenü dargestellt, aus dem eine Bedienperson erwünschte Daten auswählen kann, auf die Bezug genommen werden soll.
  • Eine elfte Funktion ist die von 53. Der Hauptkörper eines im Bewegungsbildanzeigebereich 2402 dargestellten Dampferzeugers wird als Auswahlobjekt definiert, und dann, wenn dieses Auswahlobjekt ausgewählt ist, wird eine Graphik 4501 dargestellt, die anzeigt, daß dieses Auswahlobjekt ausgewählt wurde. Prozeßdaten 4502 bis 4504, die sich auf diese Graphik beziehen, werden unter Überlagerung mit den jeweiligen Bewegungsbildern dargestellt. D. h., daß die in Beziehung stehenden Prozeßdaten am jeweiligen Ort innerhalb des Bildes dadurch dargestellt werden, daß das Auswahlobjekt innerhalb des Bildes unter Verwendung der Zeigeeinrichtung ausgewählt wird.
  • Eine zwölfte Funktion ist die von 54. Ein gesamter Dampferzeuger, wie er im Bewegungsbildanzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt definiert, und wenn dieses Objekt ausgewählt ist, wird eine Graphik 4601 zum Anzeigen, daß dieses Objekt ausgewählt wurde, dargestellt. Temperaturverteilungsdaten, die in Beziehung zu diesem ausgewählten Objekt stehen, werden aufgerufen, und diese Temperaturverteilungsdaten werden einer Computergraphik 4602 auf einem Bild für Anzeigezwecke überlagert. Das Auswahlobjekt innerhalb des Bildes wird unter Verwendung der Zeigeeinrichtung ausgewählt, und die von den Prozeßdaten mit der Computergraphik vorgenommene Darstellung wird diesem ausgewählten Objekt überlagert.
  • Eine dreizehnte Funktion ist die von 55. Ein gesamter Dampferzeuger, wie er im Bewegungsbildanzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt definiert, und dann, wenn dieses Objekt ausgewählt wird, wird eine Graphik 4701 zum Anzeigen, daß dieses Auswahlobjekt ausgewählt wurde, dargestellt. Es wird auch eine Graphik 4701 an einer Brennstoffzufuhreinheit dargestellt, die in enger Beziehung mit diesem Auswahlobjekt steht. Anders gesagt, wird das Auswahlobjekt innerhalb des Bildes unter Verwendung der Zeigeeinrichtung ausgewählt, und es wird ein Auswahlobjekt innerhalb des Bildes, das zu diesem Auswahlobjekt in Beziehung steht, dargestellt.
  • Eine vierzehnte Funktion ist die von 56. Ein gesamter Dampferzeuger, wie er im Bewegungsbildanzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt definiert, und dann, wenn dieses Objekt ausgewählt wird, wird eine Graphik 4801 zum Anzeigen, daß dieses Auswahlobjekt ausgewählt wurde, dargestellt. Auch wird zusätzliche Information 4802, wie solche über das Steuerungsverfahren und Wartungsinformation, die dieses Auswahlobjekt betreffen, aus der Datenbasis ausgelesen und dann auf dem Bild dargestellt. Anders gesagt, wird das Auswahlobjekt innerhalb des Bildes unter Verwendung der Zeigeeinrichtung ausgewählt, und es werden zusätzliche Informationen hierfür dargestellt, wie solche zum Steuerungsverfahren, wie auch Wartungsinformation und das Bedienungsverfahren.
  • Wie oben beschrieben, können auf Grundlage der Funktionen 8 bis 14 Beziehungen zwischen den Prozeßdaten und den in der Bildinformation dargestellten Geräten hergestellt werden, so daß die Bedienperson auf die relevanten Geräte innerhalb des Bildes durch Prozeßdaten Bezug nehmen kann, und sie auch auf die von den Geräten innerhalb des Bildes ausgeführten Prozesse Bezug nehmen kann. Infolgedessen kann z. B. eine Bedienperson mit wenig Erfahrung das Gerät einfach dadurch überwachen, daß sie das Bild und die Daten betrachtet.
  • Nachfolgend wird Information innerhalb eines Bildes unter Verwendung von Prozeßdaten dargestellt.
  • Eine fünfzehnte Funktion ist die von 57. Eine Prozeß datengröße 4302 in der Trendkurve 2403 wird ausgewählt, und diese Prozeßdatengröße 4302 wird hervorgehoben, wodurch eine Darstellung dahingehend erfolgt, daß diese Prozeßdaten ausgewählt wurden. Ferner wird eine Graphik 4301 zum Anzeigen, daß ein zu diesen Prozeßdaten gehöriges Auswahlobjekt im Bildanzeigebereich 2402 vorhanden ist, angezeigt. Anders gesagt, wird eine Graphik dargestellt, die anzeigt, welches Auswahlobjekt Beziehung zu den Prozeßdaten innerhalb des Bildes hat.
  • Eine sechzehnte Funktion ist die von 58. Eine Prozeßdatengröße 4302 in einer Trendkurve 2403 wird ausgewählt, wodurch Prozeßdaten 5001 einem mit diesen Prozeßdaten in Beziehung stehenden Auswahlobjekt überlagert werden und im Bild 2402 dargestellt werden.
  • Eine siebzehnte Funktion ist die von 59. Es wird eine Auswahl hinsichtlich einer Prozeßdatengröße 4302 innerhalb einer Trendkurve 2403 getroffen, wodurch diese Prozeßdaten einer Computergraphik 5101 für ein Auswahlobjekt überlagert werden, das zu diesen Prozeßdaten in Beziehung steht, und die Anzeige erfolgt innerhalb des Bildes 2402.
  • Was die Beispiele der oben beschriebenen Funktionen 8 bis 16 betrifft, wird ein Realisierungsverfahren hierfür nun unter Verwendung von 60 beschrieben. Ein Gestaltsmodell für ein zu steuerndes Gerät 5201 wird in der Workstation 2103 aufgezeichnet, wobei es sich um das zu überwachende Objekt handelt. Ein Teil dieses Gestaltmodells wird als Auswahlobjekt definiert, das eine Eingabe von einer Bedienperson erhalten soll. Dieses Gestaltmodell kann ein einfacher rechteckiger Bereich sein, der durch dreidimensionale Daten, wie durch ein CAD-Modell definiert wurde, es kann eine Prozeßdesignzeichnung sein oder ein Bild, wie es von einer Kamera 2110 erhalten wurde und wie es von einer Bedienperson be trachtet wird. Um die Position und die Größe dieses Auswahlobjekts innerhalb eines Bildes zu bestimmen, werden Blickwinkelinformation, Vertikalwinkelinformation und Horizontalwinkelinformation, wie sie von der ITV-Kamera 2110 ausgegeben werden, zusammen mit einem jeweiligen Zeitpunkt in der Datenbasis 2104 aufgezeichnet. Alternativ werden auf Grundlage des an die ITV-Kamera zu übertragenden Kamerasteuerungsbefehls und des Ausgangseinstellungssatzes der ITV-Kamera die Blickwinkelinformation, die Vertikalwinkelinformation und die Horizontalwinkelinformation durch die CPU 2201 in der Workstation 2103 berechnet, das Berechnungsergebnis wird an die Datenbasis 2104 gesendet, und dann wird es zusammen mit den jeweiligen Zeitpunkten aufgezeichnet. Da die ITV-Kamera und das zu steuernde Gerät nicht bewegt werden, können die Position und die Abmessung des Auswahlobjekts innerhalb des Bildes dadurch erkannt werden, daß die Anfangsposition der Kamera, die aufzuzeichnende Kamerainformation und das Gestaltmodell kombiniert werden.
  • Die ITV-Kamera 2110 zum Abbilden des Prozeßgerätes 5201 stellt Bilder 5202 bis 5204 dadurch her, daß ihr Vertikalwinkelinformation 5211, Horizontalwinkelinformation 5212 und Zoomwerte zugeführt werden. Hierbei sind die Bilder des Prozeßapparates 5201, wie sie in den jeweiligen Anzeigebildern dargestellt werden, 5202, 5206 und 5207, abhängig von den Zoomwerten. Eine Skalierungs- oder Maßeinteilungsfunktion für das Auswahlobjekt wird innerhalb des Computers, abhängig von den jeweiligen Zoomwerten, ausgeführt. Wenn ein einfacher Rechteckbereich als Auswahlbereich verwendet wird, ist 5208 ein dem Bild 5202 entsprechendes Auswahlobjekt, 5209 ist ein dem Bild 5203 entsprechendes Auswahlobjekt, und 5210 ist ein dem Bild 5204 entsprechendes Auswahlobjekt. Da die Skalierungsfunktion linear ist, kann sie leicht ausgeführt werden.
  • Was ein derartiges, definiertes Auswahlobjekt betrifft, erfolgte eine Definition dann, wenn entweder eine Auswahl von einer Bedienperson vorgenommen wurde oder ein Meldungsbefehl von einem anderen Auswahlobjekt her übertragen wurde, in solcher Weise, daß Abläufe dahingehend begonnen werden, daß das ausgewählte Objekt dargestellt und die dazu in Beziehung stehenden Daten ausgegeben werden.
  • Eine Datenstruktur für dieses Auswahlobjekt wird durch in 36G dargestellten Daten 286 angezeigt. Bezugszeichen 2861 und 2862 bezeichnen die Größe des Auswahlobjekts, Bezugszeichen 2863 und 2864 bezeichnen die Position, und ein Bezugszeichen 2865 bezeichnet einen Vorgang, der gestartet wird, wenn er von einer Bedienperson ausgewählt wird oder in den ein Zeiger oder dergleichen auf eine Bedienungstabelle eingegeben wird; es wird auch relevante Textinformation in 2866 eingegeben. Infolgedessen können die Apparate innerhalb des Bildes entweder mit den Prozeßdaten oder dazu in Beziehung stehenden Information verknüpft werden. Auch kann eine Beziehung zwischen den Apparaten innerhalb des Bildes hergestellt werden. Ferner werden die Prozeßdaten und das Auswahlobjekt lediglich dargestellt, jedoch kann auch eine vorgegebene Anweisung ausgeführt werden, wenn eine Auswahl getroffen wird.
  • Wie oben beschrieben, können die Prozeßdaten auf dem Gerät innerhalb des Bildes dargestellt werden, und eine Bedienperson kann sowohl das sich bewegende Bild als auch die Prozeßdaten beobachten, ohne daß es hierzu erforderlich ist, die Blickrichtung zu verändern. Auch wird dies als Computergraphik dargestellt, so daß die Bedienperson einen Datenwert intuitiv beurteilen kann. Es kann vermieden werden, daß nutzlose Bilder oder Hintergrundbilder innerhalb eines Bildes aufgezeichnet werden, die nicht dauernd aufgezeichnet werden müssen, was dadurch erfolgt, daß eine Bedingung für die Bildaufzeichnungszeit gesetzt wird. So werden Video-, Audio- und Prozeßdaten synchron zueinander wiedergegeben, so daß die Prozeßbedingungen einfacher erfaßt werden können und außergewöhnliche Fälle schnell aufgefunden werden können.
  • Ein direkter Ablauf kann dadurch erzielt werden, daß aus dem Bild diejenigen Prozeßdaten ausgewählt werden, auf die die Bedienperson Bezug nehmen möchte, oder daß direkt ein solches Bild aus der Prozeßdatenanzeigeeinheit ausgewählt wird. Infolgedessen können die Überwachungscharakteristik, die Bedienbarkeit und die Zuverlässigkeit des Prozesses verbessert werden. Ferner können Prozeßdaten unter Verwendung der Videodaten gesucht werden, und es können Videodaten unter Verwendung der Prozeßdaten gesucht werden.
  • Die oben angegebene 8. bis 17. Funktion können mit denselben Realisierungsverfahren nicht nur für aufgezeichnete, sondern auch für in Echtzeit eingegebene Ton- und Bilddaten realisiert werden. Dabei entsprechen die darzustellenden Steuerdaten aktuell erfaßten Daten. Die Bildauswahl wird dadurch ausgeführt, daß die ITV-Kameras ausgewählt werden, oder daß die ITV-Kameras so ferngesteuert werden, daß sie geschwenkt und gezoomt werden.
  • Wie zuvor beschrieben, weisen die vorliegenden Ausführungsbeispiele die folgenden Vorteile auf:
  • (1) Vorschau, wenn Prozeßdatenwerte eingestellt werden.
  • Eine Vorschau kann dadurch ausgeführt werden, daß die Video- und Prozeßdaten aus den vergangenen Daten gesucht/dargestellt werden, um zu überprüfen, wie der Prozeß abläuft, wenn eine Bedienperson die Prozeßdaten auf einen bestimmten Wert einstellt.
  • (2) Vergleiche bei der Bedienungsüberwachung.
  • Der Zustand eines Prozesses kann dadurch erfaßt werden, daß der Bedienungszustand des Überwachungsprozesses mit einem Videobild zum Abbilden eines aufgezeichneten Bedienungszustandes, den Audio- und den Prozeßdaten verglichen wird.
  • (3) Bestimmung von Einstellwerten für Prozeßdaten.
  • Um einen bestimmten Prozeßdatenwert auf einen gewünschten Wert einzustellen, muß auch ein damit verbundener Datenwert eingestellt werden. Wenn mehrere Datenwerte eingestellt werden müssen, kann einer Bedienperson eine Bestimmungsvorgehensweise für die einzustellenden Werte dahingehend gegeben werden, daß sie auf die vergangenen Daten Bezug nimmt, auf Video- und Audiodaten.
  • (4) Suche und Analyse außergewöhnlicher Vorgänge.
  • Die Suche nach einem außergewöhnlichen Fall und die Ermittlung des fehlerhaften Bereichs kann wirkungsvoll dadurch ausgeführt werden, daß die synchrone Wiedergabe der vergangenen Prozeß-, Video- und Audiodaten ausgeführt wird.
  • (5) Simulation zur Ausbildung
  • Eine von einer Bedienperson erstellte Bedienungsanleitung kann als Simulation zur Ausbildung dadurch verwendet werden, daß die Bedienungsanleitung wiedergegeben wird.
  • Es ist zu beachten, daß, obowhl bei diesem Ausführungsbeispiel die Zeit zum Synchronisieren der Meßdaten mit den Video- oder den Audiodaten aufgezeichnet wird, die Erfindung nicht hierauf beschränkt ist. Z. B. kann eine fortlaufende Nummer an die Meßdaten und die Videodaten oder dergleichen angehängt werden, und dann können die Meßdaten mit entweder den Videodaten oder den Audiodaten unter Verwendung der fortlaufenden Nummer als Schlüssel synchronisiert werden.
  • Was die Wiedergabe der Videodaten oder Audiodaten betrifft, wird bei den oben beschriebenen Ausführungsbeispielen die Wiedergabegeschwindigkeit erhöht oder verzögert. Jedoch ist die Erfindung hierauf nicht beschränkt. Z. B. können bei einem Wiedergabeverfahren die Videodaten oder die Audiodaten angehalten (unterbrochen) werden. Was dieses Stationärverfahren betrifft, kann ein durch die Bedienung einer Bedienperson ausgelöstes Verfahren verwendet werden, oder es wird vorab ein Alarm aufgezeichnet, und die Videodatenwiedergabe wird angehalten, wenn der Alarm auftritt. Dabei besteht der Vorteil, daß die Schirmdarstellung für den Fall des Auftretens einer Störung schnell aufgesucht werden kann, wenn der Grund für die Störung analysiert werden soll.
  • Ferner ist das vorliegende Ausführungsbeispiel nicht auf sich bewegende Bilder von den oben angegebenen ITV-Kameras gerichtet, sondern es kann auch von einer Stehbildkamera aufgenommene Stehbilder verarbeiten.
  • Gemäß diesen Ausführungsbeispielen ist es möglich, ein Überwachungssystem anzugeben, das dazu in der Lage ist, die Meßdaten synchron mit der Video- oder Toninformation wiederzugeben.

Claims (40)

  1. Interaktives videogestütztes Verfahren zur Bedienung eines Objektsystems aus einzelnen Objekten, bei dem das Objektsystem mittels eines von einer Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) aufgenommenen Videobilds in Echtzeit auf einer Anzeigeeinrichtung (10, 20; 2103, 2111) dargestellt wird; Modelldaten der Objekte des Objektsystems und Aufnahmeparameter der Videobild-Aufzeichnungseinrichtung in einer Speichereinrichtung (310, 320; 2104) gespeichert werden; ein Objekt des Objektsystems mittels einer Auswahleinrichtung (12, 20; 2103, 2105, 2106, 2107) ausgewählt und das ausgewählte Objekt auf der Grundlage der gespeicherten Modelldaten und der Aufnahmeparameter identifiziert wird; an dem ausgewählten Objekt auf der Grundlage von aus der Speichereinrichtung ausgelesenen Daten mittels einer Ausführeinrichtung (300; 2201) ein Steuervorgang ausgeführt wird; und die Echtzeit-Darstellung des von der Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) aufgenommenen Videobilds auf der Anzeigeeinrichtung (10, 20; 2103, 2111) den ausgeführten Vorgang darstellt.
  2. Verfahren nach Anspruch 1 mit folgenden Schritten: Einspeichern von auf das Objekt bezogener Positionsinformation; Identifizieren eines Objekts auf dem Schirm auf Grundlage der Positionsinformation; und Ausführen eines Steuervorgangs auf Grundlage des identifizierten Objekts.
  3. Verfahren nach Anspruch 1 oder 2, bei dem der Steuervorgangs-Ausführungsschritt einen Schritt zum Ändern eines Videobildes auf Grundlage des identifizierten Objekts enthält.
  4. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausführungsschritt einen Schritt zum Bedienen einer Videokamera auf Grundlage des identifizierten Objekts aufweist.
  5. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausführungsschritt einen Schritt zum Bedienen des identifizierten Objekts aufweist.
  6. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausführungsschritt einen Schritt zum Überlagern einer dem identifizierten Objekt entsprechenden Graphik auf dem darzustellenden Bild und zum klaren Anzeigen, welches Objekt identifiziert wurde, aufweist.
  7. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausführungsschritt einen Schritt zum menümäßigen Darstellen einer Liste ausführbarer, dem identifizierten Objekt zugeordneter Vorgänge aufweist, aus der ein auszuführender Steuervorgang ausgewählt werden kann.
  8. Verfahren nach Anspruch 5, mit einem Schritt zum Bedienen des identifizierten Objekts über eine zu dem Objekt auf der Anzeigeeinrichtung dargestellte Graphik.
  9. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausführungsschritt folgendes aufweist: einen Graphikanzeigeschritt zum Synthetisieren von dem identifizierten Objekt entsprechender Graphik mit dem darzustellenden Videobild; einem Graphikelementauswahlschritt zum Auswählen eines Graphikelements; und einen Steuervorgangs-Ausführungsschritt zum Ausführen eines Steuervorgangs auf Grundlage des durch den Graphikelementauswahlschritt ausgewählten Graphikelements.
  10. Verfahren nach Anspruch 1, bei dem der Objekt-Auswahlschritt einen Schritt zum Hervorheben eines Objekts beinhaltet, um ein innerhalb eines Bilds auswählbares Objekt hervorzuheben.
  11. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausführungsschritt einen Schritt zum Darstellen von auf das identifizierte Objekt bezogener Information aufweist.
  12. Verfahren nach Anspruch 1 mit: einem Suchschlüssel-Spezifizierungsschritt zum Spezifizieren eines Suchschlüssels durch Eingeben von entweder Text oder einem Muster; und einem Bildsuchschritt zum Darstellen eines Videobilds, bei dem ein Objekt dargestellt wird, das zu dem durch den Suchschlüssel-Spezifizierschritt spezifizierten Suchschlüssel paßt.
  13. Verfahren nach Anspruch 12, bei dem der Bildsuchschritt einen Schritt zum Auswählen einer Videokamera auf Grundlage des Suchschlüssels aufweist.
  14. Verfahren nach Anspruch 12, bei dem der Bildsuchschritt einen Schritt zum Bedienen einer Videokamera auf Grundlage des Suchschlüssels aufweist.
  15. Verfahren nach Anspruch 12, bei dem der Bildsuchschritt einen Schritt zum Hervorheben eines Objekts aufweist, das zum Suchschlüssel paßt, was dadurch erfolgt, daß mit dem aufgesuchten, darzustellenden Bild eine Graphik synthetisiert wird.
  16. Verfahren nach Anspruch 12, bei dem der Suchschlüssel-Eingabeschritt einen Schritt zum Eingeben eines Suchschlüssels durch Sprache beinhaltet.
  17. Verfahren nach Anspruch 1, mit: einem Bilddarstellschritt zum Darstellen eines Videobildes auf der Anzeigeeinrichtung; einem Bereichsspezifizierschritt zum Spezifizieren eines Bereichs eines im Bildanzeigeschritt dargestellten Videobildes; und einem Vorgangsdefinierschritt zum Definieren eines einem Bereich zugeordneten Steuervorgangs, der durch den Bereichsspezifizierschritt spezifiziert wurde.
  18. Verfahren nach Anspruch 1, mit Schritten zur Fernbedienung und Überwachung des ausgewählten Objekts.
  19. Verfahren nach Anspruch 1, mit Schritten zum Abspeichern von Steuerdaten zum Steuern eines Objekts und zum Abspeichern von Audio- oder Videodaten, die zu dem Objekt in Beziehung stehen, und mit: einem Schritt zum Herstellen einer Beziehung der Steuerdaten zu den Audio- oder Videodaten; und einem Schritt zum Ausgeben der Steuerdaten und der Audio- oder Videodaten auf Grundlage einer Information aus dem Beziehungsherstellungsschritt.
  20. Verfahren nach Anspruch 19, bei dem: ferner ein erster Wiedergabeschritt zum Wiedergeben der Steuerdaten und ein zweiter Wiedergabeschritt zum Wiedergeben der Audiodaten oder der Videodaten vorhanden sind; der Beziehungsherstellungsschritt einen Schritt zum Abspeichern von Information zum Herstellen einer Beziehung zwischen den Steuerdaten und den Audiodaten oder den Videodaten aufweist; der Ausgabeschritt folgendes aufweist: einen ersten Ausgabeschritt zum Ausgeben der wiedergegebenen Steuerdaten; einen zweiten Ausgabeschritt zum Ausgeben der wiedergegebenen Tondaten oder der wiedergegebenen Videodaten; einen Synchronisierschritt zum Steuern des ersten und des zweiten Ausgabeschritts in solcher Weise, daß die ausgegebenen Steuerdaten mit den Audiodaten oder den Videodaten auf Grundlage der auszugebenden Beziehungsherstellungsinformation synchronisiert werden.
  21. Verfahren nach Anspruch 20, bei dem der zweite Wiedergabeschritt ferner folgendes aufweist: einen Schritt zum Spezifizieren mindestens der Wiedergaberichtung und der Wiedergabegeschwindigkeit für die Tondaten und die Videodaten; und einen Schritt zum Wiedergeben der Audio- und der Videodaten mit der spezifizierten Wiedergabegeschwindigkeit und in der spezifizierten Wiedergaberichtung.
  22. Verfahren nach Anspruch 20, bei dem ein Schritt zum Spezifizieren sowohl der auszugebenden Steuerdaten als auch eines zugehörigen Zeitpunkts vorhanden ist, und der Synchronisierschritt den ersten Ausgabeschritt in solcher Weise anweist, daß Videodaten oder Audiodaten zu einem Zeitpunkt ausgegeben werden, der sehr dicht bei einem Zeitpunkt liegt, zu dem die für die Ausgabe spezifizierten Steuerdaten aufgezeichnet wurden.
  23. Verfahren nach Anspruch 22, bei dem der Spezifizierschritt einen Schritt zum Akzeptieren eines Suchwerts für die Steuerdaten aufweist; der Synchronisierschritt einen Schritt zum Suchen eines Zeitpunkts aufweist, zu dem die spezifizierten Steuerdaten diesen Suchwert einnehmen; und der erste Ausgabeschritt einen Schritt zum Ausgeben sowohl des Zeitpunkts als auch des Datenwerts zu diesem Zeitpunkt aufweist.
  24. Verfahren nach einem der Ansprüche 20, 22, 23, bei dem der Synchronisierschritt folgendes aufweist: einen Schritt zum Festlegen eines Anzeigegrades der Steuerdaten, abhängig von der Wiedergabegeschwindigkeit der Videodaten oder Audiodaten; und einen Schritt zum Darstellen der Steuerdaten mit dem festgelegten Anzeigegrad synchron zu der Wiedergabe der Audiodaten oder der Videodaten.
  25. Verfahren nach einem der Ansprüche 22 bis 24, bei dem der Spezifizierschritt einen Schritt zum Akzeptieren des Darstellungsgrades der Steuerdaten aufweist; der erste Ausgabeschritt einen Schritt zum Anzeigen der Steuerdaten, abhängig vom festgelegten Anzeigegrad, aufweist; der Synchronisierschritt einen Schritt zum Festlegen einer Wiedergabegeschwindigkeit, abhängig vom spezifizierten Anzeigegrad aufweist; und der erste Ausgabeschritt einen Schritt zum Ausgeben der Videodaten und der Audiodaten mit der vorgegebenen Geschwindigkeit aufweist.
  26. Verfahren nach Anspruch 20, bei dem ferner ein Speicherschritt zum Einspeichern von Bedienungseingabeinformation von einer Bedienperson vorhanden ist, und der Ausgabeschritt einen dritten Ausgabeschritt zum Ausgeben der Bedienungseingabeinformation der Bedienperson synchron mit der Wiedergabe der Videodaten oder der Audiodaten aufweist.
  27. Verfahren nach Anspruch 20, bei dem ferner ein Schritt zum Akzeptieren der Bedienungseingabeinformation vorhanden ist; der Synchronisierschritt einen Schritt zum Suchen von Video- und Audiodaten aufweist, die zu einem Zeitpunkt erfaßt wurden, der sehr dicht bei einem Zeitpunkt liegt, zu dem die spezifizierte Bedienung eingegeben wurde; und der zweite Ausgabeschritt einen Schritt zum Steuern des dritten Ausgabeschritts aufweist, um die Bedienungseingabeinformation synchron mit der Wiedergabe der Videodaten oder der Audiodaten durch den zweiten Ausgabeschritt auszugeben.
  28. Verfahren nach Anspruch 20, das ferner folgendes aufweist: einen Schritt zum Spezifizieren eines innerhalb eines Bilds aufzuzeichnenden Objekts, zum Spezifizieren einer Aufzeichnungsbedingung für das aufzuzeichnende Objekt, und zum Akzeptieren mindestens eines Aufzeichnungsverfahrens für die Bilddaten; wobei der Synchronisierschritt den Lesevorgang der Audiodaten oder der Videodaten dadurch steuert, daß er mindestens eine der Spezifizierungen für das aufzuzeichnende Objekt, die Aufzeichnungsbedingung und das Aufzeichnungsverfahren bestimmt.
  29. Verfahren nach Anspruch 19, mit: einem ersten Ausgabeschritt zum Ausgeben der Steuerdaten; einem zweiten Ausgabeschritt zum Ausgeben der Audiodaten oder der Videodaten; und einem Schritt zum Steuern des ersten Ausgabeschritts in solcher Weise, daß die mit dem zu überwachenden, ausgewählten Objekt in Beziehung stehenden Steuerdaten ausgegeben werden.
  30. Verfahren nach Anspruch 19, bei dem der Beziehungsherstellungsschritt einen Speicherschritt zum Abspeichern von Information zum Herstellen der Beziehung zwischen dem zu überwachenden Objekt und den Steuerdaten sowie von. Information zu dem zu überwachenden Objekt aufweist, und der Steuerschritt folgendes aufweist: einen Schritt zum Auswählen der mit dem ausgewählten, zu überwachenden Objekt in Beziehung stehenden Steuerdaten auf Grundlage der Information zu dem zu überwachenden Objekt und zum Auswählen der in Beziehung stehenden Information, die abgespeichert wurden, und einen Schritt zum Darstellen der ausgewählten Steuerdaten mit Hilfe des ersten Ausgabeschritts.
  31. Verfahren nach Anspruch 19, bei dem im Fall, daß mehrere, mit dem ausgewählten, zu überwachenden Objekt in Beziehung stehende Steuerdaten vorhanden sind, der zweite Ausgabeschritt folgendes aufweist: einen Schritt zum Darstellen eines Auswahlmenüs zum ausgewählten, zu überwachenden Objekt und von zu ihm in Beziehung stehenden Steuerdaten nahe dem Objekt; einen Schritt zum Akzeptieren mindestens eines Punkts aus dem Auswahlmenü; und einen Schritt zum Darstellen der dem akzeptierten Punkt zugeordneten Steuerdaten.
  32. Verfahren nach Anspruch 29, bei dem der zweite Ausgabeschritt einen Schritt zum Darstellen der mit dem ausgewählten, zu überwachenden Objekt in Beziehung stehenden Steuerdaten innerhalb einer Trendkurve aufweist.
  33. Verfahren nach Anspruch 29, bei dem der zweite Ausgabeschritt einen Schritt zum Darstellen sowohl des ausgewählten Objekts als auch mindestens eines Steuerdatenwerts nahe dem Objekt aufweist, der mit dem ausgewählten Objekt verknüpft ist.
  34. Verfahren nach Anspruch 29, bei dem der zweite Ausgabeschritt einen Schritt zum Darstellen der mit dem ausgewählten, zu überwachenden Objekt in Beziehung stehenden Steuerdaten als Graphik und zum Überlagern der Graphik auf einem Bild für das ausgewählte, zu überwachende Objekt aufweist.
  35. Verfahren nach Anspruch 20, bei dem der Beziehungsherstellungsschritt einen Speicherschritt zum Abspeichern sowohl von Information zu einem zu überwachenden Objekt als auch von Information zum Inbeziehungsetzen des zu überwachenden Objekts mit einem mit diesem in Beziehung stehenden zu überwachenden Objekt aufweist; der Steuerschritt einen Schritt zum Auswählen eines zu überwachenden, mit dem ausgewählten, zu überwachenden Objekt in Beziehung stehenden Objekts auf Grundlage der gespeicherten Information zum zu überwachenden Objekt und der zugehörigen Information aufweist; und der zweite Ausgabeschritt einen Schritt zum Darstellen eines Bilds aufweist, das anzeigt, daß das ausgewählte, zu überwachende Objekt ausgewählt wurde, und auch zum Darstellen des ausgewählten, zu überwachenden Objekts, das mit dem ausgewählten, zu überwachenden Objekt in Beziehung steht.
  36. Verfahren nach Anspruch 20, bei dem der Beziehungsherstellungsschritt einen Speicherschritt zum Abspeichern von Information über ein zu überwachendes Objekt und von Information zum Herstellen einer Beziehung zwischen dem zu überwachenden Objekt zu zusätzlicher, damit in Beziehung stehender Information aufweist; der Steuerschritt die zusätzliche Information auswählt, die mit dem zu überwachenden, auszuwählenden Objekt in Beziehung steht, was auf Grundlage der Information zum abgespeicherten, zu überwachenden Objekt und der damit in Beziehung stehenden Information erfolgt; und der zweite Ausgabeschritt einen Schritt zum Darstellen eines Bilds aufweist, das anzeigt, daß das ausgewählte, zu überwachende Objekt ausgewählt wurde, und um die ausgewählte, zusätzliche Information anzuzeigen, die mit dem zweiten ausgewählten, zu überwachenden Objekt in Beziehung steht.
  37. Verfahren nach Anspruch 29, bei dem der Beziehungsherstellungsschritt einen Schritt zum Abspeichern von Information aufweist, um das zu überwachende Objekt mit den Steuerdaten in Beziehung zu setzen; der Steuerschritt einen Schritt zum Auswählen eines zu überwachenden, mit den ausgewählten Steuerdaten in Beziehung stehenden Objekts auf Grundlage der Information aufweist; und der zweite Ausgabeschritt einen Schritt zum Darstellen des ausgewählten, zu überwachenden Objekts aufweist.
  38. Verfahren nach Anspruch 37, bei dem der zweite Ausgabeschritt folgendes aufweist: einen Schritt zum Darstellen der Steuerdaten in einer Trendkurve und zum Auswählen der dargestellten Datengröße; und einen Schritt zum Darstellen, daß das mit den Steuerdaten in Beziehung stehende, zu überwachende Objekt im Bild ausgewählt wurde.
  39. Verfahren nach Anspruch 37, bei dem der zweite Ausgabeschritt einen Schritt zum Darstellen der Steuerdaten innerhalb einer Trendkurve und zum Auswählen der dargestellten Datengröße aufweist; und der Steuerschritt einen Schritt aufweist, zum Wechseln von einem nicht zu den Steuerdaten in Beziehung stehenden, zu überwachenden Objekt, auf ein Bild mit einem zu überwachenden Objekt, das zu den Steuerdaten in Beziehung steht; und der zweite Ausgabeschritt eine solche Darstellung vornimmt, daß das zu den Steuerdaten in Beziehung stehende, zu überwachende Objekt innerhalb des Bilds ausgewählt wird.
  40. Interaktive videogestützte Vorrichtung zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 39, mit einer Videokamera (60; 2110) in der Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) zum Aufnehmen des Videobilds des Objektsystems in Echtzeit; einem Schirm (10; 2111) in der Anzeigeeinrichtung (10, 20; 2103, 2111) zum Darstellen des aufgenommenen Videobilds des Objektsystems; einem Speicher (310, 320; 2104) zum Speichern der Modelldaten der Objekte des Objektsystems und der Aufnahmeparameter der Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110); einem Zeigegerät (12; 2105, 2107) in der Auswahleinrichtung (12, 20; 2103, 2105, 2106, 2107) zum Auswählen eines Objekts aus dem auf der Anzeigeeinrichtung abgebildeten Videobild des Objektsystems zum Identifizieren des ausgewählten Objekts auf der Grundlage der gespeicherten Modelldaten und der Aufnahmeparameter; und einer CPU (300; 2101) in der Ausführeinrichtung (300; 2201) zum Steuern des Vorgangs an dem ausgewählten Objekt auf der Grundlage von aus der Speichereinrichtung ausgelesenen Daten.
DE4290947A 1991-04-08 1992-04-08 Interaktives videogestütztes Bedienungsverfahren und -vorrichtung Expired - Fee Related DE4290947B4 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP07492791A JP3375644B2 (ja) 1991-04-08 1991-04-08 処理の実行方法およびバルブ遠隔操作方法
JP3-74927 1991-04-08
JP3-238277 1991-09-18
JP3238277A JP2970964B2 (ja) 1991-09-18 1991-09-18 監視装置
PCT/JP1992/000434 WO1992017875A1 (en) 1991-04-08 1992-04-08 Method and apparatus for image or data processing, and monitoring method and apparatus using the same

Publications (1)

Publication Number Publication Date
DE4290947B4 true DE4290947B4 (de) 2006-11-02

Family

ID=26416094

Family Applications (2)

Application Number Title Priority Date Filing Date
DE4290947T Pending DE4290947T1 (de) 1991-04-08 1992-04-08
DE4290947A Expired - Fee Related DE4290947B4 (de) 1991-04-08 1992-04-08 Interaktives videogestütztes Bedienungsverfahren und -vorrichtung

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE4290947T Pending DE4290947T1 (de) 1991-04-08 1992-04-08

Country Status (4)

Country Link
US (3) US6335722B1 (de)
KR (2) KR100318330B1 (de)
DE (2) DE4290947T1 (de)
WO (1) WO1992017875A1 (de)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996864B2 (en) 1994-08-31 2011-08-09 Gemstar Development Corporation Method and apparatus for displaying television programs and related text
US8336071B2 (en) 1996-12-19 2012-12-18 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
US8776125B2 (en) 1996-05-03 2014-07-08 Starsight Telecast Inc. Method and system for displaying advertisements in an electronic program guide
US8832742B2 (en) 2006-10-06 2014-09-09 United Video Properties, Inc. Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications
US8863170B2 (en) 2000-03-31 2014-10-14 United Video Properties, Inc. System and method for metadata-linked advertisements
US8918807B2 (en) 1997-07-21 2014-12-23 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
US8931008B2 (en) 1999-06-29 2015-01-06 United Video Properties, Inc. Promotional philosophy for a video-on-demand-related interactive display within an interactive television application
US9075861B2 (en) 2006-03-06 2015-07-07 Veveo, Inc. Methods and systems for segmenting relative user preferences into fine-grain and coarse-grain collections
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
US9319735B2 (en) 1995-06-07 2016-04-19 Rovi Guides, Inc. Electronic television program guide schedule system and method with data feed access
US9326025B2 (en) 2007-03-09 2016-04-26 Rovi Technologies Corporation Media content search results ranked by popularity
US9426509B2 (en) 1998-08-21 2016-08-23 Rovi Guides, Inc. Client-server electronic program guide
US9635406B2 (en) 1998-05-15 2017-04-25 Rovi Guides, Inc. Interactive television program guide system for determining user values for demographic categories
US9736524B2 (en) 2011-01-06 2017-08-15 Veveo, Inc. Methods of and systems for content search based on environment sampling
US9749693B2 (en) 2006-03-24 2017-08-29 Rovi Guides, Inc. Interactive media guidance application with intelligent navigation and display features
DE102020204110A1 (de) 2020-03-30 2021-09-30 Airbus Operations Gmbh Videoüberwachungssystem für eine Kabine eines Luftfahrzeugs, Luftfahrzeug und Anschluss- und Datenübertragungsset

Families Citing this family (268)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US20050204384A1 (en) * 1994-08-31 2005-09-15 Gemstar Development Corporation Method and apparatus for displaying television programs and related text
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US8482534B2 (en) * 1995-06-29 2013-07-09 Timothy R. Pryor Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US6654060B1 (en) * 1997-01-07 2003-11-25 Canon Kabushiki Kaisha Video-image control apparatus and method and storage medium
JP4072233B2 (ja) * 1997-03-24 2008-04-09 キヤノン株式会社 情報処理装置
JP3918228B2 (ja) * 1997-05-13 2007-05-23 株式会社ニコン 情報処理装置および記録媒体
JPH114376A (ja) * 1997-06-13 1999-01-06 Olympus Optical Co Ltd 電子的撮像装置
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
JPH11355617A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
JP4878409B2 (ja) * 1999-03-23 2012-02-15 キヤノン株式会社 情報制御装置及び情報制御方法及び記憶媒体
JP3902904B2 (ja) 1999-03-23 2007-04-11 キヤノン株式会社 情報提示装置、方法、カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体
US6516041B1 (en) * 1999-10-07 2003-02-04 Westinghouse Electric Co. Llc Method and apparatus to eliminate confirmation switches and channel demultiplexer from soft control man-machine interface (MMI)
US8482535B2 (en) 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP2001157154A (ja) * 1999-11-26 2001-06-08 Sony Corp 記録又は再生装置、及び再生装置
US20020138842A1 (en) * 1999-12-17 2002-09-26 Chong James I. Interactive multimedia video distribution system
US8576199B1 (en) 2000-02-22 2013-11-05 Apple Inc. Computer control systems
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7576730B2 (en) * 2000-04-14 2009-08-18 Picsel (Research) Limited User interface systems and methods for viewing and manipulating digital documents
US7055095B1 (en) * 2000-04-14 2006-05-30 Picsel Research Limited Systems and methods for digital document processing
US7450114B2 (en) * 2000-04-14 2008-11-11 Picsel (Research) Limited User interface systems and methods for manipulating and viewing digital documents
US6731305B1 (en) * 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
JP4612779B2 (ja) * 2001-06-14 2011-01-12 キヤノン株式会社 通信装置及び通信装置の映像表示制御方法
US20030027624A1 (en) 2001-08-03 2003-02-06 Gilmore Jason C. Hybrid slot machine
US9778794B2 (en) 2001-11-02 2017-10-03 Neonode Inc. Light-based touch screen
US8674966B2 (en) 2001-11-02 2014-03-18 Neonode Inc. ASIC controller for light-based touch screen
US8095879B2 (en) * 2002-12-10 2012-01-10 Neonode Inc. User interface for mobile handheld computer unit
US9052777B2 (en) 2001-11-02 2015-06-09 Neonode Inc. Optical elements with alternating reflective lens facets
US6965383B2 (en) * 2001-12-11 2005-11-15 Lecroy Corporation Scaling persistence data with interpolation
JP4034269B2 (ja) * 2002-02-19 2008-01-16 シャープ株式会社 ディスプレイ装置、電子機器
JP3847641B2 (ja) * 2002-02-28 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
JP4086529B2 (ja) * 2002-04-08 2008-05-14 松下電器産業株式会社 画像処理装置及び画像処理方法
AU2002318489A1 (en) * 2002-07-05 2004-01-23 Deok-Woo Kim Image information management system to provide independent images for each user
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
US7358963B2 (en) 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
US10499091B2 (en) 2002-09-17 2019-12-03 Kinya Washino High-quality, reduced data rate streaming video production and monitoring system
US8416217B1 (en) 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
DE10260305A1 (de) * 2002-12-20 2004-07-15 Siemens Ag HMI Einrichtung mit einem optischem Touch Screen
JP2004304560A (ja) * 2003-03-31 2004-10-28 Fujitsu Ltd 電子装置
US20040201602A1 (en) * 2003-04-14 2004-10-14 Invensys Systems, Inc. Tablet computer system for industrial process design, supervisory control, and data management
DE10359868B3 (de) * 2003-12-18 2005-06-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Erkennung von sich hinter einem Flugzeug bildendem/n Kondensstreifen sowie Einrichtung zur Durchführung des Verfahrens
DE10361708A1 (de) * 2003-12-30 2005-08-04 Airbus Deutschland Gmbh Einrichtung zur Unterstützung bei der Überwachung eines Luftauslassventils in einem Flugzeug
JP4049115B2 (ja) 2004-03-15 2008-02-20 セイコーエプソン株式会社 プロジェクタ
TWI236239B (en) * 2004-05-25 2005-07-11 Elan Microelectronics Corp Remote controller
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7724242B2 (en) * 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
DE102004044673B4 (de) * 2004-09-08 2007-04-05 Siemens Ag Verfahren zum Überwachen zumindest einer Anlagenkomponente einer technischen Anlage
DE102005061211B4 (de) 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
EP1696397A3 (de) * 2005-02-23 2007-10-24 Prospect SA Verfahren und Vorrichtung zur Überwachung
JP2006276903A (ja) * 2005-03-25 2006-10-12 Fuji Xerox Co Ltd 文書処理装置
DE102006014634B4 (de) * 2005-04-01 2014-01-30 Abb Research Ltd. Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System
JP2007031102A (ja) * 2005-07-28 2007-02-08 Mitsubishi Heavy Ind Ltd クレーン装置の遠隔操作装置及びクレーン装置並びにクレーン装置の遠隔操作システム
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7958456B2 (en) 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
KR100792295B1 (ko) * 2005-12-29 2008-01-07 삼성전자주식회사 컨텐츠 네비게이션 방법 및 그 컨텐츠 네비게이션 장치
US20070188473A1 (en) * 2006-02-14 2007-08-16 Picsel Research Limited System and methods for document navigation
US7996792B2 (en) 2006-09-06 2011-08-09 Apple Inc. Voicemail manager for portable multifunction device
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
ATE505756T1 (de) * 2006-10-24 2011-04-15 Krones Ag Bedienungshilfe für eine vorrichtung zum behandeln von behältnissen
ATE473474T1 (de) * 2007-03-30 2010-07-15 Abb Research Ltd Verfahren zum betrieb ferngesteuerter kameras in einem industriellen verfahren
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20100315416A1 (en) * 2007-12-10 2010-12-16 Abb Research Ltd. Computer implemented method and system for remote inspection of an industrial process
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8405621B2 (en) * 2008-01-06 2013-03-26 Apple Inc. Variable rate media playback methods for electronic devices with touch interfaces
US8117889B2 (en) * 2008-02-13 2012-02-21 Kabushiki Kaisha Toshiba Inspection system for pressure transmitting device of plant
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8484355B1 (en) 2008-05-20 2013-07-09 Verizon Patent And Licensing Inc. System and method for customer provisioning in a utility computing platform
US8473615B1 (en) 2008-05-20 2013-06-25 Verizon Patent And Licensing Inc. System and method for customer provisioning in a utility computing platform
US20120044141A1 (en) * 2008-05-23 2012-02-23 Hiromu Ueshima Input system, input method, computer program, and recording medium
CN102047212B (zh) * 2008-05-27 2014-12-10 Abb研究有限公司 过程控制系统中的工作站
US20100001978A1 (en) * 2008-07-02 2010-01-07 Stephen Brian Lynch Ambient light interference reduction for optical input devices
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
EP2309358B1 (de) * 2008-08-06 2016-09-21 Mitsubishi Electric Corporation Anlagenüberwachungssteuersystem
US8970594B2 (en) * 2008-10-06 2015-03-03 Institutt For Energiteknikk Plant process display
WO2010041358A1 (ja) * 2008-10-08 2010-04-15 株式会社ソニー・コンピュータエンタテインメント ゲーム制御プログラム、ゲーム装置、及びゲーム制御方法
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
JP5491043B2 (ja) * 2009-02-25 2014-05-14 京セラ株式会社 生体認証機能付きデータ処理装置
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US8839155B2 (en) * 2009-03-16 2014-09-16 Apple Inc. Accelerated scrolling for a multifunction device
US9042708B2 (en) * 2009-03-31 2015-05-26 Fisher-Rosemount Systems, Inc. Digital video recording and playback of user displays in a process control system
KR101545736B1 (ko) * 2009-05-04 2015-08-19 삼성전자주식회사 휴대용 단말기에서 3차원 컨텐츠를 생성하기 위한 장치 및 방법
TWI452488B (zh) * 2009-05-18 2014-09-11 Pixart Imaging Inc 應用於感測系統的控制方法
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9690599B2 (en) * 2009-07-09 2017-06-27 Nokia Technologies Oy Method and apparatus for determining an active input area
US8624933B2 (en) 2009-09-25 2014-01-07 Apple Inc. Device, method, and graphical user interface for scrolling a multi-section document
US20110087988A1 (en) * 2009-10-12 2011-04-14 Johnson Controls Technology Company Graphical control elements for building management systems
US9030555B2 (en) * 2009-11-25 2015-05-12 Lg Electronics Inc. Surveillance system
WO2011079208A1 (en) * 2009-12-24 2011-06-30 Flir Systems, Inc. Cameras with on-board reporting capabilities
US20110163967A1 (en) * 2010-01-06 2011-07-07 Imran Chaudhri Device, Method, and Graphical User Interface for Changing Pages in an Electronic Document
EP2523081B1 (de) * 2010-01-06 2019-09-18 Huawei Device Co., Ltd. Verfahren und endgerät zur anzeige eines bildes/einer schnittstelle
US8539369B2 (en) * 2010-01-06 2013-09-17 La Crosse Technology, Ltd. Central monitoring and measurement system
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8638371B2 (en) * 2010-02-12 2014-01-28 Honeywell International Inc. Method of manipulating assets shown on a touch-sensitive display
US20110199386A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Overlay feature to provide user assistance in a multi-touch interactive display environment
US8570286B2 (en) * 2010-02-12 2013-10-29 Honeywell International Inc. Gestures on a touch-sensitive display
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
WO2011122610A1 (ja) * 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
USD803227S1 (en) * 2010-10-08 2017-11-21 Oath (Americas) Inc. Display apparatus including a computer generated icon
US8630913B1 (en) 2010-12-20 2014-01-14 Target Brands, Inc. Online registry splash page
US8589242B2 (en) 2010-12-20 2013-11-19 Target Brands, Inc. Retail interface
US8972895B2 (en) 2010-12-20 2015-03-03 Target Brands Inc. Actively and passively customizable navigation bars
US8606652B2 (en) 2010-12-20 2013-12-10 Target Brands, Inc. Topical page layout
US8606643B2 (en) 2010-12-20 2013-12-10 Target Brands, Inc. Linking a retail user profile to a social network user profile
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8756121B2 (en) 2011-01-21 2014-06-17 Target Brands, Inc. Retail website user interface
US20120191223A1 (en) * 2011-01-25 2012-07-26 Honeywell International Inc. System and method for automatically selecting sensors
US8836802B2 (en) 2011-03-21 2014-09-16 Honeywell International Inc. Method of defining camera scan movements using gestures
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
KR101199290B1 (ko) * 2011-03-31 2012-11-09 전자부품연구원 증강현실을 이용한 플랜트 관리 방법 및 시스템
TWI433568B (zh) * 2011-05-05 2014-04-01 Univ Nat Taiwan Science Tech 人境互動系統與應用其之可攜式裝置
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
RS20110272A3 (en) * 2011-06-22 2013-06-28 Jentsch, Klaus Dieter DEVICE AND PROCEDURE FOR REMOTE DIAGNOSTICS AND CONTROL OF AUTOMATED TECHNICAL DEVICES
US8965788B2 (en) 2011-07-06 2015-02-24 Target Brands, Inc. Search page topology
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
JP2013051519A (ja) 2011-08-30 2013-03-14 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP5485245B2 (ja) * 2011-10-26 2014-05-07 シャープ株式会社 画像形成装置の入力装置、および画像形成装置
US9024954B2 (en) 2011-12-28 2015-05-05 Target Brands, Inc. Displaying partial logos
USD705791S1 (en) 2011-12-28 2014-05-27 Target Brands, Inc. Display screen with graphical user interface
USD703687S1 (en) 2011-12-28 2014-04-29 Target Brands, Inc. Display screen with graphical user interface
USD703686S1 (en) 2011-12-28 2014-04-29 Target Brands, Inc. Display screen with graphical user interface
USD712417S1 (en) * 2011-12-28 2014-09-02 Target Brands, Inc. Display screen with graphical user interface
USD706794S1 (en) 2011-12-28 2014-06-10 Target Brands, Inc. Display screen with graphical user interface
USD711400S1 (en) 2011-12-28 2014-08-19 Target Brands, Inc. Display screen with graphical user interface
USD715818S1 (en) 2011-12-28 2014-10-21 Target Brands, Inc. Display screen with graphical user interface
USD711399S1 (en) 2011-12-28 2014-08-19 Target Brands, Inc. Display screen with graphical user interface
USD705792S1 (en) 2011-12-28 2014-05-27 Target Brands, Inc. Display screen with graphical user interface
USD705790S1 (en) 2011-12-28 2014-05-27 Target Brands, Inc. Display screen with graphical user interface
USD706793S1 (en) 2011-12-28 2014-06-10 Target Brands, Inc. Display screen with graphical user interface
USD703685S1 (en) 2011-12-28 2014-04-29 Target Brands, Inc. Display screen with graphical user interface
USD701224S1 (en) 2011-12-28 2014-03-18 Target Brands, Inc. Display screen with graphical user interface
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
WO2013136406A1 (ja) 2012-03-12 2013-09-19 東芝三菱電機産業システム株式会社 データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
TW201348984A (zh) * 2012-05-18 2013-12-01 Primax Electronics Ltd 相片影像管理方法及相片影像管理系統
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
JP5844246B2 (ja) * 2012-11-30 2016-01-13 富士フイルム株式会社 検査結果表示装置及びその作動方法、並びに制御プログラム
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
US11573672B2 (en) * 2013-03-15 2023-02-07 Fisher-Rosemount Systems, Inc. Method for initiating or resuming a mobile control session in a process plant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105264524B (zh) 2013-06-09 2019-08-02 苹果公司 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
US9804735B2 (en) 2013-06-10 2017-10-31 Honeywell International Inc. Frameworks, devices and methods configured for enabling transition of content in a user interface between a map-bound layer and a map-unbound layer
US10114537B2 (en) 2013-06-10 2018-10-30 Honeywell International Inc. Frameworks, devices and methods configured for enabling touch/gesture controlled display for facility information and content with resolution dependent display and persistent content positioning
US9619124B2 (en) 2013-06-10 2017-04-11 Honeywell International Inc. Frameworks, devices and methods configured for enabling gesture-based controlled display for facility information and content in respect of a multi-level facility
US10474240B2 (en) 2013-06-10 2019-11-12 Honeywell International Inc. Frameworks, devices and methods configured for enabling gesture-based interaction between a touch/gesture controlled display and other networked devices
US9672006B2 (en) 2013-06-10 2017-06-06 Honeywell International Inc. Frameworks, devices and methods configured for enabling a multi-modal user interface configured to display facility information
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
JP6163266B2 (ja) 2013-08-06 2017-07-12 アップル インコーポレイテッド リモート機器からの作動に基づくスマート応答の自動作動
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
WO2015184284A1 (en) * 2014-05-29 2015-12-03 Intergraph Corporation Apparatus and method of displaying objects in configurable window groups
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US20150348496A1 (en) * 2014-05-30 2015-12-03 Pixtronix, Inc. Systems and methods for selecting display operation modes
EP3149728B1 (de) 2014-05-30 2019-01-16 Apple Inc. Eingabeverfahren durch einzelne äusserung mit mehreren befehlen
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
JP5927242B2 (ja) * 2014-06-25 2016-06-01 株式会社デジタル 画像データ作成装置および携帯端末装置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9996738B2 (en) * 2015-02-13 2018-06-12 Swan Solutions, Inc. System and method for controlling a terminal device
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
CN108141541A (zh) 2015-10-28 2018-06-08 剑桥机电有限公司 提供光学图像稳定的相机组件
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
JP2018005316A (ja) * 2016-06-28 2018-01-11 株式会社日立システムズ 作業記録解析閲覧システム
CN106780550B (zh) * 2016-09-13 2020-03-31 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP6392839B2 (ja) * 2016-12-21 2018-09-19 ファナック株式会社 画像表示装置
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10540871B2 (en) 2017-07-05 2020-01-21 Oneevent Technologies, Inc. Evacuation system
US11212432B2 (en) * 2018-01-04 2021-12-28 Sony Group Corporation Data transmission systems and data transmission methods
KR102103851B1 (ko) * 2019-10-01 2020-05-29 한화시스템 주식회사 방위각 조정이 가능한 차세대 함정용 irst 및 mfr 표적 비디오의 파노라믹 동기 전시 장치
KR102103847B1 (ko) * 2019-10-01 2020-05-29 한화시스템 주식회사 차세대 함정용 irst 및 mfr 표적 비디오의 파노라믹 동기 전시 장치
KR102103855B1 (ko) * 2019-10-02 2020-05-29 한화시스템 주식회사 줌인/줌아웃 기능이 구비된 차세대 함정용 irst 및 mfr 표적 비디오의 파노라믹 동기 전시 장치
DE102019134580A1 (de) 2019-12-16 2021-06-17 Samson Aktiengesellschaft System zur optischen Kommunikation in einer prozesstechnischen Anlage und prozesstechnische Anlage
US11086491B1 (en) 2020-01-21 2021-08-10 Honeywell International Inc. Systems and methods for displaying video streams on a display
US20210247436A1 (en) * 2020-02-10 2021-08-12 Darryl Mendivil Real-Time Fault Detection and Infrared Inspection System
CN116420125A (zh) 2020-09-30 2023-07-11 内奥诺德公司 光学触摸传感器
JP2023042130A (ja) * 2021-09-14 2023-03-27 株式会社リコー 情報処理システム、画像形成装置、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4033303A1 (de) * 1989-10-20 1991-04-25 Hitachi Ltd Ueberwachungssystem fuer stoerungen

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6038358B2 (ja) 1978-07-19 1985-08-31 エス・カ−・ウエ−・トロストベルク・アクチエンゲゼルシヤフト 肥料溶液及びその製造方法
US4258385A (en) * 1979-05-15 1981-03-24 Combined Logic Company Interactive video production system and method
JPS55159479A (en) * 1979-05-30 1980-12-11 Mitsubishi Electric Corp Monitor unit
US4286289A (en) * 1979-10-31 1981-08-25 The United States Of America As Represented By The Secretary Of The Army Touch screen target designator
JPS58194483A (ja) * 1982-05-07 1983-11-12 Toshiba Eng Co Ltd 画像表示方式
DE3314181A1 (de) 1983-04-19 1984-10-25 Kraftwerk Union AG, 4330 Mülheim Verfahren zur ueberwachung der ermuedung von bauteilen, z.b. in kernkraftwerken
JPS6049389A (ja) * 1983-08-29 1985-03-18 シャープ株式会社 ワークステーションの画面表示装置
JPS60130789A (ja) * 1983-12-19 1985-07-12 株式会社東芝 画像管理装置
JPS60194691A (ja) 1984-03-15 1985-10-03 Niles Parts Co Ltd 撮像方向表示機能を備えた自動車用後方監視装置
JPS6175375A (ja) 1984-04-28 1986-04-17 三菱電機株式会社 車載ナビゲ−シヨン装置
JPS60262094A (ja) 1984-06-11 1985-12-25 株式会社東芝 プラント監視装置
JPS611137A (ja) 1984-06-14 1986-01-07 Matsushita Electric Works Ltd 多重操作形操作盤
US4717971A (en) * 1984-08-24 1988-01-05 Eastman Kodak Company Partitioned editing method for a collection of video still pictures
JPS61187480A (ja) 1985-02-15 1986-08-21 Toshiba Corp プロセス監視装置
JPH0783368B2 (ja) * 1985-03-27 1995-09-06 株式会社日立製作所 多元情報伝送システム
US4801421A (en) 1985-06-04 1989-01-31 Westinghouse Electric Corp. On-line monitoring and analysis of reactor vessel integrity
JPS6231272A (ja) 1985-08-02 1987-02-10 Canon Inc 雲台制御装置
JPS6281887A (ja) 1985-10-04 1987-04-15 Fujitsu Ltd 画像表示方式
US4893115A (en) * 1985-11-12 1990-01-09 John Fluke Mfg. Co., Inc. Touch sensitive visual display system
JPS62136991A (ja) 1985-12-10 1987-06-19 Matsushita Electric Works Ltd 異常監視装置
JPS6310988A (ja) 1986-07-02 1988-01-18 Mitsubishi Electric Corp 視野制御装置
JPS6361597A (ja) * 1986-09-01 1988-03-17 Mitsubishi Electric Corp 遠方監視制御装置の親局装置
US4763356A (en) * 1986-12-11 1988-08-09 AT&T Information Systems, Inc. American Telephone and Telegraph Company Touch screen form entry system
US4857902A (en) * 1987-05-14 1989-08-15 Advanced Interaction, Inc. Position-dependent interactivity system for image display
JP2523666B2 (ja) 1987-07-31 1996-08-14 株式会社日立製作所 プラント運転状態表示装置
JP2693777B2 (ja) 1988-03-23 1997-12-24 株式会社日立製作所 対話画面定義方法およびその装置
US4914624A (en) * 1988-05-06 1990-04-03 Dunthorn David I Virtual button for touch screen
US5201034A (en) * 1988-09-30 1993-04-06 Hitachi Ltd. Interactive intelligent interface
US6099522A (en) * 1989-02-06 2000-08-08 Visx Inc. Automated laser workstation for high precision surgical and industrial interventions
JPH02224101A (ja) 1989-02-27 1990-09-06 Toshiba Corp Ｃｒｔ監視制御装置
US4992866A (en) * 1989-06-29 1991-02-12 Morgan Jack B Camera selection and positioning system and method
JPH0353292A (ja) * 1989-07-21 1991-03-07 Fuji Facom Corp Ｃｒｔ２段積オペレータコンソール
JPH0372397A (ja) * 1989-08-11 1991-03-27 Tokyo Electric Co Ltd ガイダンスモニター装置
US5021878A (en) * 1989-09-20 1991-06-04 Semborg-Recrob, Corp. Animated character system with real-time control
EP0436312A3 (en) 1989-12-14 1993-06-09 Westinghouse Electric Corporation Diagnostic expert system monitor
JP2947840B2 (ja) * 1989-12-22 1999-09-13 株式会社日立製作所 プラント運転監視装置
US5124908A (en) * 1990-04-23 1992-06-23 Ellis Corporation User interactive expert machine controller
JP2667554B2 (ja) 1990-06-05 1997-10-27 株式会社東芝 プラント監視装置
US5025314A (en) * 1990-07-30 1991-06-18 Xerox Corporation Apparatus allowing remote interactive use of a plurality of writing surfaces
FR2669752B1 (fr) * 1990-11-24 1994-04-01 Hitachi Ltd Systeme de controle de processus et procede d'affichage de fenetres pour un tel systeme.
US5307456A (en) * 1990-12-04 1994-04-26 Sony Electronics, Inc. Integrated multi-media production and authoring system
US5684514A (en) * 1991-01-11 1997-11-04 Advanced Interaction, Inc. Apparatus and method for assembling content addressable video
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US5296945A (en) * 1991-03-13 1994-03-22 Olympus Optical Co., Ltd. Video ID photo printing apparatus and complexion converting apparatus
JP2960803B2 (ja) * 1991-08-28 1999-10-12 株式会社日立製作所 デジタル放送信号受信装置およびデジタル放送信号受信テレビジョン受信機
JPH0649389A (ja) 1992-07-28 1994-02-22 Toshiba Corp コーティング用シリカ液の製造方法
US5621429A (en) * 1993-03-16 1997-04-15 Hitachi, Ltd. Video data display controlling method and video data display processing system
JPH06314181A (ja) * 1993-04-28 1994-11-08 Hitachi Ltd 複数ディスプレイによる対話型制御システムとその制御方法
CA2174336A1 (en) * 1993-10-20 1995-04-27 Leo M. Cortjens Adaptive videoconferencing system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4033303A1 (de) * 1989-10-20 1991-04-25 Hitachi Ltd Ueberwachungssystem fuer stoerungen

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EBERT, M.: Animation, brauchen wir die schon? In: Design & Elektronik 15 vom 24.7.90, S. 99f *
RIENECKER, W.: Digitale Bildverarbeitung. In: Elektronik, Heft 7, 1990, S. 86-96 *
WILLIAMS, T.: Graphics interfaces make knobs and switches obsolete. In: Computer Design H 15, 1990, S. 78-94 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996864B2 (en) 1994-08-31 2011-08-09 Gemstar Development Corporation Method and apparatus for displaying television programs and related text
US9319735B2 (en) 1995-06-07 2016-04-19 Rovi Guides, Inc. Electronic television program guide schedule system and method with data feed access
US8869204B2 (en) 1996-05-03 2014-10-21 Starsight Telecast, Inc. Method and system for displaying advertisements in an electronic program guide
US8776125B2 (en) 1996-05-03 2014-07-08 Starsight Telecast Inc. Method and system for displaying advertisements in an electronic program guide
US8336071B2 (en) 1996-12-19 2012-12-18 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
US8448209B2 (en) 1996-12-19 2013-05-21 Gemstar Development Corporation System and method for displaying advertisements responsive to EPG information
US8635649B2 (en) 1996-12-19 2014-01-21 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
US8726311B2 (en) 1996-12-19 2014-05-13 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
US8732757B2 (en) 1996-12-19 2014-05-20 Gemstar Development Corporation System and method for targeted advertisement display responsive to user characteristics
US9015749B2 (en) 1997-07-21 2015-04-21 Rovi Guides, Inc. System and method for modifying advertisement responsive to EPG information
US8918807B2 (en) 1997-07-21 2014-12-23 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
US9191722B2 (en) 1997-07-21 2015-11-17 Rovi Guides, Inc. System and method for modifying advertisement responsive to EPG information
US9635406B2 (en) 1998-05-15 2017-04-25 Rovi Guides, Inc. Interactive television program guide system for determining user values for demographic categories
US9426509B2 (en) 1998-08-21 2016-08-23 Rovi Guides, Inc. Client-server electronic program guide
US8931008B2 (en) 1999-06-29 2015-01-06 United Video Properties, Inc. Promotional philosophy for a video-on-demand-related interactive display within an interactive television application
US8863170B2 (en) 2000-03-31 2014-10-14 United Video Properties, Inc. System and method for metadata-linked advertisements
US10015562B2 (en) 2000-03-31 2018-07-03 Rovi Guides, Inc. System and method for metadata-linked advertisements
US9092503B2 (en) 2006-03-06 2015-07-28 Veveo, Inc. Methods and systems for selecting and presenting content based on dynamically identifying microgenres associated with the content
US9128987B2 (en) 2006-03-06 2015-09-08 Veveo, Inc. Methods and systems for selecting and presenting content based on a comparison of preference signatures from multiple users
US9075861B2 (en) 2006-03-06 2015-07-07 Veveo, Inc. Methods and systems for segmenting relative user preferences into fine-grain and coarse-grain collections
US10984037B2 (en) 2006-03-06 2021-04-20 Veveo, Inc. Methods and systems for selecting and presenting content on a first system based on user preferences learned on a second system
US9749693B2 (en) 2006-03-24 2017-08-29 Rovi Guides, Inc. Interactive media guidance application with intelligent navigation and display features
US9215504B2 (en) 2006-10-06 2015-12-15 Rovi Guides, Inc. Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications
US8832742B2 (en) 2006-10-06 2014-09-09 United Video Properties, Inc. Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications
US9326025B2 (en) 2007-03-09 2016-04-26 Rovi Technologies Corporation Media content search results ranked by popularity
US10694256B2 (en) 2007-03-09 2020-06-23 Rovi Technologies Corporation Media content search results ranked by popularity
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
US9736524B2 (en) 2011-01-06 2017-08-15 Veveo, Inc. Methods of and systems for content search based on environment sampling
DE102020204110A1 (de) 2020-03-30 2021-09-30 Airbus Operations Gmbh Videoüberwachungssystem für eine Kabine eines Luftfahrzeugs, Luftfahrzeug und Anschluss- und Datenübertragungsset

Also Published As

Publication number Publication date
KR930700931A (ko) 1993-03-16
US6965376B2 (en) 2005-11-15
KR100257593B1 (en) 2000-05-15
US6335722B1 (en) 2002-01-01
KR100318330B1 (ko) 2002-04-22
US20040227739A1 (en) 2004-11-18
WO1992017875A1 (en) 1992-10-15
US20020075244A1 (en) 2002-06-20
DE4290947T1 (de) 1993-04-01

Similar Documents

Publication Publication Date Title
DE4290947B4 (de) Interaktives videogestütztes Bedienungsverfahren und -vorrichtung
DE4127809A1 (de) Verfahren und einrichtung zum anzeigen eines arbeitsablaufs
US5010500A (en) Gesture-modified diagram for retrieval of image resembling diagram, with parts selectable for further interactive retrieval
US5513306A (en) Temporal event viewing and editing system
DE60025406T2 (de) Laufbilderinformationsanzeigeverfahren und -gerät
DE69837366T2 (de) Verfahren und Vorrichtung zur Anzeige des bewegten Objektes auf einem Hintergrund Bild
DE69632384T2 (de) Gerät und Verfahren zur Steuerung einer Mehrzahl von Fernkameras
DE69725875T2 (de) Videobetrachtungserfahrungen mit hilfe von standbildern
DE69530367T2 (de) Kontrolle eines Mikroskopprobenträgers
JP3320197B2 (ja) 画像編集装置及びその方法
DE102012110508A1 (de) Roboter Einstellvorrichtung mit 3-D Display
DE19825302B4 (de) System zur Einrichtung einer dreidimensionalen Abfallmatte, welche eine vereinfachte Einstellung räumlicher Beziehungen zwischen realen und virtuellen Szeneelementen ermöglicht
JPH0579951A (ja) 監視システム
DE112016002373T5 (de) Tracking-support-vorrichtung, tracking-support-system und tracking-support-verfahren
DE4332193A1 (de) Verfahren und System zur Verarbeitung und On-Line-Darstellung von Multimedia-Information in einer Baumstruktur
DE3512505A1 (de) System zur bearbeitung von graphik-daten fuer einen cad-arbeitsplatz
KR20000071313A (ko) 감시 시스템에 있어서의 화상 기록/재생 장치
CN101695125A (zh) 视频智能跟踪导航的实现方法及系统
DE112019001607T5 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
EP1490832A1 (de) Virtuelles mikroskop - vorrichtung und verfahren
US5986660A (en) Motion capture data system and display
DE4414360C2 (de) Interaktives Steuerungssystem mit mehreren Anzeigen und Verfahren zum Betreiben eines solchen
DE102018118422A1 (de) Verfahren und system zur darstellung von daten von einer videokamera
DE4138453A1 (de) Prozessbeobachtungssystem und fensteranzeigeverfahren hierfuer
DE4013615C2 (de) Stehbild-Ablagesystem

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8125 Change of the main classification

Ipc: G06F 3/00

8125 Change of the main classification

Ipc: G06F 3/14

8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20111001

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20111101