-
TECHNISCHES GEBIET
-
Die
vorliegende Erfindung betrifft ein System und ein Verfahren zum
Fernsteuern eines Computers durch optisches Verfolgen und Synchronisieren
eines drahtlosen optischen Zeigegerätes mit einem projizierten Bild
des Computerbildschirms.
-
HINTERGRUND DER TECHNIK
-
Es
ist eine Reihe von Systemen und Verfahren zum Fernsteuern eines
Computers entwickelt worden, um die konventionelle Tastatur/Maus-Schnittstelle
an eine Vielzahl verschiedener Anwendungen und Präferenzen
von Nutzern anzupassen. Verschiedene Technologien, einschließlich Ultraschall,
Infrarot- und Hochfrequenz-Verfahren, wurden verwendet, um Nutzern
eine größere Mobilität bezüglich des
Computerprozessors und/oder des Anzeigebildschirms zu bieten. Meist
kommen bei diesen Technologien kundenspezifische Sender/Empfänger zum
Einsatz, mit denen Steuerungs- und Statusinformationen zum Steuern
des Computers zwischen dem Nutzer und dem Computer übertragen
werden können.
Einige Systeme verwenden Sensoren, die sich am Nutzer, am Computer
und/oder an einer Anzeigevorrichtung befinden, um die Bewegung des
Nutzers und/oder einer drahtlosen Zeigevorrichtung in Bezug auf
die Sensoren zu ermitteln. Wenngleich diese Verfahren für einige
Anwendungen akzeptabel sind, ist ihre Nutzung mitunter durch eine
benötigte
Sichtlinie bzw. einen notwendigen Abstand eingeschränkt. Ebenso
sind für
diese Systeme komplizierte und oft teure Anlagen erforderlich, die
sich möglicherweise
nicht ohne weiteres für
die verschiedenen Foren eignen, bei denen das Publikum aus einigen
wenigen Personen oder auch aus einem großen Auditorium bestehen kann.
-
Da
für grafische
Präsentationen
und/oder Demonstrationen zunehmend Computer verwendet werden, werden
größere Anzeigevorrichtungen
benutzt, die einem sehr unterschiedlich großen Publikum die Sicht ermöglichen.
Viele Präsentationen,
beispielsweise Diashows und dergleichen, benötigen nur eine relativ einfache
Steuerung des Computers während
der eigentlichen Präsentation.
Für Befehle,
die Dias in Vorwärtsrichtung
oder in umgekehrter Richtung anzeigen oder eine Anzeigeabfolge in
Gang setzen, ist lediglich eine Grundvariante einer Benutzerscnnittstelle
oder Fernsteuerung erforderlich, um mit dem Computer zu kommunizieren.
Kompliziertere Präsentationen
oder Demonst rationen, wie sie beispielsweise für Schulungen oder Lehrgänge von
Softwarenutzern verwendet werden, benötigen allerdings eine kompliziertere
Schnittstelle bzw. Fernbedienung, um den Computer effektiv zu betätigen. Herkömmlicherweise
ist es notwendig, dass der Vortragende entweder in der Nähe des Rechners
bleibt, um die Tastatur und/oder die Zeigevorrichtung (Maus, Touchpad,
Rollkugel, usw.) zu bedienen, oder dass er einen Assistenten hat,
der diese erforderlichen Operationen ausführt. In
US 5.138.304 ist ein Verfahren zum
Steuern eines Computers gemäß dem vorcharakterisierenden
Teil aus Anspruch 1 offen gelegt.
-
Offenlegung der Erfindung
-
Somit
besteht eine Aufgabe der vorliegenden Erfindung darin, ein System
und ein Verfahren zum Fernsteuern eines Computers in ähnlicher
Art und Weise zu schaffen, wie dies bei einer konventionellen Zeigevorrichtung
erfolgt.
-
Eine
weitere Aufgabe der vorliegenden Erfindung besteht in der Schaffung
eines Systems und Verfahrens zum Fernsteuern eines Computers auf
der Grundlage von Eigenschaften eines optischen Zeigers, mit dem
ein Cursor oder eine optische Markierung auf ein projiziertes Bild
eines Computerbildschirms gelegt wird.
-
Eine
weitere Aufgabe der Erfindung besteht in der Schaffung eines Systems
und eines Verfahrens zum Synchronisieren der Position und/oder der
Bewegung eines Cursors auf einem Computerbildschirm mit der Position
und/oder der Bewegung eines optischen Zeigers.
-
Eine
weitere Aufgabe der Erfindung besteht in der Schaffung eines Systems
und Verfahrens zum Erkennen von Eigenschaften eines optischen Zeigers,
wie beispielsweise dessen Form, Farbe, Intensität, Bewegung oder ähnliche
Eigenschaften, in Bezug auf eine Computeranzeige, um einem Computer
Befehle bereitzustellen.
-
Noch
eine andere Aufgabe der Erfindung besteht in der Schaffung eines
Systems und Verfahrens zum Fernsteuern eines Computers mit Hilfe
von positionsbezogenen Befehlen, die Eigenschaften eines auf eine Computeranzeige
gelegten optischen Cursors entsprechen.
-
Wiederum
eine andere Aufgabe der Erfindung besteht in der Schaffung eines
Systems und Verfahrens zum verbindungslosen optischen Verfolgen
von Licht mit einem Computer, um eine konventionelle Computerzeigevorrichtung
zu emulieren.
-
Erfindungsgemäß wird ein
Verfahren zum Fernsteuern eines Computers nach Anspruch 1 der beiliegenden
Patentansprüche
geschaffen.
-
Weiterhin
wird ein Computer-Präsentationssystem
zum Erzeugen von Befehlen zwecks Fernsteuerung eines Computers nach
Anspruch 15 der beiliegenden Patentansprüche geschaffen sowie ein computerlesbares
Speichermedium mit gespeicherten Daten, die Befehle darstellen,
die von einem Computer nach Anspruch 16 der beiliegenden Patentansprüche ausgeführt werden
können.
-
Zur
Umsetzung der oben genannten Aufgaben und weiterer Ziele, Merkmale
und Vorteile der Erfindung umfasst ein Verfahren zum Fernsteuern
eines Computers ein System und ein Verfahren zum Fernsteuern eines
Computers mit einem dazugehörigen
Bildschirm zum Anzeigen einer Ausgabe von dem Computer und mit einem
internen Cursor, der von dem Computer erzeugt wird, die umfassen:
das Ermitteln wenigstens einer Eigenschaft eines externen Cursors
relativ zu dem Bildschirm und Erzeugen eines Befehls für den Computer auf
der Basis der wenigstens einen ermittelten Eigenschaft des externen
Cursors. Bei einer Ausführungsform weist
die Erfindung einen Computer auf, der an einen Projektor angeschlossen
ist, der ein Bild der Computerausgabe auf einen externen Bildschirm
projiziert. Zum Erfassen eines Bildes der projizierten Computerausgabe
wird eine Kamera verwendet. Ein optisches Zeigegerät, z. B.
ein Laserpointer, wird zum Erzeugen und Übertragen eines externen Cursors
mit verschiedenen Eigenschaften, beispielsweise Farbe, Form oder
Intensität,
verwendet. Mit dem von der Kamera erfassten Bild wird wenigstens
eine Eigenschaft des externen Cursors ermittelt und verarbeitet,
so dass ein oder mehrere Befehle zum Steuern des Computers erzeugt
werden. Es können
Befehle zum Emulieren der Steuerung des Computers verwendet werden,
die typischerweise von einer Zeigervorrichtung, z. B. einer Maus,
einer Rollkugel oder dergleichen, bereitgestellt werden.
-
Im
Vergleich zu Strategien nach dem bisherigen Stand der Technik bietet
die vorliegende Erfindung eine Reihe von Vorteilen. Z. B. ermöglicht es
die vorliegende Erfindung dem Nutzer, eine konventionelle optische
Zeigervorrichtung, z. B. einen Laserpointer, für die Bereitstellung positionsabhängiger Befehle
an einen ferngesteuerten Computer zu nutzen. Somit schafft die vorliegende
Erfindung eine relativ einfache Fern-Benutzeroberfläche, die eine komplexere Steuerung
des Computers ähnlich
wie eine konventionelle Computerzeigervorrichtung, z. B. eine Maus
oder eine Rollkugel, ausführen
kann. Die Erfindung ermöglicht
es einem Nutzer, einen Computer für eine Softwaredemonstration
von einem beliebigen Standort aus zu steuern, an dem über ein
optisches Zeigegerät
auf einen Computerbildschirm oder ein projiziertes Bild des Computerbildschirms
zugegriffen werden kann. Bei einer Ausführungsform beinhaltet die Erfindung einen
Projektor und eine Videokamera und/oder eine Bilderfassungsvorrichtung
innerhalb einer einzigen Einheit.
-
Die
obigen Vorteile und weitere Vorteile, Aufgaben und Merkmale der
Erfindung werden mühelos
aus der nachfolgenden detaillierten Beschreibung der besten Ausführungsform
der Erfindung im Zusammenhang mit der Betrachtung der beiliegenden
Zeichnungen verständlich.
-
KURZE BESCHREIBUNG DER
ZEICHNUNGEN
-
1 ist
ein Blockdiagramm, das ein repräsentatives
Computer-Präsentationssystem
mit optischer Verfolgung zum Fernsteuern des Computers nach der
vorliegenden Ausführungsform
zeigt;
-
2 ist
ein Diagramm, welches die Projektion von Eich-Retikeln bzw. Bezugsmarkierungen
und die Ableitung von Koordinaten für einen externen Cursor einer
erfindungsgemäßen Ausführungsform
darstellt, und
-
3 ist
ein Ablaufdiagramm, das die Funktionsweise eines Systems oder Verfahrens
zum Fernsteuern eines Computers mit optischer Verfolgung eines externen
Cursors nach der Erfindung darstellt.
-
BESTE AUSFÜHRUNGSFORM
DER ERFINDUNG
-
In 1 ist
ein Blockdiagramm dargestellt, das ein erfindungsgemäßes repräsentatives
Computer-Präsentationssystem
mit optischer Verfolgung zum Fernsteuern des Computers zeigt. Hierbei
soll die Fernsteuerung des Computers die Steuerung verschiedener
Anwendungsprogramme und/oder des Betriebssystems des Computers umfassen.
Bei dieser Ausführungsform
ist der Computer 10 an einen Videoprojektor 12 und
eine Videokamera 14 angeschlossen. Der Videoprojektor 12 projiziert
ein Bild 16 der Computerausgabe auf eine Projektionsfläche oder
einen Bildschirm, allgemein mit der Bezugsziffer 18 angegeben.
Vorzugsweise ist der Bildschirm 18 ein „passiver" Bildschirm, d.h. eine weitgehend planare
Fläche,
die von dem Computer 10 entfernt ist und eine Lichtfarbe
hat, mit der ein ausreichender Kontrast für das Bild der vom Projektor 12 erzeugten
Computerausgabe entsteht. Eine derartige Fläche kann mit verschiedenen
Objekten geschaffen werden, dazu gehören Projektionsbildschirme,
Wände oder Ähnliches.
Die Ausgabe aus dem Computer 10 kann ebenfalls auf einem „aktiven" Bildschirm angezeigt
werden, wozu ein traditioneller Computerbildschirm 20 eines
Laptop-Computers 10 oder eine beliebige andere Anzeigevorrichtung,
z. B ein Monitor, Fernsehgerät oder
eine ähnliche „aktive" Vorrichtung gehören. Derartige "aktive" Bildschirme können allein
oder mit einem oder mehreren „passiven" Bildschirmen verwendet
werden, ohne vom Geist oder Schutzumfang der Erfindung abzuweichen.
-
Wie
weiterhin aus 1 deutlich wird, wird ein externer
Cursor, allgemein mit der Bezugsziffer 22 angegeben, auf
das Bild 16 gelegt, das aus dem Computer 10 ausgegeben
wird. Bei dieser Anwendung ist ein externer Cursor einer, der außerhalb
des Computers 10 erzeugt wird, d.h. von einer anderen Vorrichtung,
zu der ein anderer Computer, Projektor oder Ähnliches gehören könnte. Bei
einer Ausführungsform
wird der externe Cursor 22 von einem in der Hand gehaltenen
optischen Zeigegerät 24 erzeugt,
mit dem wenigstens eine Eigenschaft des externen Cursors 22 verändert werden
kann. Beispielsweise kann das optische Zeigegerät 24 die Farbe, Form,
Größe, Intensität, das Beleuchtungsmuster,
die Bewegung und/oder Position des externen Cursors 22 verändern, um
einen oder mehrere Befehle zu erzeugen und so den Computer 10 erfindungsgemäß fernzusteuern.
Bei einer bevorzugten Ausführungsform
ist das optische Zeigegerät 24 ein
Laserpointer, der einen externen Cursor in einer von zwei vom Nutzer
auswählbaren
Farben erzeugen kann. Bei dieser Ausführungsform hat der externe
Cursor eine wesentlich höhere
Intensität
als die Ausgabe des Computers und lässt sich daher einfacher erkennen.
-
Vorzugsweise
erfasst die Kamera 14 ein Bild mit wenigstens einem wesentlichen
Teil von Bild 16, das vom Projektor 12 erzeugt
wird. Bei einer alternativen Ausführungsform, bei der ein aktiver
Bildschirm verwendet wird, erfasst die Kamera 14 vorzugsweise
im Wesentlichen einen großen
Teil des aktiven Bildschirms, d.h. des Computermonitors, der Anzeige
oder des Fernsehbildes. Der Computer 10 verarbeitet das
erfasste Bild, um wenigstens eine Eigenschaft des externen Cursors 22 zu
ermitteln. Bei einer bevorzugten Ausführungsform der Erfindung verarbeitet
der Computer 10 das Bild 16, um wenigstens die
Position des externen Cursors 22 zu ermitteln und einen
oder mehrere geeignete Befehle zu erzeugen, mit denen ein interner
Cursor 26 auf etwa die gleiche Position bewegt wird wie
ein externer Cursor 24. Ebenso kann der Computer das Bild 16 verarbeiten,
um verschiedene andere Eigenschaften des externen Cursors 22 zu
ermitteln und positionsabhängige
Befehle zu erzeugen, die zum Fernsteuern des Computers 10 verwendet
werden. Solche Positionen bzw. kontextabhängigen Befehle können einen
Befehl „Linksklick" oder „Rechtsklick" emulieren, der von
einer traditionellen Computerzeigevorrichtung, z. B. einer Maus,
einer Rollkugel, einem Touchpad oder dergleichen, erzeugt wird.
Ebenso können
je nach Anwendung verschiedene andere Befehle mit einer oder mehreren
Eigenschaften des externen Cursors 22 in Zusammenhang gebracht
werden.
-
Bei
einer Ausführungsform
der Erfindung kann der Computer 10 periodisch Retikel bzw.
Bezugsmarkierungen erzeugen, die allgemein mit der Bezugsziffer 28 angegeben
sind, um das von der Kamera 14 erfasste Bild in Bezug auf
das Bild 16 auf dem Bildschirm 18 zu eichen bzw.
auszurichten. Vorzugsweise enthält
jede der vier Ecken des Bildes der Computerausgabe ein Retikel bzw.
eine Bezugsmarkierung oder mehrere Bezugsmarkierungen, das/die zum
Abgrenzen der „aktiven" Verfolgungsregion
verwendet wird/werden, in der der externe Cursor 22 erkannt
wird. Die Bezugsmarkierungen können
eine beliebige Form aufweisen, z. B. einen rechten Winkel oder ein
Kreuz. Bei Anwendungen, in denen der Bildschirm 18 nicht
weitgehend planar ist, sollten die Bezugsmarkierungen 28 einen
größeren Teil
des Bildschirms abdecken. So können
sich die Bezugsmarkierungen beispielsweise horizontal oder vertikal über den
Bildschirm 18 erstrecken.
-
Vorzugsweise
sind der Projektor 12 (falls verwendet), die Kamera 14 und
der Bildschirm 18 feststehend und bleiben weitgehend fixiert,
um den Eich/Ausricht- und den Verfolgungsprozess zu erleichtern.
Allerdings kann die Erfindung auch in Anwendungen zum Einsatz kommen,
bei denen eine oder mehrere dieser Vorrichtungen die Position ändern, obwohl
dadurch das Ermitteln der Eigenschaften des externen Cursors 22 komplexer
und rechenintensiver wird. Der Eich- oder Ausrichtprozess kann auf
der Grundlage einer Nutzeranforderung in vorgegebenen Intervallen
automatisch und/oder immer dann wiederholt werden, wenn der externe Cursor 22 nicht
erkannt wird. Bei einer Ausführungsform
der Erfindung werden die Retikel bzw. Bezugsmarkierungen 28 allmählich zu
der Position des externen Cursors 22 hinbewegt, um die
Verarbeitung des Bildes für
das Erkennen des externen Cursors 22 zu vereinfachen. Bei
dieser Ausführungsform
wird lediglich der Bereich, der von den Bezugsmarkierungen 28 eingegrenzt
ist, zwecks Erkennung des externen Cursors 22 durchsucht
bzw. abgetastet. Wenn der externe Cursor 22 nicht in dem
von den Bezugsmarkierungen 28 definierten Bereich lokalisiert
wird, wird deren Position entweder auf die ursprünglichen Ecken des verarbeiteten
Bildes zurückgesetzt
oder solange allmählich
auf sie hin erweitert, bis der externe Cursor 22 erkannt
wird.
-
2 stellt
ein Einzelbild-Frame 40 dar, das von der Videokamera 14 erfasst
wird. Vorzugsweise werden Frames wiederholt erfasst und verarbeitet,
um wenigstens eine Eigenschaft des externen Cursors 22 zu ermitteln.
Typische Frame-Erfassungsraten liegen bei dreißig oder vierzig Frames pro
Sekunde. Vorzugsweise wird die Frame-Erfassungsrate der Videokamera
und/oder der Ausgabe eines aktiven Bildschirms oder Projektors so
gewählt,
dass in den Frequenzbändern
von Interesse das Aliasing und andere Interfe renzen minimiert werden.
Eine solche Interferenz kann durch die Schwebungsfrequenz oder Differenzfrequenz
zwischen der Auffrischrate des Bildschirms oder Projektors und der
Videokamera entstehen. Verringern lassen sich solche Interferenzdefekte
durch eine angemessene Filterung des erfassten Bildes. Das Filtern
kann als Teil der Bildbearbeitung durch den Prozessor erfolgen oder
durch eine geeignete Hardware als Teil des Bilderfassungsprozesses
stattfinden.
-
Das
Frame 40 des erfassten Bildes enthält vorzugsweise einen wesentlichen
Teil des vom Computer ausgegebenen Bildes, dargestellt durch die
Bezugsziffer 42. Wie in 2 abgebildet,
kann das Computerausgabebild 42 einen konvexen vierseitigen
Bereich innerhalb des erfassten Frames 40 einnehmen. Das
Bild 42 ist nicht rechtwinklig, wenn sich entweder der
Projektor oder die Kamera oder beide nicht auf der Linie befinden,
die quer durch den Mittelpunkt des Bildschirms verläuft. Vorzugsweise
bettet der Computer die Retikel oder Bezugsmarkierungen 28 innerhalb
des Bildes 42 ein oder legt sie auf selbiges. Abhängig von
der speziellen Art der Bezugsmarkierungen, die zum Lokalisieren
der Ecken C1', C2', C3' und C4' verwendet werden, kann
zum Verarbeiten des erfassten Bildes 40 die Linien- und
Schnittpunktmustererkennung zum Einsatz kommen. Das Ermitteln der
Position von C1',
C2', C3' und C4' sowie der Eigenschaften
des externen Cursors wird vereinfacht, da deren kennzeichnende Eigenschaften
bereits von vornherein bekannt sind. Die Identifizierung von Einzelpositionen
innerhalb eines statischen Bildes und die Identifizierung der dynamischen
Bewegung von Merkmalen kann mit einer Reihe bekannter Bildverarbeitungsverfahren
erfolgen, z. B. jene, die in „MACHINE VISION" von Jain, Kasturi
und Schunk, veröffentlicht
von McGraw-Hill, ISBN 0-07-032018-7,
beschrieben sind. Die vorliegende Erfindung ist unabhängig von
den speziellen Bildverarbeitungsverfahren, die zum Identifizieren
oder Erkennen der Eigenschaften des externen Cursors verwendet werden,
mit dem die Fernsteuerung des Computers erfolgt. Nachstehend ist
ein exemplarisches Verfahren zum Ermitteln der Informationen über die
Position des externen Cursors angegeben.
-
Die
Positionen der Ecken C1',
C2', C3' und C4' sowie des externen
Cursors 22 können
für ein
klassisches Videoquadrantensystem mit horizontalen Koordinaten,
die durch X dargestellt sind, und mit vertikalen Koordinaten, dargestellt
durch Y, ermittelt werden, wobei Y = 0 die oberste Abtastzeile darstellt.
Die Anzahl von Abtastzeilen legt den maximalen Y-Wert fest. Die
Positionen, die den Koordinaten für X = 0 entsprechen, sind das
erste (am weitesten links gelegene) Pixel in jeder Abtastzeile,
und die Anzahl von Pixeln pro Abtastzeile legt den maximalen X-Wert
fest. Das Zeilensegment C1–C2
entspricht der X-Achse und das Segment C1–C4 entspricht der Y-Achse.
Punkte innerhalb des Bil des 42 werden durch normierte Koordinaten
(T, U) dargestellt, wobei C1' die
Koordinaten (T = 0,0, U = 0,0) und C3' die Koordinaten (T = 1,0, U = 1,0)
hat. Anschließend
können
die normierten Koordinaten auf eine angemessene Auflösung für das Bild 40 skaliert
werden. Mit einem Paar parametrische Gleichungen lassen sich die
Koordinaten T und U für
jeden beliebigen Punkt in einen bestimmten Video-Frame ermitteln.
Zuerst werden die Koordinatenpaare X-Y für jede Ecke C1' bis C4' dargestellt als:
C1' = (X1', Y1')
C2' = (X2', Y2')
C3' = (X3', Y3')
C4' = (X4', Y4')
-
Die
parametrische Gleichung für
eine Zeile lautet P(Q) = P0 – Q(P0 – P1), wobei
Q in diesem Beispiel durch T und anschließend U ersetzt wird. Die T-Achse
wird mithilfe von C1'-C2' und C4'-C5' definiert, während die
U-Achse mithilfe von C1'-C4' und C2'-C3' definiert
wird. Da nicht sichergestellt ist, dass das eingebettete vierseitige
Bild 42 parallele Grenzen aufweist, handelt es sich beim
Abbilden (Mapping) von (X, Y) auf (T, U) nicht um einen einfachen
rechtwinkligen Abbildungsvorgang im allgemeinen Sinne. Dennoch kann
das Abbilden wie nachstehend beschrieben, abgeleitet werden.
-
Die
parametrischen Gleichungen für
die eingebetteten vierseitigen Grenzen, die das Bild 42 definieren,
werden angegeben durch:
obere Grenze (LT1): p(T) = C1'– T(C1' – C2')
untere Grenze
(LT2): p(T) = C4' – T(C4' – C3')
linke Grenze (LU1): p(U) = C1' – U(C1' – C4')
rechte Grenze
(LU2): p(U) = C2' – U(C2' – C3').
-
Das
Abbilden in (T, U) kann anschließend definiert werden, indem
entweder das Paar LT oder das Paar LU ausgewählt wird und eine parametrische
Gleichung in der anderen Variablen (entweder U oder T) wie folgt definiert
wird: p(T) = LU1 – T(LU1 – LU2) 1oder als Äquivalent
dazu: p(U) = LT1 – U(LT1 – LT2). 2
-
Die
Gleichung 1 stellt dar, wie die U-Achse skaliert und/oder gedreht
wird, während
sie den Weg durch den Raum (T, U) von der Position T = 0 zu der
Position T = 1 zurücklegt.
-
Gleichung
2 stellt dar, wie die T-Achse skaliert und/oder gedreht wird, während sie
den Weg durch den Raum (T, U) von U = 0 zu U = 1 zurücklegt.
Wie bereits erwähnt,
können
beide Gleichungen zum Ermitteln einer parametrischen Gleichung in
der anderen Variablen verwendet werden. Beim vorliegenden Beispiel
wird Gleichung 1 ausgewählt
und die Gleichungen für
LU1 und LU2 werden in die Gleichung 1 hinein substituiert, wodurch
die Gleichung 3 wie folgt entsteht: p(T, U) = [C1' – U(C1' – C4')] – T{[C1' – U(C1' – C4')] – [C2' – U(C2' – C3')]}. 3
-
Um
die Notation zu vereinfachen, ist es sinnvoll, eine Kurzschrift
zu definieren, die die Differenzen bzw. Deltas zwischen den Koordinaten
der Eckpunkte wie folgt angibt:
d1: C1'-C2'
d2:
C2'-C3'
d1: C4'-C3'
d1: C1'-C4'
-
Dort,
wo ein Differenzwert auf die Differenz zwischen den Werten lediglich
einer einzigen Koordinate zutrifft, d.h. lediglich auf die Werte
der X- oder lediglich der Y-Koordinate, wird die Differenz entweder
von einem X bzw. einem Y zwischen dem „d" und der Zahl angegeben. Z. B. gibt
dX2 die Menge (X2'-X3') an, während dY4
die Menge (Y1'-Y4') darstellt. Anschließend werden
die Punktepaare (X',
Y') in Gleichung
3 für C1', C2', C3' und C4' substituiert, wobei
die Delta-Notation zum Vereinfachen der entstehenden Gleichungen
verwendet wird. Je nachdem, wie die vier Punkte, die mit U multipliziert
sind, paarweise aufgestellt sind, entsteht eine der folgenden Gleichungen: p(T, U) = [C1' – U·d4] – T[d1 – U(d1 – d3)] 4 p(T, U) = [C1' – U·d4] – T[d1 – U(d4 – d2)] 5
-
Die
Gleichungen 4 und 5 sind gleichermaßen gültig und stellen jeweils ein
Paar linear voneinander unabhängiger
Gleichungen dar, eine in X und die andere in Y, da p(T, U) von einem
generischen Koordinatenpaar (X, Y) gebildet wird. Für dieses
Beispiel wird Gleichung 5 ausgewählt
und in die X- und Y-Gleichungen unterteilt: X = X1' – U·dX4 – T·dX1 +
UT(dX4 – dX2) 6 Y = Y1' – U·dY4 – T·dY1 +
UT(dY4 – dY2) 7
-
Die
Gleichungen 6 und 7 werden daraufhin für T und U aufgelöst, wodurch
die Gleichungen 8 und 9 wie folgt entstehen:
-
-
Da
die Gleichungen 8 und 9 Linie A voneinander unabhängig sind,
kann jede Gleichung in die andere hinein substituiert werden. Bei
dem vorliegenden Beispiel wird Gleichung 9 in die Gleichung 8 hinein
substituiert, wodurch folgender Ausdruck entsteht:
wobei es sich nun lediglich
um eine Gleichung in T für
einen willkürlichen
Punkt mit den Koordinaten (X, Y) im ursprünglichen Raum handelt. Löst man die
Gleichung 10 für
T auf, so erhält
man in T ein einfaches Quadrat:
0 = AT2 + BT + C 11wobei
- A
- = dY1(dX4 – dX2) – dX1(dY4 – dY2)
- B
- = dX1·dY4 – (Y1 – Y)(dX4 – dX2) – dY1·dX4 +
(X1 – X)(dY4 – dY2)
- C
- = dX4·(Y1 – Y) – dY4(X1 – X).
-
Die
Gleichung 11 kann anschließend
mithilfe der quadratischen Formel gelöst werden. In Gleichung 11
ist A eine Konstante, während
B und C je nach Größe der Werte
von X und Y veränderlich
sind. Wenn sich die Linien schneiden, die durch Verlängerung
der Segmente C1'-C2' und C4'-C3' gebildet werden,
entstehen zwei Lösungen,
von den eine die T-Koordinate des Schnittpunktes ist, die andere
hingegen der korrekte Wert für
T. Wenn sich die Linien nicht schneiden, ist die einzige Lösung der
korrekte Wert für
T. Nachdem der korrekte Wert von T ermittelt ist, wird er erneut
in Gleichung 9 zurücksubstituiert,
um den entsprechenden Wert für
U zu ermitteln.
-
Nachdem
C1', C2', C3' und C4' bekannt und die
(X, Y)-Koordinaten des externen Cursors 22 ermittelt sind,
führt eine
direkte Berechnung zu Werten für
(T, U), welche die „Maus-Koordinaten" für den internen
Cursor 26 der Computerausgabe darstellen, wie das obige
Beispiel verdeutlicht. Da das T-U-Koordinatensystem normiert worden
ist, können
bei der Nachverfolgung alle Koordinaten, bei denen T oder U außerhalb
des normierten Bereiches (0 bis 1) liegen, außer Acht gelassen werden, da
sie nicht in den Bereich des Bildes 42 der Computerausgabe
fallen. Zum Ermitteln der skalierten Werte für die Koordinaten des internen
Cursors 26 wird T durch die horizontale Auflösung und
U durch die vertikale Auflösung
des erfassten Bildes 40 multipliziert. Nachdem durch den
Eich- bzw. Ausrichtprozess C1',
C2', C3' und C4' ermittelt worden
sind, wird wenigstens eine Eigenschaft des externen Cursors 22 überwacht
bzw. nachverfolgt, indem wiederholt Frames erfasst und analysiert
werden, wie anhand von 3 dargestellt und beschrieben
wird. Bei einer erfindungsgemäßen Ausführungsform
wird die Position des externen Cursors 22 nur ermittelt,
während
sich der externe Cursor innerhalb des projizierten Bildes 42 befindet,
wohingegen verschiedene andere Eigenschaften des externen Cursors 22,
z. B. Form, Farbe, Größe usw.,
solange überwacht
werden, wie sich der externe Cursor 22 innerhalb des erfassten
Bildes 40 befindet, d.h., selbst dann, wenn der externe
Cursor 22 außerhalb
des projizierten Bildes 42 liegt.
-
In 3 ist
ein Ablaufdiagramm dargestellt, das die Funktionsweise eines Systems
und eines Verfahrens zum Fernsteuern eines Computers nach der vorliegenden
Erfindung verdeutlicht. Für
Fachleute liegt es auf der Hand, dass das Ablaufdiagramm aus 3 eine
beliebige aus einer Reihe bekannter Verarbeitungsstrategien darstellen
kann, z. B. ereignisgesteuerte, unterbrechungsgesteuerte, Multitask-,
Multithreading- und ähnliche
Strategien. Ebenso ist die vorliegende Erfindung unabhängig von
einer bestimmten Programmiersprache, einem bestimmten Betriebssystem
oder einer Rechnerplattform, die für die Implementierung der Erfindung
verwendet werden können.
Somit können
verschiedene Schritte oder Funktionen, die dargestellt sind, in
der abgebildeten Reihenfolge oder parallel ausgeführt werden
oder in einigen Fällen
vollständig
weggelassen werden. Weiterhin ist die Reihenfolge der Verarbeitung
in der Darstellung nicht unbedingt für das Erreichen der erfindungsgemäßen Aufgaben,
Merkmale und Vorteile erforderlich, sondern dient einer leichteren
Darstellung und Beschreibung.
-
Vorzugsweise
ist die Steuerlogik aus 3 in einer Software implementiert;
die von einem Computer auf Mikroprozessorbasis ausgeführt wird,
z. B. von einem Laptop- oder Desktop-Computer, in 1 allgemein als
Computer 10 dargestellt. Natürlich können verschiedene Teile oder
Funktionen der Steuerlogik als Software, Hardware oder eine Kombination
aus Software und Hardware implementiert werden. Das Ablaufdiagramm aus 3 zeigt
eine „Schleife" deren einzelne Arbeitsschritte
vorzugsweise periodisch oder je nach Erfordernis durch ein internes
oder externes Ereignis wiederholt werden, wie dies Fachleuten bekannt
ist. Vorzugsweise liegt die in 3 dargestellte
Steuerlogik in Form von Daten vor, die auf einem computerlesbaren
Speichermedium gespeichert sind, z. B. auf einer Diskette, Festplatte,
CD-ROM, einem Band oder einer anderen magnetischen, optischen oder
kombinierten Vorrichtung. Das computerlesbare Speichermedium enthält Daten, die
Anweisungen darstellen, die von einem Computer ausgeführt werden
können,
um erfindungsgemäß Befehle
zum Fernsteuern eines Computers zu erzeugen.
-
Die
Ausgabe aus einem Computer ist dargestellt durch den Block 50 aus 3.
Vorzugsweise wird die Ausgabe aus dem Computer auf einem dazugehörigen Bildschirm
angezeigt, bei dem es sich, wie oben beschrieben, um einen Computermonitor,
einen externen Fernseher oder Monitor oder einen externen „passiven" Bildschirm handeln
kann. Wie in Block 52 angegeben, wird auf die Computerausgabe
eine Vielzahl von Bezugsmarkierungen oder Retikeln gelegt. Vorzugsweise
werden die Bezugsmarkierungen von dem Computer erzeugt und über die
Ausgabe gelegt. Mit den Bezugsmarkierungen wird das System ausgerichtet
bzw. geeicht. Vorzugsweise befinden sich die Bezugsmarkierungen
in den Ecken der Computerausgabe, und die Form der Bezugsmarkierungen
ist dem System von vornherein bekannt. Je nach der speziellen Anwendung
kann Schritt 52 wiederholt werden. z. B. kann Schritt 52 von
dem Nutzer eingeleitet werden, um das System zu eichen, oder in
vorgegebenen Zeitabständen
automatisch oder aufgrund eines internen oder externen Ereignisses
wiederholt werden. z. B. kann Block 52 immer dann wiederholt
werden, wenn der externe Cursor nicht in dem Bild erkannt wird.
-
Ein
Bild der Computerausgabe wird wie in Block 54 erfasst.
Vorzugsweise wird zum Erfassen des Bildes eine Kamera mit einer
CCD-Zeile zusammen mit einer geeigneten Frame-Erfassungskarte verwendet. Vorzugsweise
enthält
das Bild einen wesentlichen Teil der Computerausgabe. In Abhängigkeit
von der speziellen Implementierung kann das Bild jedoch lediglich
den zentralen Teil oder eine andere Region des Bildschirms für die Anzeige
der Computerausgabe enthalten. Als Alternative dazu kann das Bild
den gesamten Bildschirm umfassen, der zum Anzeigen der Computeranzeige
genutzt wird. Wie in Block 56 dargestellt; wird daraufhin
das Bild verarbeitet um die Position der Bezugsmarkierungen zu erkennen.
Wie oben angegeben, können
die von den Blöcken 52 und 56 dargestellten
Operationen wahlweise unter verschiedenen Umständen wiederholt werden. Vorzugsweise
wird eine der Bezugsmarkierungen als Ausgangspunkt für ein normiertes Koordinatensystem
verwendet, mit dem die Position des externen Cursors in Bezug auf
die Computerausgabe wie oben beschrieben ermittelt wird.
-
Nach
Beendigung des Eich- oder Ausrichtprozesses werden Bilder wiederholt
erfasst und verarbeitet, angegeben durch die Blöcke 58–72.
Ein erfasstes Bild, dargestellt durch Block 58, wird zum
Erkennen wenigstens einer Eigenschaft eines externen Cursors verarbeitet,
wie durch Block 60 angegeben. Vorzugsweise handelt es sich
bei dem externen Cursor um einen optischen Cursor, der von einem
in der Hand gehaltenen Zeigegerät
erzeugt wird und wenigstens eine von dem Benutzer auswählbare (veränderbare)
Eigenschaft aufweist. Mit der auswählbaren Eigenschaft bzw. den
auswählbaren
Eigenschaften des Cursors wird der Computer ferngesteuert. Zu Cursoreigenschaften
können
die Intensität,
Farbe, Form oder Größe gehören, dargestellt durch
die Blöcke 62, 64, 66 bzw. 68.
Darüber
hinaus kann zu den Cursoreigenschaften ein bestimmtes Bewegungsmuster
gehören,
allgemein dargestellt durch die Bezugsziffer 70. Die Position
des externen Cursors, dargestellt durch Block 72, wird
vorzugsweise ebenfalls in Bezug auf die Position der Bezugsmarkierungen
erfasst, wie durch Block 56 angegeben. Zusätzlich können eine
oder mehrere Eigenschaften in Kombination verwendet werden, um angemessene
Befehle für
den Computer zu erzeugen. z. B. kann die Position des externen Cursors,
dargestellt durch Block 72, in Kombination mit der Farbe
oder Form des Cursors verwendet werden, dargestellt durch die Blöcke 64 bzw. 66,
d.h., ausgehend von der Position des Cursors erzeugen die Farbe und/oder
Form des externen Cursors unterschiedliche Befehle.
-
Die
Eigenschaft bzw. die Eigenschaften des externen Cursors, die in
Block 60 ermittelt wurden, werden in entsprechende Befehle
zum Steuern des Computers umgewandelt, wie durch Block 74 dargestellt.
Dies kann durch eine beliebige aus einer Reihe bekannter Strategien
erfolgen. Beispielsweise kann eine Datenstruktur verwendet werden,
um verschiedene Eigenschaften oder Kombinationen von Eigenschaften
mit entsprechenden Befehlen in einer bestimmten Softwareanwendung
zu assoziieren. Vorzugsweise steuern die durch Block 74 erzeugten
Befehle die vom Computer erzeugte Bewegung des internen Cursors
so, dass die vom Zeigegerät
erzeugte Bewegung des externen Cursors eine solche Bewegung des
vom Computer erzeugten internen Cursors bewirkt, dass die Bewegung
der Cursor synchronisiert wird. Darüber hinaus können verschiedene
kontextbezogene oder positionsbezogene Befehle erzeugt werden; indem
eine oder mehre re Eigenschaften für eine bestimmte Position des
externen Cursors verändert
wird/werden.
-
Nachfolgend
wird eine repräsentative
Anwendung einer erfindungsgemäßen Ausführungsform
dargestellt, die einen in der Hand gehaltenen Laserpointer mit drei
ausgerichteten Laser-Emittern umfasst, die als ein gleichschenkliges
Dreieck angeordnet sind. Ein Emitter des Pointers ist immer aktiv,
wenn der Pointer eingeschaltet ist. Ein zweiter Emitter wird wahlweise
von dem Nutzer aktiviert, indem er einen ersten Knopf drückt, was
zu einem Befehl führt,
der einem „Klick
auf die linke Maustaste" entspricht.
Alle drei Emitter werden wahlweise vom Nutzer aktiviert, indem er
einen zweiten Knopf auf dem Laserpointer drückt, wodurch ein Befehl entsteht,
der einem „Klicken
auf die rechte Maustaste" entspricht.
Neben der Tatsache, welcher Knopf (falls überhaupt) gedrückt ist,
wird bei dieser Ausführungsform
mithilfe verschiedener Eigenschaften, zu denen die Intensität, Farbe
und das Muster (die Form) des vom Laser-Pointer erzeugten externen
Cursors gehören,
die Position des externen Cursors ermittelt. Wenn kein Knopf gedrückt ist,
wird ein einzelner Cursor in Form eines Punktes und der Farbe des
ersten Emitters mit hoher Intensität innerhalb des erfassten Bild-Frames
sichtbar. Wenn der erste Knopf gedrückt wird, ändern sich die Form und Farbe
des externen Cursors so, dass ein zweiter Punkt in einem bestimmten
Abstand vom ersten Punkt erscheint. Wenn die zweite Taste gedrückt ist,
nimmt der externe Cursor noch eine andere Form und Farbe an, bestehend
aus zwei zusätzlichen
Punkten, die als die restlichen Punkte des gleichschenkligen Dreiecks
erscheinen. Die Eigenschaften des externen Cursors werden von dem
System erkannt und verarbeitet, wodurch die entsprechenden Befehle
zum Fernsteuern des Computers erzeugt werden.
-
Zwar
wurden hier Ausführungsformen
der Erfindung abgebildet und beschrieben, doch diese sind nicht
als die einzig möglichen
Formen der Erfindung aufzufassen. Vielmehr dienen die in der Patentschrift
verwendeten Begriffe der Beschreibung und nicht der Eingrenzung,
denn es wird davon ausgegangen, dass verschiedene Änderungen
vorgenommen werden können,
ohne vom Schutzumfang der Erfindung abzuweichen.
