DE60308541T2

DE60308541T2 - Mensch-maschine-schnittstelle unter verwendung einer deformierbaren einrichtung

Info

Publication number: DE60308541T2
Application number: DE60308541T
Authority: DE
Inventors: Richard Foster City MARKS
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2002-07-27
Filing date: 2003-07-14
Publication date: 2007-09-20
Anticipated expiration: 2023-07-15
Also published as: ATE340380T1; JP2005535022A; JP4234677B2; US20040017473A1; US7639233B2; CN1672120B; DE60308541D1; US20060139322A1; EP1552375B1; TWI297866B; EP1552375A2; US7102615B2; WO2004012073A2; CN1672120A; WO2004012073A3; TW200405220A; AU2003253931A1

Description

1. GEBIET DER ERFINDUNG
Die Erfindung betrifft allgemein die Gesten-Eingabe in Computersysteme und insbesondere das visuelle Verfolgen einer verformbaren Einrichtung, wobei die Verformung eine Aktion auf der Seite des Computersystems auslöst.
2. BESCHREIBUNG DES STANDES DER TECHNIK
Es besteht sehr großes Interesse an der Suche nach Alternativen zu Eingabevorrichtungen für Computersysteme. Eingabevorrichtungen auf der Basis von visuellen Gesten werden immer populärer. Allgemein gesprochen bedeutet Gesten-Eingabe, daß man eine elektronische Vorrichtung, wie ein Computersystem, eine Videospielkonsole, ein intelligentes Gerät usw. auf eine Geste reagieren läßt, die von einer Videokamera erfaßt wird, die ein Objekt verfolgt.
Das Verfolgen von bewegten Objekten mit Hilfe digitaler Videokameras und das Verarbeiten der Videobilder zur Erzeugung verschiedener Anzeigen ist bekannter Stand der Technik. Eine solche Anwendung zur Erzeugung einer animierten Videoversion eines Sportereignisses wurde z.B. von Segen, US-Patent 6,072,504 offenbart. Bei diesem System wird die Position eines Tennisballs während des Spiels mit Hilfe mehrerer Videokameras verfolgt, und es wird ein Satz von Gleichungen benutzt, die die dreidimensionalen Punkte in dem Spielfeld zu zweidimensionalen Punkten (d.h. Pixeln) von digitalen Bildern innerhalb des Blickfelds der Kameras in Beziehung setzen. Pixelpositionen des Balls, die in einem gegebenen digitalen Bild analysiert werden, können auf eine spezifische dreidimensionale Position des Balls in dem Spiel bezogen werden, und durch Triangulation aus entsprechenden Videobildern wird eine Reihe von Bildern nach dem Verfahren der kleinsten Quadrate analysiert, um die Positionen des Balls an Flugbahngleichungen anzupassen, die unbehinderte Bewegungssegmente des Balls beschreiben.
Sobald eine dreidimensionale Beschreibung der Position der Bewegung eines Objekts bestimmt wurde, gibt es, wie Segen näher ausführt, verschiedene bekannte Methoden nach dem Stand der Technik, um eine animierte Darstellung des Objekts zu erzeugen, wobei ein Programm benutzt wird, das eine passende Objektbewegung in einer Video spielumgebung animiert. Das heißt, Segen befaßt sich damit, die dreidimensionale Position eines bewegten Objekts aus einer Vielzahl von zweidimensionalen Videobildern zu bestimmen, die in einem Zeitpunkt aufgenommen werden. Sobald die dreidimensionale Position des "realen" Objekts bekannt ist, kann man diese Information benutzen, um ein Spielprogramm auf zahlreiche unterschiedliche Arten zu steuern, die den Programmierern von Spielen allgemein bekannt sind.
Das System von Segen ist jedoch auf mehrere Videokameras angewiesen, um die Information über die Position des Objekt auf der Basis von Triangulation entwickeln. Darüber hinaus ist das detektierte Objekt bei Segen eine einfache Kugel, bei der keine Information über die Orientierung (z.B. Neigung) des Objekts im Raum benötigt wird. Somit ist das System von Segen nicht in der Lage, aus einem zweidimensionalen Videobild mit Hilfe einer einzigen Videokamera die Position und die Orientierung eines Objekts zu rekonstruieren und festzustellen, ob es in Bewegung oder in Ruhe ist.
Bei Spielprogrammen hat man üblicherweise virtuelle Objekte zur Verfügung, die aus einer Kombination aus dreidimensionalen geometrischen Formen gebildet werden, wobei während des Ablaufs eines Spielprogramms dreidimensionale Beschreibungen (Positionen und Orientierungen des Objekts relativ zueinander durch Steuereingabeparameter bestimmt werden, die mit Hilfe einer Eingabevorrichtung, wie einem Joystick, einer Spielsteuerung oder einer anderen Eingabevorrichtung, eingegeben werden. Die dreidimensionale Position und Orientierung der virtuellen Objekte werden dann in eine zweidimensionale Anzeige (mit Hintergrund, Licht- und Schattenführung, Textur usw.) projiziert, um mit Hilfe der Funktionen des Renderingprozessors der Spielkonsole eine dreidimensionale perspektivische Szene oder Wiedergabe zu erzeugen.
Als Beispiel kann ein "virtuelles Objekt" dienen, das in der Anzeige eines Spiels ein Bewegtbild bildet, das dem entspricht, wie man sich um das "reale" Objekt bewegt. Zum Anzeigen des virtuellen Objekts benutzt man die berechnete dreidimensionale Information, um die Position und die Orientierung des "virtuellen Objekts" in einem Speicherraum der Spielkonsole zu fixieren, wobei dann das Rendern des Bilds durch eine bekannte Verarbeitung durchgeführt wird, um die dreidimensionale Information in eine realistische perspektivische Anzeige umzuwandeln.
Trotz der oben beschriebenen Kenntnisse und Techniken gibt es jedoch noch immer Probleme, die eine erfolgreiche Objektverfolgung behindern, und ein besonders schwieriges Problem besteht darin, nur diejenigen Pixel eines Videobilds zu extrahieren, die eindeutig einem interessierenden Objekt entsprechen. So kann zwar z.B. die Bewegung eines einfarbigen Objekts vor einem festen Hintergrund mit einer anderen Farbe relativ leicht verfolgt werden, wenn Objektfarbe und Hintergrundfarbe sich deutlich voneinander unterscheiden, wohingegen das Verfolgen von Objekten, selbst wenn sie hell gefärbt sind, bei einem mehrfarbigen oder nicht statischen Hintergrund nicht so einfach ist. Änderungen in der Beleuchtung beeinflussen die scheinbare Farbe des Objekts, wie sie von der Videokamera gesehen wird, ebenfalls dramatisch, so daß Verfahren zur Objektverfolgung, die sich auf das Detektieren eines speziellen farbigen Objekts stützen, sehr fehleranfällig sind oder eine ständige Neukalibrierung erfordern, wenn sich die Lichtbedingungen ändern. Die typische Umgebung für Videospielprogramme beim Einsatz im Heim erfordert sehr viel größere Flexibilität und Robustheit, als dies mit herkömmlichen Computervisionsystemen mit Objektverfolgung möglich ist.
Um eine breite Akzeptanz zu finden, muß eine alternative Eingabevorrichtung also in der Lage sein, mit Hilfe einer einzigen relativ preiswerten Kamera in der Einsatzumgebung des Heims verfolgt zu werden. Darüber hinaus muß die alternative Eingabevorrichtung bequem zu benutzen sein. Es wurden Versuche mit einem Handschuh an der Hand des Benutzers unternommen, wobei der Handschuh Sensoren enthält, die von einer Kamera verfolgt werden, um Eingaben zu erfassen. Die Benutzer haben den Handschuh jedoch nicht akzeptiert. Einer der Gründe dafür, daß ein Handschuh nicht gerade enthusiastisch akzeptiert wird, besteht darin, daß es unbequem ist, den Handschuh immer wieder aus- und anziehen zu müssen.
Somit besteht das Bedürfnis, die Probleme des Standes der Technik zu lösen und eine Eingabevorrichtung bereitzustellen, die von einer einzigen Videokamera verfolgt werden kann, wobei die Eingabevorrichtung für den Benutzer bequem sein soll.
EP-A-0 823 683 offenbart ein Benutzereingabesystem, bei dem verschiedene Handformen detektiert werden. US-B-6 243 491 offenbart ein Videospiel, das dadurch gesteuert wird, daß der Benutzer ein passives Requisit manipuliert. Der Artikel "3D natural interactive interface – Using marker tracking from a single view", Systems and Computers in Japan, Band 23, Seiten 62 bis 73, 1992 (Hemmi) offenbart ein Paar von Ringen, die der Benutzer an seiner Hand trägt, um eine Bewegung zu verfolgen und Spielfunktionen zu steuern.
In den anliegenden Ansprüchen sind verschiedene Aspekte und Merkmale der Erfindung definiert.
Im weiteren Sinne erfüllt die vorliegende Erfindung die oben genannten Bedürfnisse, indem sie ein Verfahren und ein System zur Verfügung stellt, das eine passive Eingabevorrichtung vorsieht, die von einer einzigen Videokamera verfolgt werden kann. Es ist zu beachten, daß zur Implementierung der vorliegenden Erfindung zahlreiche Möglichkeiten, einschließlich eines Prozesses, eines Systems oder einer Vorrichtung, zur Verfügung stehen. Im folgenden werden verschiedene erfinderische Ausführungsbeispiele der vorliegenden Erfindung beschrieben.
In einem Ausführungsbeispiel ist ein Verfahren zum Triggern von Eingabebefehlen eines auf einem Rechensystem ablaufenden Programms vorgesehen. Das Verfahren beginnt mit der Überwachung eines Blickfelds vor einem Erfassungsgerät. Dann wird ein Eingabeobjekt innerhalb des Blickfelds identifiziert. Das detektierte Eingabeobjekt wird auf Formänderungen analysiert. Als Nächstes wird eine Änderung an dem Eingabeobjekt detektiert. Dann wird ein Eingabebefehl in dem auf dem Rechensystem ablaufenden Programm getriggert. Das Triggern ist das Ergebnis der detektierten Änderung in dem Eingabeobjekt.
In einem anderen Ausführungsbeispiel ist ein Eingabedetektierungsprogramm vorgesehen. Das Eingabedetektierungsprogramm wird auf einer Rechenvorrichtung ausgeführt und verfügt über Programminstruktionen, um festzustellen, wann Eingabebefehle eines Hauptprogramms getriggert werden sollen. Das Eingabedetektierungsprogramm enthält Programminstruktionen zum Überwachen eines Blickfelds vor einem Erfassungsgerät. Das Erfassungsgerät liefert Daten an das Eingabedetektierungsprogramm. Es sind Programminstruktionen zum Identifizieren eines Eingabeobjekts innerhalb des Blickfelds enthalten. Ferner sind Programminstruktionen zum Detektieren einer physikalischen Änderung in dem Eingabeobjekt und Programminstruktionen zum Triggern eines Eingabebefehls in dem auf der Rechenvorrichtung ablaufenden Hauptprogramm enthalten, wobei das Triggern das Ergebnis der detektierten physikalischen Änderung in dem Eingabeobjekt ist.
In anderen Ausführungsbeispielen ist ein Rechensystem vorgesehen. Das Rechensystem besitzt ein Eingabedetektierungssystem. Das Eingabedetektierungssystem stellt fest, wann Eingabebefehle eines auf dem Rechensystem ablaufenden Hauptprogramms getriggert werden sollen. Das Rechensystem umfaßt ein Erfassungsgerät. Es ist eine Schaltung zum Überwachen eines Blickfelds vor dem Erfassungsgerät vorgesehen, sowie eine Schaltung zum Identifizieren eines Eingabeobjekts innerhalb des Blickfelds. Ferner sind sowohl eine Schaltung zum Detektieren einer physikalischen Änderung in dem Eingabeobjekt als auch eine Schaltung zum Triggern eines Eingabebefehls in dem auf dem Rechensystem ablaufenden Hauptprogramm vorgesehen. Das Triggern ist das Ergebnis der detektierten physikalischen Änderung in dem Eingabeobjekt.
In einem weiteren Ausführungsbeispiel ist ein Rechensystem vorgesehen. Das Rechensystem besitzt ein Eingabedetektierungssystem. Das Eingabedetektierungssystem stellt fest, wann Eingabebefehle eines auf dem Rechensystem ablaufenden Hauptprogramms getriggert werden sollten. Das Rechensystem weist Mittel auf zum Erfassen von Bilddaten sowie Mittel zum Überwachen eines Blickfelds vor dem Erfassungsgerät. Es sind Mittel zum Identifizieren eines Eingabeobjekts innerhalb des Blickfelds sowie Mittel zum Detektieen einer physikalischen Änderung in dem Eingabeobjekt vorgesehen. Mittel zum Triggern eines Eingabebefehls in dem auf dem Rechensystem ablaufenden Hauptprogramms sind ebenfalls vorgesehen, wobei das Triggern ein Ergebnis der detektierten physikalischen Änderung in dem Eingabeobjekt ist.
Weitere Aspekte und Vorteile der Erfindung werden durch die folgende detaillierte Beschreibung verdeutlicht, die auf die anliegenden Zeichnungen Bezug nimmt, die die Prinzipien der Erfindung anhand von Beispielen illustrieren.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die folgende Beschreibung, die auf die anliegenden Zeichnungen Bezug nimmt, soll das Erfindung und ihrer weiteren Vorteilen verdeutlichen.
1 zeigt ein schematisches Übersichtsdiagramm einer Systemkonfiguration, die eine Benutzereingabevorrichtung verfolgen kann, nach einem Ausführungsbeispiel der Erfindung,
2 zeigt ein Blockdiagramm einer Konfiguration der Komponenten einer Videospielkonsole für die Verwendung mit einem manipulierten Objekt, das als alternative Eingabevorrichtung nach einem Ausführungsbeispiel der Erfindung dient,
3 zeigt ein Blockdiagramm der Funktionsblöcke, die zum Verfolgen und Diskriminieren einer Pixelgruppe benutzt werden, die der Benutzereingabevorrichtung entspricht, wenn diese von dem Benutzer manipuliert wird, nach einem Ausführungsbeispiel der Erfindung,
4A zeigt ein schematisches Diagramm einer verformbaren Benutzereingabevorrichtung, die konfiguriert ist, um in der X-, Y-Richtung verfolgt zu werden, und die in der Lage ist, ein auf einem Monitor anzuzeigendes Ereignis zu triggern, nach einem Ausführungsbeispiel der Erfindung,
4B zeigt ein vereinfachtes schematisches Diagramm einer Änderung im Seitenverhältnis der verformbaren Vorrichtung in einer Frontansicht nach einem Ausführungsbeispiel der Erfindung,
5 zeigt ein schematisches Diagramm eines alternativen Ausführungsbeispiels einer verformbaren Benutzereingabevorrichtung nach einem Ausführungsbeispiel der Erfindung,
6A zeigt ein vereinfachtes schematisches Diagramm eines weiteren Ausführungsbeispiels der verformbaren Benutzereingabevorrichtung, wie sie anhand von 4A, 4B und 5 diskutiert wurde,
6B zeigt ein vereinfachtes schematisches Diagramm einer verformbaren Vorrichtung in einer entspannten Position und in einer geschlossenen Position,
6C zeigt eine Alternative zu 6A, wobei anstelle einer verformbaren Vorrichtung zwei verformbare Vorrichtungen benutzt werden,
7 zeigt ein Flußdiagramm der Verfahrensschritte zum Triggern von Eingabebefehlen eines auf einem Rechensystem ablaufenden Programms nach einem Ausführungsbeispiel der Erfindung,
8 zeigt ein Flußdiagramm der Verfahrensschritte zum Triggern eines Spielesteuerbefehls für ein Videospiel nach einem Ausführungsbeispiel der Erfindung.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Die im folgenden offenbarte Erfindung betrifft eine Eingabevorrichtung, die verformt werden kann, wobei die Verformung von einer Videokamera erfaßt wird, um ein Ereignis zu triggern. In der folgenden Beschreibung sind zahlreiche spezifische Details angegeben, um ein durchgehendes Verständnis der Erfindung zu ermöglichen. Für den einschlägigen Fachmann ist es jedoch offensichtlich, daß die Erfindung auch ohne einige oder alle dieser spezifischen Detail praktiziert werden kann. In anderen Fällen wurden allgemein bekannte Prozeßschritte nicht detailliert beschrieben, um das Verständnis der eigentlichen Erfindung nicht unnötig zu beeinträchtigen.
Die Ausführungsbeispiele der Erfindung sehen eine Benutzereingabevorrichtung vor, die verformt werden kann, während sie sich in dem Blickfeld einer Videokamera befindet. Die Verformung, wie z.B. eine Änderung im Seitenverhältnis der Eingabevorrichtungen, wird von der Videokamera erfaßt und initiiert ein Ereignis oder eine Aktion, die auf einem Monitor angezeigt werden können. Die Verformung der Eingabevorrichtung kann z.B. einen Mausklick bedeuten, um eine Datei oder ein Fenster für einen Personalcomputer zu öffnen, ein Bild für ein Computerspiel zu erfassen, zu verschieben oder zu manipulieren oder auch ein intelligentes Gerät zu starten. Es ist zu beachten, daß die Eingabevorrichtung eine passive Vorrichtung ist, d.h. die Eingabevorrichtung ist ein Objekt, das durch eine äußere Kraft verformt werden kann. Somit erzeugt das Eingabeobjekt keinerlei aktive Signale, die zu einem Empfänger gesendet werden. Wie durch die hier beschriebenen Ausführungsbeispiele erläutert wird, ermöglicht die Benutzereingabevor richtung eine Erfahrung, die auf einen Mausklick bezogen werden kann und für den Benutzer bequem ist.
1 zeigt ein schematisches Übersichtsdiagramm der Gesamtkonfiguration des Systems nach einem Ausführungsbeispiel der Erfindung, mit dem eine Benutzereingabevorrichtung verfolgen werden kann. Die Benutzereingabevorrichtung 300 kann hier ihr Seitenverhältnis ändern, indem Druck ausgeübt wird, um die Oberseite und die Unterseite zusammenzuquetschen. In einem Ausführungsbeispiel wird die Änderung des Seitenverhältnisses von der digitalen Videokamera 190 erfaßt. Die digitale Videokamera 190 steht mit einer Videospielkonsole 60 in Verbindung. In einem Ausführungsbeispiel ist das Ereignis ein Eingabebefehl eines auf einem Rechensystem, wie einer Spielkonsole, ablaufenden Hauptprogramms. Die Videospielkonsole 60 steht mit einem Monitor 80 in Verbindung. Die Änderung des Seitenverhältnisses der Benutzereingabevorrichtung triggert ein Ereignis, wodurch der Benutzer ein Bild auf einem Monitor 80 manipulieren kann. Es ist zu beachten, daß die Benutzereingabevorrichtung verfolgt wird, während sie sich in der x-, y- oder z-Ebene bewegt. Die Bewegung in diesen Ebenen ermöglicht eine Klick- und Verschiebungsfunktionalität, die derjenigen einer Maus ähnelt. Das heißt, der Benutzer kann ein Bild auf dem Anzeigemonitor bewegen oder manipulieren, indem er die Benutzereingabevorrichtung 300 zusammenquetscht, um ihr Seitenverhältnisses zu ändern, und indem er dann die Eingabevorrichtung in verformtem Zustand bewegt. Während hier eine Videospielkonsole dargestellt ist, sind die beschriebenen Ausführungsbeispiele auch auf einen Personalcomputer und andere elektronische Consumergeräte, wie Fernseher, DVD-(digital video disc)-Player, intelligente Geräte usw. anwendbar.
In der Anordnung von 1 kann die Benutzereingabevorrichtung 300 gemäß einem Ausführungsbeispiel ein verformbarer Halbzylinder sein, der sich in eine Handfläche des Benutzers einpassen läßt. Die Benutzereingabevorrichtung 300 kann aus irgendeinem geeigneten Material hergestellt sein, das durch Druckeinwirkung verformt werden kann und beim Aufhören des Drucks in seine ursprüngliche Form zurückkehrt. Der Benutzer ordnet eine Eingabevorrichtung in dem Blickfeld der Videokamera 190 an, die eine USB-Webkamera oder ein digitaler Camcorder sein kann, der mit dem Eingabe-/Ausgabeport der Spielkonsole 60, wie der von Sony Computer Entertainment Inc. hergestellten "PLAYSTATION 2"^®, verbunden sein kann. Wenn der Benutzer die Benutzereingabevorrichtung 300 in das Blickfeld der Kamera 190 bewegt, werden physikalische Merkmale, wie die Größe, die Form, die Farbe usw. der Benutzereingabevorrichtung von der Kamera 190 aufgenommen. Es findet dann eine Verarbeitung statt, um eine Pixelgruppe zu isolieren und zu diskriminieren, die ausschließlich der Benutzereingabevorrichtung entspricht. Es wird eine dreidimensionale Beschreibung des Zylinders, einschließlich seiner Position und Orientierung in dem dreidimensionalen Raum, berechnet, und diese Beschreibung wird in einem Hauptspeicher der Spielkonsole 60 gespeichert. Mit Hilfe von auf dem einschlägigen Gebiet bekannten Rendering-Verfahren wird die dreidimensionale Beschreibung des Objekts dann dazu benutzt, eine Aktion in einem Spielprogramm herbeizuführen, die auf dem Anzeigebildschirm des Monitors 80 angezeigt wird. So kann z.B. ein Objekt auf dem Monitor 80 den Bewegungen der Benutzereingabevorrichtung 300 entsprechend durch die Spielszene bewegt werden. Wenn der Benutzer die Position und Orientierung der Benutzereingabevorrichtung 300 ändert, während die Änderung des Seitenverhältnisses detektiert wurde, werden die dreidimensionale Beschreibung des Objekts in dem Speicher und ein entsprechendes Rendern des Objekts in dem Renderingbereich des Bildspeichers kontinuierlich aktualisiert, so daß sich die Position und die Orientierung des Objekts auf dem Monitor 80 ebenfalls ändern. Auf diese Weise führt ein visuelles Triggern, das der Benutzer durch Ausüben einer Kraft auf eine passive Eingabevorrichtung verursacht, zu einer Aktion, z.B. einem Eingabebefehl, der von einem mit einem Rechensystem verknüpften Hauptprogramm ausgeführt wird.
2 zeigt ein Blockdiagramm einer Konfiguration der Komponenten einer Videospielkonsole, die für die Verwendung mit einem manipulierten Objekt adaptiert ist, das als alternative Eingabevorrichtung nach einem Ausführungsbeispiel der Erfindung dient. Die Spielkonsole 60 ist eine Komponente eines Unterhaltungssystems 110 gemäß der Erfindung, das, wie in 2 dargestellt, ausgestattet ist mit einer Multiprozessoreinheit (MPU) 112 für die Steuerung des Gesamtsystems 110, einem Hauptspeicher 114, der für verschiedene Programmoperationen und für die Datenspeicherung benutzt wird, einer Vektorberechnungseinheit 116 zur Durchführung von Fließkomma-Vektorberechnungen, die für die geometrische Verarbeitung benötigt werden, einem Bildprozessor 120 zum Erzeugen von Daten auf der Basis der Steuerungen aus der MPU 112 und zur Ausgabe von Videosignalen an den Monitor 80 (z.B. eine Kathodenstrahlröhre), einem Graphik-Interface (GIF) 122 zur Durchführung einer Vermittlung oder dgl. über einen Übertragungsbus zwischen der MPU 112 oder der Vektorberechnungseinheit 116 und dem Bildprozessor 120, einem Eingabe-/Ausgabeport 124 zur Unterstützung des Empfangens und des Sendens von Daten von bzw. zu peripheren Geräten, einem internen OSD-Funktions-ROM (OSDROM) 126, das z.B. aus einem Flash-Speicher besteht, zur Steuerung eines Kernels oder dgl. und einer Echtzeituhr 128 mit Kalender- und Zeitgeberfunktionen.
Der Hauptspeicher 114, die Vektorberechnungseinheit 116, das GIF 122, das OSDROM 126, die Echtzeituhr (RTC) 128 und der Eingabe-/Ausgabeport 124 sind über einen Datenbus 130 mit der MPU 112 verbunden. Ebenfalls mit dem Bus 130 verbunden ist eine Bildverarbeitungseinheit 138, die einen Prozessor zum Expandieren von komprimierten Bewegtbildern und Texturbildern und dadurch zum Entwickeln der Bilddaten darstellt. Die Bildverarbeitungseinheit 138 kann beispielsweise Funktionen zum Dekodieren und Entwickeln von Bitströmen nach den MPEG2- oder MPEG4-Standardformaten, zur Makroblockdekodierung, zur Durchführung inverser diskreter Cosinusinformationen, zur Farbraumumwandlung, zur Vektorquantisierung und dgl. ausführen.
Ein Tonsystem besteht aus einer Tonverarbeitungseinheit SPU 171 zur Erzeugung von musikalischen oder anderen Toneffekten auf der Basis von Befehlen aus der MPU 112, einem Tonpuffer 173, in dem Wellenformdaten durch die SPU 171 ausgezeichnet werden können, und einem Lautsprecher 175 zur Ausgabe der von der SPU 171 erzeugten musikalischen oder anderen Toneffekte. Der Lautsprecher 175 kann als Teil in dem Monitors 80 eingebaut sein, oder es kann eine separate Ton-Ausgangsverbindung vorgesehen sein, an die ein externer Lautsprecher 175 angeschlossen ist.
Gemäß vorliegender Erfindung ist außerdem ein mit dem Bus 130 verbundenes Kommunikations-Interface 140 vorgesehen, das ein Interface darstellt mit Funktionen für die Eingabe/Ausgabe von digitalen Daten und zur Eingabe von digitalen Inhalten. Durch das Kommunikations-Interface 140 können z.B. Benutzereingabedaten zu einem Server-Endgerät in einem Netz gesendet oder Statusdaten von diesem empfangen werden, um Online-Spiel-Applikationen aufzunehmen. Mit dem Eingabe-/Ausgabeport 124 sind eine (auch als Steuerung bekannte) Eingabevorrichtung 132 für die Eingabe von Daten (z.B. von Tasteneingabedaten oder Koordinatendaten) für das Unterhaltungssystem 110, ein optisches Plattengerät 136 für die Wiedergabe der Inhalte einer optischen Platte 70, z.B. einer CD-ROM oder dgl., auf der verschiedene Programme und Daten (d.h. Daten, die Objekte betreffen, Texturdaten und dgl.) aufgezeichnet sind, verbunden.
Als weitere Erweiterung oder Alternative zu der Eingabevorrichtung enthält die vorliegende Erfindung eine Videokamera 190, die mit dem Eingabe-/Ausgabeport 124 verbunden ist. Der Eingabe-/Ausgabeport 124 kann durch ein oder mehrere Eingabe-Interfaces verkörpert sein, einschließlich serieller und USB-Interfaces, wobei die digitale Videokamera 190 vorteilhafterweise von dem USB-Eingang oder irgendeinem anderen herkömmlichen Interface Gebrauch machen kann, das sich für die Verwendung mit der Kamera 190 eignet.
Der oben erwähnte Bildprozessor 120 enthält eine Rendering-Maschine 170, ein Interface 172, einen Bildspeicher 174 und eine Anzeigesteuervorrichtung 176 (z.B. eine programmierbare Steuerung für eine Kathodenstrahlröhre oder dgl.). Die Rendering-Maschine 170 führt Operationen zum Rendern von vorbestimmten Bilddaten in dem Bildspeicher über das Speicher-Interface 172 und nach Maßgabe von Rendering-Befehlen aus, die aus der MPU 112 zugeführt werden. Die Rendering-Maschine 170 kann Bilddaten mit 320 × 240 Pixeln oder mit 640 × 480 Pixeln z.B. nach dem NTSC- oder PAL-Standard in Echtzeit rendern und zwar mit einer zehnmal bis einige zehnmal größeren Rate pro Intervall von 1/60 bis 1/30 Sekunden.
Zwischen dem Speicher-Interface 172 und der Rendering-Maschine 170 ist ein Bus 178 angeordnet, und ein zweiter Bus 180 ist zwischen dem Speicher-Interface 172 und dem Bildspeicher 174 angeordnet. Der erste Bus 178 und der zweite Bus 180 haben jeweils eine Bitbreite von beispielsweise 128 Bits, und die Rendering-Maschine 170 kann eine Rendering-Verarbeitung mit einer relativ zu dem Bildspeicher hohen Geschwindigkeit ausführen. Der Bildspeicher 174 benutzt eine vereinheitlichte Speicherstruktur, bei der z.B. eine Textur-Rendering-Region und eine Anzeige-Rendering-Region in einem gleichförmigen Bereich eingerichtet werden können.
Die Anzeigesteuerung 176 ist so strukturiert, daß sie die Texturdaten, die über das optische Plattengerät 136 von der optischen Platte 70 abgerufen werden, oder Texturdaten, die in dem Hauptspeicher 114 erzeugt wurden, über das Speicher-Interface 172 in die Textur-Rendering-Region des Bildspeichers 174 einschreibt. Die in der Anzeige-Rendering-Region des Bildspeichers 174 gerenderten Bilddaten werden über das Speicher-Interface 172 ausgelesen und an den Monitor 80 ausgegeben und auf dessen Bildschirm angezeigt.
3 zeigt ein Blockdiagramm der Funktionsblöcke nach einem Ausführungsbeispiel der Erfindung, die benutzt werden, um eine Pixelgruppe zu verfolgen und zu diskriminieren, die der Benutzereingabevorrichtung entspricht, wenn diese von dem Benutzer manipuliert wird. Es ist zu beachten, daß die durch die Blöcke dargestellten Funktionen durch Software implementiert sind, die von der MPU 112 in der Spielkonsole 60 ausgeführt wird. Außerdem werden nicht alle durch die Blöcke in 3 angedeuteten Funktionen für jedes Ausführungsbeispiel benutzt.
Zunächst werden die von der Kamera eingegebenen Pixeldaten über das Eingabe-/Ausgabeport-Interface 124 der Spielkonsole 60 zugeführt, die die folgenden Prozesse ausgeführen kann. Als erstes wird jedes Pixel z.B. auf einer Rasterbasis abgetastet, es wird ein Verarbeitungsschritt S201 zur Farbsegmentierung ausgeführt, durch den die Farbe jedes Pixels bestimmt wird, und das Bild wird in verschiedene zweidimensionale Segmente mit unterschiedlichen Farben unterteilt. Als Nächstes wird für bestimmte Ausführungsbeispiele ein Schritt S203 zur Lokalisierung von Farbübergängen ausgeführt, durch den Regionen, in denen Segmente unterschiedlicher Farbe aneinandergrenzen, genauer bestimmt werden, wodurch die Orte des Bildes definiert werden, in denen Übergänge unterschiedlicher Farbe auftreten. Dann wird ein Schritt S205 zur Geometrieverarbeitung ausgeführt, der je nach Ausführungsbeispiel entweder einen Kantendetektierungsprozeß oder Berechnungen für Bereichsstatistiken umfaßt, um dadurch die Linien, Kurven und/oder Polygone, die den Kanten des interessierenden Objekts entsprechen, in algebraischen oder geometrischen Ausdrücken zu definieren. Bei der in 1 dargestellten Benutzereingabevorrichtung umfaßt der Pixelbereich z.B. eine im großen Ganzen rechteckige Form, die einer orthogonalen Frontansicht der Benutzereingabevorrichtung entspricht. Aus der algebraischen oder geometrischen Beschreibung des Rechtecks lassen sich das Zentrum, die Breite, die Länge und die zweidimensionale Orientierung der ausschließlich dem Objekt entsprechenden Pixelgruppe definieren.
In dem Schritt S207 werden die dreidimensionale Position und Orientierung des Objekts nach Algorithmen berechnet, die in Verbindung mit der nachfolgenden Beschreibung von bevorzugten Ausführungsbeispielen der Erfindung erläutert werden sollen. Zur Verbesserung der Leistung werden die Daten der dreidimensionalen Position und Orientierung in einem Verarbeitungsschritt S209 einer Kalman-Filterung unterzogen. Eine solche Verarbeitung wird durchgeführt, um abzuschätzen, wo das Objekt in einem Zeitpunkt sein soll, und um falsche Messungen zurückzuweisen, die nicht möglich sein können und deshalb als außerhalb des richtigen Datensatzes liegend betrachtet werden. Ein anderer Grund für die Kalman-Filterung besteht darin, daß die Kamera 190 Bilder mit 30 Hz erzeugt, während übliche Anzeigevorrichtungen mit 60 Hz arbeiten, so daß die Kalman-Filterung die Lücken in den Daten ausfüllt, die für die Aktionssteuerung in dem Spielprogramm benutzt werden. Das Glätten von diskreten Daten durch Kalman-Filterung ist auf dem Gebiet der Computervision allgemein bekannt und wird deshalb nicht weiter herausgearbeitet.
4A zeigt ein schematisches Diagramm einer verformbaren Benutzereingabevorrichtung nach einem Ausführungsbeispiel der Erfindung, die so konfiguriert ist, daß sie in X-, Y-Richtung verfolgt werden und ein auf einem Monitor anzuzeigendes Ereignis triggern kann. Die verformbare Benutzereingabevorrichtung 300 wird von der Videokamera 190 verfolgt. Die Videokamera 190 ist mit der Spielkonsole 60 verbunden, die ihrerseits mit dem Monitor 80 in Verbindung steht. In einem Ausführungsbeispiel wird die verformbare Vorrichtung 300 anhand der Farbe von der digitalen Videokamera 190 verfolgt, wie dies oben beschrieben wurde. Das heißt, die Benutzereingabevorrichtung hat eine abweichende Farbe und kann verfolgt werden, wenn sie sich in dem Blickfeld der Kamera 190 befindet. Wie erkennbar ist, bildet die verformbare Vorrichtung 300 im wesentlichen einen Teil eines halbierten Zylinders. Das heißt, die verformbare Vorrichtung 300 kann nach einem Ausführungsbeispiel in eine Handfläche eingepaßt werden. Wenn die verformbare Vorrichtung 300 verformt wird, ändert sich ihr Seitenverhältnis, was von der digitalen Videokamera 190 erfaßt wird. Die erfaßte Änderung des Seitenverhältnisses wird der Konsole 60 mitgeteilt, die ihrerseits bewirkt, daß ein Ereignis getriggert und auf dem Monitor 80 angezeigt wird. Die verformbare Vorrichtung 300 kann z.B. ähnlich benutzt werden wie eine Maus, so daß auf ein Objekt oder ein Objekt in einem Fenster zugegriffen und dieses herumbewegt werden kann.
In einem Ausführungsbeispiel kann ein Bild 304 in dem Punkt 302 erfaßt und nach Wunsch verschoben oder manipuliert werden. Der einschlägige Fachmann erkennt, daß eine beliebige Anzahl von geeigneten Operationen ausgeführt werden kann, bei denen die verformbare Vorrichtung 300 ähnliche Funktionen erfüllen kann wie eine Maus. Natürlich kann die verformbare Vorrichtung 300 benutzt werden, um ein Videospiel oder ein beliebiges anderes interaktives Spiel zu spielen, bei dem eine mausähnliche Funktionalität gefordert wird. Die Änderung des Seitenverhältnisses der verformbaren Vorrichtung 300 ist hier mit einem Maus-Klick vergleichbar, und das Bild kann verschoben werden, während das Seitenverhältnis gegenüber seiner Anfangsposition verändert wurde. So kann die Benutzereingabevorrichtung verwendet werden, um ein Kartenspiel zu spielen. Der einschlägige Fachmann erkennt, daß es eine Fülle von Anwendungen gibt, bei denen die hier beschriebene mausähnliche Funktionalität angewendet werden kann.
4B zeigt ein vereinfachtes schematisches Diagramm einer Änderung des Seitenverhältnisses der verformbaren Vorrichtung in einer Frontansicht nach einem Ausführungsbeispiel der Erfindung. Die verformbare Vorrichtung befindet sich zunächst in einer entspannten Position 300A. Wenn der Benutzer die verformbare Vorrichtung zusammenquetscht, ändert sich das Seitenverhältnis in eine geschlossene Position 300B. Die hier beschriebene Eingabevorrichtung liefert eine haptische/taktile Rückkopplung an den Benutzer, die einer Aktion entspricht, die gerade getriggert wird.
5 zeigt ein schematisches Diagramm eines alternativen Ausführungsbeispiels einer verformbaren Benutzereingabevorrichtung nach einem Ausführungsbeispiel der Erfindung. Die verformbare Benutzereingabevorrichtung 310 kann hier, je nach der Kraft, die der Benutzer auf die verformbare Vorrichtung ausübt, einen entspannten Zustand 310A oder einen zusammengedrückten Zustand 310B einnehmen. So hat die verformbare Vorrichtung 310 hier die Form eines zusammendrückbaren Balls. Allgemein kann jede beliebige verformbare Kugel von dem hier beschriebenen visuellen Verfolgungssystem verfolgt werden. Es ist zu beachten, daß in dem vorliegenden Ausführungsbeispiel die Fläche der verformbaren Vorrichtung 310, so wie sie von der digitalen Videokamera 190 gesehen wird, konstant bleibt. Zusätzlich zu der Erfassung von planaren X- und Y-Bewegungen der verformbaren Vorrichtung 310 kann die digitale Videokamera 190 so auch Bewegungen in der Z-Richtung erfassen. Die Z-Richtung kann benutzt werden, um eine Datei, wie die Datei 304B nach vorn oder nach hinten, d.h. in der Darstellung auf dem Monitor 80 in Tiefenrichtung, zu ziehen. Darüber hinaus kann man angezeigte Objekte, die von der verformbaren Vorrichtung 310 erfaßt wurden, je nach der Richtung entlang der Z-Achse, in der die verformbare Vorrichtung 310 bewegt wird, kleiner oder größer erscheinen lassen. Wenn das verformbare Objekt 310 z.B. näher an die Kamera 190 gebracht wird, erscheint das auf dem Monitor 80 angezeigte Objekt in einem Ausführungsbeispiel größer, während das auf dem Monitor 80 angezeigte Objekt kleiner zu sein scheint, wenn die verformbare Vorrichtung 310 von der Kamera 190 wegbewegt wird. Der einschlägige Fachmann erkennt, daß man durch eine kombinierte Bewegung in der X-, Y- und Z-Richtung Größe und Ort des angezeigten Objekts ändern kann. Hier wird der Winkel Theta (θ) benutzt, um die Bewegung im dreidimensionalen Raum zu bestimmen. Der einschlägige Fachmann erkennt, daß Theta der Winkel in Richtung der Bildebene der Kamera 190 ist.
In der Anordnung nach 5 erfaßt die Kamera die Position der verformbaren Vorrichtung 310. Die Information über die Position wird der Spielkonsole 60 mitgeteilt. Die Spielkonsole 60 verarbeitet die Positionsinformation wird, wie dies oben anhand von 1 bis 3 beschrieben wurde. Wenn sich das Seitenverhältnis oder die relative Position der verformbaren Vorrichtung ändert, übersetzt die Verarbeitung die Bewegung auf ein Objekt, das auf dem Monitor 80 angezeigt wird. Nach einem Ausführungsbeispiel der Erfindung kann bei einer Änderung des Seitenverhältnisses der verformbaren Vorrichtung ein Tonsignal erzeugt werden. Darüber hinaus kann vorgesehen sein, daß die verformbare Vorrichtung ein passives Tastendrucksignal erzeugt. Der Benutzer nimmt ein entsprechendes Klicken wahr, obwohl das Klickgeräusch von dem Computersystem nicht erfaßt wird.
In einem Ausführungsbeispiel werden die x-, y-, z-, q- und Quetsch-Parameter durch Analyse der Pixel in dem Bild bestimmt. Es ist zu beachten, daß die Pixel in dem Bild einen Teil des Objekts, d.h. der verformbaren Vorrichtung, bilden, das verfolgt wird. X ist dem horizontalen Schwerpunkt der Pixel in dem Bild proportional. Y ist dem vertikalen Schwerpunkt der Pixel in dem Bild proportional. Z ist der Quadratwurzel entweder der Fläche der Pixel oder dem zweiten Hauptmoment (das unterschiedliche Genauigkeits-/Robustheitsverhalten erzeugt) umgekehrt proportional. Theta (θ) entspricht dem Drehwinkel des zweiten Hauptmoments. Die Quetschparameter, wie der Betrag und Quetschung, d.h. die Größe der Verformung oder der Änderung des Seitenverhältnisses, ist umgekehrt proportional zur Quadratwurzel des zweiten Hauptmoments, dividiert durch die Quadratwurzel des kleinsten zweiten Moments. Aus einem einzigen Durchgang durch das Bild kann jeder der oben erwähnten Parameter berechnet werden. Somit ist die hier beschriebene Implementierung sehr schnell und gegen Rauschen (d.h. visuelle Fehler) weniger empfindlich als andere allgemein benutzte Metriken.
6A zeigt ein vereinfachtes schematisches Diagramm eines weiteren Ausführungsbeispiels der verformbaren Benutzereingabevorrichtung, wie sie anhand von 4A, 4B und 5 diskutiert wurde. Hier weist die verformbare Vorrichtung 320 einen oberen Abschnitt und einen unteren Abschnitt auf, die so miteinander verbunden sind, daß der Abstand zwischen dem oberen und dem unteren Abschnitt geändert werden kann, indem eine Kraft ausgeübt wird, um die Abschnitte zusammenzuführen. Auf diese Weise ändert sich das Seitenverhältnis, wenn auf die beiden Enden der verformbaren Vorrichtung 320 Druck ausgeübt wird. Die Fläche der verformbaren Vorrichtung 320 bleibt jedoch konstant, so daß die Kamera 190 die Bewegung der verformbaren Vorrichtung in der X-, Y- und Z-Ebene verfolgen kann. Wie oben erwähnt wurde, kann die verformbare Benutzereingabevorrichtung 320 aus jedem geeigneten Material bestehen, das verformt werden und in seine ursprüngliche Form zurückkehren kann.
6B zeigt ein vereinfachtes schematisches Diagramm der verformbaren Vorrichtung 320 in einer entspannten Position 320A bzw. in einer geschlossenen Position 320B. Der einschlägige Fachmann erkennt, daß die von der Kamera 190 detektierte Fläche der verformbaren Vorrichtung 320 die gleiche bleibt, wie dies oben erwähnt wurde. Das heißt, die Zahl der Pixel in dem entspannten Zustand 320A ist die gleiche wie die Zahl der Pixel im zusammengedrückten Zustand 320B. Deshalb kann die Bewegung in den dreidimensionalen Raum verfolgt werden.
6C zeigt eine Alternative zu 6A, wobei anstelle einer einzigen verformbaren Vorrichtung zwei verformbare Vorrichtungen benutzt werden. Ein Benutzer kann in jeder Hand eine der verformbaren Vorrichtungen 320A-1 und 320A-2 halten. Die verformbaren Vorrichtungen 320A-1 und 320A-2 können benutzt werden, um ein Bild auf dem Display 80 zu erfassen und zu manipulieren. Die Vorrichtungen 320A-1 und 320A-2 können auf das gleiche Bild oder auf verschiedene Bilder einwirken. In einem Ausführungsbeispiel kann das Bild eines Benutzers, der eine oder zwei verformbare Vorrichtungen 320 hält, von der Kamera 190 so erfaßt werden, daß auf dem Monitor 80 ein Bild des Benutzers dargestellt werden kann, der eine oder mehrere verformbare Benutzereingabevorrichtungen 320 hält.
Bei den hier beschriebenen Ausführungsbeispielen kann auch ein rückstrahlendes Material verwendet werden. Das rückstrahlende Material kann in Form von Bändern, Anstrichen, Kunststoffen usw. vorliegen, die auf einer Seite der verformbaren Vorrichtung, z.B. auf der der Kamera 190 zugewandten Frontseite der verformbaren Vorrichtung 320 aufgebracht sein können. Die Kamera 190 weist hier eine Lichtquelle auf, die auf eine verformbare Vorrichtung gerichtet wird. Das von dem rückstrahlenden Material reflektierte Licht ist bekanntlich auf die Kamera 190 gerichtet. Die Lichtwellenlänge der Lichtquelle kann im sichtbaren oder im unsichtbaren Bereich liegen. In einem Ausführungsbeispiel ist die Lichtquelle eine Infrarot-Lichtquelle.
7 zeigt ein Flußdiagramm der Verfahrensschritte zum Triggern von Eingangsbefehlen eines auf einem Rechensystem laufenden Programms nach einem Ausführungsbeispiel der Erfindung. Das Verfahren beginnt mit dem Schritt 400, in dem ein mit einem Computer verbundenes Erfassungsgerät bereitgestellt wird. Das Erfassungsgerät ist in einem Ausführungsbeispiel eine digitale Kamera, z.B. eine Web-Kamera. Das Rechensystem kann eine Konsole mit einem Monitor sein, wie sie oben anhand von 1 bis 3 beschrieben wurde. Das Verfahren geht dann weiter zu dem Schritt 420, in dem eine Erfassungsregion überwacht wird. Die Erfassungsregion ist in einem Ausführungsbeispiel das Blickfeld des Erfassungsgeräts.
Das Verfahren von 7 geht dann weiter zu dem Schritt 404, in dem eine Eingabevorrichtung innerhalb der Erfassungsregion detektiert und die Anfangsform der Eingabevorrichtung identifiziert wird. Hier kann die Eingabevorrichtung, wie sie anhand von 4 bis 6C beschrieben wurde, von dem Benutzer in das Blickfeld des Erfassungsgeräts gebracht werden. Die Eingabevorrichtung kann irgendeine geeignete Form haben, z.B. die Form einer der anhand von 4 bis 6C beschriebenen Benutzereingabevorrichtungen. In einem Ausführungsbeispiel ist die Eingabevorrichtung so gestaltet, daß das Seitenverhältnis in einer frontalen Projektion, die von dem Erfassungsgerät überwacht werden kann, modifiziert werden kann. Das Verfahren geht dann weiter zu dem Schritt 406, in dem eine Formänderung der Eingabevorrichtung identifiziert wird. Der Benutzer kann die Eingabevorrichtung z.B. quetschen und dadurch das Seitenverhältnis der Eingabevorrichtung verändern. Das Verfahren geht dann weiter zu dem Schritt 408, in dem als Reaktion auf die detektierte Formänderung der Eingabevorrichtung eine Aktivitätseingabe in einem Computerprogramm getriggert wird, das auf dem mit dem Erfassungsgerät verbundenen Computer abläuft. In einem Ausführungsbeispiel findet die Formänderung der Benutzereingabevorrichtung statt, während ein der Eingabevorrichtung entsprechendes Ikon über ein Bild auf einem Monitor gelegt ist. Die Formänderung bewirkt, ähnlich wie ein Maus-Klick, daß das Bild ausgewählt wird. In einem anderen Ausführungsbeispiel bewirkt eine Bewegung der Benutzereingabevorrichtung, daß das ausgewählte Bild bewegt oder verändert wird, während die veränderte Form der Benutzereingabevorrichtung beibehalten wird. Es ist zu beachten, daß mehrere Benutzereingabevorrichtungen vorgesehen sein können. So kann der Benutzer z.B. in jeder Hand eine Benutzereingabevorrichtung halten.
8 zeigt ein Flußdiagramm der Verfahrensschritte zum Triggern eines Spielsteuerbefehls für ein Videospiel nach einem Ausführungsbeispiel der Erfindung. Das Verfahren beginnt mit dem Schritt 410, in dem eine Spielkonsole zum Spielen von Videospielen bereitgestellt wird. Die Videospiele werden auf einem Bildschirm angezeigt. In einem Ausführungsbeispiel ist die Spielkonsole die Spielkonsole "PLAYSTATION 2"^®. Das Verfahren geht dann weiter zu dem Schritt 412, in dem ein mit der Spielkonsole verbundenes Videoerfassungsgerät bereitgestellt wird. Das Erfassungsgerät ist in einem Ausführungsbeispiel eine digitale Kamera, z.B. eine Web-Kamera. Das Verfahren geht dann weiter zu dem Schritt 414, in dem eine Erfassungsregion vor dem Erfassungsgerät überwacht wird. Wie oben erwähnt wurde, ist die Erfassungsregion in einem Ausführungsbeispiel das Blickfeld des Erfassungsgeräts.
Das Verfahren von 8 geht dann weiter zu dem Schritt 416, in dem eine Eingabevorrichtung innerhalb der Erfassungsregion detektiert und die Anfangsform der Eingabevorrichtung identifiziert wird. Die Eingabevorrichtung kann hier, wie anhand von 4 bis 6C beschrieben, von dem Benutzer in das Blickfeld des Erfassungsgeräts gebracht werden. In einem Ausführungsbeispiel detektiert das Erfassungsgerät die Eingabevorrichtung, indem es Licht von einer in der Nähe des Erfassungsgeräts angeordneten Lichtquelle aussendet. In diesem Ausführungsbeispiel weist die Eingabevorrichtung rückstrahlendes Material auf, das so beschaffen ist, daß es Licht direkt zu der das Licht erzeugenden Quelle reflektiert. Das Verfahren geht dann weiter zu dem Schritt 418, in dem eine Änderung der Form der Eingäbevorrichtung identifiziert wird. Der Benutzer kann z.B. die Eingabevorrichtung zusammenquetschen und dadurch das Seitenverhältnis der Eingabevorrichtung ändern. Das Verfahren geht dann weiter zu dem Schritt 420, in dem als Reaktion auf die detektierte Formänderung der Eingabevorrichtung ein Spielsteuerbefehl in einem Computerprogramm getriggert wird, das auf der mit dem Erfassungsgerät verbundenen Spielkonsole abläuft.
In einem Ausführungsbeispiel bewirkt eine Bewegung der Benutzereingabevorrichtung, daß das ausgewählte Bild bewegt oder seine Größe verändert wird, während die veränderte Form der Benutzereingabevorrichtung beibehalten wird. In einem anderen Ausführungsbeispiel zeigt der Grad der Änderung des Seitenverhältnisses die Kraft des Zugriffs während eines Videospiels an. Die Änderung des Seitenverhältnisses ist z.B. für ein bestimmtes Merkmal des Videospiels um so größer, je fester der Zugriff ist.
Eine Änderung des Seitenverhältnisses der hier definierten verformbaren Vorrichtungen triggert, ähnlich wie ein Maus-Klick oder eine Greifoperation, ein Ereignis oder eine Aktion. Es ist zu beachten, daß durch die Änderung des Seitenverhältnisses eine beliebige Anzahl von Ereignissen getriggert werden kann. So kann z.B. auf ein Pull-Down-Menü zugegriffen werden, es können Videospiele gespielt werden, es können Objekte erfaßt, vorwärtsbewegt, rückwärtsbewegt, gestapelt oder geschichtet werden, usw..
Durch das Quetschen der Benutzereingabevorrichtung zur Änderung ihres Seitenverhältnisses kann ein Ereignis, wie ein Tastendruck oder eine Greifaktion, simuliert werden. Die Kamera, die die Formänderung der Benutzereingabevorrichtung erfaßt, ist in einem Ausführungsbeispiel so konfiguriert, daß sie die Vorrichtung anhand der Farbe verfolgt. Alternativ kann die Kamera die Vorrichtung verfolgen, indem Licht im Zusammenhang mit rückstrahlendem Material benutzt wird, das auf der verformbaren Vorrichtung aufgebracht ist. Die hier beschriebenen verformbaren Vorrichtungen können eine beliebige geeignete Form annehmen, so daß der Benutzer die Empfindung eines Maus-Klicks hat, ohne daß er eine Maus benutzen muß, d.h. er nimmt eine haptische/taktile Rückkopplung wahr. Man erreicht im wesentlichen die Funktionalität eines Handschuhs, ohne daß der Benutzer einen Handschuh tragen muß. Während die oben beschriebenen Ausführungsbeispiele für eine Videospielkonsole erläutert wurden, sollen diese Ausführungsbeispiele nur exemplarisch und nicht restriktiv sein. Die hier beschriebenen verformbaren Vorrichtungen können auch bei einem Personalcomputer, bei elektronischen Consumergeräten, wie Fernsehempfängern, Videorekordern, Heimtheatersystemen usw. sowie bei einem intelligenten Gerät, wie einer Küchenmaschine usw. angewendet werden. Der einschlägige Fachmann erkennt, daß die oben beschriebenen Ausführungsbeispiele auf eine Spielkonsole anwendbar sind, auf der Videospiele ablaufen, sowie auf Online-Videospiele, bei denen der Benutzer auf Videospiele aus einem Server zugreift.
Die Erfindung kann verschiedene computerimplementierte Operationen benutzen, bei denen in Computersystemen gespeicherte Daten involviert sind. Diese Operationen sind solche, die eine physikalische Manipulation von physikalischen Größen erfordern. Diese Größen nehmen üblicherweise, jedoch nicht notwendigerweise, die Form von elektrischen oder magnetischen Signalen an, die gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert werden können. Die durchgeführten Manipulationen werden häufig als Erzeugen, Identifizieren, Festlegen oder Vergleichen bezeichnet.
Jede der hier beschriebenen Operationen, die einen Teil der Erfindung bilden, sind zweckdienliche Maschinenoperationen. Die Erfindung bezieht sich auch auf eine Vorrichtung oder ein Gerät zur Durchführung dieser Operationen. Das Gerät kann speziell für die geforderten Zwecke konstruiert sein, oder es kann ein Universalcomputer sein, der von einem in dem Computer gespeicherten Computerprogramm selektiv aktiviert oder konfiguriert ist. Insbesondere können verschiedene Universalmaschinen mit nach Maßgabe der hier dargelegten Lehren geschriebenen Computerprogrammen benutzt werden, oder es kann bequemer sein, ein stärker spezialisiertes Gerät zu konstruieren, um die geforderten Operationen auszuführen.
Obwohl die vorangehend beschriebene Erfindung zum besseren Verständnis ausführlicher beschrieben wurde, ist es offensichtlich, daß bestimmte Änderungen und Modifizierungen vorgenommen werden können. Deshalb sollten die vorliegenden Ausführungsbeispiele als illustrativ und nicht als restriktiv betrachtet werden, und die Erfindung ist nicht auf die hier angegebenen Details beschränkt, sie kann vielmehr innerhalb des Rahmens der Ansprüche modifiziert werden.

Claims

Verfahren zum Triggern von Eingabebefehlen eines auf einem Rechensystem (60) ablaufenden Programms mit den Verfahrensschritten: Überwachen eines Blickfelds vor einem Videoerfassungsgerät (190), Identifizieren eines manuell verformbaren Eingabeobjekts (300) innerhalb des Blickfelds, wobei das detektierte Eingabeobjekt in Bezug auf eine Formänderung analysiert wird und wobei die Formänderung aus einer Änderung des Seitenverhältnisses des Eingabeobjekts besteht, Detektieren einer Formänderung des Eingabeobjekts und Triggern eines Eingabebefehls in dem auf dem Rechensystem ablaufenden Programm, wobei das Triggern ein Resultat der detektierten Formänderung des Eingabeobjekts ist.
Verfahren nach Anspruch 1, bei dem das Videoerfassungsgerät eine digitale Videokamera ist.
Verfahren nach Anspruch 2, bei dem die digitale Videokamera das Eingabeobjekt aufgrund der Farbe verfolgt.
Verfahren nach Anspruch 2, bei dem die digitale Videokamera das Eingabeobjekt durch reflektiertes Licht verfolgt.
Verfahren nach Anspruch 1, bei dem der Verfahrensschritt des Detektierens einer Änderung des Eingabeobjekts ferner das Detektieren einer Positonsänderung des Eingabeobjekt umfaßt.
Verfahren nach Anspruch 5, bei dem der Eingabebefehl eine Größenänderung eines Bilds bewirkt, das auf einem mit dem Rechensystem verbundenen Monitor angezeigt wird.
Verfahren nach Anspruch 5, bei dem der Eingabebefehl bewirkt, daß ein auf einem mit dem Rechensystem verbundenen Monitor angezeigtes Bild ausgewählt wird.
Verfahren nach Anspruch 1, bei dem das Programm ein Videospiel und das Rechensystem eine Spielkonsole ist.
Verfahren nach Anspruch 1, bei dem das Eingabeobjekt aufweist: einen ersten Abschnitt und einen mit dem ersten Abschnitt integrierten zweiten Abschnitt, wobei der erste und der zweite Abschnitt durch ein Glied miteinander integriert sind, das ein mit dem ersten Abschnitt in Kontakt stehendes erstes Ende und ein mit dem zweiten Abschnitt in Kontakt stehendes zweites Ende aufweist, wobei dieses Glied im wesentlichen senkrecht zu einer durch eine Kante des ersten Abschnitts definierten Ebene und einer durch eine Kante des zweiten Abschnitts definierten Ebene verläuft.
Rechenvorrichtung, die unter dem Steuereinfluß eines Programms zur Eingabedetektierung arbeitet, das Programminstruktionen aufweist, um festzustellen, wenn Eingabebefehle eines Hauptprogramms getriggert werden sollen, wobei die Rechenvorrichtung aufweist: Mittel zum Überwachen eines Blickfelds vor einem Videoerfassungsgerät, wobei das Videoerfassungsgerät Daten an das Programms zur Eingabedetektierung liefert, Mittel zum Identifizieren eines manuell verformbaren Eingabeobjekts innerhalb des Blickfelds, Mittel zum Detektieren einer physischen Änderung an dem Eingabeobjekt, wobei diese physische Änderung aus einer Änderung des Seitenverhältnisses des Eingabeobjekts besteht, und Mittel zum Triggern eines Eingabebefehls in dem Hauptprogramm, wobei das Triggern ein Resultat der detektierten physischen Änderung des Eingabeobjekts ist.
Vorrichtung nach Anspruch 10, bei dem die Mittel zum Detektieren einer physischen Änderung an dem Eingabeobjekt Mittel zum Detektieren einer Positionsänderung des Eingabeobjekts umfassen.
Vorrichtung nach Anspruch 10, wobei die Vorrichtung eine Videospielkonsole ist.
Vorrichtung nach Anspruch 10, bei der das Eingabeobjekt ein kollabierbarer Ball (310a, 310b) ist.
Vorrichtung nach Anspruch 10, bei der Mittel zum Triggern eines Eingabebefehls eine Größenänderung eines Bilds bewirken, das auf einem mit dem Rechensystem verbundenen Monitor angezeigt wird.
Rechensystem mit einem manuell verformbaren Eingabeobjekt (300) für die Verwendung als Eingabevorrichtung, wobei das Eingabeobjekt aufweist: einen ersten Abschnitt, einen zweiten Abschnitt, der mit dem mit dem ersten Abschnitt so verbunden ist, daß das Eingabeobjekt konfiguriert ist, um in entspanntem Zustand eine erste Form mit einem ersten Seitenverhältnis und in einem verformten Zustand eine zweite Form mit einem zweiten Seitenverhältnis zu definieren, und mit einer Rechenvorrichtung (160) nach einem der Ansprüche 10 bis 15.
System nach Anspruch 15, bei dem Eingabeobjekt aufweist: eine Kante des ersten Abschnitts und eine Kante des zweiten Abschnitts, wobei die Kante des ersten Abschnitts und die Kante des zweiten Abschnitts so konfiguriert sind, daß sie Licht reflektieren, wobei das von der Kante des ersten Abschnitts und von der Kante des zweiten Abschnitts reflektierte Licht von der Rechenvorrichtung verfolgt werden kann.
System nach Anspruch 15, bei dem ein von der Rechenvorrichtung beobachteter Bereich des Eingabeobjekts unverändert bleibt, um die Bewegung im dreidimensionalen Raum zu verfolgen.
System nach Anspruch 16, bei dem das Eingabeobjekt in entspanntem Zustand eine zwischen der Kante des ersten Abschnitts und der Kante des zweiten Abschnitts definierte Öffnung aufweist, wobei diese Öffnung im verformten Zustand geschlossen ist.
System nach Anspruch 15 oder 16, bei dem ein dem ersten und dem zweiten Abschnitt entsprechendes Symbol auf einem mit der Rechenvorrichtung verbundenen Betrachtungsbildschirm angezeigt wird.
System nach Anspruch 15, bei dem das Eingabeobjekt so ausgebildet ist, daß es ein hörbares Klicken erzeugt, wenn die Form des Eingabeobjekts zwischen dem ersten und dem zweiten Zustand wechselt.
System nach Anspruch 19, bei dem eine Bewegung des Eingabeobjekts eine Bewegung des Symbols auf dem Betrachtungsbildschirm bewirkt.
System nach Anspruch 20, bei dem das Symbol in der Lage ist, mit auf dem Betrachtungsbildschirm definierten Objekten zu interagieren.
System nach Anspruch 15, bei dem der erste und der zweite Abschnitt durch ein Glied miteinander integriert sind, das ein mit dem ersten Abschnitt in Kontakt stehendes erstes Ende und ein mit dem zweiten Abschnitt in Kontakt stehendes zweites Ende aufweist, wobei dieses Glied im wesentlichen senkrecht zu einer durch eine Kante des ersten Abschnitts definierten Ebene und einer durch eine Kante des zweiten Abschnitts definierten Ebene verläuft.
System nach Anspruch 23, bei dem ein Symbol, das der Kante des ersten Abschnitts und der Kante des zweiten Abschnitts entspricht, auf einem mit dem Rechensystem verbundenen Betrachtungsbildschirm angezeigt wird.
System nach Anspruch 24, bei dem eine Bewegung des Eingabeobjekts eine Bewegung des Symbols auf dem Betrachtungsbildschirm bewirkt.
System nach Anspruch 24, bei dem das Symbol in der Lage ist, mit auf dem Betrachtungsbildschirm definierten Objekten zu interagieren.
System nach Anspruch 15, bei dem das Eingabeobjekt aufweist: einen ersten Abschnitt und einen mit dem ersten Abschnitt integrierten zweiten Abschnitt, wobei der erste und der zweite Abschnitt durch ein Glied miteinander integriert sind, das ein mit dem ersten Abschnitt in Kontakt stehendes erstes Ende und ein mit dem zweiten Abschnitt in Kontakt stehendes zweites Ende aufweist, wobei dieses Glied im wesentlichen senkrecht zu einer durch eine Kante des ersten Abschnitts definierten Ebene und einer durch eine Kante des zweiten Abschnitts definierten Ebene verläuft.