DE102005021526A1

DE102005021526A1 - Method and device for entering characters in a data processing system

Info

Publication number: DE102005021526A1
Application number: DE102005021526A
Authority: DE
Inventors: Henry Feil; Ewald Frensch
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-05-10
Filing date: 2005-05-10
Publication date: 2006-11-23
Also published as: WO2006120193A1

Abstract

Offenbart ist ein Verfahren und eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage (MFG4). Dazu wird mit einer Sensoreinrichtung (GS) eine Mehrzahl von Handschriftelementen nacheinander erfasst, von denen jedes einen Satz, bestehend zumindest aus einem Schriftzeichen, repräsentiert. Anschließend werden mit einer Erkennungseinrichtung (EKE) die jeweiligen Sätze von Schriftzeichen aus den erfassten Handschriftelementen ermittelt, um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden. Eine akustische Ausgabeeinrichtung (LS) gibt dann die ermittelten Sätze von Schriftzeichen in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen aus. Diese Ausgabe wird von einem Benutzer verfolgt, wobei dieser bei einem falsch eingegebenen oder falsch erkannten Satz von Schriftzeichen ein akustisches Korrektursignal abgibt, das von einer akustischen Eingabeeinrichtung (MIK) empfangen wird. Schließlich fügt eine Einfügeeinrichtung (EFE) einen weiteren Satz von Schriftzeichen an die Stelle des ermittelten Satzes vom Schriftzeichen in die Zeichenfolge, auf deren akustische Ausgabe hin das Korrektursignal empfangen wurde.Disclosed is a method and apparatus for inputting characters into a data processing system (MFG4). For this purpose, a plurality of handwriting elements are successively detected with a sensor device (GS), each of which represents a sentence consisting of at least one character. Subsequently, the respective sets of characters from the detected handwriting elements are determined by means of a recognition device (EKE) in order to form a character string in the sequence of the detection of the handwriting elements assigned to the sentences on the basis of the ascertained sets of characters. An audible output device (LS) then outputs the ascertained sets of characters in the order of detection of the handwriting elements assigned to them. This output is tracked by a user who, in the case of an incorrectly entered or misrecognized set of characters, outputs an acoustic correction signal received from an acoustic input device (MIK). Finally, an inserter (EFE) inserts another set of characters in place of the ascertained sentence from the character into the string, upon the acoustic output of which the correction signal was received.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage, sowie eine Datenverarbeitungsanlage, insbesondere in der Ausführung eines tragbaren elektronischen Geräts, welche eine Vorrichtung zum Eingeben von Schriftzeichen aufweist.The The present invention relates to a method and an apparatus for entering characters in a data processing system, and a data processing system, in particular in the execution of a portable electronic device which has a device for entering characters.

Die Miniaturisierung von tragbaren elektronischen Geräten, wie Mobiltelefonen oder Organizern, bringt eine Verringerung der Bedienungselemente mit sich, und führt teilweise bis zu einem vollkommenen Verzicht auf mechanische Tasten bzw. Tastaturen. Jedoch stellt sich dabei dann immer mehr das Problem der Eingabe von differenzierten Steueranweisungen, wie beispielsweise von Schriftzeichen bei einer Schrifteingabe. Bei größeren tragbaren Geräten ist hierzu herkömmlicher Weise ein berührungssensitives Display, ein so genannter "Touch Screen" vorgesehen, auf dem mittels eines speziellen Stifts Zeichen bzw. Schriftzeichen geschrieben werden können, welche dann mittels einer speziellen Schrifterkennungssoftware als Schriftzeichen oder Steueranweisungen erkannt werden. Bei kleineren tragbaren elektronischen Geräten, wie beispielsweise bei als Stift ausgebildeten Mobiltelefonen (so genannten "Pen Phones"), welche zumeist ein kleines Display aufweisen, wird hingegen zum Eingeben von Schriftzeichen oder Steueranweisungen eine Bewegung eines Benutzers durch das tragbare elektronische Gerät erfasst. Genauer gesagt, hält ein Benutzer das als Stift ausgebildete Mobiltelefon in seiner Hand, so wird er zum Eingeben von Schriftzeichen das Mobiltelefon bzw. dessen Spitze wie bei einem herkömmlichen Stift bewegen, um durch die Bewegung die gewünschten einzugebenden Schriftzeichen zu beschreiben. Die Erfassung der Bewegung kann dabei beispielsweise mittels optischen Sensoren, wie bei einer Computermaus, oder mittels Beschleunigungssensoren erfolgen. In jedem Fall ist es auch hier notwendig, dass mit einer speziellen Schrifterkennungssoftware die entsprechenden Bewegungen als Schriftzeichen erkannt werden.The Miniaturization of portable electronic devices, such as Mobile phones or Organizern, brings a reduction in the controls yourself, and leads partly up to a complete abandonment of mechanical buttons or keyboards. However, it turns out then more and more the problem the input of differentiated control statements, such as of characters in a font input. For larger portable devices is more conventional Way a touch-sensitive Display, a so-called "touch screen" provided on the by means of a special pen characters or characters can be written which then by means of a special letter recognition software as Characters or control statements are recognized. For smaller portable electronic devices, such as trained as a pen mobile phones (see called "pen phones"), which is mostly have a small display, however, is used to enter characters or control statements a movement of a user through the portable electronic device detected. More precisely, stops a user holds the pen-shaped mobile phone in his hand, so he is typing the mobile phone or its tip like a conventional one Move pen to move through the desired characters to be entered to describe. The detection of the movement can, for example using optical sensors, such as a computer mouse, or by means of Acceleration sensors take place. In any case, it is here too necessary that with a special font recognition software the corresponding movements are recognized as characters.

In jedem der gerade geschilderten Fälle kommt es jedoch vor, dass Schrifteingabeverfahren grundsätzlich das Problem haben, dass es zu Fehleingaben oder Falscherkennungen der Schriftzeichen kommen kann. Zu deren Behebung ist deshalb ein effizientes und ergonomisches Korrekturverfahren nötig.In each of the cases just described comes However, it is generally the case that the font input method is the Have problem that it to incorrect entries or wrong recognitions of the Characters can come. To remedy this is therefore an efficient and ergonomic correction procedure necessary.

Ein herkömmliches Korrekturverfahren sieht vor, mittels einer Korrekturtaste die eingegebenen Zeichen einer Zeichenfolge vom letzten Zeichen bis zu dem fehlerhaften Zeichen zu löschen und dann weitere neu eingegebene Zeichen an die Stelle in der Zeichenfolge wieder anzufügen, bis zu der die Löschung durchgeführt worden ist. Dieses Korrekturverfahren hat im Wesentlichen den Nachteil, dass ein Benutzer bereits eingegebene und durch die Schrifterkennungssoftware korrekt erkannte Zeichen wieder neu eingeben muss. Bei Schrifteingabesystemen, bei denen eingegebene Schriftzeichen zur Überprüfung durch den Benutzer nach der Eingabe bzw. Erkennung wieder akustisch ausgegeben werden – auf Grund der Berechnung bei der Erkennung etwas zeitverzögert – muss sich der Benutzer dann genau merken, welches der Schriftzeichen von mehreren eingegebenen Schriftzeichen falsch eingegeben oder erkannt worden war.One conventional Correction procedure provides, by means of a correction key the entered characters a string from the last character to the incorrect character to delete and then more newly entered characters at the location in the string to add again until the deletion carried out has been. This correction method essentially has the disadvantage that a user has already entered and through the text recognition software correctly recognized characters must enter again. For font input systems, where entered characters for review by the user after the input or detection are acoustically output again - due the calculation at the time of detection slightly delayed - then the user must be accurate remember which of the characters of several input characters was entered or recognized incorrectly.

Eine weitere Möglichkeit zur Korrektur fehlerhaft eingegebener Schriftzeichen besteht in der Verwendung eines sogenannten Navigations-Modus. Es wird davon ausgegangen, dass ein Benutzer zunächst einen sogenannten Eingabemodus eingestellt hat, um mehrere Schriftzeichen einzugeben. Erkennt der Benutzer, dass eines der eingegebenen Schriftzeichen beispielsweise falsch erkannt worden ist, so muss er vom Eingabemodus in den Navigations-Modus wechseln. Dies kann beispielsweise durch Drücken einer speziellen Modus-Taste geschehen. Anschließend muss der Benutzer durch eine entsprechende Eingabe einen Cursor an die Stelle der Falscherkennung bewegen. Daraufhin ist wieder in den Eingabemodus zu schalten, um das falsch erkannte Schriftzeichen zu löschen und zu korrigieren. Um nun wieder an das Ende der eingegebenen Folge von Schriftzeichen zu gelangen, muss schließlich wieder in den Navigations-Modus gewechselt werden, und dort angelangt ist der Eingabemodus zu aktivieren, um am Ende der Zeichenfolge neue Zeichen einzugeben und an die Zeichenfolge anzufügen. Somit zeigt sich, dass eine Korrektur einer Zeichenfolge gemäß dem gerade beschriebenen Verfahren sehr aufwändig und unkomfortabel für den Benutzer ist.A another possibility to correct erroneously entered characters consists in the use of a so-called navigation mode. It gets away assumed that a user first a so-called input mode has set to enter multiple characters. Recognize the User that one of the typed characters, for example has been detected incorrectly, it must go from input mode to navigation mode switch. This can be done, for example, by pressing a special mode button happen. Subsequently The user must enter a cursor by entering the appropriate name move to the place of misrecognition. Thereupon is again to switch to input mode to the wrongly recognized character to delete and correct. To return to the end of the entered sequence to arrive at characters, finally has to return to navigation mode and then you have to enter the input mode to activate at the end of the string enter new characters and the string to add. Thus, it turns out that a correction of a string according to the straight described method very complex and uncomfortable for the user is.

Die Aufgabe der vorliegenden Erfindungen besteht folglich darin, eine Möglichkeit zur Eingabe von Schriftzeichen bereit zu stellen, bei dieser ebenso eine einfache Korrektur möglich ist.The The object of the present invention is therefore a possibility to provide for input of characters, in this as well a simple correction possible is.

Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.These The object is solved by the independent claims. advantageous Embodiments are the subject of the dependent claims.

Dabei umfasst ein Verfahren zum Eingeben von Zeichen bzw. Schriftzeichen in eine Datenverarbeitungsanlage folgende Schritte. Es wird zunächst eine Mehrzahl von Handschriftelementen nacheinander erfasst, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert. Ein Handschriftelement kann dabei als eine von einem Benutzer durchgeführte Bewegung zur Beschreibung eines Schriftzeichens verstanden werden. Zum einen kann dabei die aktuell vom Benutzer gerade durchgeführte Bewegung zur Beschreibung eines oder mehrerer Schriftzeichen erfasst werden, es ist jedoch auch denkbar, schon aufgezeichnete Bewegungen zur Beschreibung eines oder mehrerer Schriftzeichen zu erfassen. Im letzteren Fall kann dabei ein Benutzer mittels Farbe eines herkömmlichen Stifts auf einem Papier ein oder mehrere Schriftzeichen schreiben, wobei das Papier dann als Aufzeichnungsmedium für die Bewegung zur Beschreibung von Schriftzeichen dient, und mittels eines optischen Scanners kann dann die aufgezeichnete Bewegung des Benutzers, als das oder die Schriftzeichen erfasst werden. Wie bereits erwähnt, kann de_r Satz aus Schriftzeichen eines oder mehrere Schriftzeichen umfassen, also einzelne Buchstaben, Ziffern oder ganze Wörter. Nun werden aus den erfassten Handschriftelementen die jeweiligen Sätze von Schriftzeichen ermittelt, um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassen der den Sätzen zugeordneten Handschriftelementen zu bilden. Die Ermittlung der jeweiligen Schriftzeichen oder Sätze von Schriftzeichen erfolgt dabei mittels speziellen Schrifterkennungs-Verfahren, welche üblicherweise mittels spezieller Software realisiert sind. Bei derartigen Erkennungsverfahren wird ein erfasstes Schriftzeichen mit einem vordefinierten Schriftzeichen verglichen, wobei dann das dem erfassten Schriftzeichen am ähnlichsten vordefinierte Zeichen als das erkannte Zeichen ausgegeben wird. Sind die Sätze von Schriftzeichen ermittelt, so werden diese in einem nächsten Schritt in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen akustisch ausgegeben. Ein Benutzer der gerade die Sätze von Schriftzeichen repräsentierende Handschriftelemente eingegeben hat, verfolgt die akustische Ausgabe der ermittelten Sätze von Schriftzeichen und gibt, sofern er eine Falscheingabe oder Falscherkennung feststellt, ein akustisches Korrektursignal ab. Dieses akustische Korrektursignal kann beispielsweise ein Geräusch, wie ein Pfeifen umfassen, es kann jedoch auch ein spezielles Korrekturwort wie "FALSCH" umfassen. Dieses akustische Korrektursignal wird nun empfangen. Anschließend wird ein weiterer Satz von Schriftzeichen an die Stelle des ermittelten Satzes von Schriftzeichen in der Zeichenfolge eingefügt, auf deren akustische Ausgabe hin das akustische Korrektursignal empfangen wurde. Das bedeutet, bei dem Verfahren gemäß der vorliegenden Erfindung muss sich der Benutzer, der eine Falscheingabe oder Falscherkennung eines Schriftzeichens feststellt, nicht genau merken, wann die Falscheingabe oder Falscherkennung stattgefunden hat, sondern er muss lediglich wenn er die akustische Ausgabe eines nicht korrekten Zeichens wahrnimmt, sein akustisches Korrektursignal abgeben. Dies vereinfacht die Korrektur der eingegebenen Zeichenfolge und erhöht somit den Komfort der Eingabe von Schriftzeichen.In this case, a method for entering characters or characters into a data processing system comprises the following steps. First, a plurality of handwriting elements are sequentially detected, each of which represents a sentence consisting of at least one character. A handwriting element can be used as one of ei understood by a user to describe a character. On the one hand, the movement currently being performed by the user to describe one or more characters can be detected, but it is also conceivable to record already recorded movements for the description of one or more characters. In the latter case, a user may write one or more characters on a paper by means of the color of a conventional pen, the paper then serving as a recording medium for the movement to describe characters, and by means of an optical scanner the user's recorded motion, as the character (s) are captured. As already mentioned, de _r set of characters may include one or more characters, so individual letters, numbers or words. Now the respective sets of characters are determined from the recorded handwriting elements in order to form a character string in the order of detection of the handwriting elements assigned to the sentences on the basis of the ascertained sets of characters. The determination of the respective characters or sets of characters takes place by means of special character recognition methods, which are usually realized by means of special software. In such recognition methods, a detected character is compared with a predefined character, in which case the most predefined character to the detected character is output as the recognized character. If the sets of characters have been determined, these are output acoustically in a next step in the order in which the handwriting elements assigned to them are recorded. A user who has entered handwriting elements that are currently representing the sets of characters keeps track of the audible output of the determined sets of characters and, if he or she detects a wrong entry or misrecognition, issues an auditory correction signal. For example, this acoustic correction signal may include a noise, such as a whistle, but may also include a special correction word such as "FALSE." This acoustic correction signal is now received. Subsequently, another set of characters is inserted in place of the determined set of characters in the string, upon the acoustic output of which the acoustic correction signal was received. That is, in the method according to the present invention, the user who detects a wrong input or misrecognition of a character does not need to remember exactly when the wrong input or misrecognition has taken place, but only has to if he perceives the acoustic output of an incorrect character to give off its acoustic correction signal. This simplifies the correction of the input character string and thus increases the convenience of inputting characters.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird der weitere Satz von Schriftzeichen zum Einfügen in die Zeichenfolge derart bereitgestellt, dass nach dem Empfangen des akustischen Korrektursignals ein weiteres Handschriftelement eines Benutzers erfasst wird, das den weiteren Satz bestehend aus zumindest einem Schriftzeichen repräsentiert. Dieser weitere Satz von Schriftzeichen wird dann wieder, wie oben beschrieben, ermittelt und an die Stelle des zu ersetzenden Satzes von Schriftzeichen eingefügt.According to one advantageous embodiment of the invention is the further set of characters for insertion provided in the string such that after receiving the acoustic correction signal another handwriting element of a user is detected, comprising the further sentence consisting of represents at least one character. This further sentence of characters is then again, as described above, determined and inserted in place of the set of characters to be replaced.

Gemäß einer weiteren Ausgestaltung der Erfindung wird der weitere Satz von Schriftzeichen derart bereitgestellt, dass nach dem Empfangen des akustischen Korrektursignals ein Sprachelement eines Benutzers erfasst wird, das ein Wort umfasst, welches den weiteren Satz von Schriftzeichen repräsentiert. Das bedeutet, gemäß dieser Ausgestaltung der Erfindung wird keine Bewegung eines Benutzers, sondern die Sprache des Benutzern erfasst. Anschließend wird der weitere Satz von Schriftzeichen anhand des Wortes des Sprachelements ermittelt. Dabei kann bei der Ermittlung das Wort als kleinste sprachliche Einheit, d.h. bestehend aus einem oder mehreren Buchstaben verarbeitet werden, es ist jedoch auch möglich, den Sinn des Wortes zu erkennen und beispielsweise in dem Fall, in dem das Wort eine Ziffer beschreibt, an Stelle der wörtlichen Beschreibung der Ziffer direkt die Ziffer als den weiteren Satz von Schriftzeichen zu betrachten, der an Stelle eines zu korrigierenden Satzes von Schriftzeichen in der Zeichenfolge eingefügt werden soll.According to one Another embodiment of the invention is the further set of characters such that after receiving the acoustic correction signal a language element of a user is detected, which comprises a word which represents the further set of characters. That means according to this Embodiment of the invention is no movement of a user, but captures the language of the user. Subsequently, the further sentence determined from characters based on the word of the language element. there can use the word as the smallest linguistic unit in the determination, i.e. consisting of one or more letters are processed, but it is also possible to recognize the meaning of the word and, for example, in the case in which the word describes a numeral instead of the literal Description of the digit directly the digit as the further sentence to look at characters which are to be corrected instead of a correct one Set of characters to be inserted in the string should.

Wie bereits erwähnt, kann das Erfassen von Handschriftelementen durch ein Erfassen einer Bewegung eines Benutzers vonstatten gehen, mit der der Benutzer ein Schriftzeichen beschreibt. Die Erfassung einer Bewegung eines Benutzers kann dabei beispielsweise mittels eines Beschleunigungssensors, eines optischen Sensors und/oder eines Berührungssensors erfolgen.As already mentioned, can capture handwriting elements by capturing a handwriting element Movement of a user take place with which the user describes a character. The detection of a movement of a The user can, for example, by means of an acceleration sensor, an optical sensor and / or a touch sensor.

Wird ein Beschleunigungssensor zur Erfassung der Bewegung eines Benutzers verwendet, so misst der Beschleunigungssensor die bei der Bewegung zur Beschreibung von Schriftzeichen auftretenden Beschleunigungen, welche mittels zeitlicher Integration schließlich in eine Ortskurve oder Bewegungskurve des Benutzers bei der Beschreibung von Zeichen umgewandelt werden kann. Diese Bewegungskurve kann dann einem Schrifterkennungsverfahren übergeben werden, um daraus ein Schriftzeichen zu erkennen.Becomes an acceleration sensor for detecting the movement of a user used, the accelerometer measures the movement for describing characters occurring accelerations, which by means of temporal integration finally into a locus or Movement curve of the user converted in the description of characters can be. This motion curve can then be passed to a text recognition process to recognize a character from it.

Ein optischer Sensor zur Erfassung einer Bewegung eines Benutzers kann beispielsweise eine Kamera aufweisen, mit welcher in äquidistanten Zeitschritten Bilder eines Untergrunds (einer Ebene, über der die Bewegung zur Beschreibung von Handschriftelementen stattfindet) aufgenommen werden und mit jeweils vorhergehenden Bildern verglichen werden (markante Bildelemente, welche gleiche Untergrundobjekte darstellen, werden zwischen einem aktuellen und einem vorhergehenden Bild verglichen), was als so genanntes "pixel matching" bezeichnet wird. Aus den Differenzbildern können dann Bewegungsvektoren errechnet werden, die schließlich zur neuen Position integriert werden können, um somit eine Ortskurve oder Bewegungskurve der Bewegung eines Benutzers bei der Beschreibung von Schriftzeichen zu erhalten. Die Bewegungskurve wird dann wiederum einem Schrifterkennungs-Verfahren zugeführt. Des Weiteren ist es möglich, bereits auf ein Aufzeichnungsmedium, wie ein Blatt Papier, geschriebene Handschriftelemente mittels eines optischen Scanners zu erfassen und daraus die Schriftzeichen zu erkennen.An optical sensor for detecting a movement of a user may for example comprise a camera, with which in equidistant time Stepped pictures of a background (a plane over which the movement for describing handwriting elements takes place) are taken and compared with respective previous pictures (prominent picture elements representing the same background objects are compared between a current and a previous picture), which is so called "pixel matching" is called. From the difference images then motion vectors can be calculated, which can be finally integrated into the new position, so as to obtain a locus or movement curve of the movement of a user in the description of characters. The motion curve is then again fed to a text recognition process. Furthermore, it is possible to capture already written on a recording medium, such as a sheet of paper, handwriting elements by means of an optical scanner and to recognize the characters therefrom.

Bei der Verwendung von Berührungssensoren gibt es dabei im Wesentlichen zwei verschiedene Möglichkeiten. Zum einen ist es möglich, dass insbesondere bei der Verwendung des Verfahrens in elektronischen Geräten mit einem größeren Display, das Display als ein berührungssensitives Display ausgebildet sein kann, wobei mittels eines Stifts ein Benutzer Schriftzeichen auf dem berührungssensitiven Display beschreiben kann. Des Weiteren ist es möglich, dass bei Verwendung des Verfahrens in kleineren tragbaren elektronischen Geräten ein Berührungssensor beispielsweise an einer Spitze eines als stiftförmiges Mobiltelefon ausgebildeten tragbaren elektronischen Geräts vorgesehen sein kann, wobei der Sensor beispielsweise eine drehbare Kugel an der Spitze umfasst, welche bei der Bewegung über eine in Kontakt stehende Oberfläche sich dreht, und anhand der Drehung auf die Bewegung des Geräts, welches von einem Benutzer geführt wird, geschlossen werden kann.at the use of touch sensors There are essentially two different options. For one thing, it is possible that in particular when using the method in electronic devices with a larger display, the display as a touch-sensitive Display may be formed, wherein by means of a pin a user Characters on the touch-sensitive display can describe. Furthermore, it is possible that when using of the process in smaller portable electronic devices touch sensor for example, at a tip of a trained as a pin-shaped mobile phone portable electronic device may be provided, wherein the sensor, for example, a rotatable Ball at the top covers, which in the movement over a in contact surface turns, and based on the rotation on the movement of the device, which led by a user will, can be closed.

Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage geschaffen. Die Vorrichtung umfasst dabei eine Sensoreinrichtung zum Erfassen einer Mehrzahl von Handschriftelementen nacheinander, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert. Des Weiteren umfasst die Vorrichtung eine Erkennungseinrichtung zum Ermitteln der jeweiligen Sätze von Schriftzeichen aus den erfassten Handschriftelementen, um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden. Außerdem ist eine akustische Ausgabeeinrichtung zum akustischen Ausgeben der ermittelten Sätze von Schriftzeichen in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen vorgesehen. Schließlich dient eine Einfügeeinrichtung zum Einfügen eines weiteren Satzes von Schriftzeichen an die Stelle des ermittelten Satzes von Schriftzeichen in der Zeichenfolge, auf deren akustische Ausgabe hin das Korrektursignal empfangen wurde.According to one Another aspect of the invention is an apparatus for inputting created by characters in a data processing system. The device comprises a sensor device for detecting a plurality of handwriting elements in succession, of which each represents a sentence consisting of at least one character. Furthermore, the device comprises a detection device for determining the respective sentences of characters from the recorded handwriting elements, based on the determined sentences of characters a string in the order of detection the sentences to form associated handwriting elements. It is also an acoustic Output device for acoustically outputting the determined sets of Characters in the order of detection of the associated Handwriting elements provided. Finally, an inserter serves to paste another set of characters in place of the determined Set of characters in the string, on the acoustic Issue out the correction signal has been received.

Gemäß einer vorteilhaften Ausgestaltung kann die Sensoreinrichtung einen Beschleunigungssensor, einen optischen Sensor und/oder einen Berührungssensor umfassen. Zur Erläuterung der jeweiligen Sensoren sei auf die Darstellung bezüglich des Verfahrens verwiesen.According to one Advantageous embodiment, the sensor device, an acceleration sensor, an optical sensor and / or a touch sensor. to explanation the respective sensors is on the representation with respect to Referenced method.

Gemäß einer weiteren vorteilhaften Ausgestaltung umfasst die akustische Ausgabeeinrichtung einen Lautsprecher und umfasst die akustische Eingabeeinrichtung ein Mikrofon. Die Einfügeeinrichtung und/oder die Erkennungseinrichtung kann jeweils einen Mikroprozessor aufweisen. Es ist jedoch auch denkbar, dass die Einfügeeinrichtung und/oder die Erkennungseinrichtung als Software-Anwendungen ausgebildet sind, welche durch einen Mikroprozessor ausgeführt werden.According to one In another advantageous embodiment, the acoustic output device comprises a Speaker and the acoustic input device comprises a microphone. The inserter and / or the detection device can each have a microprocessor. However, it is also conceivable that the insertion device and / or the detection device are designed as software applications that are executed by a microprocessor.

Es ist denkbar, dass die Vorrichtung ferner eine Speichereinrichtung zum Speichern der Zeichenfolge aufweist. Dadurch ist es möglich, eine Zeichenfolge vollständig einzugeben, in der Speichereinrichtung zu speichern und dann auf einmal beispielsweise über ein Datenkabel an die Datenverarbeitungsanlage zu übertragen.It it is conceivable that the device further comprises a memory device to store the string. This makes it possible to get one String completely to enter, store in the memory device and then on once for example over to transmit a data cable to the data processing system.

Ferner kann die Vorrichtung eine Anzeigeeinrichtung zum Anzeigen der eingegebenen Zeichenfolge aufweisen. Dies ermöglicht dem Benutzer die eingegebenen Schriftzeichen nicht nur akustisch (durch die akustische Ausgabeneinrichtung) wahrzunehmen, sondern auch optisch.Further For example, the device may include a display device for displaying the entered Have string. this makes possible the user the input characters not only acoustically (by the acoustic output device), but also optically.

Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungsanlage geschaffen, welche eine gerade beschriebene Vorrichtung zum Eingeben von Schriftzeichen umfasst. Die Datenverarbeitungsanlage kann dabei als ein tragbares elektronisches Gerät ausgebildet sein. Insbesondere kann sie als ein Mobilfunkgerät oder Mobiltelefon, aber auch als ein Organizer oder PDA (PDA: Personal Digital Assistent) ausgebildet sein.According to one Another aspect of the invention is a data processing system which provides a just described device for inputting of characters. The data processing system can do this be designed as a portable electronic device. In particular, can she as a mobile device or mobile phone, but also as an organizer or PDA (PDA: Personal Digital Assistant) be formed.

Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:preferred embodiments The present invention will be described below with reference to FIG the enclosed drawings closer explained. Show it:

1 eine Zeitstruktur, in der die einzelnen Ereignislinien zum Eingegeben von Schriftzeichen dargestellt sind; 1 a time structure in which the individual event lines for inputting characters are represented;

2 eine schematische Darstellung zur Korrektur eines falsch erkannten Schriftzeichens; 2 a schematic representation of the correction of a misrecognized character;

3 eine Zeitstruktur mit Ereignislinien zur Erläuterung der Eingabe von Sätzen von Schriftzeichen bzw. Wörtern; 3 a time structure with event lines to explain the input of sets of characters or words;

4 eine schematische Darstellung zur Korrektur eines falsch erkannten Wortes; 4 a schematic representation of the correction of a misrecognized word;

5 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer ersten Ausführungsform zur Eingabe von Schriftzeichen; 5 a data processing system in the form of a mobile phone according to a first embodiment for inputting characters;

6 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer zweiten Ausführungsform zur Eingabe von Schriftzeichen; 6 a data processing system in the form of a mobile phone according to a second embodiment for inputting characters;

7 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer dritten Ausführungsform zur Eingabe von Schriftzeichen; 7 a data processing system in the form of a mobile phone according to a third embodiment for inputting characters;

8 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer vierten Ausführungsform zur Eingabe von Schriftzeichen. 8th a data processing system in the form of a mobile phone according to a fourth embodiment for inputting characters.

Bevor nun ein Verfahren zum Eingeben von Schriftzeichen anhand der 1 bis 4 erläutert werden wird, soll zunächst eine mögliche Vorrichtung zum Eingeben von Schriftzeichen anhand der 5 bis 8 erläutert werden.Before now a method for entering characters based on the 1 to 4 will first be explained a possible device for entering characters on the basis of 5 to 8th be explained.

Dabei sei zunächst auf 5 verwiesen, in der ein Mobiltelefon MFG1 gezeigt ist. Das Mobiltelefon MFG1 weist dabei eine herkömmliche Form in der Gestalt eines Quaders auf. Es hat eine akustische Ausgabeeinrichtung mit einem Lautsprecher LS, sowie eine akustische Eingabeeinrichtung mit einem Mikrofon MIK. Des Weiteren hat es eine Tastatur TAS mit mehreren Tasten zum Eingeben von Zeichen oder Steueranweisungen. Unterhalb des Lautsprechers LS ist eine Anzeigeeinrichtung DSP angeordnet, die einen berührungssensitiven Bildschirm aufweist.Be first on 5 in which a mobile phone MFG1 is shown. The mobile phone MFG1 has a conventional shape in the shape of a cuboid. It has an acoustic output device with a loudspeaker LS, as well as an acoustic input device with a microphone MIK. Furthermore, it has a keyboard TAS with multiple buttons for entering characters or control statements. Below the loudspeaker LS, a display device DSP is arranged, which has a touch-sensitive screen.

Dieser berührungssensitive Bildschirm stellt dabei einen Berührungssensor BS dar. Mit einem Stift STI ist es dann möglich, durch Nachfahren von Schriftzeichen, während die Spitze des Stifts STI mit der Anzeigeeinrichtung DSP in Berührung steht, Handschriftelemente, welche ein oder mehrere Schriftzeichen repräsentieren, einzugeben. Dabei kann ein Benutzer beispielsweise die Spitze des Stifts STI auf die Anzeigeeinrichtung DSP aufsetzen, und eine Bewegung durchführen, die der Ziffer "1" entspricht, wobei die von dem Berührungssensor BS erfasste Bewegungskurve der Stiftspitze an eine Erkennungseinrichtung EKE weitergeleitet wird, die dafür eingerichtet ist, aus den erfassten Bewegungen der Stiftspitze, d.h. den Handschriftelementen, die jeweiligen Schriftzeichen oder Sätze von Schriftzeichen zu ermitteln. Die Erkennungseinrichtung dient ferner dazu, erkannte Schriftzeichen oder Sätze von Schriftzeichen in eine Folge von Schriftzeichen einzureihen, nämlich in der Reihenfolge des Erfassens der den Schriftzeichen zugeordneten Handschriftelementen. Wie es noch später bzgl. den 1 bis 4 erläutert werden wird, dient eine Einfügeeinrichtung EFE dazu, ein oder mehrere Schriftzeichen an eine bestimmte zu korrigierende Stelle in die durch die Erkennungseinrichtung EKE erzeugte Zeichenfolge einzufügen.This touch-sensitive screen thereby represents a touch sensor BS. With a stylus STI, it is then possible to input handwriting elements which represent one or more characters by descending characters while the tip of the stylus STI is in contact with the display device DSP. In this case, for example, a user can set the tip of the stylus STI on the display DSP and perform a movement corresponding to the numeral "1", and the movement curve of the pen tip detected by the touch sensor BS is forwarded to a recognizer EKE arranged therefor to determine from the detected movements of the pen tip, ie the handwriting elements, the respective characters or sets of characters. The recognizer further serves to classify recognized characters or sets of characters into a sequence of characters, namely, in the order of detecting the handwriting elements associated with the characters. As it later with respect to the 1 to 4 will be explained, an inserter EFE is used to insert one or more characters to a specific location to be corrected in the generated by the recognition device EKE string.

Es sei nun auf 6 verwiesen, in der eine Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG2 gezeigt ist. Das Mobiltelefon MFG2 umfasst im Wesentlichen die gleichen Komponenten mit gleichen Funktionen wie das Mobiltelefon MFG1, nämlich eine akustische Ausgabeeinrichtung mit einem Lautsprecher LS, eine Anzeigeeinrichtung DSP, eine Erkennungseinrichtung EKE, eine Einfügeeinrichtung EFE, sowie eine akustische Eingabeeinrichtung mit einem Mikrofon MIK. Auf Grund der Ausbildung des Mobiltelefons MFG2 als ein Stift ist die Anzahl der Tasten zur Bedienung des Mobiltelefons sehr reduziert. So ist beispielsweise in 6 lediglich eine Tastatur TAS1 mit zwei Tasten gezeigt. Als weiterer Unterschied zum Mobiltelefon MFG1 umfasst das Mobiltelefon MFG2 anstatt des Berührungssensors BS einen optischen Sensor OS, der im Spitzenabschnitt des Mobiltelefons vorgesehen ist. Der optische Sensor OS, der eine optische Kamera umfasst, dient dazu, in äquidistanten Zeitschritten Bilder der Oberfläche OF aufzunehmen und mit jeweils vorhergehenden aufgenommenen Bildern zu vergleichen, um daraus Bewegungsvektoren der Spitze des Mobiltelefons MFG2, welches sich über die Oberfläche OF bewegt, zu berechnen. Anhand der Bewegungsvektoren lassen sich schließlich Positionspunkte berechnen, die dann zu einer Bewegungskurve oder Ortskurve zusammengefasst werden können. Die so von dem optischen Sensor OS ermittelte Bewegungskurve der Spitze des Mobiltelefons MFG2 wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die anhand der Bewegungskurve die den Bewegungskurven zugeordneten Schriftzeichen ermittelt. Die Funktion der Einfügeeinrichtung EFE wird später bzgl. der 1 bis 4 erläutert werden.It is now up 6 referenced in which a device for inputting characters in the form of a styled as a mobile phone MFG2 is shown. The mobile telephone MFG2 essentially comprises the same components with the same functions as the mobile telephone MFG1, namely an acoustic output device with a loudspeaker LS, a display device DSP, a recognition device EKE, an insertion device EFE, and an acoustic input device with a microphone MIK. Due to the design of the mobile phone MFG2 as a pen, the number of keys for operating the mobile phone is greatly reduced. For example, in 6 only a keyboard TAS1 with two buttons shown. As a further difference to the mobile telephone MFG1, the mobile telephone MFG2 comprises, instead of the touch sensor BS, an optical sensor OS which is provided in the tip section of the mobile telephone. The optical sensor OS, which comprises an optical camera, serves to record images of the surface OF in equidistant time steps and to compare them with respectively preceding recorded images in order to calculate therefrom motion vectors of the tip of the mobile telephone MFG2 moving over the surface OF , Position vectors can then be calculated using the motion vectors, which can then be combined into a motion curve or a locus. The movement curve of the tip of the mobile telephone MFG2 thus determined by the optical sensor OS is then in turn supplied to the recognition device EKE, which uses the movement curve to determine the characters assigned to the movement curves. The function of the inserter EFE is later with respect to the 1 to 4 be explained.

Es sei nun auf 7 verwiesen, in der eine weitere Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als ein Stift ausgebildetes Mobiltelefons MFG3 gezeigt ist. Das Mobiltelefon MFG3 entspricht im Aufbau im wesentlichen dem Mobiltelefon MFG2, weshalb zur Erläuterung gleicher Komponenten auf die Erläuterung des Mobiltelefons MFG2 verwiesen wird. Der wesentliche Unterschied des Mobiltelefons MFG3 liegt nun darin, dass dieses an Stelle des optischen Sensors OS bei dem Mobiltelefon MFG2 einen Berührungssensor BS1 aufweist. Dieser kann beispielsweise eine drehbar gelagerte Kugel an der Spitze des Mobiltelefons MFG3 aufweisen, deren Drehung dann messbar ist, wenn die Kugel bzw. der Berührungssensor BS1 bei Kontakt mit der Oberfläche OF über diese hinweg bewegt wird. Anhand der erfassten Drehung ist dann die Bewegung der Spitze des Mobiltelefons MFG3 über die Oberfläche hinweg erfassbar. Wird mit der Spitze ein Schriftzeichen beschrieben, so kann dies der Berührungssensor BS1 erfassen, in eine Bewegungskurve oder Ortskurve umwandeln und diese Bewegungskurve der Erkennungseinrichtung EKE zuführen. Wie schon anhand der anderen Ausführungsformen erläutert, ist die Erkennungseinrichtung EKE dann in der Lage, anhand der Bewegungskurve das jeweilige Schriftzeichen zu erkennen.It is now up 7 Referring to Fig. 15, there is shown another device for inputting characters in the form of a cellular phone MFG3 formed as a pen. The mobile phone MFG3 corresponds in structure essentially to the mobile phone MFG2, for which reason reference is made to the explanation of the same components on the explanation of the mobile phone MFG2. The main difference of the mobile phone MFG3 is now that this instead of the optical sensor OS in the mobile phone MFG2 has a touch sensor BS1. This can for example have a rotatably mounted ball at the top of the mobile phone MFG3, the rotation of which is then measurable when the ball or the touch sensor BS1 is moved in contact with the surface OF over this time. Based on the detected rotation, the movement of the tip of the mobile phone MFG3 can then be detected over the surface. If a character is described with the tip, then this can be detected by the touch sensor BS1, converted into a movement curve or locus curve and fed to the detection device EKE by this movement curve. As already explained with reference to the other embodiments, the recognition device EKE is then able to recognize the respective character on the basis of the movement curve.

Schließlich sei noch auf 8 verwiesen, in der eine weitere Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG4 gezeigt ist. Dabei stimmt das Mobiltelefon MFG4 wieder im Wesentlichen mit den Mobiltelefonen MFG2 und MFG3 überein, weshalb zur Erläuterung gleicher Komponenten auf die oben erläuterten Mobiltelefone verwiesen wird. Kennzeichen des Mobiltelefons MFG4 ist, dass dieses zur Erfassung von Bewegungen nun einen Gyro-Sensor oder Beschleunigungssensor GS im Spitzenabschnitt des Telefons aufweist. Dieser Gyro-Sensor hat mindestens zwei Sensorabschnitte, vorteilhafter Weise jedoch drei Sensorabschnitte zum Erfassen von Beschleunigungen in zwei, vorteilhafter Weise in drei Dimensionen. Das bedeutet, wird das Mobiltelefon MFG4 bzw. dessen Spitzenabschnitt, in dem sich der Beschleunigungssensor GS befindet, über die Oberfläche OF hinweg bewegt, um beispielsweise ein Schriftzeichen zu beschreiben, so erfasst der Beschleunigungssensor GS die an der Spitze des Mobiltelefons MFG4 auftretenden Beschleunigungen. Durch zweifache Integration der Beschleunigungsdaten über die Zeit lässt sich eine Bewegungskurve bzw. Ortskurve der Bewegung der Spitze des Mobiltelefons MFG4 berechnen. Diese Ortskurve wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die aus der Bewegungskurve ein Schriftzeichen oder mehrere Schriftzeichen ermittelt.Finally, be on 8th in which another device for inputting characters in the form of a pen MFG4 is shown. In this case, the mobile phone MFG4 again substantially coincides with the mobile phones MFG2 and MFG3, for which reason reference is made to the above-described mobile phones to explain the same components. Characteristic of the mobile phone MFG4 is that it now has a gyro sensor or acceleration sensor GS in the tip section of the phone to detect movements. This gyro sensor has at least two sensor sections, but advantageously three sensor sections for detecting accelerations in two, advantageously in three dimensions. That is, when the mobile phone MFG4 or its tip portion where the acceleration sensor GS is located is moved over the surface OF, for example, to describe a character, the acceleration sensor GS detects the accelerations occurring at the top of the mobile phone MFG4. By integrating the acceleration data twice over time, a movement curve or locus of movement of the tip of the mobile telephone MFG4 can be calculated. This locus is then in turn fed to the detection device EKE, which determines a character or several characters from the movement curve.

Nach der grundsätzlichen Erläuterung des Aufbaus einer möglichen Vorrichtung zum Erfassen von Schriftzeichen soll nun anhand der 1 bis 4 ein Verfahren zum Erfassen von Schriftzeichen bzw. zu deren Korrektur bei einer fehlerhaften Erfassung oder fehlerhaften Ermittlung (durch die Erkennungseinrichtung) erläutert werden.After the basic explanation of the structure of a possible device for detecting characters will now be based on the 1 to 4 a method for detecting characters or for their correction in an erroneous detection or erroneous determination (by the detection means) are explained.

Dabei soll zunächst anhand der 1 und 2 ein Verfahren zum Eingeben einzelner Schriftzeichen in Form von Ziffern dargestellt werden. In 1 sind dazu vier Ereignislinien gezeigt, in denen die Zeit von links nach rechts voranschreitet. Die erste Ereignislinie, die "Schrifteingabe"-Ereignislinie zeigt an, dass die Ziffern "0" "1" "2" "3" "4" in jeweiligen Zeitintervallen TSZ nacheinander von einem Benutzer eingegeben werden. Die Eingabe kann dabei mittels einer der in den 5 bis 8 dargestellten Mobiltelefonen MFG1 bis MFG4 erfolgen. Genauer gesagt, wird bei der Schrifteingabe ein jeweiliges Handschriftelement HSE eines Benutzers mittels eines jeweiligen Sensors (BS, OS, BS1 oder GS) erfasst. Wie bereits erwähnt, umfasst im Beispiel von 1 ein Handschriftelement HSE ein Schriftzeichen SZ in der Form einer Ziffer.It should first on the basis of 1 and 2 a method for inputting individual characters in the form of numerals are presented. In 1 For this purpose four event lines are shown, in which time progresses from left to right. The first event line, the "writing input" event line, indicates that the digits "0""1""2""3""4" are inputted successively by a user at respective time intervals TSZ. The entry can be made by means of one of the 5 to 8th shown mobile phones MFG1 to MFG4 done. More specifically, in the font input, a respective handwriting element HSE of a user is detected by a respective sensor (BS, OS, BS1 or GS). As already mentioned, in the example of 1 a handwriting element HSE a character SZ in the form of a numeral.

Die erfasste Bewegung eines Benutzers zur Beschreibung einer Ziffer bzw. ein Handschriftelement wird dann einer jeweiligen Erkennungseinrichtungen EKE zugeführt, die die dem Handschriftelement zu Grunde liegende Ziffer mittels einer bekannten Handschrifterkennungsmethode ermittelt. Dies bedarf einer bestimmten Rechenzeit, weshalb die zweite Ereignislinie, die "erkannte Eingabe"-Ereignislinie, zeitlich nachfolgend beginnt. Im Beispiel sei angenommen, dass es fünf erkannte Zeichen bzw. Ziffern ESZ gibt, wobei vier Ziffern der eingegebenen Ziffernfolge ZF (vgl. 2) richtig erkannt werden, während die dritte Ziffer "2" falsch von der Erkennungseinrichtung erkannt wird, so dass die dritte Ziffer nun eine "4" an Stelle einer "2" darstellt.The detected movement of a user to describe a digit or a handwriting element is then fed to a respective recognition device EKE, which determines the digit underlying the handwriting element by means of a known handwriting recognition method. This requires a certain amount of computation time, which is why the second event line, the "recognized input" event line, begins later in time. In the example, assume that there are five recognized characters or digits ESZ, where four digits of the input digit sequence ZF (cf. 2 ) are recognized correctly, while the third digit "2" is recognized incorrectly by the recognition device, so that the third digit now represents a "4" instead of a "2".

In der dritten Ereignislinie, der "Sprachausgabe"-Ereignislinie werden schließlich die von der Erkennungseinrichtung erkannten Schriftzeichen ESZ durch die akustische Ausgabeeinrichtung bzw. deren Lautsprecher LS, die hier als sogenanntes "Text-to-Speech"-System ("Text-zu-Sprache"-System) arbeiten, in Form von Worten EWO ausgegeben. Auf Grund der Berechnung für die Sprachausgabe beginnt die akustische Ausgabe der erkannten Zeichen ESZ mit einer zeitlichen Verzögerung zu der Erfassung oder Ermittlung der jeweiligen Schriftzeichen. Es wird angenommen, dass die Ausgabe der Wörter EWO, die die erkannten Schriftzeichen bzw. Ziffern repräsentieren, in einer einheitlichen Geschwindigkeit erfolgt. Das bedeutet, die Ausgabe einer jeweiligen Ziffer erfolgt in gleichen Zeitintervallen TAK.In the third event line, the "speech output" event line after all the characters ESZ detected by the recognition device the acoustic output device or its loudspeaker LS, the work here as a so-called "text-to-speech" system ("text-to-speech" system), issued in the form of words EWO. Based on the calculation for the speech output begins the acoustic output of the detected characters ESZ with a time delay to the detection or determination of the respective characters. It is assumed that the output of words EWO who recognized the Represent characters or numbers, in a uniform speed. That means the Output of a respective digit takes place in the same time intervals TAK.

Betrachtet man nun 1 von der ersten Ereignislinie zur dritten Ereignislinie so fällt auf, dass auf Grund zwischenzeitlicher Berechnungen und der akustischen Ausgabe mit gleich bleibender Geschwindigkeit beispielsweise mit der Erfassung der vierten Ziffer bereits begonnen wurde, während mittels akustischer Sprachausgabe gerade die erkannte dritte Ziffer ausgegeben wird. Um nun zu vermeiden, dass ein Benutzer, der anhand der akustischen Sprachausgabe erkennt, dass seine dritte eingegebene Ziffer ("2") falsch erkannt wurde, die gerade eingegebene vierte Ziffer ("3") wieder löschen muss oder umständlich zur falsch erkannten Ziffer navigieren muss, um schließlich zur falsch eingegebenen dritten Ziffer zu gelangen, wie es in herkömmlichen Systemen zur Korrektur von Zeichen vorgesehen ist, sieht die vorliegende Erfindung gemäß dieser Ausführungsform eine vereinfachte Vorgehensweise vor.Looking now 1 from the first event line to the third event line, it is noticeable that, for example, the detection of the fourth digit has already started due to intermediate calculations and the acoustic output at constant speed, while the recognized third digit is being output by means of acoustic speech output. In order to avoid that a user who recognizes from the acoustic voice output that his third entered digit ("2") was detected incorrectly, the currently entered fourth digit ("3") must clear again or cumbersome to navigate to the misrecognized digit to finally arrive at the wrongly entered third digit, as provided in conventional character correction systems, the present invention provides a simplified approach according to this embodiment.

Gemäß dieser Ausführungsform der Erfindung muss ein Benutzer, der gerade Schriftzeichen eingibt, lediglich die akustische Ausgabe der erkannten Ziffern verfolgen bzw. beobachten, und sofort, wenn er erkennt, dass eine Ziffer falsch eingegeben oder falsch erkannt wurde, unmittelbar nach Ausgabe dieser Ziffer (allgemein gesagt nach Ausgabe des Schriftzeichens) ein akustisches Korrektursignal, beispielsweise in der Form des Wortes "FALSCH" ausgeben. Wie es in 1 bzgl. der vierten Ereignislinie, der " Spracheeingabe"-Ereignislinie gezeigt ist, gibt ein Benutzer, der an der Sprachausgabe-Ereignislinie erkennt, dass das dritte von ihm eingegebene Zeichen falsch erkannt wurde, unmittelbar das Wort "FALSCH" aus. Durch dieses akustische Korrektursignal KOS in Form des Wortes "FALSCH" nach einem falschen Zeichen FZ wird das eigentliche Korrekturverfahren gestartet.According to this embodiment of the invention, a user who is currently inputting characters only has to keep track of the acoustic output of the recognized digits, and immediately when he recognizes that a digit has been entered incorrectly or misrecognized immediately after the output of that digit (generally said after output of the character) output an acoustic correction signal, for example in the form of the word "FALSE". As it is in 1 With regard to the fourth event line, the "Speech Entry" event line is shown, a user who recognizes on the Speech Event line that the third character entered by him / her has been misrecognized immediately issues the word "FALSE". By this acoustic correction signal KOS in the form of the word "FALSE" after a false sign FZ the actual correction process is started.

Anhand von 2, in der vier Bildschirmabschnitte D1, D2, D3 und D4 gezeigt sind, welche jeweils zeitlich aufeinander folgende Abschnitte der Anzeigeeinrichtung DSP während des Korrekturverfahrens darstellen, sollen nun die einzelnen Korrekturschritte ausführlich erläutert werden. Im Bildschirmabschnitt D1 wird dabei die gemäß der zweiten Ereignislinie von 1 erkannte Zeichenfolge ZF bzw. Ziffernfolge "01434" dargestellt, wobei der Cursor CUR am Ende der Ziffernfolge angibt, dass ein Benutzer anschließend an die erkannten Ziffern weitere Ziffern oder Schriftzeichen eingeben kann. Während der optischen Darstellung der erkannten Ziffernfolge wird die Ziffernfolge ebenso akustisch ausgegeben, was durch das Lautsprecher-Symbol links neben dem Bildschirmabschnitt D1 veranschaulicht ist und bezüglich der dritten Ereignislinie von 1 bereits erläutert worden ist. Wird nun die dritte erkannte Ziffer als die Ziffer "4" ausgegeben, so ertönt das akustische Korrektursignal des Benutzers in Form des Wortes "FALSCH", so dass die gerade akustisch ausgegebene Ziffer als falsch markiert wird. Das akustische Korrektursignal wird dabei von einer akustischen Eingabeeinrichtung eines Mobiltelefons bzw. deren Mikrofon MIK empfangen. Die akustische Eingabeeinrichtung dient dabei als integrierter Spracherkenner, der beispielsweise im sogenannten "voice activation"-Modus betrieben werden kann, d. h. bei dem der Spracherkenner immer aktiv ist und bei Erkennung eines bestimmten Wortes eine entsprechende vorbestimmte Aktion auslöst.Based on 2 , in which four screen sections D1, D2, D3 and D4 are shown, which respectively represent temporally successive sections of the display device DSP during the correction process, the individual correction steps will now be explained in detail. In the screen section D1 is in accordance with the second event line of 1 recognized sequence of characters ZF or digit sequence "01434", wherein the cursor CUR at the end of the number sequence indicates that a user can subsequently input further numbers or characters to the recognized numbers. During the optical representation of the recognized digit sequence, the digit sequence is also output acoustically, as illustrated by the loudspeaker symbol to the left of the screen section D1 and with respect to the third event line of 1 has already been explained. If now the third recognized digit is output as the digit "4", then the acoustic correction signal of the user sounds in the form of the word "FALSE", so that the digit just emitted acoustically is marked as false. The acoustic correction signal is received by an acoustic input device of a mobile phone or its microphone MIK. The acoustic input device serves as an integrated speech recognizer, which can be operated for example in the so-called "voice activation" mode, ie in which the speech recognizer is always active and triggers a corresponding predetermined action upon detection of a particular word.

Eine derartige Markierung eines falschen Schriftzeichens bzw. einer falschen Ziffer kann, wie es in dem zweiten Bildschirmabschnitt D2 gezeigt ist, wiederum durch einen Cursor CUR erfolgen.A Such marking of an incorrect character or a wrong Digit as shown in the second screen section D2 is again done by a cursor CUR.

Es ist dabei möglich, dass das gesamte Korrekturverfahren, das durch die Ausgabe des akustischen Korrektursignals durch den Benutzer eingeleitet wird, durch eine Korrektureinrichtung in der Form der in den 5 bis 8 bezeichneten Einfügeeinrichtung EFE gesteuert wird. Dabei kann dann nach Empfangen des akustischen Korrektursignals die Zeichenfolge der erkannten Schriftzeichen ESZ sowie die Stelle des Schriftzeichens mitgeteilt werden, auf dessen Ausgabe hin das akustische Korrektursignal empfangen wurde. Die Einfügeeinrichtung veranlasst daraufhin, wie schon bezüglich Bildschirmabschnitt D2 erläutert, dass der Cursor CUR nun auf das falsche Schriftzeichen FZ bzw. im vorliegenden Fall die falsche Ziffer FZ gesetzt wird. Die Markierung bedeutet nun, dass durch eine folgende Eingabe eines Schriftzeichens bzw. einer Ziffer das markierte Schriftzeichen ersetzt wird.It is possible that the entire correction process, which is initiated by the output of the acoustic correction signal by the user, by a correction device in the form of in the 5 to 8th designated insertion device EFE is controlled. In this case, after receiving the acoustic correction signal, the character sequence of the recognized characters ESZ and the position of the character can then be communicated, on whose output the acoustic correction signal was received. The inserter then causes, as already explained with respect to screen section D2, that the cursor CUR is now set to the wrong character FZ or in the present case, the wrong digit FZ. The marking now means that the marked character is replaced by a subsequent input of a character or a number.

Dies ist in dem Bildschirmabschnitt D3 veranschaulicht. Eine Eingabe eines neuen Schriftzeichens kann dabei zum einen durch Erfassung eines Handschriftelements HSE erfolgen, das ein Schriftzeichen SZ repräsentiert, wie es auch schon bezüglich der ersten Ereignislinie von 1 erläutert worden ist. Zum anderen kann die Eingabe eines neuen Schriftzeichens auch durch Spracheingabe erfolgen, indem der Benutzer ein Sprachelement SPE ausgibt, das ein Wort WO umfasst, welches das Schriftzeichen oder eine Ziffer repräsentiert. Im vorliegenden Fall soll an Stelle der falsch erkannten Ziffer "4" die korrekte Ziffer "2" eingefügt werden. Wie es im dritten Bildschirmabschnitt D3 somit zu sehen ist, wird in die erkannte Ziffernfolge an der Stelle der falsch erkannten Ziffer die nun richtige Ziffer, welche nach Empfang des akustischen Korrektursignals eingegeben worden ist, eingefügt.This is illustrated in the screen section D3. An input of a new character can be done on the one hand by detecting a handwriting element HSE, which represents a character SZ, as already with respect to the first event line of 1 has been explained. On the other hand, the input of a new character can also be done by voice input by the user outputs a voice element SPE, which includes a word WO, which represents the character or a number. In the present case, the correct number "2" should be inserted instead of the wrongly recognized number "4". As can be seen in the third screen section D3 thus, in the recognized digit sequence at the location of the misrecognized digit, the now correct digit, which has been entered after receipt of the acoustic correction signal inserted.

Wie es in dem Bildschirmabschnitt D4 gezeigt ist, wird nach dem Einfügen des korrekten Zeichens bzw. der korrekten Ziffern der Cursor wieder an das Ende der Ziffernfolge gesetzt, so dass ein Benutzer nun neue Zeichen bzw. Ziffern am Ende der Ziffernfolge anfügen kann. Das bedeutet, die Navigation des Cursors vom Ende der Ziffernfolge zur falsch eingegebenen Ziffer, um diese zu korrigieren, und die Navigation von dieser Stelle zurück zum Ende zu der Ziffernfolge nach erfolgter Korrektur wird automatisch (hier im Beispiel von der Einfügeeinrichtung EFE) durchgeführt. Somit steht dem Benutzer ein einfaches Verfahren ohne großen Aufwand zu Verfügung, um falsch eingegebene Zeichen korrigieren zu können.As it is shown in the screen section D4, after inserting the correct cursor or correct numbers, the cursor will be on again set the end of the digit string, giving a user new ones Can add characters or numbers at the end of the digit sequence. This means the navigation of the cursor from the end of the digit sequence to the incorrectly entered number to correct it, and the navigation back from this point to the end to the digit sequence after correction is done automatically (here in the example of the inserter EFE). Thus, the user has a simple process without much effort available to to correct incorrectly entered characters.

Es sei nun auf die 3 und 4 verwiesen, in denen ein Verfahren zur Eingabe und Korrektur ganzer Wörter, welche jeweils aus einem Satz von Schriftzeichen bestehen, erläutert ist. Im vorliegenden Fall wird also angenommen, dass ein Benutzer nicht nur einzelne Ziffern eingibt, sondern ganze Texte mit aus Buchstaben bestehenden Wörtern. Die Eingabe der jeweiligen Buchstaben für die Wörter kann entsprechend der Eingabe der Ziffern erfolgen, wie es bereits bzgl. 1 erläutert worden ist. Dabei kann entsprechend der ersten Ereignislinie von 1 durch Erfassen der Bewegung eines Benutzers, welche einen Buchstaben repräsentiert, eine Schrifteingabe bzw. Handschrifteingabe erfolgen. Genauer gesagt können einzelne Handschriftelemente eines Benutzers erfasst werden, die einen Satz bestehend aus mehreren Schriftzeichen umfassen. Zur Kenntlichmachung für die Eingabeeinrichtung bzw. die Erkennungseinrichtung und Einfügeeinrichtung, welche Schriftzeichen zu einem bestimmten Handschriftelement gehören, kann ein Benutzer beispielsweise nach Eingabe eines Handschriftelements eine der Tasten der Tastaturen TAS oder TAS1 drücken. Es ist auch denkbar, dass der Benutzer zu Beginn der Eingabe eines Handschriftelements eine der Tasten der Tastaturen TAS oder TAS1 drückt und solange gedrückt hält, bis die Eingabe des Handschriftelements beendet ist. Auf diese Weise ist es somit möglich, einzeln erfasste Schriftzeichen, wie es gemäß der ersten Ereignislinie von 1 erläutert wurde, jeweils zu erfassen, anschließend, wie es gemäß der zweiten Ereignislinie von 1 erläutert worden ist, durch die Erkennungseinrichtung EKE mittels eines Handschrifterkennungsverfahren zu erkennen, und dann als Wörter oder Sätze von Schriftzeichen in einer Zeichenfolge zusammenzufügen. Eine derartige Zeichenfolge erkannter Wörter bzw. Schriftzeichen ist schließlich in 3 in Form eines Textes TXT dargestellt, der, wie es auch bezüglich 2 erläutert worden ist auf dem Display eines der Mobiltelefone MFG1 bis MFG4 nach Erkennung angezeigt werden kann.It is now on the 3 and 4 referenced in which a method for inputting and correcting whole words, each consisting of a set of Characters exist is explained. In the present case, it is thus assumed that a user inputs not only individual digits but entire texts with words consisting of letters. The input of the respective letters for the words can be done according to the input of the numerals, as already with respect. 1 has been explained. In this case, according to the first event line of 1 by detecting the movement of a user representing a letter, a font input and a handwriting input, respectively. More specifically, individual handwriting elements of a user may be captured that comprise a set of multiple characters. To identify the input device or the recognition device and insertion device, which characters belong to a specific handwriting element, a user can, for example, after entering a handwriting element press one of the keys of the keyboards TAS or TAS1. It is also conceivable that the user at the beginning of entering a handwriting element presses one of the keys of the keyboards TAS or TAS1 and keeps pressed until the input of the handwriting element is completed. In this way, it is thus possible to individually recorded characters, as according to the first event line of 1 then, as explained in the second event line of 1 has been explained by the recognizer EKE by means of a handwriting recognition method, and then assembled as words or sets of characters in a string. Such a string of recognized words or characters is finally in 3 presented in the form of a text TXT, which, as with respect to 2 has been explained on the display of one of the mobile phones MFG1 to MFG4 can be displayed after detection.

Zur Erläuterung des Korrekturverfahrens gemäß einer weiteren Ausführungsform der Erfindung sei nun auf die erste Ereignislinie von 3 verwiesen, die im Wesentlichen der dritten Ereignislinie von 1 entspricht. Die gerade von der Erkennungseinrichtung EKE erkannten Wörter werden zur Überprüfung einem Benutzer akustisch durch die akustische Ausgabeeinrichtung bzw. deren Lautsprecher LS ausgegeben. Wie es bereits in der Darstellung des Textes TXT zu erkennen ist, ist bei der Erkennung des vierten Wortes "spaer" ein Fehler unterlaufen. Der Benutzer hört nun die einzelnen ausgegebenen Worte EWO und erkennt beim vierten Wort, dass dieses falsch erkannt worden ist. Somit gibt er unmittelbar auf die Ausgabe des vierten (falschen) Wortes FW hin ein akustisches Korrektursignal KOS in der Form des Wortes "FALSCH" aus, wie es in der zweiten Ereignislinie von 3 gezeigt ist.To explain the correction method according to a further embodiment of the invention, reference is now made to the first event line of FIG 3 referenced, which is essentially the third event line of 1 equivalent. The words just recognized by the recognition device EKE are audibly output to a user through the acoustic output device or its loudspeakers LS. As can already be seen in the presentation of the text TXT, an error has been made in the recognition of the fourth word "spaer". The user now hears the individual words EWO issued and recognizes in the fourth word that this has been recognized incorrectly. Thus, in response to the output of the fourth (wrong) word FW, it outputs an acoustic correction signal KOS in the form of the word "FALSE," as in the second event line of FIG 3 is shown.

Das akustische Korrektursignal KOS wird von dem Mikrofon MIK der akustischen Eingabeeinrichtung (eines der Mobiltelefone MFG1 bis MFG4) empfangen, wodurch schließlich der eigentliche Korrekturvorgang in Gang gesetzt wird. Dieser Korrekturvorgang soll nun in vereinfachter Weise anhand von 4 erläutert werden. Entsprechend dem zweiten Bildschirmabschnitt D2 von 2 wird beispielsweise im Bildschirmabschnitt D5 von 4 wieder von der Einfübeeinrichtung EFE (eines der Mobiltelefone MFG1 bis MFG4) gesteuert ein Cursor CUR auf das fehlerhafte Wort gesetzt. Das bedeutet, das durch den Cursor CUR markierte Wort soll durch eine folgende Eingabe eines Wortes bzw. eines Satzes von Schriftzeichen ersetzt werden. Im vorliegenden Falle wird mittels einer Schrifteingabe – symbolisiert auf der linken Seite von 4 – ein Handschriftelement HSE eines Benutzers erfasst, das das korrekte Wort bzw. den korrekten Satz von Schriftzeichen SSZ repräsentiert. Nach Erfassen dieses Korrekturwortes wird das Wort (genauer die einzelnen Schriftzeichen) durch die Erkennungseinrichtung EKE erkannt und an Stelle des falsch erkannten Wortes in den Text TXT eingesetzt. Dies ist in dem Bildschirmabschnitt D6 von 4 zu erkennen. Anschließend wird jede folgende Eingabe von Schriftzeichen bzw. Sätze von Schriftzeichen wieder an das Ende des Textes TXT angefügt. Das bedeutet auch in dem in den 3 und 4 dargestellten Fall erfolgt die Ersetzung eines falsch eingegebenen oder falsch erkannten Wortes bequem, ohne dass ein Benutzer vom Ende eines eingegebenen Textes zur fehlerhaften Stelle navigieren muss, und nach einer Korrektur wieder zum Ende zurück navigieren muss.The acoustic correction signal KOS is received by the microphone MIK of the acoustic input device (one of the mobile phones MFG1 to MFG4), whereby finally the actual correction process is started. This correction process will now be simplified in terms of 4 be explained. According to the second screen section D2 of 2 For example, in screen section D5 of 4 again controlled by the inserter EFE (one of the mobile phones MFG1 to MFG4), a cursor CUR is set to the erroneous word. This means that the word marked by the cursor CUR should be replaced by a subsequent input of a word or a set of characters. In the present case, by means of a font input - symbolized on the left side of 4 - detects a handwriting element HSE of a user representing the correct word or sentence of characters SSZ. After detecting this correction word, the word (more precisely, the individual characters) is recognized by the recognition device EKE and inserted in place of the incorrectly recognized word in the text TXT. This is in the screen section D6 of FIG 4 to recognize. Subsequently, each subsequent input of characters or sets of characters is added again to the end of the text TXT. That means also in the in the 3 and 4 In the illustrated case, the replacement of a misentry or misrecognized word is convenient without requiring a user to navigate from the end of an input text to the erroneous location and navigate back to the end after correction.

Claims

Method for inputting characters into a Data processing system, with the following steps: - To capture a plurality of handwriting elements (HSE) in succession, from each of which has a sentence consisting of at least one character (SZ) represents; - Determine the respective sentences of characters from the recorded handwriting elements (HSE), based on the determined sentences of characters (ESZ) a string (ZF; TXT) in the order capturing the sentences to form associated handwriting elements; - Acoustic Output of the determined sentences of characters (EWO) in the order of capturing these associated handwriting elements; - Receive an acoustic Correction signal (KOS) of a user; - insert another sentence of Character (SSZ, WO) in place of the ascertained set of characters (FZ, FW) in the string, on the acoustic output to the acoustic correction signal was received.

The method of claim 1, wherein after receiving the acoustic correction signal (KOS) another handwriting element (HSE) is detected, which is the additional sentence consisting of at least represents a character, and the further set of characters is determined.

The method of claim 1, wherein after receiving of the acoustic correction signal (KOS) detects a speech element (SPE) which comprises a word (W0) containing the further sentence of the character represents and the further set of characters is determined.

Method according to one of claims 1 to 3, wherein the detecting of Handwriting Elements (HSE) detecting a movement of a User with which the user describes a character (SZ).

The method of claim 4, wherein detecting a Movement of a user by means of an acceleration sensor (GS), an optical sensor (OS) or a touch sensor (BS, BS1) takes place.

Method according to one of claims 1 to 3, wherein the detecting Handwriting Elements (HSE) a scanning of written characters includes.

Device for entering characters in a Data processing system, with the following features: - a sensor device (BS, BS1, OS, GS) for detecting a plurality of handwriting elements (HSE) one after the other, each consisting of at least one sentence represents a character; - one Recognition device (EKE) for determining the respective sets of Characters (SZ, SSZ) from the recorded handwriting elements (HSE) to find a string based on the determined sets of characters (TXT) in the order of detecting the handwriting elements assigned to the sentences form; - one acoustic output device (LS) for the acoustic output of the determined sentences of characters assigned in the order of detection of these Handwriting elements; - one acoustic input device (MIK) for receiving an acoustic Correction signal (KOS) of a user; An inserter (EFE) for inserting another one Set of characters in place of the determined sentence of Character (FZ; FW) in the string, on the acoustic Output the correction signal (KOS) was received.

Apparatus according to claim 7, wherein the sensor means an acceleration sensor (GS), an optical sensor (OS) or a touch sensor (BS, BS1).

Apparatus according to claim 7 or 8, wherein the acoustic Output device a speaker (LS) and the acoustic input device includes a microphone (MIK).

Device according to one of claims 7 to 9, wherein the insertion device (EFE) and / or the recognition device (EKE) have a microprocessor.

Device according to one of claims 7 to 10, further comprising a Memory device for storing the string has.

Device according to one of claims 7 to 11, further comprising a Display device (DSP) for displaying the character string (TXT).

Data Processing System (MFG1, MFG2, MFG3, MFG4) with a device for inputting characters after a the claims 7 to 12.

Data processing system according to claim 13, which is known as a portable electronic device is trained.

Data processing system according to claim 14, which is known as a mobile device (MFG1, MFG2, MFG3, MFG4) or a PDA is formed.