DE69637487T2

DE69637487T2 - Multimediabasiertes Berichtsystem mit Aufnahme und Wiedergabe von dynamischen Kommentaren

Info

Publication number: DE69637487T2
Application number: DE69637487T
Authority: DE
Inventors: Tai-Yuan Robbinsville Hou; Wei-Kwan Vincent Princeton Su; Thomas Meissner; Aarding Kendall Park Hsu
Original assignee: Siemens AG; Siemens Corporate Research Inc
Current assignee: Siemens AG; Siemens Corp
Priority date: 1995-11-20
Filing date: 1996-11-15
Publication date: 2009-06-04
Anticipated expiration: 2016-11-16
Also published as: DE69637487D1; JPH09237264A; EP0774719A1; EP0774719B1; US5838313A

Description

ALLGEMEINER STAND DER TECHNIK
GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft das Erstellen und Benutzen von multimediabasierten Berichten und insbesondere das Verwenden von Multimediatechnik beim Erstellen von Berichten, die aus dynamischen Kommentaren zu mehreren Abbildungen bestehen können.
ALLGEMEINER STAND DER TECHNIK
Ein Berichtsverfahren wird beispielsweise von Fachärzten dazu benutzt, Abbildungen von Patienteninformationen abzurufen, anzusehen, zu ergänzen und zu interpretieren, Patientendemographien zu überprüfen und ihre Diagnose zu diktieren oder zu „kommentieren", damit ein abschließender Krankenbericht entsteht, auf den andere Ärzte zu Überprüfungs- oder Konsultationszwecken zugreifen können. Im Stand der Technik bedeutet der Begriff „Kommentar" in der Regel zwei verschiedene Dinge. Die erste Bedeutung bezieht sich auf das Anhängen eines Objekts (wie beispielsweise Text, Audio oder Video) an ein Dokument. Ein Beispiel dafür ist in "ARZTBRIEF: Generating Medical Reports in a Multimedia Environment" (Lecture Notes in Medical Informatics 45, Proceedings of Medical Informatics Europe, S. 900–903) zu finden, wo das System des Herzzentrums Nordrhein-Westfalen Sprach- und Textkommentare enthält. Sprache wird in der Regel nur zu zwei Zwecken verwendet: Wiedergabe ohne Synchronisierung mit anderen verwandten Medien oder Transkription als Text für ein Textprotokoll. Die zweite Bedeutung für „Kommentar" bezieht sich auf das Artefakt des Zeichnens/Tippens auf den angezeigten Objekten. Ein Beispiel dafür ist in "A Multi-User Document Review Tool" von J. L. Koszarek, T. L. Lindstrom, J. R. Ensor und S. R. Ahuja (Proceedings of the IFIP, WG 8.4 Conference, 1990, S. 207–214) zu finden. Bei dem Collaborative Annotator System von AT&T bestehen die Grafikkommentare aus Textmarkern, Text und gelben Aufklebern, die auf das Dokument gezogen werden können.
Bei diesen beiden Kommentartechniken können Berichte Daten für mehrere Medien mit statischen grafischen Darstellungen auf dem Bericht sowie Anhänge enthalten. Diese Verfahren aus dem Stand der Technik können jedoch zeitliche Eigenschaften von visuellen Kommentaren nicht so nutzen, dass der Kommentarvorgang parallel zu der Stimme des Kommentators aufgezeichnet und das aufgenommene Ergebnis wiedergegeben wird. Eine Aufgabe der vorliegenden Erfindung besteht darin, eine solche Technik „dynamischer Kommentare" zur Verfügung zu stellen.
Im Stand der Technik können Krankenberichte Multimediadaten enthalten. Ein solcher Bericht ist in "Graphical Representation of Medical Information in the Visual Chart" von Harold I. Litt und John W. Loonsk (1994 IEEE Seventh Symposium an Computer-Based Medical Systems, 10.–12. Juni 1994, Winston-Salem, North Carolina, USA, S. 252–257) zu finden. Bei dem Visual-Chart-System von SUNY an der Buffalo School of Medicine and Biomedical Sciences kann es sich bei Multimediadaten beispielsweise um Text, Textlisten, Tabellen, grafische Darstellungen quantitativer Daten und Symbole handeln. Ein weiterer Bericht ist in "An Electronic Medical Record System for a Hospital Information System" von Y. Yamashita, K. Yamamoto, M. Sudo, Y. Okada, M. Nagata und T. Takahashi (MEDINFO '92, K. C. Lun et al. (Hrsg.), S. 741–745) zu finden. Beim E. M. R. der medizinischen Fakultät Fukui kann es sich bei den Multimediadaten um Text, Zahlen, Abbildungen und grafische Informationen handeln.
Für diese bestehenden Systeme gibt es keinen Mechanismus, mit dem zusammengehörende Multimediadaten in einem Bericht visuell angeordnet werden können. Eine Aufgabe der vorliegenden Erfindung besteht darin zu erreichen, dass sich dynamische Kommentare lohnen, indem es dem Benutzer ermöglicht wird, Multimediadaten auf zweckdienliche Weise so anzuordnen, dass zusammengehörende Mediendaten nahe beieinander liegen, wenn ein dynamischer Kommentar erfolgt.
Für die Wiedergabe einer Sitzung mit dynamischen Kommentaren ist die Synchronisierung der Aktionen und der Stimme des Kommentators wichtig. Die Synchronisationstechniken im Stand der Technik betreffen die Synchronisierung zwischen Audio- und Videosignalen. Ein Beispiel dafür ist im US-Patent Nummer 5,323,272 mit dem Titel „Timing Control for Digital Audio Buffer in Video Interface" von dem Erfinder K. L. Klingler zu finden. Bei diesem Patent wird die Zeitsteuerung für den digitalen Audiopuffer dazu benutzt, den Audiozeittakt für die Synchronisierung mit Video auszugleichen. Ein weiteres Beispiel ist in „Feedback Techniques for Continuity and Synchronization in Multimedia Information Retrieval" von P. Venkat Rangan, Sronivas Ramanathan, Srihari Sampathkumar (ACM Transactions an Information Systems, Bd. 13, Nr. 2, April 1995, S. 145–176) zu finden. Dieser Artikel behandelt das Synchronisationsproblem für Daten, die von einem Multimedia-Informationsserver an Clients im gesamten Netzwerk gesendet werden.
Das Dokument „Multimedia E-mail Systems for Computer-assisted Radiological Communication" (Medical Informatios (1994) Bd. 19, Nr. 2, 139–148, Bellon et al.) beschreibt ein System, in dem Multimedia-Darstellungen von Radiologiedaten per E-Mail übertragen werden können.
WO 89/11693 offenbart ein Kommentar- und Handhabungssystem für Dokumente, das eine zeitsequentielle Wiedergabe von getippten und gesprochenen Kommentaren zu einem Dokument ermöglicht.
Bei dynamischen Kommentaren besteht ein spezielles Synchronisationsproblem, das bisher noch nicht angegangen wurde. Das Problem besteht darin, wie der dynamische Kommentar mit der richtigen zeitlichen Steuerung für die Aktionen und die Stimme des Kommentators wiedergegeben werden kann. Dies ist besonders wichtig, wenn der Prozessor andere Vorgänge abwickeln muss. Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Technik zur Verfügung zu stellen, die dieses Problem angeht.
Beim E-Mail-System im Stand der Technik kann eine Person auf eine E-Mail antworten, indem sie entweder eine neue Nachricht erzeugt oder neue Informationen in die bereits existierende E-Mail einfügt. Eine Aufgabe der vorliegenden Erfindung besteht darin, eine neue Technik zur Verfügung zu stellen, mit der auf eine Sitzung mit dynamischen Kommentaren geantwortet werden kann, ohne dass der Inhalt der ursprünglichen Sitzung geändert wird.
Somit besteht eine Hauptaufgabe der vorliegenden Erfindung darin, eine natürliche Möglichkeit bereitzustellen, über die eine Person einen Bericht erhält, der aus den visuellen und den Audiokommentaren der Person besteht. Diese Kommentare lassen sich für die Wiedergabe synchronisieren. Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, einen Mechanismus zur Verfügung zu stellen, über den eine Person auf eine Sitzung mit dynamischen Kommentaren antworten kann.
KURZDARSTELLUNG DER ERFINDUNG
Ein gemäß der vorliegenden Erfindung beanspruchtes multimediabasiertes Berichtsystem enthält folgende Bestandteile: Ein Befehlsinterpreter empfängt Eingaben von einem Benutzer und leitet diese an einen „Bericht öffnen"-Handler, „einen Medien anhängen"-Handler oder an den Ausgang weiter. Ein Kommentareingabeinterpreter empfängt Eingaben von dem Benutzer und leitet diese an einen Handler für statische Kommentare, einen Handler für dynamische Kommentare, zu dessen Funktionen das Aufzeichnen und das Wiedergeben zählen, und einen „Kommentar zum Kommentar"-Handler weiter. Das System enthält einen Berichtanzeiger für das Darstellen einer Zeitleiste und mehrerer Markierungen, die Kommentarsegmente angeben, welche Zeiten auf der Zeitleiste entsprechen. Das System kann des Weiteren einen „Bericht speichern"-Handler, einen „aktuellen Bericht löschen"-Handler, einen „Bericht versenden"-Handler und einen „Bericht drucken"-Handler aufweisen.
Der „Bericht speichern"-Handler erzeugt Berichtdateien zum Speichern, und der „Bericht drucken"-Handler erzeugt eine Druckdatei zum Drucken. Der „Medien anhängen"-Handler hängt verschiedene Arten von Medien aus einer externen Medienquelle an den Bericht an. Der „Bericht versenden"-Handler erzeugt eine E-Mail zum Versenden. Der Handler für statische Kommentare ermöglicht es dem Benutzer, Zeichnungen und Text zu dem Bericht hinzuzufügen. Der Handler für dynamische Kommentare ermöglicht es dem Benutzer, Kommentare aus der Benutzereingabe aufzuzeichnen/wiederzugeben. Der „Kommentar zum Kommentar"-Handler ermöglicht es dem Benutzer, eine Sitzung mit dynamischen Kommentaren aufzuzeichnen, die auf einem Segment mit bestehenden dynamischen Kommentaren basiert.
Durch die Verwendung der vorliegenden Erfindung kann eine Person folgende Aufgaben erfüllen: 1. Eine Person kann Berichte erstellen, die Daten für mehrere Medien enthalten, 2. der Person steht ein spezieller Bereich (Leinwand genannt) auf der Anzeige zur Verfügung, in dem sie medienbezogene Aktionen durchführen kann, 3. die Person kann Multimediadatenobjekte auf der Leinwand ablegen, 4. Datenobjekte auf der Leinwand können beliebig angeordnet werden, 5. die Person kann auf der Leinwand uneingeschränkt Linien und Grafiken zeichnen/löschen sowie Text tippen/löschen, 6. die Aktionen der Person auf der Leinwand, wie beispielsweise das Bewegen von Datenobjekten, Zeichnen oder Tippen, können mit Hilfe der Stimme der Person aufgezeichnet werden, 7. die aufgezeichnete Sitzung kann wiedergegeben werden, so dass die Aktionen der Person auf der Leinwand mit der Wiedergabe der aufgezeichneten Stimme der Person synchronisiert werden können, 8. die Person kann den Bericht über ein E-Mail-System an andere Personen versenden, 9. die Person, die einen Bericht mit einer aufgezeichneten Kommentarsitzung empfängt, kann auf diese mit einer neuen Kommentarsitzung antworten, die auf den räumlichen/zeitlichen Eigenschaften der beantworteten Kommentarsitzung basiert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 stellt ein Ablaufdiagramm einer Ausführungsform des Gesamtsystems der vorliegenden Erfindung dar.
2 stellt den „Bericht öffnen"-Handler der vorliegenden Erfindung dar.
3 stellt den „Bericht speichern"-Handler der vorliegenden Erfindung dar.
4 stellt den „Bericht versenden"-Handler der vorliegenden Erfindung dar.
5 stellt den Handler für statische Kommentare der vorliegenden Erfindung dar.
6 stellt den „Kommentar zum Kommentar"-Handler der vorliegenden Erfindung dar.
7 stellt den „Medien anhängen"-Handler der vorliegenden Erfindung dar.
8 stellt den „Bericht drucken"-Handler der vorliegenden Erfindung dar.
9 stellt eine Funktionsbeschreibung der vorliegenden Erfindung auf höherer Ebene dar.
10 zeigt eine schematische Darstellung des Aufzeichnens eines dynamischen Kommentars.
11 stellt den Filter dar, der redundante Zeitscheibenereignisse beim Aufzeichnen herausfiltert.
12 zeigt eine schematische Darstellung der adaptiven Synchronisierung bei der Kommentarwiedergabe.
13 stellt ein Ablaufdiagramm des Kommentarschedulers für das Ausführen eines Lippensynchronisationsintervalls dar.
14 stellt die für die Segmentierung von Kommentaren verwendeten Markierungen dar.
15 stellt die Beziehungen zwischen Kommentaren und Antwortkommentaren bei Verwendung der „Kommentar zum Kommentar"-Technik dar.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
1 stellt ein Gesamtablaufdiagramm der vorliegenden Erfindung dar. Der Befehlsinterpreter 10 und der Kommentareingabeinterpreter 11 empfangen von der Person, die das System benutzt, einen Benutzereingabebefehl. Der Befehlsinterpreter 10 leitet den Befehl entweder zum „Bericht öffnen"-Handler 12, zum „Bericht speichern"-Handler 13, zum „aktuellen Bericht löschen"-Handler 14, zum „Bericht versenden"-Handler 15, zum „Medien anhängen"-Handler 16, zum „Bericht drucken"-Handler 17 oder zum Ausgang 18. Der Kommentareingabeinterpreter 11 leitet die Eingabe entweder zum Handler für statische Kommentare 19, zum Handler für dynamische Kommentare 20 oder zum „Kommentar zum Kommentar"-Handler 21.
2 stellt den „Bericht öffnen"-Handler (12 in 1) der vorliegenden Erfindung dar. Der „Bericht öffnen"-Handler empfängt eine Eingabe von dem Befehlsinterpreter. In dem „Bericht öffnen"-Handler wird eine Entscheidung getroffen, ob es sich bei dem Bericht um einen neuen Bericht handelt, und wenn es einen neuen Bericht gibt, wird der aktuelle Bericht entfernt. Wenn es keinen neuen Bericht gibt, wird entschieden, ob der Bericht aus einer Datei stammt. Wenn der Bericht aus einer Datei stammt, wird der Dialog „Dateiauswahl" angezeigt, der Benutzer wählt einen Dateinamen aus, und der Bericht wird aus der Datei geladen. Wenn der Bericht nicht aus der Datei stammt, wird entschieden, ob der Bericht aus der Datenbank stammt. Wenn der Bericht aus der Datenbank stammt, wird der Dialog „Datenbank" angezeigt, der Benutzer wählt einen Datenbanknamen aus, und der Bericht wird aus der Datenbank geladen. Wenn der Bericht nicht aus der Datenbank stammt, wird entschieden, ob er aus der Mailbox stammt. Wenn der Bericht aus der Mailbox stammt, wird die Nachrichtenliste angezeigt, der Benutzer wählt eine Nachricht aus, und der Bericht wird aus der Nachricht geladen.
3 stellt den „Bericht speichern"-Handler (13 in 1) der vorliegenden Erfindung dar. Der „Bericht speichern"-Handler empfängt eine Eingabe von dem Befehlsinterpreter. In dem „Bericht speichern"-Handler wird entschieden, ob der Bericht in einer Datei gespeichert werden muss. Wenn entschieden wird, den Bericht in der Datei zu speichern, dann wird der Dialog „Dateiauswahl" angezeigt, der Benutzer wählt einen Dateinamen aus, und der Bericht wird in der Datei gespeichert. Wenn entschieden wird, den Bericht nicht in der Datei zu speichern, dann wird entschieden, den Bericht in der Datenbank zu speichern. Der Dialog „Datenbank" wird angezeigt, der Benutzer wählt einen Datenbanknamen aus, und der Bericht wird in der Datenbank gespeichert.
4 stellt den „Bericht versenden"-Handler (15 in 1) der vorliegenden Erfindung dar. Der „Bericht versenden"-Handler empfängt eine Eingabe von dem Befehlsinterpreter. In dem „Bericht versenden"-Handler wird die Adressenliste durchsucht und angezeigt, der Benutzer wählt einen Empfängernamen aus, es wird ein Bericht zu einer Nachricht zusammengestellt, und die Nachricht wird versendet.
5 stellt den Handler für statische Kommentare (19 in 1) der vorliegenden Erfindung dar. Der Handler für statische Kommentare empfängt eine Eingabe von dem Kommentareingabeinterpreter in die Benutzeroberfläche. In dem Handler für statische Kommentare wird entschieden, ob sich die Maus auf der Leinwand bewegt hat. Wenn sich die Maus bewegt hat, wird entschieden, ob der Benutzer die linke Maustaste niedergedrückt gehalten hat. Wenn der Benutzer die linke Maustaste niedergedrückt gehalten hat, bleibt die Markierung auf der Leinwand. Wenn der Benutzer die linke Maustaste nicht niedergedrückt gehalten hat, kehrt der Ablauf zur Benutzeroberfläche zurück. Wenn der Benutzer die Maus auf der Leinwand nicht bewegt hat, wird entschieden, ob er auf der Leinwand Text eingetippt hat. Wenn der Benutzer Text eingetippt hat, bleibt dieser auf der Leinwand, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn der Benutzer keinen Text auf der Leinwand eingetippt hat, wird entschieden, ob er einen Befehl für einen statischen Kommentar eingegeben hat. Wenn der Benutzer keinen Befehl für einen statischen Kommentar eingegeben hat, kehrt der Ablauf zur Benutzeroberfläche zurück. Wenn der Benutzer einen Befehl für einen statischen Kommentar eingegeben hat, dann leitet der Befehlsinterpreter für statische Kommentare den Befehl weiter. Wenn ein Befehl vorliegt, die Zeichenfarbe zu ändern, dann wählt der Benutzer eine Farbe aus, die Farbe wird entsprechend geändert, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, die Zeichenstärke zu ändern, dann wählt der Benutzer eine Stärke aus, die Stärke wird entsprechend geändert, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, eine Abbildung auszuwählen, dann klickt der Benutzer auf eine Abbildung, die Abbildung wird ausgewählt und markiert, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, die Auswahl einer Abbildung aufzuheben, dann wird die Auswahl der gewählten Abbildung aufgehoben, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, die Grafiken zu entfernen, dann werden alle Zeichnungen und sämtlicher Text entfernt, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, eine Abbildung zu löschen, dann wird die gewählte Abbildung gelöscht, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, eine ausgewählte Abbildung vor andere Abbildungen zu bewegen, dann wird gewählte Abbildung nach vorn bewegt, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, eine ausgewählte Abbildung nach hinten zu bewegen, dann wird gewählte Abbildung nach hinten bewegt, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt, eine ausgewählte Abbildung zu bewegen, dann wird gewählte Abbildung mit Hilfe der Maus bewegt, und der Ablauf kehrt zur Benutzeroberfläche zurück.
In dem Handler für dynamische Kommentare 17 in 1 wird entschieden, ob eine Aufzeichnung oder eine Wiedergabe vorliegt. Das Aufzeichnen und die Wiedergabe werden anhand der 10 beziehungsweise 12 erläutert.
6 stellt den „Kommentar zum Kommentar"-Handler (21 in 1) dar. Der „Kommentar zum Kommentar"-Handler empfängt eine Eingabe von dem Kommentareingabeinterpreter und zeigt mit Hilfe der bei 14 beschriebenen Markierungen segmentierte Kommentare an. Der „Kommentar zum Kommentar"-Handler lässt den Benutzer ein Segment auswählen. Es wird entschieden, ob das ausgewählte Segment kommentiert werden soll. Wenn das Segment kommentiert werden soll, folgt der Ablauf dem beim Aufzeichnen (10) beschriebenen. Wenn entschieden wird, nicht zu kommentieren, dann wird entschieden, ob das Segment wiedergegeben werden soll. Wenn entschieden wird, das Segment wiederzugeben, dann wird entschieden, ob ein Segment oder zusammengehörende Segmente wiedergegeben werden sollen. In jedem Fall folgt der Ablauf dem bei der Wiedergabe (12) beschriebenen. Nach dem Aufzeichnen oder der Wiedergabe wird entschieden, ob das Kommentieren der Kommentare abgeschlossen ist. Wenn es abgeschlossen ist, wird der „Kommentar zum Kommentar"-Handler verlassen. Wenn es nicht abgeschlossen ist, kehrt der Ablauf zum oben erläuterten Anzeigen segmentierter Kommentare mit Hilfe von Markierungen zurück.
7 stellt den „Medien anhängen"-Handler (16 in 1) dar. Der „Medien anhängen"-Handler empfängt eine Eingabe von dem Kommentareingabeinterpreter. In dem „Medien anhängen"-Handler wird entschieden, ob eine Abbildung angehängt werden soll. Wenn entschieden wird, eine Abbildung anzuhängen, dann wird entschieden, ob Fensterabbildungen angehängt werden sollen. Wenn entschieden wird, Fensterabbildungen anzuhängen, dann wählt der Benutzer eine Fensterabbildung aus, und die Abbildung wird an den Bericht angehängt. Wenn entschieden wird, keine Fensterabbildung anzuhängen, dann wird entschieden, ob ein Bereich angehängt werden soll. Wenn entschieden wird, den Bereich anzuhängen, dann wählt der Benutzer eine Bereichsabbildung aus, und die Abbildung wird an den Bericht angehängt. Wenn entschieden wird, den Bereich nicht anzuhängen, dann wird entschieden, ob eine Anzeige angehängt werden soll. Wenn entschieden wird, die Anzeige anzuhängen, dann wird die gesamte Anzeige ausgewählt, und die Abbildung wird an den Bericht angehängt. Wenn entschieden wird, die Abbildung nicht anzuhängen, dann wird entschieden, ob Text angehängt werden soll. Wenn entschieden wird, Text anzuhängen, dann wird der Dialog „Vorlagenauswahl" angezeigt, der Benutzer wählt eine Vorlage aus, die Textvorlage wird angezeigt, der Benutzer bearbeitet die Textvorlage, der Benutzer hat die Textvorlage fertig gestellt, und der Text wird an den Bericht angehängt. Wenn die Abbildung oder der Text an den Bericht angehängt worden ist, wird der „Medien anhängen"-Handler verlassen. Eine angehängte Abbildung kann auf der Leinwand abgelegt werden.
8 stellt den „Bericht drucken"-Handler (17 in 1) dar. Der „Bericht drucken"-Handler empfängt eine Eingabe von dem Befehlsinterpreter. In dem „Bericht drucken"-Handler wird entschieden, ob eine ausgewählte Abbildung gedruckt werden soll. Wenn entschieden wird, die ausgewählte Abbildung zu drucken, dann wird entschieden, ob sie mit einer Zeichnung gedruckt werden soll. Wenn entschieden wird, die Abbildung mit der Zeichnung zu drucken, dann wird die Abbildung mit der Zeichnung gedruckt. Wenn entschieden wird, die Abbildung ohne die Zeichnung zu drucken, dann wird die Abbildung ohne die Zeichnung gedruckt. Wenn entschieden wird, die ausgewählte Abbildung nicht zu drucken, dann wird entschieden, ob der gesamte Bericht gedruckt werden soll. Wenn entschieden wird, den gesamten Bericht zu drucken, dann wird entschieden, ob der gesamte Bericht mit der Zeichnung gedruckt werden soll. Wenn entschieden wird, den gesamten Bericht mit der Zeichnung zu drucken, dann wird der gesamte Bericht mit der Zeichnung gedruckt. Wenn entschieden wird, den gesamten Bericht ohne die Zeichnung zu drucken, dann wird der gesamte Bericht ohne die Zeichnung gedruckt. Nach dem Drucken wird der „Bericht drucken"-Handler verlassen.
9 zeigt eine Funktionsbeschreibung des Berichtsystems der vorliegenden Erfindung auf höherer Ebene dar. Der Befehlsinterpreter 23 sorgt für eine Schnittstelle zwischen der Benutzerbefehlseingabe 25, zu der ein Mausklicken oder Tippen gehören, und dem „Medien anhängen"-Handler 26, dem „Bericht versenden"-Handler 27, dem „Bericht drucken"-Handler 28, dem „Bericht speichern"-Handler 29 und dem „Bericht öffnen"-Handler 30. Der „Medien anhängen"-Handler 26 hängt die Medienarten Text, Abbildungen, Grafiken und Audio aus einer externen Medienquelle 31 an den Multimedia-Bericht 32 an. Zu der externen Medienquelle 31 könnten ein Dateisystem, Texteditoren, Fotos auf einem Bildschirm, Eingangsanschlüsse oder Audio gehören. Der mit dem Multimedia-Bericht 32 verbundene „Bericht versenden"-Handler 27 erzeugt eine zu versendende E-Mail. Der mit dem Multimedia-Bericht 32 verbundene „Bericht drucken"-Handler 28 erzeugt eine Druckdatei zum Drucken. Der mit dem Multimedia-Bericht 32 verbundene „Bericht speichern"-Handler 29 erzeugt Berichtdateien, die in dem externen Medienspeicher 33, der ein Dateisystem oder eine Datenbank umfasst, gespeichert werden. Der „Bericht öffnen"-Handler 30 öffnet einen Bericht aus der externen Berichtquelle 34, die ein Dateisystem, eine Datenbank oder eine Mailbox umfasst. Der Berichtanzeiger 35 umfasst eine Bildschirmanzeige und sorgt für das Anzeigen des Inhalts des Berichtes 32 auf dem Bildschirm.
Der Kommentareingabeinterpreter 24 sorgt für eine Schnittstelle zwischen der Benutzerkommentareingabe 36, zu der Texteingabe, Freihandzeichnen und Sprache gehören, und dem Handler für statische Kommentare 37, dem „Kommentar zum Kommentar"-Handler 38 und dem Handler für dynamische Kommentare 39. Der Handler für statische Kommentare 37 ermöglicht es der Person, Zeichnungen und Text zu dem Bericht hinzuzufügen. Der „Kommentar zum Kommentar"-Handler 38 ermöglicht es der Person, eine Sitzung mit dynamischen Kommentaren aufzuzeichnen, die auf einem Segment mit bestehenden dynamischen Kommentaren basiert. Der Handler für dynamische Kommentare 39 ermöglicht es der Person, Kommentare aus der Benutzerkommentareingabe 36 auf der Leinwand aufzuzeichnen/wiederzugeben.
Der Multimedia-Bericht 32, der auf einem (nicht gezeigten) Computerbildschirm angezeigt wird, weist eine Leinwand auf, die Mediendatenobjekte enthalten kann. Bei den Datenobjekten auf der Leinwand kann es sich um Abbildungen und Grafiken handeln. Diese Objekte können je nach Bedarf des Betrachters des Berichts beliebig angeordnet werden. Wenn das System beispielsweise von einem Arzt benutzt wird, so kann dieser zwei Abbildungen vom Herzen so überlagern, dass zwei relevante Abschnitte dieser Abbildungen nahe beieinander liegen. Der Arzt kann auf der Leinwand nach Belieben Linien zeichnen oder Text eingeben. Aus den auf ein Datenobjekt gezeichneten Linien wird dann ein Bestandteil des Datenobjektes. Wenn die Person also eine Abbildung bewegt, werden auch die Linien darauf zusammen mit der Abbildung bewegt. Aus dem in ein Datenobjekt eingegebenen Text wird ein Bestandteil des Datenobjektes, anderenfalls gehört er zu keinem Datenobjekt.
Wenn die Person eine Sitzung sowohl mit ihren Aktionen auf der Leinwand als auch mit ihrer Stimme aufzeichnen möchte, würde sie dem Ablaufdiagramm in 10 folgen. Beim Aufzeichnen wird der Handler für dynamische Kommentare 39, die Benutzerkommentareingabe 36 und der Multimediabericht 32 aus 9 benutzt. Die Person 40 benutzt 1. das Mikrofon dazu, ihre Stimme 41 aufzuzeichnen, 2. die Maus dazu, Linien zu zeichnen, indem Maustasten 42 niedergedrückt gehalten werden, 3. die Maus zum Zeigen, indem sie den Zeiger auf der Leinwand bewegt, ohne Maustasten 42 zu drücken, 4. die Tastatur dazu, Text 42 einzutippen, oder 5. sie manipuliert Datenobjekte auf der Leinwand. Die Person kann die Aufzeichnung anhalten/wieder aufnehmen. Die Sprache 41 wird in einen Audiorecorder 43 geleitet und in Audiosignale 44 umgewandelt, die durch einen Stilledetektor 45 geleitet und zu komprimierten Audiosignalen 46 werden, die wiederum in die Kommentardatei 47 eingegeben werden. Die Tastenanschläge oder Mausbewegungen 42 werden durch das Berichtsystem 48 geleitet und stellen Ereignisse 49 bereit, die vom Ereignisfilter 50 gefiltert werden. Die kommentarbezogenen Ereignisse (Ereignisname, Zeit, Parameter) 51 werden in die Kommentardatei 47 eingegeben.
Bei der Aufzeichnung werden nur signifikante Ereignisse aufgezeichnet. Es werden zwei Arten diskreter Ereignisse aufgenommen: die vom Benutzer aktivierten Ereignisse und die Zeitscheibenereignisse. Die vom Benutzer aktivierten Ereignisse weisen das Format (Ereignisname, Zeit, Parameter) auf:

– (load, time, object#): ein Datenobjekt auf die Leinwand laden
– (move, time, object#): beginnen, ein Datenobjekt auf der Leinwand zu bewegen
– (move-to-front, time, object#): ein Datenobjekt vor andere Objekte auf der Leinwand bewegen
– (move-to-back, time, object#): ein Datenobjekt hinter andere Objekte auf der Leinwand bewegen
– (zoom, time, object#, factor#): ein Abbildungsobjekt auf der Leinwand vergrößern/verkleinern
– (place, time, object#, x_pos, y_pos): ein Objekt an einer bestimmten Stelle auf der Leinwand anordnen
– (type, time, char_value, x_pos, y_pos): ein Textzeichen an einer bestimmten Stelle auf der Leinwand eintippen/wiedergeben
– (erase-text, time, char_value, x_pos, y_pos): einzelnes Zeichen an einer bestimmten Stelle auf der Leinwand löschen
– (erase-text, time, all): gesamten Text auf der Leinwand löschen
– (change-text-color, time, color_value): Textfarbe ändern
– (change-line-color, time, color_value): Farbe für das Linienzeichnen ändern
– (push-button, time, x_pos, y_pos): linke Schaltfläche auf der Leinwand drücken
– (release-button, time, x_pos, y_pos): linke Schaltfläche auf der Leinwand loslassen
– (erase-graphics, time, x_pos, y_pos): Liniensegment auf der Leinwand löschen
– (mouse-enter, time, x_pos, y_pos): Mauszeiger erscheint auf der Leinwand
– (mouse-leave, time, x_pos, y_pos): Mauszeiger verschwindet von der Leinwand

Bei den Zeitscheibenereignissen handelt es sich um Ereignisse, die vom Computersystem erzeugt werden. Sie werden für das Aufzeichnen des Wegs des Mauszeigers benutzt, der sich auf der Leinwand befindet. Diese Ereignisse werden folgendermaßen dargestellt:

– (mouse-location, time, pos_x, pos_y): Position des Mauszeigers auf der Leinwand.

Die Häufigkeit des Erzeugens der Zeitscheibenereignisse ist von der Prozessorleistung des Computers abhängig. Da möglicherweise redundante Ereignisse dieser Art erzeugt werden (ein Beispiel dafür ist, dass der Mauszeiger bewegungslos auf der Leinwand bleibt, während die Person die Maustaste niedergedrückt hält), wird ein in 11 gezeigter Filtermechanismus bereitgestellt, damit festgestellt werden kann, ob ein Zeitscheibenereignis aufgezeichnet werden muss.
Das Filtern der Ereignisse beginnt durch das Eingeben des neuen Ereignisses „new_event" in den Entscheidungsblock 52, wo entschieden wird, ob es sich bei dem new_event um ein Zeitscheibenereignis handelt. Wenn es sich bei dem new_event nicht um ein Zeitscheibenereignis handelt, wird new_event wie durch Block 53 gezeigt aufgezeichnet. Wenn es sich bei dem new_event um ein Zeitscheibenereignis handelt, stellt der Entscheidungsblock 54 fest, ob es sich bei dem vorherigen Ereignis „prev_event" um ein Zeitscheibenereignis handelt. Wenn es sich bei dem prev_event nicht um ein Zeitscheibenereignis handelt, wird das new_event wie durch Block 53 gezeigt aufgezeichnet. Wenn es sich bei dem prev_event um ein Zeitscheibenereignis handelt, stellt der Entscheidungsblock 55 fest, ob der Abstand zwischen dem prev_event und dem new_event, der als dist(prev_event, new_event) notiert wird, unter einem Schwellwert liegt. Wenn dist(prev_event, new_event) nicht unter dem Schwellwert liegt, wird new_event wie durch Block 53 gezeigt aufgezeichnet. Wenn dist(prev_event, new_event) unter dem Schwellwert liegt, wird new_event wie durch Block 56 gezeigt nicht aufgezeichnet.
Für die Wiedergabe von Kommentaren werden der Handler für dynamische Kommentare 39, der Multimediabericht 32 und der Berichtanzeiger 35 aus 9 benutzt. Bei der Wiedergabe der Kommentare wird die Technik der adaptiven Synchronisation angewendet, damit die Aktionen und die Stimme des Kommentators synchronisiert werden. Dies ist notwendig, wenn die Prozessorlast hoch ist. Es werden zwei Mechanismen der adaptiven Synchronisationstechnik genutzt: Aktionen verwerfen und Audiostille fortsetzen. In 12 teilt der Kommentarscheduler 60 die einzelnen Lippensynchronisationsintervalle der Kommentarsitzung ein. Dem Kommentarscheduler 60 werden Informationen aus den Aktionsdaten 61 und eine Rückmeldung über die Prozessorlast aus der Aktionsausführung 62 zugeführt. Die Qualität der Darstellungsparameter wird dem Kommentarscheduler 60 ebenfalls zur Verfügung gestellt. Der Kommentarscheduler verwirft Aktionen, führt der Audiovorrichtung 63 ein Verzögerungs- oder Weiterführungssignal und der Aktionsausführung 62 gefilterte Aktionen zu. Die Audiovorrichtung 63 empfängt außerdem Eingaben aus den Audiodaten 64.
13 ist das Ablaufdiagramm des Kommentarschedulers. Der Ablauf beginnt mit dem i-ten Lippensynchronisationsintervall, und der Entscheidungsblock 70 stellt fest, ob Stille aktiviert ist. Wenn Stille aktiviert ist, führt der Stillerichtlinienblock 71 die Audiopause zum nächsten Audiostille-Zeitpunkt aus und setzt die Pause in Kraft. Wenn Stille nicht aktiviert ist, holt der Block 72 die nächste Aktion A. Der Entscheidungsblock 73 stellt fest, ob A innerhalb des Lippensynchronisationsintervalls zur Ausführung fällig ist. Wenn A zur Ausführung fällig ist, stellt der Entscheidungsblock 74 fest, ob Verwerfen aktiviert ist. Wenn Verwerfen aktiviert ist, überprüft der Verwerfungsrichtlinienblock 75 auf der Grundlage des räumlichen Schwellwerts zu diesem Zeitpunkt, ob die auszuführende Aktion verworfen werden kann. Wenn Verwerfen nicht aktiviert ist, wird A, wie durch den Kasten „A ausführen" 76 gezeigt ist, ausgeführt. Der Ablauf kehrt dann zu Block 72 zurück. Wenn der Entscheidungsblock 73 feststellt, dass A nicht zur Ausführung fällig ist, wird A in dem Block „A zurückstellen" 77 zurückgestellt. Der Entscheidungsblock 78 stellt fest, ob Pause in Kraft gesetzt ist. Wenn Pause in Kraft gesetzt ist, nimmt der Stillereschedule-Richtlinienblock 79 die Audiowiedergabe wieder auf und setzt die Bedingungen für Verwerfen, Pause und Stille zurück. Wenn Pause nicht in Kraft gesetzt ist, stellt der Block „Aktualisierung der Darstellungsqualität" 80 den räumlichen Schwellwert, die Verwerfungsbedingung und die Stillebedingung auf der Grundlage der Prozessorlast ein. Die Prozessorlast wird als Verhältnis der Zeitverzögerung der letzten Aktion zwischen dem aktuellen Lippensynchronisationsintervall und dem vorherigen Lippensynchronisationsintervall berechnet. Der Ablauf endet mit dem Einteilen des nächsten Lippensynchronisationsintervalls in Block 81.
Im Berichtanzeiger (35 in 9) kann der dynamische Kommentar, wie in 14 gezeigt ist, auf einer Zeitleiste mit einigen Markierungen angezeigt werden. Diese Markierungen werden dafür genutzt, Kommentarsegmente anzugeben, die wiedergegeben oder auf die geantwortet werden soll. Es werden vier Markierungsarten verwendet: Objektbereichsmarkierungen, Zeichnungsmarkierungen, Zeigemarkierungen und Stimme-Stille-Markierungen.
Objektbereichsmarkierungen zeigen auf der Zeitleiste an, auf welches Datenobjekt der Mauszeiger zeigt. Für die visuelle Anzeige unterteilen diese Markierungen die Zeitleiste in verschiedene Bereiche, die jeweils für ein Datenobjekt stehen, auf dem sich der Mauszeiger befindet. Des Weiteren ist jeder Bereich farbcodiert, um zwischen unterschiedlichen Datenobjekten zu unterscheiden. Der weiße Bereich gibt an, dass sich der Mauszeiger auf keinem Datenobjekt befindet. Zeichnungsmarkierungen geben an, dass sich der Mauszeiger im Zeichenmodus befindet, in dem die Bewegung des Mauszeigers eine Spur aus Linien hinterlässt. Zeigemarkierungen geben an, dass sich der Mauszeiger im Zeigemodus befindet, in dem die Bewegung des Mauszeigers keine Spur aus Linien hinterlässt. Die stillen Teile der menschlichen Stimme werden als Stimme-Stille-Markierungen verwendet, die anzeigen, welche Abschnitte des Kommentars mit menschlicher Stimme versehen sind.
In 14 unterteilen die Objektbereichsmarkierungen die Zeitleiste in Zeitintervalle a, b, c, d und e. Die Intervalle a und d geben die Zeit an, zu der sich der Mauszeiger auf dem einen Datenobjekt befindet. Die Intervalle b und e geben die Zeit an, zu der sich der Mauszeiger auf dem anderen Datenobjekt befindet. Das Intervall c gibt an, dass sich der Mauszeiger in diesem Zeitintervall auf keinem Datenobjekt befindet. Die Zeichnungsmarkierungen kennzeichnen drei Zeitintervalle f, g und h. Diese Intervalle geben die Zeit an, in der die Person den Mauszeiger zum Ziehen von Linien benutzt. Die Zeichnungsmarkierungen kennzeichnen vier Zeitintervalle i, j, k und l. Diese Intervalle geben die Zeit an, in der die Person den Mauszeiger zum Zeigen benutzt. Die Stimme-Stille-Markierungen kennzeichnen vier Zeitintervalle n, o, p und q. Diese Intervalle geben die Zeit an, in der die Person spricht.
15 stellt das Kommentieren von Kommentaren dar. Mit Hilfe von Markierungen auf der Zeitleiste kann die Person das gewünschte Segment des Kommentars auswählen. Die Person kann ein ausgewähltes Segment wiedergeben. Außerdem kann die Person einen neuen Kommentar erzeugen, bei dem es sich um eine Antwort auf dieses ausgewählte Segment handelt. Es wird ein Visualisierungshilfsmittel bereitgestellt, so dass sich die Person die Beziehungen zwischen den Kommentaren und Antwortkommentaren leicht vorstellen kann. Der Kommentar Nr. 1 weist drei Segmente a, b und c auf. Bei Kommentar Nr. 2 handelt es sich um eine Antwort auf Segment b des Kommentars Nr. 1. Der Kommentar Nr. 2 ist selbst in d, e und f segmentiert. Bei Kommentar Nr. 3 handelt es sich um eine Antwort auf Segmente des Kommentars Nr. 2.
Die vorliegende Erfindung weist drei wichtige Aspekte auf. Der Inhalt der Berichte geht über andere verfügbare Berichtsysteme hinaus, da erfindungsgemäß die Möglichkeit von dynamischen Kommentaren besteht. Mit dieser Möglichkeit von dynamischen Kommentaren kann der Bericht auch als Konsultationsmittel für andere Personen dienen, die mit Hilfe dynamischer Kommentare ihre Anmerkungen hinzufügen können. Durch die Segmentierung der Kommentare und das Anzeigen zusammengehörender Kommentare kann die Person zusammengehörende Kommentare erkennen.
Diese Erfindung darf nicht auf die Softwareimplementierung oder die offenbarten Arbeitsvorgänge eingeschränkt werden. Diese Erfindung umfasst sämtliche Änderungen und Variationen daran, die in den Schutzumfang der nachfolgenden Ansprüche fallen.

Claims

Multimediabasiertes Berichtsystem, das Folgendes umfasst: einen Befehlsinterpreter (10) zum Empfangen von Benutzerbefehlseingaben, einen „Medien anhängen"-Handler (16), der mit dem Befehlsinterpreter verbunden ist, einen „Bericht öffnen"-Handler (12), der mit dem Befehlsinterpreter verbunden ist, einen Kommentareingabeinterpreter (11) zum Empfangen von Benutzerkommentareingaben, einen Handler für statische Kommentare (19), der mit dem Kommentareingabeinterpreter verbunden ist und Textkommentare und/oder gezeichnete Kommentare behandelt, einen Handler für dynamische Kommentare (20), der mit dem Kommentareingabeinterpreter verbunden ist und in einem Bericht Sprachkommentare behandelt und/oder Kommentare, die die Aktionen eines Benutzers betreffen, gekennzeichnet durch einen Berichtanzeiger, der Folgendes umfasst: ein Mittel für das Darstellen einer Zeitleiste und mehrerer Markierungen, die Kommentarsegmente angeben, welche Zeitintervallen auf der Zeitleiste entsprechen, einen „Bericht drucken"-Handler (17), der mit dem Befehlsinterpreter verbunden ist, einen „Bericht speichern"-Handler (13), der mit dem Befehlsinterpreter verbunden ist, und einen „Kommentar zum Kommentar"-Handler (21), der mit dem Kommentareingabeinterpreter verbunden ist und es dem Benutzer ermöglicht, eine Sitzung mit dynamischen Kommentaren aufzuzeichnen, die auf einem Segment mit bestehenden dynamischen Kommentaren basiert.
Multimediabasiertes Berichtsystem nach Anspruch 1, das des Weiteren Folgendes umfasst: einen „Bericht versenden"-Handler (15), der mit dem Befehlsinterpreter verbunden ist.
Multimediabasiertes Berichtsystem nach Anspruch 1 oder 2, das des Weiteren Folgendes umfasst: einen „aktuellen Bericht löschen"-Handler (14), der mit dem Befehlsinterpreter verbunden ist.
Multimediabasiertes Berichtsystem nach einem der vorhergehenden Ansprüche, bei dem der Handler für dynamische Kommentare Folgendes umfasst: ein Aufzeichnungsmittel und ein Wiedergabemittel.
Multimediabasiertes Berichtsystem nach Anspruch 4, bei dem das Aufzeichnungsmittel Folgendes umfasst: ein Audioaufzeichnungsmittel (43) zum Aufnehmen von Sprache und Umwandeln der Sprache in Audiosignale, ein Stilleerkennungsmittel (45), das mit dem Audioaufzeichnungsmittel verbunden ist und die Audiosignale empfängt, ein Kompressionsmittel (46), das mit dem Stilleerkennungsmittel verbunden ist und die Audiosignale komprimiert, ein Tastenanschlag-/Mausbewegungsmittel (42) zum Identifizieren des Tippens oder der Bewegung einer Maus, ein Ereigniserzeugungsmittel (49), das mit dem Tastenanschlag-/Mausbewegungsmittel verbunden ist und Ereignisse erzeugt, die durch das Tippen oder die Bewegung der Maus entstehen, ein Filtermittel (50), das mit dem Ereigniserzeugungsmittel verbunden ist und die Ereignisse filtert, ein Mittel für kommentarbezogene Ereignisse (51), das mit dem Filtermittel verbunden ist, gefilterte Ereignisse empfängt und Ereignisname, Zeit, Parameter bereitstellt, und ein Kommentardateimittel (47), das mit dem Kompressionsmittel verbunden ist, von dem es komprimierte Audiosignale empfängt, und mit dem Mittel für kommentarbezogene Ereignisse verbunden ist, von dem es Ereignisname, Zeit, Parameter empfängt.
Multimediabasiertes Berichtsystem nach Anspruch 4 oder 5, bei dem das Wiedergabemittel Folgendes umfasst: ein adaptives Synchronisationsmittel zum Synchronisieren der Maus- und/oder Tastaturaktionen sowie der Stimme eines Kommentators.
Multimediabasiertes Berichtsystem nach Anspruch 6, bei dem das adaptive Synchronisationsmittel Folgendes umfasst: ein Kommentarschedulermittel (60) zum Empfangen von Informationen aus Aktionsdaten und zeitlichen Einteilen jedes Intervalls eines Kommentarzeitplans, ein Audiovorrichtungsschnittstellenmittel (63), das mit dem Kommentarschedulermittel verbunden ist, und ein Aktionsausführungsmittel (62), das mit dem Kommentarschedulermittel verbunden ist, von dem es gefilterte Maus- und/oder Tastaturaktionen empfängt und an das es die Prozessorlast rückmeldet.
Multimediabasiertes Berichtsystem nach einem der vorhergehenden Ansprüche, bei dem der „Kommentar zum Kommentar"-Handler Folgendes umfasst: ein Anzeigemittel zum Anzeigen von segmentierten Kommentaren mit Hilfe von Markierungen, ein Benutzerauswahlmittel, mit dem der Benutzer ein Segment auswählen kann, ein Aufzeichnungsmittel, mit dem das Segment aufgezeichnet wird, und ein Wiedergabemittel, mit dem das Segment wiedergegeben wird.
Multimediabasiertes Berichtsystem nach Anspruch 5 oder einem der Ansprüche 6 bis 8, wenn diese direkt oder indirekt daran angehängt sind, bei dem das Filtermittel Folgendes umfasst: ein erstes Entscheidungsmittel, das feststellt, ob ein new_event (neues Ereignis) gleich einem vom Computer erzeugten Zeitscheibenereignis ist, das den Weg eines Mauszeigers aufzeichnet, ein zweites Entscheidungsmittel, das feststellt, ob ein prev_event (vorheriges Ereignis) gleich dem Zeitscheibenereignis ist, ein Aufzeichnungsmittel zum Aufzeichnen des new_event, ein drittes Entscheidungsmittel, das feststellt, ob der Abstand dist(prev_event, new_event) unter einem Schwellwert liegt, und ein Mittel zum Nichtaufzeichnen des new_event.
Verfahren für das Erstellen von multimediabasierten Berichten, das Folgendes umfasst: Empfangen von Benutzerbefehlseingaben, Empfangen von Benutzerkommentareingaben, Behandeln von Textkommentaren und/oder gezeichneten Kommentaren mit einem Handler für statische Kommentare (19), Behandeln von Sprachkommentaren und/oder Kommentaren, die die Aktionen eines Benutzers betreffen, in einem Bericht mit einem Handler für dynamische Kommentare (20), und gekennzeichnet ist durch: das Darstellen einer Zeitleiste und mehrerer Markierungen, die Kommentarsegmente angeben, welche Zeitintervallen auf der Zeitleiste entsprechen, das Ausdrucken des Berichts, das Speichern des Berichts in einem externen Medienspeicher und das Kommentieren von Kommentaren, wodurch es dem Benutzer möglich wird, eine Sitzung mit dynamischen Kommentaren aufzuzeichnen, die auf einem Segment mit bestehenden dynamischen Kommentaren basiert.
Verfahren für das Erstellen von multimediabasierten Berichten nach Anspruch 10, das des Weiteren folgende Schritte umfasst: Versenden des Berichts und Anzeigen des Berichts.
Verfahren für das Erstellen von multimediabasierten Berichten nach Anspruch 10 oder 11, bei dem das dynamische Kommentieren folgende Schritte umfasst: Aufzeichnen und Wiedergeben.
Verfahren für das Erstellen von multimediabasierten Berichten nach Anspruch 12, bei dem das Aufzeichnen folgende Schritte umfasst: Benutzen eines Audioaufzeichnungsmittels zum Aufnehmen von Sprache und Umwandeln der Sprache in Audiosignale, Benutzen eines Stilleerkennungsmittels, das mit dem Audioaufzeichnungsmittel verbunden ist, zum Empfangen der Audiosignale, Komprimieren der Audiosignale, Identifizieren eines Tippens oder einer Bewegung einer Maus, Erzeugen von Ereignissen, die durch das Tippen oder die Bewegung der Maus entstehen, Filtern der Ereignisse, Benutzen eines Mittels für kommentarbezogene Ereignisse zum Empfangen von gefilterten Ereignissen und Bereitstellen von Ereignisname, Zeit, Parametern und Benutzen eines Kommentardateimittels zum Empfangen von komprimierten Audiosignalen und von Ereignisname, Zeit, Parametern.
Verfahren für das Erstellen von multimediabasierten Berichten nach Anspruch 12 oder 13, bei dem das Wiedergeben den folgenden Schritt umfasst: Benutzen eines adaptiven Synchronisationsmittels zum Synchronisieren von Maus- und/oder Tastaturaktionen sowie der Stimme eines Kommentators.
Verfahren für das Erstellen von multimediabasierten Berichten nach Anspruch 14, bei dem das Benutzen des adaptiven Synchronisationsmittels folgende Schritte umfasst: Benutzen eines Kommentarschedulermittels zum Empfangen von Informationen aus Aktivitätsdaten und zeitlichen Einteilen jedes Intervalls eines Kommentarzeitplans, Benutzen eines Audiovorrichtungsschnittstellenmittels, das mit dem Kommentarscheduler verbunden ist, und Benutzen eines Aktionsausführungsmittels, das mit dem Kommentarschedulermittel verbunden ist, zum Empfangen von gefilterten Maus- und/oder Tastaturaktionen von dem Kommentarschedulermittel und Rückmelden der Prozessorlast an das Kommentarschedulermittel.
Verfahren für das Erstellen von multimediabasierten Berichten nach einem der vorhergehenden Ansprüche, bei dem das Kommentieren von Kommentaren folgende Schritte umfasst: Anzeigen segmentierter Kommentare mit Hilfe von Markierungen, Ermöglichen der Auswahl eines Segments durch einen Benutzer, Kommentieren des Segments und Wiedergeben des Segments oder zu dem Segment gehörender Segmente.
Verfahren für das Erstellen von multimediabasierten Berichten nach Anspruch 13 oder einem der Ansprüche 14 bis 16, wenn diese direkt oder indirekt daran angehängt sind, bei dem das Filtern folgende Schritte umfasst: Feststellen, ob es sich bei einem new_event um ein vom Computer erzeugtes Zeitscheibenereignis handelt, das den Weg eines Mauszeigers aufzeichnet, Feststellen, ob es sich bei einem prev_event um das Zeitscheibenereignis handelt, Aufzeichnen des new_event, wenn es sich dabei nicht um das Zeitscheibenereignis handelt, Feststellen, ob dist(prev_event, new_event) unter einem Schwellwert liegt, Aufzeichnen des new_event, wenn es sich bei dem new_event und bei dem prev_event um Zeitscheibenereignisse handelt und dist(prev_event, new_event) nicht unter dem Schwellwert liegt, und Nichtaufzeichnen des new_event, wenn dist(prev_event, new_event) unter dem Schwellwert liegt.