DE4403497B4

DE4403497B4 - Verfahren und Vorrichtung zur Verarbeitung von Antworten zu Testfragen

Info

Publication number: DE4403497B4
Application number: DE4403497A
Authority: DE
Inventors: Jay V. Clark; William L. Jun. Bramlett; Judith Moyer
Original assignee: NAT COMP SYSTEMS Inc; National Computer Systems Inc
Current assignee: NAT COMP SYSTEMS Inc; National Computer Systems Inc
Priority date: 1993-02-05
Filing date: 1994-02-04
Publication date: 2006-11-23
Anticipated expiration: 2014-02-05
Also published as: US5437554A; US6558166B1; US5709551A; CA2107412A1; US5558521A; US5458493A; US5690497A; US6976847B2; US6183260B1; HK1002467A1; US5466159A; US5735694A; US20030198933A1; US5718591A; US20040202991A1; US5752836A; US6168440B1; US6155839A; GB2275121B; US6183261B1

Abstract

Verfahren zur Überprüfung von Bewertungen von in Form von Datenelementen vorliegenden Testantworten von zwei oder mehr Bewertern, wobei das Verfahren die Schritte umfasst:
a) dass ein als Antwort auf eine Frage erzeugtes Datenelement über ein verteiltes Computernetzwerk (10) einem Server (27) elektronisch zugeführt wird (64);
b) dass das Datenelement von dem Server (27) über das verteilte Computernetzwerk (10) elektronisch an erste und zweite Bewerter-Arbeitsplätze übertragen wird (88, 91), so dass es durch erste und zweite Bewerter bewertet werden kann;
c) dass erste und zweite Bewertungsergebnisse, die von den ersten und zweiten Bewertern für die Datenelemente ermittelt wurden, von den ersten und zweiten Bewerter-Arbeitsplätzen über das verteilte Computernetzwerk (10) elektronisch an den Server (27) verschickt werden; und
d) dass die ersten und zweiten Bewertungsergebnisse elektronisch verglichen werden (97) und ein mit den ersten und zweiten Bewertungsergebnissen in Verbindung stehender Wert aufgezeichnet wird (46), wenn die ersten und...

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verarbeitung von Antworten zu Testfragen.
Hintergrund der Erfindung
Das Bewerten von Testantwortbögen bringt komplexe Probleme mit sich. Diese Testantwortbögen schließen typischerweise eine Reihe von Antwortpositionen ein, wie beispielsweise "Blasen", Ovale oder Rechtecke. Eine an einem Test teilnehmende Person streicht beispielsweise ein passendes Oval mit einem Stift an, um eine Multiple-Choice-Frage zu beantworten. Diese Testantwortbögen können auch handgeschriebene Antworten einschließen, wie Aufsatz- oder Kurzantwortfragen. Systeme zum Abtasten und Bewerten der Blasen auf derartigen Testantwortbögen sind in Fachkreisen bekannt. Erhöhte Schwierigkeiten werden jedoch aufgeworfen, wenn derartige Antwortbögen entweder andere Arten von Antworten einschließen, wie handgeschriebene Antworten, oder nicht maschinell eingestuft werden können. Falls beispielsweise der Student vergessen hat, seinen Namen auf dem Testantwortbogen einzutragen, kann das System unfähig sein, die Testantwort maschinell zu bewerten.
Die Ziele beim Bewerten von Testantworten, die nicht maschinell bewertet werden können, schließen Effizienz und Konsistenz ein. Die Testantwortbögen werden typischerweise bewertet durch Testauflöser, indem entweder der physikalische Testantwortbogen manuell bewertet wird oder eine elektronische Darstellung des Testantwortbogens an einem Computer be wertet wird. Idealerweise sollten die durch die verschiedenen Testauflöser für eine besondere Testfrage versehenen Bewertungen konsistent sein, da die Bewertungen beim Leistungsvergleich der Studenten untereinander verwendet werden. Zusätzlich sollte ein Testauflöser idealerweise effizient arbeiten, um konsistent hohe Bewertungsraten aufrechtzuerhalten. Der Testauflöser sollte nicht eine so hohe Bewertungsrate aufweisen, daß die Konsistenz oder Qualität der Bewertung signifikant abnimmt; ebenso sollte der Testauflöser nicht eine so niedrige Bewertungsrate aufweisen, daß zu wenig Antwortbögen bewertet werden. Dieses manuelle Bewerten von Testantwortbögen macht es jedoch schwierig, die Bewertungskonsistenz unter den verschiedenen Testauflösern zu überwachen.
In vielen Situationen reisen Testauflöser tatsächlich an einen besonderen Ort, so daß alle Testauflöser gleichzeitig Testantwortbögen bewerten können. Von den Testauflösern zu verlangen, an einen gegebenen Ort zu reisen, ist unbequem für die Auflöser und kostspielig für diejenigen, welche die Tests verwalten. Darüber hinaus kann das Verfolgen der Leistung von Testauflösern gegenüber sowohl ihrer eigenen Leistung als auch der Leistung anderer Auflöser sehr schwierig sein mit einer manuellen Bewertungsumgebung.
Der Prozeß des Auflösens von Testfragen wird gegenwärtig manuell durchgeführt, und dies bringt Probleme mit sich. Einem Auflöser werden die tatsächlichen Testantwortbögen zur Bewertung manuell vorgelegt. Dieses Verfahren ist relativ uneffizient, da die Auflöser die Antwortbögen einzeln und in der Reihenfolge, in der sie vorgelegt werden, bewerten müssen. Auch besitzen manuelle Bewertungssysteme nicht die Fähigkeit, die Testantworten zur nachfolgenden Analyse effizient zu sammeln und zu kategorisieren. Daher ist es mit einem manuellen System sehr schwierig zu bestimmen, wie Lehrme thoden geändert werden sollten, um beispielsweise die Anzahl von falschen Antworten zu senken.

Die US 5 134 669 offenbart eine automatisierte Symbolerkennung zum Sammeln von Daten. Dabei steht das automatisierte Sammeln von Daten in Verbindung mit OMR und OCR im Vordergrund. Dazu werden Dokumente eingescannt und in einem Computer mittels OMR wie auch OCR bearbeitet und entsprechend abgespeichert. Bei einem Auftreten von Fehlern bei der OCR- bzw. OMR-Bearbeitung werden betroffene Dokumente anschließend automatisch zu Korrekturzwecken an Workstations weitergeleitet, wo manuell ergänzende Eingaben bzw. Korrekturen gemacht werden können.

Die US 5 011 413 betrifft ein Testsystem zur automatischen Bestimmung und Bewertung von handschriftlich eingetragenen Antworten in mit Diagrammen oder Zeichnungen vorbereiteten Prüfungsblättern. Aufgrund eines unterschiedlichen Reflexionsvermögens von vorab aufgebrachter Zeichnung und den nachträglichen handschriftlichen Eintragungen auf den Prüfungsblättern werden beim Scanprozess lediglich die nachträglichen Eintragungen erfasst und die erhaltenen Daten durch Vergleich mit gespeicherten Werten bewertet.

Die WO 90/05970 betrifft ein Datensammel-Analyse- und Antwortsystem, um automatisch anwenderspezifische Empfehlungen zu einem vorbestimmten Thema zu geben. Dabei wird ein ausgefülltes Datenerhebungsformular automatisiert eingescannt, die Daten mit bestimmten Kriterien verglichen und basierend darauf automatisch eine passende aus abgespeicherten Empfehlungen ausgewählt und diese anwenderspezifische Empfehlung in Form eines gedruckten Berichts ausgegeben.

Es gibt somit eine Notwendigkeit für ein System, das Konsistenz und Effizienz beim Bewerten oder Auflösen von Tests fördert und erzielt.

Zusammenfassung der Erfindung

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 14 gelöst.

Das vorliegende Testauflösermanagementsystem erleichtert konsistentes, genaues und hochqualitatives Bewerten von Testanworten. Ein Zusammenarbeitsbewertungsuntersystem erlaubt zwei Testauflösern, die gleiche Testanwort zu bewerten, und löst potentielle Diskrepanzen in den durch die Auflöser gelieferten Bewertungen auf.

Das System besitzt außerdem die Fähigkeit, Qualitätsposten zu verwenden, um eine Bewertungsleistung eines Auflösers zu überwachen. Das System überträgt einen Qualitätskontrolltestposten mit einer bekannten Bewertung zu einem Testauflöser. Nach Empfang einer Bewertung vom Auflöser vergleicht das System die bekannte Bewertung mit der Bewertung des Auflösers und kann ein Qualitätsprofil für den Auflöser erzeugen.

Das System schafft außerdem Leistungsrückkopplung zu Testauflösern, indem die Bewertungsraten der Auflöser überwacht werden. Falls eine Bewertungsrate eines Auflösers im Vergleich zu einer anderen Bewertungsrate eine Diskrepanz enthält, kann das System über die Diskrepanz berichten. Das System kann außerdem einem Auflöser Unterbrechungen empfehlen oder einen Auflöser mit Zerstreuungsaktivitäten versehen, und zwar in Abhängigkeit von einer Diskrepanz in Bewertungsraten. Das System besitzt ferner die Fähigkeit, Testantworten zu Auflösern zu leiten, und zwar gestützt auf Klassifikationen von Auflösern und Personen, welche die Testantworten erzeugten. Überwachen und Auswählen von Auflösern gestützt auf Klassifikationen fördert faires und konsistentes Bewerten von Testantworten.

Schließlich schafft das System einen Online-Bewertungsführer, um dynamisch einen Testauflöser mit Bewertungsregeln für eine dem Auflöser dargestellte Testanwort zu versehen.

Kurze Beschreibung der Zeichnung
Die Erfindung wird im folgenden beispielhaft anhand der Zeichnung beschrieben; in dieser zeigt:
1 ein Diagramm eines Netzwerks, das die vorliegende Erfindung einschließt,
2 ein Blockdiagramm eines Teils des in 1 gezeigten Netzwerks,
3 ein Blockdiagramm der Abtastkonfiguration im Netzwerk von 1,
4 ein Blockdiagramm des Servers im Netzwerk von 1,
5 ein Flußdiagramm des Empfangens und Verarbeitens von Testposten,
6 ein Flußdiagramm des Mehrfachpostenbewertens,
7 ein Flußdiagramm des Berichtens über einen kategorisierten (speziellen) Posten,
8–10 ein Flußdiagramm des Zusammenarbeitsbewertens,
11 ein Flußdiagramm eines Qualitätspostenverarbeitens,
12 ein Flußdiagramm zur Auflöserüberwachung und -rückkopplung,
13 ein Flußdiagramm eines Online-Bewertungsführungssystems, und
14 ein Beispiel einer Benutzerschnittstelle zur Verwendung mit einer Mehrfachpostenbewertung.
Ausführliche Beschreibung der bevorzugten Ausführungsform
In der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsform wird auf die begleitende Zeichnung Bezug genommen, die einen Teil hiervon bildet und in der veranschaulichend eine spezifische Ausführungsform gezeigt ist, in der die Erfindung praktiziert werden kann. Diese Ausführungsform wird ausreichend ausführlich beschrieben, um Fachleute in die Lage zu versetzen, die Erfindung zu praktizieren, und andere Ausführungsformen können benutzt und strukturelle oder logische Änderungen durchgeführt werden, ohne vom Rahmen der vorliegenden Erfindung abzuweichen. Die folgende ausführliche Beschreibung ist daher nicht in einem begrenzenden Sinn zu verstehen, und der Rahmen der vorliegenden Erfindung ist durch die beigefügten Ansprüche definiert.
HARDWARE-KONFIGURATION
1 zeigt ein Beispiel einer Hardware-Konfiguration für ein Netzwerk, das die vorliegende Erfindung einschließt. Diese Konfiguration ist lediglich als ein Beispiel gezeigt; viele verschiedene Hardware-Konfigurationen sind verfügbar, wie von einem Fachmann bemerkt, um die unten beschriebenen Softwareverarbeitungsfunktionen auszuführen. Das gezeigte Netzwerk umfaßt einen Mainframe-Computer 20, der durch einen Haupt-Tokenring mit einer Vielzahl von RISC-Servern 11, 12 und 13 über eine Schnittstelle verbunden ist. Jeder RISC-Server ist mit einem Tokenring über eine Schnittstelle verbunden, der Workstations und Abtastvorrichtungen enthält. Der RISC-Server 1 ist in Tokenring 1 mit Abtastvorrichtungen 14 und Workstations 19 verbunden. Der RISC-Server 12 ist in Tokenring 2 mit einer Abtastvorrichtung 15 und Workstations 18 verbunden. Der RISC-Server 13 ist in Tokenring 3 mit Abtastvorrichtungen 16 und Workstations 17 verbunden. Der Mainframe-Computer 20 ist außerdem mit einem Drucker hoher Kapazität 22 und einem Drucker niedriger Kapazität 21 verbunden, um Berichte gespeicherter Daten innerhalb des Systems zu drucken.
Das System verwendet die Abtastvorrichtungen, um Testantwortbögen einzulesen. Diese Testantwortbögen können zum Beispiel Testvordrucke mit "Blasen" oder Ovalen umfassen, die mögliche Antworten, handgeschriebene Aufsätze oder andere verschiedene Arten geschriebener oder gedruckter Informationen repräsentieren. Nach Empfang der abgetasteten Testdaten kann das System innerhalb der RISC-Server diese abgetasteten Testantwortbögen verarbeiten, um Testposten von Interesse von den Antwortbögen zu erzeugen. Ein Testposten ist daher eine elektronische Darstellung wenigstens eines Teils eines Testantwortbogens. Das System kann diese Testposten an die Workstations zur Online-Bewertung verteilen. Ein Testbewer ter an einer Workstation kann dann den Testposten bewerten und eine Testbewertung eingeben. Das System empfängt die Testbewertungen über das Netzwerk und die RISC-Server und verteilt die Bewertungen an geeignete Computer zum nachfolgenden Drucken und Berichten; der geeignete Computer kann zum Beispiel den Mainframe-Computer 20 oder einen Server einschließen. Das System kann auch die Testbewertungen zu beispielsweise einer Platte oder Telefonleitung übertragen.
2 ist ein ausführlicheres Blockdiagramm eines Teils des in 1 gezeigten Netzwerks. Wie in 2 gezeigt, umfassen die in 1 gezeigten Abtasteinheiten typischerweise eine Abtastvorrichtung 25, die mit einem Computer 24 und Personal-Computer (PC) 26 über eine Schnittstelle verbunden ist. 3 zeigt ein ausführlicheres Blockdiagramm einer Abtasteinheit. Die Abtastvorrichtung 25 enthält eine Kamera 31, um optisch einen Testantwortbogen einzulesen, und enthält ferner Logik 32 für optische Zeichenerkennung (OMR) zur Verarbeitung der von der Kamera 31 empfangenen abgetasteten Daten. Der PC 26, vorzugsweise ausgeführt als ein Hochleistungs-486-Niveau-PC, enthält einen Rahmenpuffer 23, der die abgetasteten Bilddaten von der Abtastvorrichtung 25 empfängt.
Der Computer 24, bevorzugt ausgeführt als ein HP 1000, ist mit der Abtastvorrichtung 25 und dem PC 26 über eine Schnittstelle verbunden, um den Betrieb der Abtasteinheit zu steuern. Der Computer 24 ist optional; das System kann alternativ so konfiguriert sein, daß sich die gesamte Funktionalität des Computers 24 innerhalb des PC's 26 befindet. Der Computer 24 steuert die Abtastvorrichtung über die OMR-Logik 32 und steuert somit, wann Bilddaten eingetastet und nachfolgend zum PC 26 übertragen werden. Der PC 26 wirkt im wesentlichen als ein Puffer zum Halten der Bilddaten. Der Computer 24 steuert ferner, wann der PC 26 die Bilddaten zur Übertra gung zu einem Server 27 zur nachfolgenden Verarbeitung und Bewertung abfragt. Der PC 26 kann außerdem einen Bereich von Interesse von den Bilddaten, der wenigstens einen Teil der abgetasteten Testantwortbögen repräsentiert, entfernen oder "ausschneiden".
Beispiele von zwei Systemen zum Speichern und Extrahieren von Informationen von abgetasteten Bildern von Testantwortbögen sind in den US-Patentschriften No. 5 134 669 und No. 5 103 490 gezeigt, die durch Bezugnahme in die vorliegende Anmeldung einbezogen sind, als ob vollständig dargelegt. Der Server 27 empfängt die Bilddaten, die Testposten einschließen, und sorgt für Verarbeitung und Steuerung der Bilddaten. Dieser Teil, der ein Testposten sein kann, wird dann an die Workstations 28, 29 und 30 zur nachfolgenden Bewertung verteilt. Ein Testauflöser (Bewerter) an der Workstation empfängt typischerweise den Testposten, führt das Bewerten durch und überträgt die Bewertung zum Empfangscomputer.
4 ist ein Blockdiagramm der Hardware- und Software-Funktionen in einem Server im Netzwerk von 1. Ein Abtaststeuerungsmodul 31 ist mit dem Abtastvorrichtungs-PC 26 über eine Schnittstelle verbunden und empfängt die Bilddaten. Die Bilddaten werden in einer Rohpostendatenbank 36 gespeichert. Die zentrale Anwendungsablage (CAR) 33 speichert typischerweise Dokumentdefinitionen und Handhabungskriterien. Die Dokumentprozeßwarteschlange 37 wirkt als ein Puffer hinein in ein Hauptverarbeitungsmodul 45 in Server 27.
Das Hauptverarbeitungsmodul 45 steuert die Verarbeitung von Testposten. Es steuert die Übertragung von Testposten zu den Workstations zur Bewertung und Übertragung von Bewertungen zum Mainframe-Computer 20. Das Hauptverarbeitungsmodul 45 überwacht auch die Leistung der Testauflöser, um konsistentes und effizientes Auflösen von Testposten, wie es unten er klärt ist, aufrechtzuerhalten.
Das Hauptverarbeitungsmodul 45 enthält typischerweise die folgenden grundlegenden Funktionen, die durch ein Systemmanagementmodul 32 gesteuert werden. Ein Arbeitsflußmodul 38 empfängt Bilddaten von der Datenbank 36 und steuert den Datenfluß hinein in ein Editierprozeßmodul 39. Das Editierprozeßmodul 39 kann maschinelles Bewerten der Testposten durchführen. Für diejenigen Testposten, die nicht maschinell bewertet werden können, oder möglicherweise für andere Testposten überträgt das System derartige Testposten zur Auftragsaufbaufunktion 40. Die Auftragsaufbaufunktion 40 bestimmt, welcher Typ nachfolgender Bewertung erforderlich ist für den Testposten und, zum Beispiel, welche Workstation den Testposten empfängt. Ein Auftragssendemodul 41 empfängt den Testposten und überträgt ihn zu einer Leitvorrichtung 42, die ihrerseits den Testposten zu einem Sende/Empfangs-Kommunikationsmodul 43 überträgt. Ein Editierarbeitsmodul 34 und Editierservermodul 35 steuern den Fluß von Testposten in den Server 27 hinein und aus diesem heraus. Ankommende Daten, wie Testantworten von der Workstation, werden durch die Module 34 und 35 zu einem Auftragsempfangsmodul 44 übertragen. Das Auftragsempfangsmodul überträgt die Daten zum Editierprozeßmodul 39 zur nachfolgenden Speicherung innerhalb der Datenbank 36.
SOFTWARE-VERARBEITUNG
5 ist ein Flußdiagramm eines typischen Abtastens und Verarbeitens von Test- und Antwortbögen. Das Dokumentverarbeitungssystem empfängt die Testantwortbögen, oder anderen Dokumente, bei Schritt 50 und führt eine Anfangsschreibvorbereitung der Dokumente (Schritt 51) zur Abtastung bei Schritt 52 durch. Das System tastet bei Schritt 52 die Dokumente für OMR und andere Bilddaten ab. Das System kann dann die OMR-Blasen bei Schritt 53 verarbeiten und die Daten im Arbeit-im-Ablauf-Speicher (WIP) bei Schritt 54 speichern. Das System kann bei Schritt 56 Bereiche von Interesse vom abgetasteten Bild "ausschneiden". Der Schritt des "Ausschneidens" bezieht mit ein, daß elektronisch, typischerweise in Software, ein Teil des Testpostens oder des abgetasteten Bilds entfernt wird. Diese "ausgeschnittenen" Bereiche können irgendeinen Teil eines Testantwortbogens umfassen; zum Beispiel einen handgeschriebenen Aufsatz oder ausgewählte Antwortpositionen. Das System kann auch Bilddaten direkt von fremden Quellen empfangen, magnetisch oder elektronisch, und die Daten in der Rohpostendatenbank 36 speichern. Nachfolgende Vorgänge auf den Daten sind die gleichen, ungeachtet der Quelle der Daten. Nach dem "Ausschneiden" von Bereichen von Interesse vom Bild speichert das System die Testposten bei Schritt 57 im Arbeit-im-Ablauf-Speicher 55.
Das System wartet bei Schritt 55 bis es feststellt, daß ein Testposten bereit ist, aufgelöst oder bewertet zu werden. Falls Mehrfachauflösungsposten innerhalb der Bilddaten vorliegen, wie bei Schritt 59 festgestellt, sendet das System dann den Testposten zu einer Mehrfachpostenverarbeitung bei Schritt 63. Andernfalls führt das System andere Auflösungs- prozesse auf den Daten bei Schritt 60 durch und speichert das Resultat im Arbeit-im-Ablauf-Speicher 55 bei Schritt 61. Andere Auflösungsprozesse können beispielsweise maschinelles Bewerten, Rohtasteneingabe und analytisches Auflösen einschließen.
Analytisches Auflösen oder Bewerten kann zum Beispiel Bildvergleiche wie bit-abgebildete Vergleiche zwischen zwei Testposten einschließen. Die Abbildungsvergleiche erlauben einem Testauflöser, zum Beispiel die Antworten eines Beantworters über die Zeit zu vergleichen, um den Fortschritt des Beant worters zu verfolgen. Zum Beispiel kann das analytische Bewerten einbeziehen, daß zwei handgezeichnete Kreise von dem Beantworter verglichen werden, um festzustellen, ob sich die Genauigkeit des Beantworters beim Zeichnen von Kreisen über die Zeit verbessert hat. Analytisches Bewerten kann auch zum Beispiel einschließen, daß falsch buchstabierte Wörter und Interpunktionsfehler in einer Antwort wie einem Aufsatz eingekreist oder elektronisch angezeigt werden.
Mehrfachpostenbewerten
6 ist ein Flußdiagramm eines typischen Mehrfachpostenverarbeitens. Bei Schritt 64 holt sich das System typischerweise zuerst ein Mehrfachpostenbild vom Arbeit-im-Ablauf-Speicher. Das Bild wird gespeichert in einem Mehrfachpostendarstellungsspeicher 65 und einem Mehrfachpostendarstellungsspeicher 69 zur nachfolgenden Darstellung zu einem Auflöser. Das System fährt fort Mehrfachposten zu empfangen, bis entweder die Postendarstellung voll ist, wie bei Schritt 66 bestimmt, oder keine Mehrfachposten mehr vorliegen, wie bei Schritt 68 bestimmt. Solange die Darstellung nicht voll ist und zusätzliche Mehrfachposten vorhanden sind, tastet das System bevorzugt den Arbeit-im-Ablauf-Speicher bei Schritt 67 für zusätzliche Posten ab. Wenn die Mehrfachpostendarstellung voll ist oder keine Mehrfachposten mehr vorliegen, sendet das System die zusammengestellten Mehrfachposten zu einem Auflöser bei Schritt 70 und stellt die Mehrfachtestposten auf der Auflöserdarstellung 71 dar.
Das System überträgt typischerweise Testposten zu einem speziellen Auflöser gestützt auf die Auflösungsexpertise des Auflösers. Zum Beispiel kann ein besonderer Auflöser angewiesen sein, all die Testposten zu bewerten, die sich auf Wissenschaftsfragen beziehen. Auflösungsexpertisen können auch zum Beispiel Mathematik, Englisch, Geschichte, Geographie, Fremdsprachen oder andere Themen umfassen.
Ein Beispiel einer Schnittstelle auf der Auflöserdarstellung ist in 14 gezeigt. Die Schnittstelle umfaßt typischerweise eine Vielzahl von Zellen 74, wobei jede Zelle einen aufzulösenden Posten enthält. Nach Darstellen der Mehrfachposten in den Zellen der Auflöserdarstellung erlaubt das System dem Auflöser bei Schritt 72, die Mehrfachposten zu bewerten. Ein Testauflöser zeigt typischerweise die Bewertung der Antworten an durch Verwendung einer "Maus", eines Lichtstifts, eines Berührungsschirms, einer Spracheingabe oder einer anderen Art von Cursorsteuerung oder Eingabevorrichtung.
Im in 14 gezeigten Beispiel ist die richtige Antwort "vier" und die falschen Antworten sind durch Schattierung angedeutet. Alternativ könnte ein Auflöser die richtigen Antworten bezeichnen. Der Vorteil des Mehrfachpostensystems rührt her von der gleichzeitigen Darstellung von Testposten in den Zellen 74, die einem Testauflöser erlaubt, schnell viele Testposten zu bewerten und somit eine schnellere Antwortzeit im Vergleich zur Darstellung und Bewertung von lediglich einem einzelnen Testposten zu einem Zeitpunkt zu erzielen. Sogar die gleichzeitige Darstellung von zwei Posten erhöht die Antwortzeit. Wenn die Matrix von Zellen größer wird, erzielt die gleichzeitige Darstellung von Testposten eine signifikante Erhöhung in Antwortzeit und Auflöseraufmerksamkeit und -fokussierung.
Nach dem Bewerten oder Auflösen empfängt das System die Resultate bei Schritt 73 zur nachfolgenden Speicherung im Arbeit-im-Ablauf-Speicher 55. Ein Testauflöser überträgt typischerweise die Resultate des Auflösens aller dargestellten Testposten in den Zellen als eine einzige Einheit zur Stapelverarbeitung.
Bericht über kategorisierten Posten
7 ist ein typisches Flußdiagramm eines Berichts über einen kategorisierten (speziellen) Posten. Berichten über einen kategorisierten Posten erlaubt dem System, sowohl Antworten gemäß vordefinierten Kategorien zu gruppieren, als auch Prozesse zu überwachen, die von den Studenten oder Testteilnehmern beim Erreichen einer gegebenen Antwort verwendet werden. Die Kategorien, in welche Testantworten gruppiert werden können, schließen zum Beispiel falsche Antworten und richtige Antworten innerhalb einer Lehrgangseinheit innerhalb einer Unterrichtsgruppierung und angeforderter Zeitrahmen ein; zum Beispiel alle falschen Mathematikantworten in einer besonderen Klasse eines Lehrers während des vorigen Schuljahrs. Andere Gruppierungen sind möglich in Abhängigkeit von den Bedürfnissen der Testauflöser und Lehrer, die das Material unterrichten, auf welches sich der Test bezieht.
Zusätzlich kann das System ein Bild eines Testpostens mit der entsprechenden Bewertung vermengen. Um ein Unterrichten von Material, auf welches sich der Test bezieht, zu erleichtern, vermengt das System typischerweise einen eine falsche Antwort darstellenden Testposten mit der entsprechenden Bewertung. Durch Berichten über den vorliegenden Testposten kann ein Lehrer Einsicht gewinnen in einen Denkprozeß, der vom Studenten beim Erreichen der falschen Antwort verwendet wird. Dadurch kann ein Lehrer dadurch, daß er etwas Kenntnis darüber besitzt, warum ein Schüler eine Testfrage falsch beantwortete, Maßnahmen ergreifen, um Unterrichtsstrategien zu ändern oder zu modifizieren und somit die Situation zu verbessern.
Der Bericht über einen kategorisierten Posten umfaßt normalerweise die folgenden Funktionen. Das System tastet bei Schritt 75 den Arbeit-im-Ablauf-Speicher für Posten ab, die dazu bereit sind, daß über sie berichtet wird. Falls Testposten zum Berichten bereit sind, wie bei Schritt 76 bestimmt, verarbeitet das System die Daten bei Schritt 77 zur Erzeugung eines geeigneten Berichts über die Daten. Bei Schritt 78 tastet das System die zentrale Anwendungsablage für Definitionen kategorisierter (spezieller) Posten ab. Wenn spezielle Posten zum Berichten erhältlich sind, wie bei Schritt 79 bestimmt, erlangt das System die speziellen Posten wieder bei Schritt 80 und kann sie bei Schritt 81 mit anderen Berichtsinformationen, wie die entsprechenden Testposten, wie oben erklärt vermengen. Das System verteilt dann einen Bericht bei Schritt 82, der einen gedruckten Bericht darstellen kann.
Zusammenarbeitsbewerten
Die 8–11 sind ein Flußdiagramm eines typischen Zusammenarbeitsbewertungssystems. Das Zusammenarbeitsbewertungssystem schafft Funktionen, um Fairness und Objektivität beim Auflösen von Testposten zu erzielen. Die Zusammenarbeitsbewertung erlaubt zum Beispiel zwei Auflösern, den gleichen Posten zu bewerten, und, falls die Antworten nicht innerhalb eines besonderen vordefinierten Bereichs liegen, sorgt für nachfolgendes Verarbeiten, um die Diskrepanz aufzulösen.
Bei den Schritten 83 und 84 stellt das System fest, ob Posten zur Bewertung verfügbar sind. Bei Schritt 85 empfängt das System Zusammenarbeitsbewertungsanforderungen von der Datenbank und stellt bei Schritt 86 fest, ob Zusammenarbeitsbewertung erforderlich ist. Beispiele von Zusammenarbeitsbewertungsanforderung sind unten dargestellt. Falls Zusammenarbeitsbewertung spezifiziert worden ist, erlangt das System den zu bewertenden Posten wieder von der Ar beit-im-Ablauf-Datenbank bei Schritt 87 und sendet den Posten zu Auflösern 1 und 2 bei den Schritten 88 und 91.
Das System ist ferner in der Lage, Auflöser gemäß Auswahlkriterien bei den Schritten 89 und 90 auszuwählen. Die Auswahlkriterien der Auflöser zur Bewertung von Antworten können zum Beispiel Rasse, Geschlecht oder geographische Lage einschließen. Die Fähigkeit des Systems, Testauflöser anzuweisen, besondere Testposten zu bewerten, schafft die Grundlage für erhöhte Fairness und Konsistenz bei der Bewertung von Tests. Zum Beispiel kann das System Testauflösern Testposten zuweisen, und zwar gestützt auf die gleiche Rassenklassifikation, was bedeutet, daß der Testauflöser die gleiche Rassenklassifikation wie der Student oder Beantworter besitzt, dessen Test der Auflöser bewertet. Das System kann außerdem Testauflösern Testposten zuweisen, und zwar gestützt auf eine unterschiedliche, verstärkt unterschiedliche oder bevorzugte Mischung von Klassifikationen. Das System überwacht die Konsistenz beim Bewerten gestützt auf die Auswahlkriterien und kann, was wichtiger ist, die Auswahlkriterien ändern, um konsistentes und faires Bewerten von Testposten sicherzustellen.
9 ist ein Flußdiagramm, das zusätzliche typische Funktionen der Zusammenarbeitsbewertung zeigt. Bei den Schritten 92 und 93 stellt das System die Posten den Auflösern 1 und 2 zur Bewertung dar. Das System kann ferner die Durchschnittsbewertungen von Auflösern verfolgen und den gleichen Testposten nicht zu zwei Auflösern senden, die Durchschnittsbewertungen innerhalb eines vordefinierten Bereiches geliefert haben. Dies hilft ebenfalls dabei, Konsistenz beim Bewerten zu erzielen. Falls beispielsweise zwei Bewerter jeweils hohe Durchschnittsbewertungen in der Vergangenheit geliefert haben, wie durch das System bestimmt, sollten diese zwei Bewerter bevorzugt nicht zusammenarbeitend die gleichen Testposten bewerten, da es "aufgeblähte" Bewertungen für besondere Testposten ergeben könnte.
Das System zeichnet die Bewertungen von den Auflösern 1 bzw. 2 bei den Schritten 94 bzw. 95 auf und speichert derartige Bewertungen in einem temporären Speicher 96. Bei Schritt 97 vergleicht das System die Bewertungen gemäß Kriterien, die in der zentralen Anwendungsablage spezifiziert sind. Derartige Kriterien können zum Beispiel einschließen, daß gefordert wird, daß die Bewertungen innerhalb eines vordefinierten Prozentsatzes voneinander liegen. Falls die Bewertungen die Kriterien erfüllen, wie bei Schritt 98 festgestellt, zeichnet das System die Bewertung in der Arbeit-im-Ablauf-Datenbank bei Schritt 46 auf. Andernfalls, falls die Bewertungen nicht die Kriterien erfüllen, stellt das System bei Schritt 99 fest, ob die Bewertungen der Auflöser übereinstimmen müssen. Falls die ersten zwei Auflöserbewertungen nicht übereinstimmen müssen, überträgt das System dann bevorzugt den Testposten zu einem dritten Auflöser, um die Diskrepanz in den ersten zwei Bewertungen zu "heilen". Bei Schritt 100 stellt das System fest, ob der dritte Auflöser die ersten Bewertungen sehen soll.
10 zeigt zusätzliches typisches Verarbeiten der Zusammenarbeitsbewertung. Falls die ursprünglichen Auflöser 1 und 2 bei einer Bewertung übereinstimmen müssen, führt das System dann die Schritte 101–105 aus. Das System stellt dann typischerweise zuerst jedem Auflöser die Bewertung des anderen Auflösers bei den Schritten 101 und 102 dar, so daß jeder Auflöser die durch den anderen Auflöser bestimmte Bewertung sehen kann. Bei Schritt 103 schafft das System eine Kommunikation zwischen den zwei Auflösern. Eine derartige Kommunikationsverbindung kann zum Beispiel eine Elektronische-Post-Verbindung sein, so daß die Bewerter Informationen hinsichtlich der Gründe hinter der geschaffenen Bewertung austauschen können. Bei Schritt 104 arbeiten die Auflöser zusammen, um eine einzelne vereinbarte Bewertung für den Testposten zu bestimmen. Das System kann die Auflöser 1 und 2 daran hindern, einen weiteren Testposten zu empfangen, bis sie eine vereinbarte Bewertung für den vorhergehenden Testposten eingegeben haben. Schließlich, bei Schritt 105, speichert das System die vereinbarte Bewertung in der Arbeit-im-Ablauf-Datenbank.
Anstatt den Auflösern zu erlauben, zusammenzuarbeiten, um eine vereinbarte Bewertung aufzuzeichnen, kann das System optional entweder einen größeren Wert der ersten und zweiten Testbewertungen, einen niedrigeren Wert der ersten und zweiten Testbewertungen oder einen Durchschnittswert der ersten und zweiten Testbewertungen aufzeichnen.
Falls die Zusammenarbeitsbewertungskriterien spezifizieren, daß der dritte Auflöser die Diskrepanz durch Schiedsspruch entscheiden und eine Bewertung bestimmen soll, stellt das System dann Bewertungen dar von den Auflösern 1 und 2 bei Schritt 106 für Auflöser 3. Der dritte Auflöser (Auflöser 3) gibt dann typischerweise eine Bewertung für den Testposten bei Schritt 107 ein, und das System zeichnet die Bewertung in der Arbeit-im-Ablauf-Datenbank bei Schritt 108 auf.
Falls die Zusammenarbeitsbewertungsanforderung spezifiziert, daß der dritte Auflöser die zwei ersten Bewertungen nicht sehen soll, führt das System dann die Schritte 109–111 aus.
Bei Schritt 109 stellt das System den Testposten für den dritten Auflöser dar. Der dritte Auflöser gibt dann typischerweise eine Bewertung bei Schritt 110 ein, und das System zeichnet die Bewertung in der Arbeit-im-Ablauf-Datenbank bei Schritt 111 auf.
Qualitätsposten
11 ist ein typisches Flußdiagramm der Verwendung von Qualitätsposten im Bewertungsprozeß. Das System kann Qualitätsposten verwenden, um die Genauigkeit des Bewertens für ausgewählte Testauflöser zu prüfen und zu überwachen und somit konsistentes und hochqualitatives Bewerten von Testposten aufrechtzuerhalten. Bei Schritt 112 bestimmt oder empfängt das System die Qualitätskriterien. Die Qualtitätskriterien können zum Beispiel einen vorbestimmten Testposten mit einer bekannten "richtigen" Bewertung darstellen.
Das System wartet dann für eine festgelegte Qualitätsprüfung bei Schritt 113. Bei der Qualitätsprüfung sendet das System, bei Schritt 114, den bekannten Qualitätsposten zum festgelegten Auflöser. Bei Schritt 116 aktualisiert das System das Qualitätsprofil des Auflösers gestützt auf die Auswertung bei Schritt 115. Falls der Auflöser ein Qualitätsergebnis empfangen soll, wie bei Schritt 117 bestimmt, stellt das System das Qualitätsprofil dem Auflöser bei Schritt 118 dar. Bei Schritt 119 sendet das System das Qualitätsprofil zu einem Manager zur nachfolgenden Durchsicht. Bei Schritt 120 unternimmt das System Schritte, die erforderlich sind, um Bewertungsgenauigkeit zu gewährleisten.
Auflöserüberwachung und -rückkopplung
12 ist ein Flußdiagramm einer typischen Auflöserüberwachung und -rückkopplung. Die primären Faktoren bei der Überwachungsleistung schließen typischerweise ein: (1) Gültigkeit; (2) Zuverlässigkeit und (3) Geschwindigkeit. Beim Überwachen dieser Faktoren fördert das System Bewertungswiederholbarkeit. Diese Faktoren können überwacht werden, indem eine Leistung eines Auflösers gegenüber vergangener Leistung des Auflösers oder gegenüber einem bekannten Ziel ver folgt wird.
Gültigkeit wird typischerweise gemessen, indem festgestellt wird, ob ein besonderer Auflöser den Bewertungsschlüssel richtig auf Testposten anwendet oder, mit anderen Worten, Testposten bewertet, wie ein Experte die gleichen Posten bewerten würde. Zuverlässigkeit wird typischerweise gemessen, indem festgestellt wird, ob ein Besonderer den gleichen Testposten auf die gleiche Weise über die Zeit (Schaffen von konsistenter Bewertung) auflöst. Geschwindigkeit wird typischerweise gemessen, indem eine Bewertungsrate eines Auflösers mit vergangenen Bewertungsraten des Auflösers oder anderen Bewertungsraten, wie Durchschnittsbewertungsraten oder Festpunktbewertungsraten, verglichen wird.
Bei Schritt 121 überwacht das System typischerweise kontinuierlich die Leistung eines Auflösers und aktualisiert die Leistung. Überwachen der Leistung des Auflösers kann einschließen, wie oben erklärt, daß die Gültigkeit, Zuverlässigkeit und Geschwindigkeit beim Auflösen von Testposten des Auflösers überwacht werden. Das System führt periodisch, gemäß vordefinierten Kriterien, Leistungsprüfungen der Testauflöser durch. Vordefinierte Kriterien können beispielsweise einschließen: eine Zeitperiode; Rückfragen (wie oft ein Auflöser seine eigene Arbeit auswertet); Erbitten von Hilfe; die Anzahl von Übereinstimmungen unter mehreren Auflösern; das Ausmaß von Abweichung zwischen der Bewertung eines Auflösers und einer bekannten Bewertung, die bestimmt werden kann unter Verwendung von Qualitätsposten; die Frequenz dieser Abweichungen; die Geschwindigkeit, mit welcher ein Auflöser eine Antwort während des Auflösens von Testposten eingibt; die Zeitlänge zwischen von einem Testauflöser eingegebenen Bewertungen; eine vorhergehende Bewertungsrate eines Testauflösers, eine Durchschnittsbewertungsrate eines Testauflösers; Durchschnittsbewertungsraten anderer Testauflöser; oder eine vorbestimmte Festpunktbewertungsrate.
Bei Schritt 122 stellt das System fest, ob es Zeit ist für eine festgelegte Leistungsprüfung gemäß den vorbestimmten Kriterien. Falls es Zeit ist für eine Leistungsprüfung, vergleicht das System bei Schritt 123 die gegenwärtige Leistung eines Auflösers, wie bei Schritt 121 bestimmt, mit den gespeicherten Leistungskriterien. Bei Schritt 124 stellt das System fest, ob es eine Diskrepanz in der Leistung des Auflösers gemäß den vorbestimmten Kriterien gibt. Zum Beispiel kann das System feststellen, ob die gegenwärtige Bewertungsrate des Auflösers innerhalb eines vorbestimmten Prozentsatzes der Durchschnittsbewertungsrate liegt, um effizientes Bewerten durch den Testauflöser sicherzustellen. Falls es keine Diskrepanz gibt, kehrt das System zum Überwachen der Leistung des Auflösers zurück. Zusätzlich kann das System die gegenwärtigen Leistungswerte des Auflösers zur späteren Verarbeitung speichern. Andernfalls berichtet das System über die Diskrepanz bei Schritt 125.
Bei Schritt 126 stellt das System fest, ob es dem Auflöser eine Unterbrechung beim Bewerten empfehlen soll. Falls gemäß vorbestimmten Leistungskriterien das System eine Unterbrechung beim Bewerten empfehlen soll, signalisiert dann das System dem Auflöser bei Schritt 128, das Bewerten anzuhalten. Vordefinierte Leistungskriterien können zum Beispiel Abweichungen in der Gültigkeit, Zuverlässigkeit oder Geschwindigkeit des Auflösens von Testposten des Auflösers einschließen. Beispiele vordefinierter Leistungskriterien werden oben bezüglich des Überwachens der Leistung des Auflösers geliefert.
Wenn der Auflöser das Bewerten stoppt, kann das System dem Auflöser die Option liefern, Zerstreuungsaktivitäten zu er bitten. Zerstreuungsaktivitäten sind dazu gedacht, dem Testauflöser eine Ruheperiode und "Unterbrechung" vom Bewerten zu verschaffen, um die Effizienz zu erhöhen. Beispiele von Zerstreuungsaktivitäten schließen Computerspiele und Kreuzworträtsel ein. Falls der Auflöser derartige Zerstreuungsaktivitäten erbeten hat, wie bei Schritt 129 bestimmt, überträgt das System dann eine Zerstreuungsaktivität zum Auflöser bei Schritt 130. Andernfalls kehrt das System zum Überwachen der Bewertungsrate des Auflösers zurück, wenn der Auflöser das Bewerten wieder aufnimmt.
Falls das System bei Schritt 126 nicht eine Unterbrechung beim Bewerten, gestützt auf die Diskrepanz, empfiehlt, kann das System dann optional dem Auflöser Zerstreuungsaktivitäten, wie bei Schritt 127 bestimmt, verschaffen. Falls der Auflöser die Zerstreuungsaktivitäten empfangen soll, sendet das System dann derartige Aktivitäten zum Auflöser bei Schritt 130. Andernfalls kehrt das System zum Überwachen der Bewertungsrate des Auflösers zurück.
Online-Bewertungsführer
13 ist ein Flußdiagramm eines typischen Online-Bewertungsführungssystems. Der Online-Bewertungsführer erhöht die Bewertungseffizienz, indem dem Auflöser erlaubt wird, Bewertungsregeln zu erbitten, um beim Bewerten eines besonderen Testpostens zu helfen. In Erwiderung auf die Bitte stellt das System Bewertungsregeln dar entsprechend einer Testfrage für den gegenwärtig dem Auflöser dargestellten Testposten. Einem Auflöser können so schnell spezifische Bewertungsregeln online zur Verfügung stehen, während Testposten bewertet werden. Dies fördert Bewertungseffizienz und reduziert unnötige Unterbrechungszeiten, die sich daraus ergeben, daß bestimmt wird, wie ein besonderer Testposten zu bewerten ist.
Bei Schritt 131 sendet das System einen Testposten zu einem Auflöser zur Bewertung und stellt den Testposten bei Schritt 132 dar. Falls der Auflöser Bewertungsregeln erbeten hat, wie bei Schritt 133 bestimmt, fragt das System dann einen gespeicherten Bewertungsführer ab, um Bewertungsregeln ausfindig zu machen, die einer Testfrage für den gegenwärtig dem Auflöser dargestellten Testposten entsprechen. Das System erlangt diese besonderen Bewertungsregeln wieder bei Schritt 135 und stellt sie dem Auflöser bei Schritt 136 dar. Das System verwendet bevorzugt eine Mehrprogramm-Umgebung, um gleichzeitig die Bewertungsregeln und den Testposten darzustellen. Bei Schritt 134 wartet das System darauf, daß der Auflöser den Testposten bewertet. Bei Schritt 137 speichert das System die Testbewertung eingegeben durch den Auflöser hinein in den Arbeit-im-Ablauf-Speicher.
Wie oben beschrieben, ist die vorliegende Erfindung ein System, das Testposten verarbeitet. Die verschiedenen Funktionen, die beim Verarbeiten der Testposten verwendet werden, fördern effizientes, hochqualitatives und konsistentes Bewerten von Testposten.

Claims

Verfahren zur Überprüfung von Bewertungen von in Form von Datenelementen vorliegenden Testantworten von zwei oder mehr Bewertern, wobei das Verfahren die Schritte umfasst: a) dass ein als Antwort auf eine Frage erzeugtes Datenelement über ein verteiltes Computernetzwerk (10) einem Server (27) elektronisch zugeführt wird (64); b) dass das Datenelement von dem Server (27) über das verteilte Computernetzwerk (10) elektronisch an erste und zweite Bewerter-Arbeitsplätze übertragen wird (88, 91), so dass es durch erste und zweite Bewerter bewertet werden kann; c) dass erste und zweite Bewertungsergebnisse, die von den ersten und zweiten Bewertern für die Datenelemente ermittelt wurden, von den ersten und zweiten Bewerter-Arbeitsplätzen über das verteilte Computernetzwerk (10) elektronisch an den Server (27) verschickt werden; und d) dass die ersten und zweiten Bewertungsergebnisse elektronisch verglichen werden (97) und ein mit den ersten und zweiten Bewertungsergebnissen in Verbindung stehender Wert aufgezeichnet wird (46), wenn die ersten und zweiten Bewer tungsergebnisse entsprechend vordefinierter Kriterien übereinstimmen.
Verfahren nach Anspruch 1, ferner mit dem Schritt, dass die Frage ersten und zweiten Bewertern an den ersten und zweiten Bewerter-Arbeitsplätzen elektronisch angezeigt wird.
Verfahren nach Anspruch 1, wobei der Schritt zum elektronischen Vergleich der ersten und zweiten Bewertungsergebnisse ferner die Schritte umfasst, dass: a) eine elektronische Kommunikationsverbindung über das verteilte Computernetzwerk (10) zwischen den ersten und zweiten Bewerter-Arbeitsplätzen vorgesehen wird (103), und, wenn sich die ersten und zweiten Bewertungsergebnisse auf Grundlage von vordefinierten Kriterien unterscheiden, den ersten und zweiten Bewertern signalisiert wird, ein gemeinsames Bewertungsergebnis unter Verwendung der elektronischen Kommunikationsverbindung interaktiv zu bestimmen und einzugeben; und b) das gemeinsame Bewertungsergebnis aufgezeichnet wird (105).
Verfahren nach Anspruch 3, ferner mit dem Schritt, dass Bewertungsergebnisse der ersten und zweiten Bewerter nachverfolgt werden und verhindert wird, dass die ersten und zweiten Bewerter ein gleiches Datenelement bewerten, wenn die ersten und zweiten Be werter jeweils durchschnittliche Bewertungsergebnisse innerhalb vordefinierter Bewertungskriterien haben.
Verfahren nach Anspruch 3, wobei der Schritt zum elektronischen Vergleich der ersten und zweiten Bewertungsergebnisse ferner den Schritt umfasst, dass die ersten und zweiten Bewerter-Arbeitsplätze solange daran gehindert werden, ein anderes Datenelement zur Bewertung aufzunehmen, bis die ersten und zweiten Bewerter das gemeinsame Bewertungsergebnis eingegeben haben.
Verfahren nach Anspruch 4, wobei der Schritt zum elektronischen Vergleich der ersten und zweiten Bewertungsergebnisse ferner den Schritt umfasst, dass das Datenelement an einen dritten Bewerter-Arbeitsplatz zur Bewertung durch einen dritten Bewerter über das verteilte Netzwerk übertragen wird (106, 109), wenn die ersten und zweiten Bewerter das gemeinsame Bewertungsergebnis innerhalb einer vorbestimmten Zeitperiode nicht eingeben.
Verfahren nach Anspruch 1, wobei der Schritt zum elektronischen Vergleich der ersten und zweiten Bewertungsergebnisse ferner die Schritte umfasst, dass: a) das Datenelement an einen dritten Bewerter-Arbeitsplatz zur Bewertung durch einen dritten Bewerter über das verteilte Computernetzwerk (10) übertragen wird (106, 109), wenn sich die ersten und zweiten Bewertungsergebnisse auf Grundlage von vordefinierten Kriterien unterscheiden; und b) ein drittes Bewertungsergebnis, das von dem dritten Bewerter ermittelt wurde, aufgezeichnet wird (108, 111), das von dem dritten Bewerter-Arbeitsplatz über das verteilte Computernetzwerk (10) verschickt wird.
Verfahren nach Anspruch 1, wobei der Schritt zur Übertragung des Datenelements an einen dritten Bewerter-Arbeitsplatz über das verteilte Computernetzwerk (10) ferner den Schritt umfasst, dass der dritte Bewerter-Arbeitsplatz mit den ersten und zweiten Bewertungsergebnissen beliefert wird (106).
Verfahren nach Anspruch 1, wobei der Schritt zur Übertragung des Datenelements an einen dritten Bewerter-Arbeitsplatz über das verteilte Computernetzwerk (10) ferner den Schritt umfasst, dass verhindert wird, dass der dritte Bewerter die ersten und zweiten Bewertungsergebnisse an dem dritten Bewerter-Arbeitsplatz betrachten kann, bevor der dritte Bewerter das dritte Bewertungsergebnis aufzeichnet.
Verfahren nach Anspruch 1, wobei der Schritt zum elektronischen Vergleich der ersten und zweiten Bewertungsergebnisse ferner den Schritt umfasst, dass die ersten und zweiten Bewerter-Arbeitsplätze über das verteilte Computernetzwerk (10) elektronisch verbunden werden (103), wenn die ersten und zweiten Bewerter an verschiedenen geographischen Orten angeordnet sind.
Verfahren nach Anspruch 1, wobei der Schritt zum elektronischen Vergleich der ersten und zweiten Bewertungsergebnisse den Schritt umfasst, dass zumindest eines aus einem größeren der ersten und zweiten Bewertungsergebnisse, einem niedrigeren der ersten und zweiten Bewertungsergebnisse und einem Durchschnitt der ersten und zweiten Bewertungsergebnisse als der Wert selektiv aufgezeichnet wird.
Verfahren nach Anspruch 1, wobei der Schritt zum elektronischen Empfang eines als Antwort auf ein Frage erzeugten Datenelements über ein verteiltes Computernetzwerk (10) umfasst, dass ein als Antwort auf eine Frage erzeugtes Testelement über ein verteiltes Computernetzwerk (10) elektronisch empfangen wird.
Verfahren nach Anspruch 12, wobei der Schritt zum elektronischen Empfang eines als Antwort auf eine Frage erzeugten Testelements über ein verteiltes Computernetzwerk (10) umfasst, dass eine elektronische Darstellung zumindest eines als Antwort auf eine Frage erzeugten Anteils eines Testantwortbogens über ein verteiltes Computernetzwerk (10) elektronisch empfangen wird.
Vorrichtung zur überprüfenden Bewertung von in Form von Datenelementen vorliegenden Testantworten von zwei oder mehr Bewertern, wobei die Vorrichtung umfasst: a) eine Empfangsuntervorrichtung, die ein als Antwort auf eine Frage erzeugtes Datenelement elektronisch empfängt (64); b) eine Übertragungsuntervorrichtung, die das Datenelement elektronisch an erste und zweite Bewerter-Arbeitsplätze über trägt (88, 91), so dass es durch erste und zweite Bewerter bewertet werden kann; c) eine Bewertungsergebnisuntervorrichtung, die erste und zweite Bewertungsergebnisse, die von den ersten und zweiten Bewertern für die Datenelemente vergeben wurden, von den ersten und zweiten Bewerter-Arbeitsplätzen elektronisch verschickt; und d) eine Vergleichsuntervorrichtung, die die ersten und zweiten Bewertungsergebnisse elektronisch vergleicht (97) und einen mit den ersten und zweiten Bewertungsergebnissen in Verbindung stehenden Wert aufzeichnet (46), wenn die ersten und zweiten Bewertungsergebnisse entsprechend vordefinierter Kriterien übereinstimmen.
Vorrichtung nach Anspruch 14, wobei die Empfangsuntervorrichtung ferner den ersten und zweiten Bewertern an den ersten und zweiten Bewerter-Arbeitsplätzen die Frage elektronisch anzeigt.
Vorrichtung nach Anspruch 14, wobei die Vergleichsuntervorrichtung: a) eine elektronische Kommunikationsverbindung zwischen den ersten und zweiten Bewerter-Arbeitsplätzen vorsieht (103) und, wenn sich die ersten und zweiten Bewertungsergebnisse auf Grundlage der vordefinierten Kriterien unterscheiden; b) den ersten und zweiten Bewertern signalisiert, ein gemeinsames Bewertungsergebnis unter Verwendung der elektronischen Kommunikationsverbindung interaktiv zu bestimmen und einzugeben; und c) das gemeinsame Bewertungsergebnis aufzeichnet (105).
Vorrichtung nach Anspruch 16, wobei die Vergleichsuntervorrichtung ferner Durchschnittsbewertungsergebnisse der ersten und zweiten Bewerter verfolgt und verhindert, dass die ersten und zweiten Bewerter ein gleiches Datenelement bewerten, wenn die ersten und zweiten Bewerter jeweils durchschnittliche Bewertungsergebnisse innerhalb vordefinierter Bewertungskriterien haben.
Vorrichtung nach Anspruch 16, wobei die Vergleichsuntervorrichtung ferner die ersten und zweiten Bewerter-Arbeitsplätze solange daran hindert, ein anderes Datenelement zur Bewertung aufzunehmen, bis die ersten und zweiten Bewerter das gemeinsame Bewertungsergebnis eingegeben haben.
Vorrichtung nach Anspruch 16, wobei die Vergleichsuntervorrichtung ferner das Datenelement an einen dritten Bewerter-Arbeitsplatz zur Bewertung durch einen dritten Bewerter überträgt (106, 109), wenn die ersten und zweiten Bewerter das gemeinsame Bewertungsergebnis innerhalb einer vorbestimmten Zeitperiode nicht eingeben.
Vorrichtung nach Anspruch 14, wobei die Vergleichsuntervorrichtung ferner: a) das Datenelement an einen dritten Bewerter-Arbeitsplatz zur Bewertung durch einen dritten Bewerter überträgt (106, 109), wenn sich die ersten und zweiten Bewertungsergebnisse auf Grundlage der vordefinierten Kriterien unterscheiden; und b) ein drittes Bewertungsergebnis, wie durch den dritten Bewerter bestimmt, aufzeichnet (108, 111), das von dem dritten Bewerter-Arbeitsplatz verschickt wird.
Vorrichtung nach Anspruch 14, wobei die Übertragung des Datenelements an einen dritten Bewerter-Arbeitsplatz durch die Vergleichsuntervorrichtung ferner umfasst, dass der dritte Bewerter-Arbeitsplatz mit den ersten und zweiten Bewertungsergebnissen beliefert wird (106).
Vorrichtung nach Anspruch 14, wobei die Übertragung des Datenelements an einen dritten Bewerter-Arbeitsplatz durch die Vergleichsuntervorrichtung ferner umfasst, dass verhindert wird, dass der dritte Bewerter die ersten und zweiten Bewertungsergebnisse an dem dritten Bewerter-Arbeitsplatz betrachten kann, bevor der dritte Bewerter das dritte Bewertungsergebnis aufzeichnet.
Vorrichtung nach Anspruch 14, wobei die Vergleichsuntervorrichtung ferner die ersten und zweiten Bewerter-Arbeitsplätze elektronisch verbindet (103), wenn die ersten und zweiten Bewerter an unterschiedlichen geographischen Orten angeordnet sind.
Vorrichtung nach Anspruch 14, wobei die Vergleichsuntervorrichtung ferner zumindest eines aus einem größeren der ersten und zweiten Bewertungsergebnisse, einem niedrigeren der ersten und zweiten Bewertungsergebnisse und einem Durchschnitt der ersten und zweiten Bewertungsergebnisse als das gemeinsame Bewertungsergebnis selektiv aufzeichnet.
Vorrichtung nach Anspruch 14, wobei das Datenelement ein Testelement umfasst.
Vorrichtung nach Anspruch 25, wobei das Testelement eine elektronische Darstellung zumindest eines Abschnittes eines Testantwortbogens umfasst.