DE69332980T2

DE69332980T2 - Betreiben eines neuronalen netzwerks mit fehlenden und/oder inkompletten daten

Info

Publication number: DE69332980T2
Application number: DE69332980T
Authority: DE
Inventors: David James KEELER; Jon Eric HARTMAN; Ralph Bruce Ferguson
Original assignee: Pavilion Technologies Inc
Current assignee: Rockwell Automation Pavilion Inc
Priority date: 1992-11-24
Filing date: 1993-11-19
Publication date: 2004-03-04
Anticipated expiration: 2013-11-20
Also published as: EP0671038B1; CA2149913A1; DE69332980D1; JPH08505967A; WO1994012948A1; ATE240557T1; AU674227B2; US5842189A; EP0671038A1; US5819006A; AU6515594A; US5613041A; US6169980B1

Description

TECHNISCHES GEBIET DER ERFINDUNG
Die vorliegende Endung bezieht sich allgemein auf neuronale Netze, und insbesondere auf ein Netz und ein Verfahren zum Schätzen des Fehlers im Vorhersageausgaberaum eines Vorhersagesystemmodells, auf ein Netz und ein Verfahren zum Bereitstellen eines Maßes der Gültigkeit im Vorhersageausgaberaum eines Vorhersagesystemmodells, und auf ein Verfahren zum Trainieren eines Vorhersagenetzes.
HINTERGRUND DER ERFINDUNG
Ein gewöhnliches Problem, das beim Training neuronaler Netze für die Probleme der Vorhersage, Schätzung, Mustererkennung, Sensorüberprüfung und/oder Verarbeitung auftritt, ist, daß einige der Trainings/Test-Muster fehlen können, verfälscht und/oder unvollständig sein können. Frühere Systeme haben lediglich Daten verworfen, mit dem Ergebnis, daß einige Bereiche des Eingaberaums während des Trainings des neuronalen Netzes nicht abgedeckt werden konnten. Wenn z. B. das Netz verwendet wird, um das Verhalten einer chemischen Anlage als Funktion der historischen Sensor- und Steuerungseinstellungen zu lernen, werden diese Sensormessungen typischerweise elektronisch abgetastet, aus den Meßablesungen von Hand eingegeben und/oder aus Laborergebnissen von Hand eingegeben. Es ist ein gewöhnliches Ereignis, daß einige oder alle diese Meßwerte zu einem gegebenen Zeitpunkt fehlen können. Es ist ferner üblich, daß die verschiedenen Werte zu verschiedenen Zeitintervallen abgetastet werden können. Außerdem kann jeder Wert "schlecht" sein, in dem Sinn, daß nach der Eingabe des Wertes durch ein bestimmtes Verfahren festgestellt werden kann, daß ein Datenelement tatsächlich falsch war. Wenn somit die Daten in einer Tabelle ausgedruckt würden, würde das Ergebnis eine teilweise ausgefüllte Tabelle mit intermittierend fehlenden Daten oder "Löchern" sein, die an die Löcher in Schweizer Käse erinnern. Diese "Löcher" entsprechen den "schlechten" oder "fehlenden" Daten. Die "Schweizer-Käse"-Datentabelle, die oben beschrieben worden ist, tritt in Problemen der realen Welt häufig auf.
Herkömmliche Trainings- und Testverfahren für neuronale Netze erfordern vollständige Muster, so daß sie Muster mit fehlenden oder schlechten Daten verwerfen müssen. Das Löschen der schlechten Daten auf diese Weise ist ein ineffizientes Verfahren zum Trainieren eines neuronalen Netzes. Es sei z. B. angenommen, daß ein neuronales Netz zehn Eingänge und zehn Ausgänge aufweist, wobei ferner angenommen sei, daß einer der Eingänge oder Ausgänge zum gewünschten Zeitpunkt für 50% oder mehr der Trainingsmuster fehlt. Herkömmliche Verfahren würden diese Muster verwerfen, was zu einem Trainieren für diese Muster während des Trainingsmodus und zu keiner zuverlässigen vorhergesagten Ausgabe während des Laufmodus führt. Dies ist ineffizient, wenn berücksichtigt wird, daß für diesen Fall mehr als 90% der Informationen für diese Muster, die herkömmliche Verfahren verwerten würden, immer noch vorhanden sind. Die vorhergesagte Ausgabe, die diesen bestimmten Bereichen entspricht, wird etwas mehrdeutig und fehlerhaft sein. In einigen Situationen kann sich eine Reduktion von bis zu 50% der Gesamtdaten nach einem Aussieben schlechter oder fehlender Daten ergeben. Außerdem haben Versuchsergebnisse gezeigt, daß die Testleistungsfähigkeit neuronaler Netze im allgemeinen mit mehr Trainingsdaten zunimmt, so daß das Verwerfen schlechter oder unvollständiger Daten die Gesamtleistungsfähigkeit des neuronalen Netzes verringert.
Wenn ein neuronales Netz mit einer kleineren Datenmenge trainiert wird, verringert dies die Gesamtvertrauenswürdigkeit, die sich für die vorhergesagte Ausgabe ergibt. Bis heute existiert keine Technik für die Vorhersage der Integrität der Trainingsoperation des Netzes "fliegend" während des Laufmodus. Für jedes Eingangsdatenmuster im Eingaberaum weist das neuronale Netz eine Trainingsintegrität auf. Wenn z. B. eine große Anzahl von guten Datenpunkten während des Trainings existiert hat, würde ein hohes Vertrauensniveau existieren, wenn die Eingangsdaten in diesem Bereich auftreten. Wenn jedoch ein Bereich des Eingaberaums vorhanden war, der kaum mit guten Daten belegt war, z. B. bei einer großen Menge an schlechten Daten, die dort verworfen wurden, wäre das Vertrauensniveau der vorhergesagten Ausgabe eines Netzes sehr niedrig. Obwohl bestimmte frühere Techniken für die aktuelle Prüfung des aktuellen Trainings des Netzes existieren können, arbeiten diese Techniken nicht in einem Echtzeit-Laufmodus.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung, die hier offenbart und beansprucht wird, umfaßt ein Netz und ein Verfahren zum Schätzen des Fehlers im Vorhersageausgaberaum eines Vorhersagesystemmodells, ein Netz und ein Verfahren zum Bereitstellen eines Maßes der Gültigkeit im Vorhersageausgaberaum eines Vorhersagesystemmodells, und ein Verfahren zum Trainieren eines Vorhersagenetzes, wie in den unabhängigen Ansprüchen 1, 2, 14, 15 bzw. 22 ausgeführt ist.
Ein Netz zum Schätzen des Fehlers im Vorhersageausgaberaum eines Vorhersagesystemmodells für einen Vorhersageeingaberaum ist in einer Ausführungsform der Erfindung beschrieben. Das Netz enthält einen Eingang zum Empfangen eines Eingabevektors, der mehrere Eingabewerte umfaßt, die den Vorhersageeingaberaum belegen. Ein Ausgang ist so betreibbar, daß er einen Ausgabevorhersagefehlervektor ausgibt, der einen Ausgaberaum belegt, der dem Vorhersageausgaberaum des Systemmodells entspricht. Eine Verarbeitungsschicht bildet den Eingaberaum auf den Ausgaberaum über eine Darstellung des Vorhersagefehlers im Systemmodell ab, um den Ausgabevorhersagefehlervektor bereitzustellen.
In einer weiteren Ausführungsform der vorliegenden Erfindung ist ein Datenvorprozessor vorgesehen. Der Datenvorprozessor ist so betreibbar, daß er einen unverarbeiteten Dateneingabevektorempfängt, der im wesentlichen dem gleichen Eingaberaum wie der Eingabevektor zugeordnet ist. Der unverarbeitete Dateneingabevektor weist zugehörige Fehler in bestimmten Abschnitten des Eingaberaums auf. Der Vorprozessor ist so betreibbar, daß er den unverarbeiteten Dateneingabevektor verarbeitet, um die Fehler darin zu minimieren, um an einem Ausgang den Eingabevektor bereitzustellen. Die unverarbeitete Dateneingabe umfaßt in einer Ausführungsform Daten, die Abschnitte aufweisen, die unbrauchbar sind. Der Datenvorprozessor ist so betreibbar, daß er die unverarbeiteten Daten abgleicht, um den unbrauchbaren Abschnitt durch abgeglichene Daten zu ersetzen. Außerdem ist der Datenvorprozessor so betreibbar, daß er einen Unsicherheitswert für jeden Wert der abgeglichenen Daten, die als Eingabevektor ausgegeben werden, ausgibt.
In einer weiteren Ausführungsform der vorliegenden Erfindung umfaßt das Systemmodell ein nichtlineares Modell mit einem Eingang zum Empfangen des Eingabevektors innerhalb des Eingaberaums und einem Ausgang zum Ausgeben eines vorhergesagten Ausgabevektors. Es ist eine Abbildungsfunktion vorgesehen, die die Eingabeschicht auf die Ausgabeschicht für ein nichtlineares Modell eines System abbildet. Eine Steuerschaltung ist vorgesehen, um den Vorhersageausgabevektor so zu steuern, daß darin eine Änderung entsprechend vorgegebenen Kriterien bewirkt werden kann. Es sind mehrere Entscheidungsschwellen vorgesehen, die vorgegebene Schwellenraten für die Vorhersagefehlerausgabe definieren. Ein Entscheidungsprozessor ist so betreibbar, daß er den Ausgabevorhersagefehlervektor mit den Entscheidungsschwellen vergleicht und die Ausgabesteuerung so betreibt, daß die vorgegebenen Änderungen bewirkt werden, wenn eine vorgegebene Beziehung zwischen den Entscheidungsschwellen und dem Ausgabevorhersagefehlervektor existiert.
In einer weiteren Ausführungsform der vorliegenden Erfindung ist eine nichtlineare Darstellung des Systemmodells eine trainierte Darstellung, die für einen endlichen Satz von Eingabedaten innerhalb des Eingaberaums trainiert wird. Es wird ein Gültigkeitsmodell geschaffen, das eine Repräsentation der Gültigkeit der vorhergesagten Ausgabe eines Systemmodells für einen gegebenen Wert im Eingaberaum liefert. Das Gültigkeitsmodell enthält einen Eingang zum Empfangen des Eingabevektors innerhalb eines Eingaberaums und einen Ausgang zum Ausgeben eines Gültigkeitsausgabevektors, der dem Ausgaberaum entspricht. Ein Prozessor ist so betreibbar, daß er den Gültigkeitsausgabevektor in Reaktion auf die Eingabe eines vorgege benen Wertes des Eingabevektors und des Orts des Eingabevektors innerhalb des Eingaberaumes erzeugt. Der Wert des Gültigkeitsausgabevektors entspricht der relativen Menge an Trainingsdaten, für die das Systemmodell in dem Bereich des Eingaberaums um den Wert des Eingabevektors trainiert worden ist.
In einer weiteren Ausführungsform der Erfindung wird das Systemmodell mittels eines vorgegebenen Trainingsalgorithmus trainiert, der eine Soll-Ausgabe und einen Satz von Trainingsdaten verwendet. Während des Trainings wird ferner ein Unsicherheitswert empfangen, der die Unsicherheit der Eingabedaten repräsentiert. Der Trainingsalgorithmus wird während des Trainings als Funktion des Unsicherheitswertes modifiziert.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Für ein vollständigeres Verständnis der vorliegenden Erfindung und deren Vorteile wird auf die folgende Beschreibung in Verbindung mit den beigefügten Zeichnungen Bezug genommen, in welchen:
1 ein Gesamtblockschaltbild des Systemmodells zeigt, das sowohl ein Gültigkeitsmodell als auch ein Vorhersagefehlermodell zum Verarbeiten abgeglichener Daten und zum Kontrollieren des Ausgangs unter Verwendung des Gültigkeitsmodells und des Vorhersagefehlermodells zeigt;
2a und 2c ein Gesamtblockschaltbild eines Verfahrens zum Trainieren des Systemmodells unter Verwendung der während des Datenabgleichs erzeugten Unsicherheit zeigt;
2b ein Beispiel des Abgleichs und der zugehörigen Unsicherheit zeigt;
3a-3c Datenmuster, die die Datenverteilung repräsentieren, den Vorhersagefehler und das Gültigkeitsniveau zeigen;
4a eine schematische Ansicht eines Datenmusters zeigt, das an zwei Intervallen abgetastet worden ist und ein vollständiges Muster für neuronale Netze zeigt;
4b eine schematische Ansicht eines Datenmuster zeigt, das die zeitliche Zusammenführung von Daten zeigt;
5 ein Autocodierungsnetz für das Abgleichen der Eingabedaten zum Auffüllen schlechter oder fehlender Daten zeigt;
6 ein Blockschaltbild der Trainingsoperation zum Trainieren des Modells zeigt;
7 ein Gesamtblockschaltbild zum Trainieren des Gültigkeitsmodells zeigt;
8a und 8b Beispiele lokalisierter Funktionen der Daten für die Verwendung beim Training des Gültigkeitsmodells zeigen;
9 eine schematische Ansicht von Radialbasisfunktionszentren in einem zweidimensionalen Raum zeigt;
10 eine schematische Ansicht der Gültigkeitsfunktion zeigt;
11 eine Verteilung von Trainingsdaten und zwei Testmustern für x_a und x_b zeigt; und
12 ein Gesamtblockschaltbild für die Erzeugung der Gültigkeitsziele zeigt, die während des Trainings des Gültigkeitsmodells verwendet werden.
GENAUE BESCHREIBUNG DER ERFINDUNG
In 1 ist ein Gesamtblockschaltbild der Netze und der Verfahren der vorliegenden Erfindung gezeigt. Es wird ein Dateneingabevektor x(t) wird bereitgestellt, der die Eingabedaten repräsentiert, die einen Eingaberaum belegen. Diese Daten können fehlende oder schlechte Daten aufweisen, die ersetzt werden müssen. Diese Datenersetzung findet in einem Datenvorprozeß-Abschnitt 10 statt, der so betreibbar ist, daß er die Datenmuster abgleicht, um die schlechten oder fehlenden Daten aufzufüllen und einen Ausgabevektor x'(t) bereitzustellen. Außerdem wird der Fehler- oder Unsicherheitsvektor μ_x(t) ausgegeben. Dieser repräsentiert die Verteilung der Daten um den mittleren abgeglichenen Datenvektor x'(t), wobei er typischerweise das ist, was in früheren Systemen verworfen wurde. Die abgeglichenen Daten x'(t) werden in ein Systemmodell 12 eingegeben, das mittels eines neuronalen Netzes verwirklicht ist. Das neuronale Netz ist ein herkömmliches neuronales Netz, das eine Eingangsschicht zum Empfangen des Eingabevektors und eine Ausgangsschicht zum Bereitstellen eines vorhergesagten Ausgabevektors umfaßt. Die Eingangsschicht wird auf die Ausgangsschicht über eine nichtlineare Abbildungsfunktion abgebildet, die in einer oder mehreren verdeckten Schichten ausgeführt ist. Dies ist ein herkömmlicher Typ von Architektur. Wie im folgenden beschrieben wird, wird dieses Netz durch irgendeinen von mehreren Trainingsalgorithmen und Architekturen trainiert, wie z. B. Radialbasisfunktionen, Gaußsche Balken oder herkömmliche Back-Propagation-(Rückwärtsfortpflanzung)-Techniken. Die Back-Propagation-Lerntechnik ist allgemein beschrieben in "Learning Internal Representations by Error Propagation" von D. E. Rumelhart, G. E. Hinton & R. J. Williams (in D. E. Rumelhart & J. L. McClennand, Parallel Distributed Processing, Kapitel 8, Bd. 1, 1986), wobei dieses Dokument hiermit durch Literaturhinweis eingefügt ist. Back-Propagation-Techniken zum Trainieren herkömmlicher neuronalen Netze sind jedoch wohlbekannt. Die Ausgabe des Systemmodells 12 ist eine vorhergesagte Ausgabe y(t). Diese wird in eine Ausgabekontrollschaltung 14 eingegeben, die als eine Ausgabe einen modifizierten Ausgabevektor y'(t) liefert. Im allgemeinen ergibt sich immer dann, wenn Daten in das Systemmodell 12 eingegeben werden, eine vorhergesagte Ausgabe, deren Integrität eine Funktion davon ist, wie gut das Netz trainiert worden ist.
Zusätzlich zum obigen Systemmodell werden ein Gültigkeitsmodell 16 und ein Vorhersagefehlermodell 18 bereitgestellt. Das Gültigkeitsmodell 16 stellt ein Modell der "Gültigkeit" der vorhergesagten Ausgabe als eine Funktion der "Verteilung" der Daten im Eingaberaum während der Trainingsoperation zur Verfügung. Jedem Systemmodell sind zugeordnete Vorhersagefehler verliehen worden, wobei die Vorhersagefehler in der verwendeten Architektur inhärent sind. Dies setzt voraus, daß das Systemmodell mit einem angemessenen Trainingsdatensatz trainiert wurde. Falls nicht, existiert eine zusätzli che Fehlerquelle, aufgrund einer unangemessenen Verteilung der Trainingsdaten am Ort des Eingaberaums nahe den Eingabedaten. Das Gültigkeitsmodell 16 stellt ein Maß dieser zusätzlichen Fehlerquelle zur Verfügung. Das Vorhersagefehlermodell 18 stellt ein Modell des erwarteten Fehlers der vorhergesagten Ausgabe zur Verfügung.
Ein gegebenes Systemmodell weist einen zugehörigen Vorhersagefehler auf, der eine Funktion der Architektur ist, wobei der Vorhersagefehler aufgrund eines angemessenen Satzes von Trainingsdaten über den gesamten Eingaberaum vorausgesetzt wird. Wenn jedoch ein Fehler oder eine Unsicherheit, die dem Satz der Trainingsdaten zugeordnet ist, vorhanden ist, wird dieser Fehler oder diese Unsicherheit zum inhärenten Vorhersagefehler des Systemmodells addiert. Der Gesamtvorhersagefehler wird anhand der Gültigkeit differenziert, wobei die Gültigkeit eine Funktion der Verteilung der Trainingsdaten über den Eingaberaum ist und der Vorhersagefehler eine Funktion der Architektur des Systemmodells und des zugehörigen Fehlers oder der Unsicherheit des Satzes der Trainingsdaten ist.
Der Ausgang des Gültigkeitsmodells 16 stellt einen Gültigkeitsausgabevektor v(t) bereit, wobei der Ausgang des Vorhersagefehlermodells 18 einen geschätzten Vorhersagefehlervektor e(t) bereitstellt. Diese zwei Ausgabevektoren werden in einen Entscheidungsprozessor 20 eingegeben, dessen Ausgabe verwendet wird, um ein Kontrollsignal für die Eingabe in die Ausgabekontrolle 14 zu erzeugen. Der Entscheidungsprozessor 20 ist so betreibbar, daß er die Ausgabevektoren v(t) und e(t) mit verschiedenen Entscheidungsschwellen vergleicht, die in diesen von einem Entscheidungsschwellengenerator 22 eingegeben werden. Beispiele des Typs der Kontrolle, die zur Verfügung stehen, sind: wenn die Genauigkeit kleiner ist als eine Kontrolländerungsempfehlung, wird keine Änderung durchgeführt. Ansonsten werden die Kontrollen auf die empfohlenen Werte geändert. Wenn der Gültigkeitswert größer ist als die Gültigkeitsschwelle, wird in ähnlicher Weise die Kontrollempfehlung akzeptiert. Ansonsten wird die Kontrollempfehlung nicht akzeptiert. Die Ausgabekontrolle 14 kann ferner die vorhergesagten Ausgaben modifizieren. In einer Kontrollsituation kann z. B. ein Ausgabekontrolländerungswert modifiziert werden, um nur 50% des Änderungswertes für eine gegebene Schwelle, 25% des Änderungswertes für eine zweite Schwel le und 0% des Änderungswertes für eine dritte Schwelle zu erhalten.
In 2a ist eine Ausführungsform eines Verfahren zum Trainieren des Systemmodells 12 unter Verwendung der Unsicherheit μ(t) der Eingabetrainingsdaten gezeigt. Im allgemeinen wird das Lernen des Systemmodells 12 durch irgendwelche einer Vielzahl von neuronalen Netzarchitekturen und Algorithmen erreicht, wie z. B. Back-Propagation, Radialbasisfunktionen oder Gaußsche Balken. Die Lernoperation wird so angepaßt, daß ein Muster mit weniger Daten im Eingaberaum mit geringerer Wichtigkeit trainiert wird. Bei der Back-Propagation-Technik besteht ein Verfahren darin, die Lernrate auf der Grundlage der Unsicherheit eines gegebenen Musters zu ändern. Der Eingabeunsicherheitsvektor μ_x'(t) wird in einen Unsicherheit-Trainingsmodifizierer 24 eingegeben, der Kontrollsignale für das Systemmodell 12 während des Trainings bereitstellt.
Der Datenvorprozessor 10 berechnet den Datenwert x'(t) zu der gewünschten Zeit "t" aus anderen Datenwerten unter Verwendung einer Abgleichtechnik, wie z. B. einer linearen Schätzung, einer Kurvenanpassung, einem Güterwagen-Abgleich oder aufwendigeren Techniken, wie z. B. einem autocodierenden, neuronalen Netz, wie im folgenden beschrieben wird. Alle diese Techniken werden als Datenabgleich bezeichnet, wobei die Eingabedaten x(t) mit den ausgegebenen abgeglichenen Daten x'(t) abgeglichen werden. Im allgemeinen ist x'(t) eine Funktion aller Rohwerte x(t), die zu aktuellen und vergangenen Zeitpunkten bis zu einem bestimmten maximalen vergangenen Zeit Xmax gegeben sind. Das heißt,
wobei einige der Werte von x_i(t_j) fehlen oder schlecht sein können.
Dieses Verfahren der Auffindung von x'(t) unter Verwendung früherer Werte ist grundsätzlich eine Extrapolation. Da das System während des Laufzeitmodus nur vergangene Werte zur Verfügung hat, müssen die Werte abgeglichen werden. Das einfachste Verfahren, um dies zu bewerkstelligen, besteht darin, den nächsten extrapolierten Wert x'_i(t) = x_i(tN) zu nehmen, d. h. den letzten Wert zu nehmen, der gemeldet wurde. Aufwendigere Extrapolations algorithmen können frühere Werte x_i(t – τ_ij), j ∊ t(0,... i_max) verwenden. Zum Beispiel würde eine lineare Extrapolation verwenden:
Polynom-, Kurvenanpassungs- oder Neuronal-Netz-Extrapolationstechniken verwenden Gleichung 1. (Siehe z. B. "Numerical Recipes", W. H. Press, Cambridge University Press (1986), S. 77-101). Das Training des neuronalen Netzes würde in Wirklichkeit interpolierte Werte, d. h. Gleichung 2, verwenden, wobei im Fall der Interpolation t_N > t gilt.
Es werden beliebige Zeitwerte extrapoliert oder interpoliert, wobei diese Werte eine bestimmte inhärente Unsicherheit μ_x'(t) aufweisen. Die Unsicherheit kann durch eine A-Priori-Messung oder -Informationen und/oder durch die Abgleichtechnik gegeben sein. Eine Schätzung der Unsicherheit μ_x'(t) in einem abgeglichenen Wert x'(t) wäre:
wobei μ_max die maximale Unsicherheit ist, die als Parameter gesetzt ist (wie z. B. der maximale Datenbereich), und wobei: μ_ox' die A-Priori-Unsicherheit ist
d. h. die lokale Geschwindigkeitsdurchschnittsgröße, und wobei:
d. h. 1/2 der lokalen Beschleunigungsdurchschnittsgröße.
Eine graphische Darstellung hiervon ist in 2b gezeigt.
Sobald der Eingabeunsicherheitsvektor μ_x,(t) ermittelt ist, müssen die fehlenden oder unsicheren Eingabewerte anders behandelt werden als fehlende oder unsichere Ausgabewerte. In diesem Fall wird der Fehlerterm, der sich zu jeder unsicheren Eingabe rückwärts fortpflanzt, auf der Grundlage der Unsicherheit der Eingabe modifiziert, während ein Fehler in der Ausgabe das Lernen aller neuronalen Verbindungen unterhalb dieser Ausgabe beeinflußt. Da die Unsicherheit in der Eingabe immer durch eine entsprechende Unsicherheit in der Ausgabe reflektiert wird, muß diese Unsicherheit in der Ausgabe für das Training des Systemmodells 12, in der Gesamtunsicherheit des Systems und in der Gültigkeit der Systemausgabe berücksichtigt werden.
Die Sollausgabe y(t) (Zielausgabe) weist eine Unsicherheit auf, die durch einen Soll-Vorprozeßblock 26 ermittelt worden ist, der im wesentlichen dem Daten-Vorprozeßblock 10 ähnlich ist, indem er schlechte oder fehlende Daten auffüllt. Dies erzeugt eine Soll-Eingabe für die Eingabe in einen Block 28, der eine Schicht umfaßt, die linear auf die Ausgangsschicht des neuronalen Netzes im Systemmodell 12 abgebildet wird. Dies erzeugt das abgeglichene Ziel y'(t).
In 2c ist eine alternative spezifische Ausführungsform gezeigt, in der ein Systemmodell 12 sowohl mit den abgeglichenen Daten x'(t) als auch der Unsicherheit μ_x'(t) in den abgeglichenen Daten x'(t) trainiert wird. Diese Daten werden vom Daten-Vorprozeßblock 10 an einen Summierungsblock 30 ausgegeben, der bei verschiedenen Durchläufen durch das Modell kontrolliert wird, um entweder die abgeglichenen Daten x'(t) selbst zu verarbeiten, oder um die Summe der abgeglichenen Daten x'(t) und der Unsicherheit μ_x'(t) zu verarbeiten. Es ergeben sich zwei Ausgaben, eine vorhergesagte Ausgabe p(t) und eine Unsicherheitsvorhersageausgabe μ_p(t). Diese werden in einen Soll-Fehlerprozessorblock 34 eingegeben, der ferner als Eingaben die abgeglichene Soll-Ausgabe y'(t) und die Unsicherheit in der abgeglichenen Soll-Ausgabe μ_y'(t) empfängt. Dies erzeugt einen Wert Δy_total. Dieser Wert wird verwendet, um die modifizierte Gesamtsummenquadrat(DSS)-Fehlerfunktion zu berechnen, die zum Trainieren des Systemmodells verwendet wird, entweder mit einem neuronalen Netz mit Back-Propagation-Radialbasisfunktion oder einem neuronalen Netz mit Gaußschen Balken.
Im Betrieb wird ein erster Vorwärtsdurchlauf ausgeführt, indem der Summierungsblock 30 so kontrolliert wird, daß er nur die abgeglichenen Daten x'(t) verarbeitet, um die vorhergesagte Ausgabe p(t) auszugeben. In einem zweiten Durchlauf wird die Summe der abgeglichenen Dateneingabe x'(t) und der Unsicherheitseingabe μ_x'(t) wie folgt bereitgestellt:
Dies liefert die vorhergesagte Ausgabe p'(t). Die vorhergesagte Unsicherheit μ_p(t) wird anschließend wie folgt berechnet:
Der Gesamt-Soll-Fehler Δy_total wird anschließend gleich der Summe der Absolutwerte von μ_p(t) und μ_x'(t) wie folgt gesetzt:
Die Ausgabefehlerfunktion, die DSS-Fehlerfunktion, wird anschließend mit der modifizierten Unsicherheit wie folgt berechnet:
wobei N_PATS die Anzahl der Trainingsmuster ist. Für ein Back-Propagation-Training werden die Gewichte W_j wie folgt aktualisiert:
Somit kann das Netz nun Gewichtungen aufweisen, die durch eine Fehlerfunktion modifiziert sind, die die Unsicherheit berücksichtigt.
Für neuronale Netze, die nicht die Back-Propagation (Rückwärtsfortpflanzung) verwenden, kann durch Trainieren des Systemmodells über mehrere Durchläufe durch denselben Datensatz ein ähnliches Verhalten erreicht werden, wobei den Eingabemustern zufälliges Rauschen hinzugefügt wird, um die Wirkungen der Unsicherheit in diesen Mustern zu simulieren. Bei diesem Trainingsverfahren kann für jedes x'(t) und die zugehörige μ_x'(t) ein Zufallsvektor gewählt werden, indem jeweils x"_i als x"_i = x'_i + n_i gewählt wird, wobei n_i ein Rauschterm ist, der aus der Verteilung gewählt wird:
in diesem Fall gilt:
wobei f(x(t)) das Systemmodell ist, das diese vorhergesagte Systemausgabe p(t) erzeugt.
In den 3a-3c sind graphische Darstellungen der ursprünglichen Trainingsdaten, der Systemmodellvorhersage und des Vorhersagefehlers bzw. der Gültigkeit gezeigt. In 3a sind die wirklichen Dateneingabe-Sollmuster gezeigt. Es wird deutlich, daß die Daten in der Dichte und Varianz über die X-Achse variieren. Sobald das Systemmodell trainiert ist, liefert es eine Vorhersage y(x), Linie 42. Das Systemmodell weist einen inhärenten Vorhersagefehler auf (aufgrund von Ungenauigkeiten in den Trainingsdaten). Diese Vorhersagefehler sind durch zwei gestrichelte Linien 44 und 46 gezeigt, die auf jeder Seite des vorhergesagten Wertes auf der Linie 42 angeordnet sind. Dies repräsentiert grundsätzlich die Standardabweichung der Daten um die Linie 42. Anschließend wird die Gültigkeit ermittelt, wie in 3c gezeigt ist. Die Gültigkeit ist im wesentlichen ein Maß der Menge an Trainingsdaten an einem beliebigen Punkt. Es wird deutlich, daß der Anfangspunkt der Kurve einen hohen Gültigkeitswert aufweist, dargestellt durch das Bezugszeichen 48, und der spätere Teil der Kurve, wo die Daten gefehlt haben, ein niedriges Niveau aufweist, wie durch das Bezugszeichen 50 dargestellt ist. Wenn daher ein neuronales Netz untersucht wird, daß mit den Daten in 3a trainiert worden ist, würde die Zuverlässigkeit oder Integrität des neuronalen Netzes immer dann als Funktion der darin eingegebenen Trainingsdaten als hoch erwartet, wenn eine große Menge an Trainingsdaten vorhanden war.
In 4a ist eine Datentabelle mit schlechten, fehlenden oder unvollständigen Daten gezeigt. Die Datentabelle umfaßt Daten, wobei die Zeit längs einer vertikalen Skala dargestellt ist und die Abtastwerte längs einer horizontalen Skala dargestellt sind. Jeder Abtastwert umfaßt viele verschiedene Datenelemente, wobei zwei Datenintervalle gezeigt sind. Es wird deutlich, daß dann, wenn die Daten sowohl bezüglich der zum Zeitintervall 1 abgetasteten Daten als auch der zum Abtastintervall 2 abgetasteten Daten untersucht werden, bestimmte Abschnitte der Daten zu unvollständigen Mustern führen. Dies ist durch eine gestrichelte Linie 52 gezeigt, bei der deutlich wird, daß einige Daten in den in Zeitintervall 1 abgetasteten Daten fehlen und einige im Intervall 2 fehlen. Ein vollständiges neuronales Netzmuster ist im Kasten 54 gezeigt, in welchem alle Daten vollständig sind. Es ist die Zeitdifferenz zwischen den im Zeitintervall 1 abgetasteten Daten und den im Zeitintervall 2 abgetasteten Daten von Interesse. Im Zeitintervall 1 sind die Daten im wesentlichen für alle Zeitschritte vorhanden, während die im Zeitintervall 2 abgetasteten Daten nur periodisch relativ zu den im Zeitintervall 1 abgetasteten Daten abgetastet werden. Somit füllt die Abgleichprozedur die fehlenden Daten auf und gleicht ferner zwischen den Zeitabtastwerten im Zeitintervall 2 ab, so daß die Daten für alle Zeitabtastwerte für beide Zeitintervalle 1 und 2 vollständig sind.
Die neuronalen Netzmodelle, die für die Zeitreihenvorhersage und Kontrolle verwendet werden, erfordern, daß das Zeitintervall zwischen aufeinandertolgenden Trainingsmustern konstant ist. Da die Daten, die von Systemen der realen Welt stammen, nicht immer auf der gleichen Zeitskala liegen, ist es wünschenswert, die Daten zeitlich zusammenzuführen, bevor sie für das Training oder den Lauf des neuronalen Netzmodells verwendet werden können. Um diese Zeitzusammenführungsoperation zu erreichen, kann es notwendig sein, die Daten in jeder Spalte über jeden Zeitbereich zu extrapolieren, zu interpolieren, zu mitteln oder zu komprimieren, um somit einen Eingabewert x(t) zu erhalten, der auf der angemessenen Zeitskala liegt. Der verwendete Abgleichalgorithmus kann lineare Schätzungen, Kurvenanpassungen, Güterwagen-Algorithmen und dergleichen enthalten, oder aufwendigere Techniken, wie z. B. das im folgenden beschriebene Autocodierungs-Netz. Wenn die Daten zu häufig im Zeitintervall abgetastet werden, ist es notwendig, die Daten zu glätten oder zu mitteln, um einen Abtastwert auf der gewünschten Zeitskala zu erhalten. Dies kann mittels Fenstermittelungstechniken, Seltenabtastungstechniken oder Kurventechniken bewerkstelligt werden.
In 4b sind ein Eingabedatenmuster und ein Soll-Ausgabedatenmuster gezeigt, die die Vorprozeß-Operation für sowohl die Vorverarbeitung der Eingabedaten zum Schaffen zeitlich zusammengeführter Ausgabedaten als auch die Vorverarbeitung der Soll-Ausgabedaten zum Schaffen vorverarbeiteter Soll-Ausgabedaten für Trainingszwecke zeigen. Die Dateneingabe x(t) umfaßt einen Vektor mit vielen Eingaben x₁(t), x₂(t),... x_n(t), die jeweils auf einer verschiedenen Zeitskala liegen können. Es ist wünschenswert, daß die Ausgabe x'(t) extrapoliert oder interpoliert wird, um sicherzustellen, daß alle Daten auf einer einzigen Zeitskala liegen. Wenn z. B. die Daten bei x₁(t) auf einer Zeitskala von einem Abtastwert pro Sekunde liegen, ein Abtastwert durch die Zeit t_k repräsentiert wird und die Ausgabezeitskala dieselbe sein soll, würde dies eine zeitliche Zusammenführung des Rests der Daten auf diese Zeitskala erfordern. Es wird deutlich, daß die Daten x₂(t) etwa einmal alle drei Sekunden auftreten, wobei ferner zu beachten ist, daß dies asynchrone Daten sein können, obwohl sie als synchronisiert dargestellt sind. Der Datenpuffer in 4b ist in der wirklichen Zeit dargestellt. Die Datenausgabe als x₁(t) ist jedoch mit einer Unsicherheit μ_x'1(t) abgeglichen, da die Eingabezeitskala und die Ausgabezeitskala gleich sind, wobei keine Unsicherheit vorhanden ist. Für die Ausgabe x'₂(t) muß jedoch die Ausgabe abgeglichen werden, wobei eine Unsicherheit μ_x'2(t) besteht. Der Abgleich könnte einfach darin bestehen, den letzten Wert der Eingabe x₂(t) zu halten, bis ein neuer Wert eingegeben wird, und anschließend den alten Wert zu verwerfen. Auf diese Weise existiert immer eine Ausgabe. Dies wäre auch bei fehlenden Daten der Fall. Eine Abgleichroutine wie oben beschrieben könnte jedoch auch verwendet werden, um sicherzustellen, daß für jede Zeitscheibe des Vektors x'(t) immer Daten am Ausgang vorhanden sind. Dies ist auch bezüglich der Soll-Ausgabe der Fall, die vorverarbeitet wird, um die vorverarbeitete Soll-Ausgabe y'(t) bereitzustellen.
In 5 ist eine schematische Ansicht eines Autocodierungs-Netzes gezeigt, das für die Abgleichoperation verwendet wird. Das Netz umfaßt eine Eingangsschicht von Eingangsknoten 60 und eine Ausgangsschicht von Aus gangsknoten 62. Es sind drei verdeckte Schichten 64, 66 und 68 vorgesehen, um die Schicht 60 auf die Ausgangsschicht 62 über einen nichtlinearen Abbildungsalgorithmus abzubilden. Die Eingabedatenmuster x₁(t), x₂(t),..., x_n(t) werden darin eingegeben, abgeglichen und über Bereichen der fehlenden Daten reproduziert, um die Ausgabedatenmuster x_1'(t), x_2'(t), x_3'(t),..., x_n'(t) bereitzustellen. Dieses Netz kann über die Back-Propagation-Technik trainiert werden. Es ist zu beachten, daß dieses System die Daten über eine gegebenen Zeitbasis abgleicht, selbst wenn diese nicht ursprünglich über dieser Zeitbasis abgetastet wurden, so daß Daten an zwei verschiedenen Abtastintervallen zeitlich synchronisiert werden können.
Die obenbeschriebene Technik verwendet hauptsächlich die Erstellung, das Training und den Lauf eines Systemmodells mit Daten, die fehlende Teile aufweisen, auf dem falschen Zeitskaleninkrement liegen und/oder schlechte Datenpunkte besitzen. Die Haupttechnik verwendet den Abgleich über die schlechten oder fehlenden Daten und/oder die zeitliche Zusammenführung der Daten. Sobald jedoch ein Modell erstellt und trainiert ist, gibt es zwei andere Faktoren, die berücksichtigt werden sollten, bevor das Modell zum Lösen eines Problems der realen Welt voll eingesetzt werden kann. Diese zwei Faktoren sind die Vorhersagegenauigkeit des Modells und die Modellgültigkeit. Das Modell bietet typischerweise keine genaue Darstellung der Dynamik des Prozesses, der modelliert wird. Die Vorhersageausgabe vom Modell weist somit einen gewissen Vorhersagefehler e(t) auf, der jedem Eingabemuster x(t) zugeordnet ist, wobei:
(13)
Dies erzeugt eine Differenz zwischen der wirklichen Ausgabe zum Zeitpunkt "t" und der vorhergesagten Ausgabe bei "t". Der Vorhersagefehler e(t) kann verwendet werden, um ein System zu trainieren, das die Systemmodellgenauigkeit schätzt. Das heißt, eine Struktur kann mit einer internen Darstellung des Modellvorhersagefehlers e(t) trainiert werden. Für die meisten Anwendungen ist die Vorhersage der Größe ||e(t)|| des Fehlers (statt der Richtung) ausreichend. Dieses Vorhersagefehlermodell wird im folgenden dargestellt.
In 6 ist ein Blockschaltbild des Systems zum Trainieren des Vorhersage fehlermodells 18 gezeigt. Das System der 2c wird verwendet, indem zuerst die abgeglichenen Eingabedaten x'(t) und die Unsicherheit μ_x'(t) durch das trainierte Systemmodell 12 geschickt werden, wobei dieses Training mit dem in bezug auf 2c beschriebenen Prozeß bewerkstelligt wird. Der Soll-Fehler Δy_total wird unter Verwendung des Soll-Fehlerprozessors gemäß dem gleichen Prozeß berechnet, der in bezug auf Gleichung 8 erläutert worden ist, zusätzlich zu Δy als Funktion von "y". Dies wird anschließend als Ziel in das Vorhersagefehlermodell 18 eingegeben, wobei die Eingaben die abgeglichenen Eingabedaten x'(t) und die Unsicherheit μ_x'(t) sind. Das Vorhersagefehlermodell kann auf vielen Wegen verwirklicht werden, wie z. B. mit einer Nachschlagtabelle oder mit einem neuronalen Netz. Wenn es als ein neuronales Netz verwirklicht wird, kann es über herkömmliche Back-Propagation, Radialbasisfunktionen, Gaußsche Balken oder irgendeinen anderen Trainingsalgorithmus für neuronale Netze trainiert werden.
Das Maß der Gültigkeit eines Modells beruht hauptsächlich auf der historischen Trainingsdatenverteilung. Im allgemeinen sind neuronale Netze mathematische Modelle, die ein Verhalten von Daten lernen. Daher sind sie nur in den Bereichen der Daten gültig, für die sie trainiert wurden. Sobald sie trainiert worden sind und in einem Steuerungs- oder Testmodus laufen, gibt es (in einem neuronalen Standard-Netz) keine Möglichkeit, unter Verwendung des aktuellen Zustands des Modells allein zwischen einem gültigen Datenpunkt (ein Punkt in dem Bereich, in dem das neuronale Netz trainiert wurde) und einem ungültigen Datenpunkt (ein Punkt in einem Bereich, in dem keine Daten vorhanden waren) zu unterscheiden. Um die Integrität der Modellvorhersage zu überprüfen, muß ein Mechanismus vorgesehen werden, um die Gültigkeitsbereiche des Modells zu verfolgen.
In 7 ist ein Gesamtblockschaltbild des Prozessors zum Trainieren des Gültigkeitsmodells 16 gezeigt. Der Daten-Vorprozeßblock 10 wird verwendet, um die abgeglichenen Eingabedaten x'(t) für den Eingang des Gültigkeitsmodells 16 bereitzustellen. Die Eingabedaten x(t) und die abgeglichenen Eingabedaten x'(t) werden in einen Gültigkeits-Zielgenerator 70 eingegeben, um die Gültigkeitsparameter für die Eingabe in eine Schicht 72 zu erzeugen.
Ein Gültigkeitsmaß v(x) ist definiert als:
Der Parameter h_i wird so gewählt, daß er eine lokalisierte Funktion der Daten ist, die grundsätzlich eine Funktion der Anzahl der Punkte in einer lokalen Umgebung des Punktes x(t) ist. Als eine spezifische Ausführungsform wird die folgende Beziehung für h_i gewählt:
die resultierende Funktion ist in 8a gezeigt, wobei die Funktion bei ασ abgeschnitten ist, so daß entfernte Punkte keinen Beitrag liefern. Andere Funktionen, wie z. B. diejenige, die in 8b gezeigt ist, können ebenfalls verwendet werden.
In 9 ist ein Eingaberaum gezeigt, der durch die Eingaben x₁ und x₂ repräsentiert wird. Es wird deutlich, daß es drei Bereiche gibt, die jeweils die Zentren x₁, x₂ und x₃ aufweisen, die jeweils eine gegebene Anzahl von Punkten n₁, n₂ bzw. n₃ und einen Radius r₁, r₂ und r₃ aufweisen. Die Zentren der Bereiche sind durch die Gruppierungsalgorithmen mit der darin ermittelten Anzahl von Punkten definiert.
In 10 ist eine Darstellung der Gültigkeitsfunktion gezeigt, bei der das Gültigkeitsmodell 16 so dargestellt ist, daß es die darin eingegebenen neuen Daten x(t) und die daraus ausgegebene Ausgabe v(x(t)) aufweist. Eine gestrichelte Linie ist rechts vom Gültigkeitsmodell 16 vorgesehen, die den Trainingsmodus zeigt, wobei die Eingaben im Trainingsmodus die historischen Datenmuster x₁(t), x₂(t),... x_Npats(t), σ_i, α, a_i, b_i sind. In einer spezifischen Ausführungsform werden die obigen Werte so gewählt, daß a_i = 1, b_i = 2 für alle i, und σ_i = 0,1, α = 3 für alle i.
Die Gleichung kann schwierig zu berechnen sein, so daß es effizienter ist, die Summe in Bereiche zu zerlegen, die wie folgt definiert sind:
wobei die Zellen einfache geometrische Bereiche des Raumes sind, wie in 10 gezeigt ist, die ein Testmuster darstellt.
In 11 hat das Testmuster x_a(t) eine Gültigkeit, die durch die Zellen C15, C16, C12 und C11 bestimmt wird, solange die Zellengröße größer oder gleich dem Abschnitt ασ ist, wobei der Datenpunkt x_b(t) nur durch die Zelle C15 und C14 beeinflußt wird. Der Algorithmus zum Auffinden der Gültigkeit ist somit geradlinig.

1) Trainiere das Systemmodell mit Trainingsmustern (x₁, x₂, x₃,... x_Npa _t)
2) Trainiere das Gültigkeitsmodell durch Verfolgen von x₁ ... x_Npats, z. B. über einen Binärbaum oder einen K-d-Baum
3) Unterteile den Datenraum in Zellen x₁, x₂,... x_Ncells (z. B. K-d-Baum)
4) Ermittle, in welche Zelle der neue Datenpunkt fällt, z. B. Zellenindex (x = (kx₁) (kx₂) ... (kx_n), wenn die Zellen gleichmäßig in k Partitionen/Dimension unterteilt sind und x_i ∊ (0,1) gilt
5) Berechne Summe in der Zelle
6) Berechne Summe in n Nachbarn
7) Anschließend wird die Gültigkeitsfunktion definiert als:
wobei t_i der Abstand von x' zum Nachbarn i ist und f(t_i) eine abnehmende Funktion von t; ist.

Gleichung 18 kann wiederum schwierig zu berechnen sein. Ferner kann es der Fall sein, daß wenige Datenpunkte in die individuellen Zellen fallen. Eine nützliche Näherung der vollen Summe kann gemacht werden, indem nur diejenigen Nachbarn mit großem f(t;) eingeschlossen werden. Eine zweite, einfachere und schnellere Möglichkeit zum Berechnen der Summen in Gleichung 18 besteht darin, die Summen durch Mitteln aller Punkte in einem Bereich wie folgt zu nähern:
Die Bereichszentren x_i können als die Zentren der Zellen x_i, oder als die Zentren der k-d-Baum-Zellen oder als die Zentren der Radialbasisfunktionen gewählt werden, die über einen k-Mittel-Gruppierungsalgorithmus gewählt worden sind.
12 zeigt ein Blockschaltbild des Gültigkeitsmodells 16 zum Empfangen der Ausgabe des Vorprozesses 10 und zum Erzeugen des Gültigkeitswertes v(x'(t)). Wie oben beschrieben worden ist, umfaßt die Ausgabe des Vorprozessors 10 sowohl die abgeglichenen Daten x'(t) als auch die Unsicherheit μ_x'(t). Dies wird in eine Bereichsauswahlvorrichtung 76 eingegeben, die so betreibbar ist, daß sie ermittelt, in welchem Bereich des Testmusters die abgeglichenen Daten liegen. Während des Trainings wird ein Zähler 78 inkrementiert, um die Anzahl der Punkte in dem Bereich zu ermitteln, über den das Systemmodell 12 trainiert wurde. Dies wird auf einer bereichsweisen Basis gespeichert, wobei während eines Laufmodus die Inkrementierungsoperation, die durch eine Leitung 77 gesteuert wird, gesperrt wird und nur eine Bereichsleitung 79 aktiviert wird, um den von der Bereichsauswahlvorrichtung 76 ermittelten Bereich anzuzeigen. Die Ausgabe des Zählers umfaßt die Anzahl der Punkte im Bereich N;, die anschließend in einen Bereichaktivierungsblock 80 eingegeben wird. Der Block 80 liefert die Funktion h(x'(t)), x_i(t), die wie oben beschrieben die lokalisierte Funktion der Daten x'(t) und der Trainingsdatenpunkte x'_i(t) ist. Die Ausgabe des Bereichaktivierungsblocks 80 wird in eine Differenzschaltung 81 eingegeben, um hiervon einen Gültigkeitsvorgabewert "b" zu subtrahieren. Dies ist im wesentlichen eine Offset-Korrektur, die eine willkürliche Zahl ist, die vom Operator bestimmt wird. Die Ausgabe der Differenzschaltung 81 wird in einen Sigmoidal-Funktionsgenerator eingegeben, der den Ausgang v(x'(t)) bereitstellt. Die Sigmoidalfunktion liefert einen Sigmoidal-Aktivierungswert für jede Ausgabe des Vektors v(x'(t)).
Im Betrieb erlaubt das Gültigkeitsmodell 16 der 12 eine fliegende Berechnung der Gültigkeitsschätzung. Dies erfordert für die Berechnung die Kenntnis der Anzahl der Punkte in jedem Bereich und die Kenntnis des Bereiches, in dem das Eingabemuster liegt. Mit diesen Informationen kann die Schätzung des Gültigkeitswertes ermittelt werden. Während des Trainingsmodus ist die Inkrementleitung 77 freigegeben, so daß die Anzahl der Punkte in jedem Bereich ermittelt werden kann und im Zähler 78 gespeichert werden kann. Wie oben beschrieben worden ist, erfordert der Laufmodus nur die Ausgabe des Wertes N_i.
In der Ausführungsform der 7 kann der Gültigkeits-Zielgenerator 70 die Struktur der 12 verwenden, um die Sollausgabe für jeden Wert von x(t), der in den Vorprozessor 10 eingegeben wird, zu berechnen. Dies würde dem Gültigkeitsmodell 16 erlauben, mit einem neuronalen Netz verwirklicht zu werden, das anschließend mit den Gültigkeitszielen und den Eingabedaten entsprechend einem Trainingsalgorithmus, wie z. B. Back-Propagation, trainiert zu werden.
Zusammengefaßt wurde ein Verfahren geschalten, um schlechte oder fehlende Daten in einer Eingabedatensequenz zu berücksichtigen, die während des Laufmodus eines neuronalen Netzes und im Trainingsmodus desselben verwendet wird. Die schlechten oder fehlenden Daten werden abgeglichen, um abgeglichene Eingabedaten-Zeitreihen für die Eingabe in das neuronale Netz bereitzustellen, das das System modelliert. Außerdem wird der Fehler, der die Unsicherheit der vorhergesagten Ausgabe als Funktion der Unsicherheit der Daten oder die Art repräsentiert, in der sich die Daten um einen bestimmten Datenpunkt oder einen Bereich im Eingaberaum verhalten, verwendet, um die vorhergesagte Systemausgabe zu kontrollieren. Die Unsicherheit wird während der Trainingsphase in einem neuronalen Netz modelliert, wobei dieses Netz verwendet wird, um eine Vorhersage der Unsicherheit der Ausgabe bereitzustellen. Diese kann verwendet werden, um die Ausgabe zu kontrollieren oder den vorhergesagten Systemausgabewert des Systemmodells zu modifizieren. Außerdem wird ferner die relative Datenmenge, die während des Trainings des Systems vorhanden war, verwendet, um einen Vertrauenswert für die Ausgabe bereitzustellen. Dieses Gültigkeitsmodell ist so betreibbar, daß es die abgeglichenen Daten und die Unsicherheit empfängt, um einen Gültigkeitswert für die Ausgabe des Systemmodells vorherzusagen. Dieser wird ferner verwendet, um die Ausgabe zu kontrollieren. Außerdem kann die Unsicherheit verwendet werden, um das Systemmodell zu trainieren, so daß in Bereichen einer hohen Datenunsicherheit eine Modifikation am Netz vorgenommen werden kann, um die Lernrate als Funktion des gewünschten Ausgabefehlers während des Trainings zu modifizieren. Dieser Ausgabefehler ist eine Funktion der Unsicherheit der vorhergesagten Ausgabe.
Obwohl die bevorzugte Ausführungsform genauer beschrieben worden ist, ist klar, daß verschiedene Änderungen, Ersetzungen und Abwandlungen daran vorgenommen werden können, ohne vom Umfang der Erfindung abzuweichen, der durch die beigefügten Ansprüche definiert ist.

Claims

Netz (18) zum Schätzen des Fehlers im Vorhersageausgaberaum eines Vorhersagesystemmodells (12), das eine Vorhersageausgabe bereitstellt und über einen Vorhersageeingaberaum arbeitet, umfassend: einen Eingang zum Empfangen eines Eingabevektors (x'(t)), der mehrere Eingabewerte umfaßt, die den Vorhersageeingaberaum belegen; einen Ausgang zum Ausgeben eines Vorhersagefehlerausgabevektors (e(t)), der einen Ausgaberaum belegt, der dem Vorhersageausgaberaum des Vorhersagesystemmodells entspricht; und eine Verarbeitungsschicht zum Abbilden des Vorhersageeingaberaums auf den Vorhersageausgaberaum über eine erlernte Darstellung des Vorhersagefehlers im Vorhersagesystemmodell, wobei die erlernte Darstellung des Vorhersagefehlers eine Funktion der Architektur des Systemmodells und des zugehörigen Fehlers oder der Unsicherheit des Satzes von Trainingsdaten ist, um den Vorhersagefehlerausgabevektor bereitzustellen.
Netz (16) zum Bereitstellen eines Maßes der Gültigkeit im Vorhersageausgaberaum eines Vorhersagesystemmodells (12), das eine Vorhersageausgabe bereitstellt und über einen Vorhersageeingaberaum arbeitet, umfassend: einen Eingang zum Empfangen eines Eingabevektors (x'(t)), der mehrere Eingabewerte umfaßt, die den Vorhersageeingaberaum belegen; einen Ausgang zum Ausgeben eines Gültigkeitsmaßausgabevektors (v(t)), der einen Ausgaberaum belegt, der dem Vorhersageausgaberaum des Vorhersagesystemmodells entspricht; und eine Verarbeitungsschicht zum Abbilden des Vorhersageeingaberaums auf den Vorhersageausgaberaum über eine erlernte Darstellung der Gültigkeit des Systemmodells, die mit einem Satz von Trainingsdaten erlernt worden ist, wobei die erlernte Darstellung der Gültigkeit des Systemmodells eine Funktion der Verteilung der Trainingsdaten im Vorhersageeingaberaum ist, die während des Trainings eingegeben wurden, um ein Maß der Gültigkeit der Systemmodellvorhersageausgabe bereitzustellen.
Netz nach Anspruch 1 oder 2, ferner umfassend: einen Vorprozeßeingang zum Empfangen eines unverarbeiteten Dateneingabevektors (x(t)), dem unverarbeitete Daten zugewiesen sind, denen im wesentlichen der gleiche Eingaberaum zugewiesen ist, als Eingabevektor, wobei der unverarbeitete Dateneingabevektor Fehler aufweist, die den zugehörigen unverarbeiteten Daten in ausgewählten Abschnitten des Vorhersageeingaberaums zugeordnet sind; und einen Datenvorprozessor (10) zum Verarbeiten der unverarbeiteten Daten im unverarbeiteten Dateneingabevektor, um darin die Fehler zu minimieren, um an einem Ausgang den Eingabevektor (x'(t)) bereitzustellen.
Netz nach Anspruch 3, bei dem der unverarbeitete Dateneingabevektor Daten umfaßt, die Abschnitte aufweisen, die unbrauchbar sind, wobei der Datenvorprozessor eine Abgleichvorrichtung zum Abgleichen der unverarbeiteten Daten umfaßt, um die unbrauchbaren Abschnitte durch abgeglichene Daten zu ersetzen.
Netz nach Anspruch 4, bei dem der Datenvorprozessor betreibbar ist, um die Unsicherheit für jeden Wert der abgeglichenen Daten, die vom Datenvorprozessor ausgegeben werden, zu berechnen und auszugeben.
Netz nach Anspruch 1 oder 2, bei dem das Vorhersagesystemmodell ein nichtlineares Modell umfaßt, das einen Eingang zum Empfangen des Eingabevektors (x'(t)), der innerhalb des Vorhersageeingaberaums liegt, und einen Ausgang zum Ausgeben eines Vorhersageausgabevektors (y(t)) innerhalb des Vorhersageaungaberaums aufweist, wobei das nichtlineare Modell den Vorhersageeingaberaum auf den Vorhersageausgaberaum über eine nichtlineare Darstellung eines Systems abbildet.
Netz nach Anspruch 6, bei dem das Vorhersagesystemmodell mit einem Satz von Trainingsdaten trainiert wird, die zugehörige Unsicherheiten aufweisen, und bei dem die Verarbeitungsschicht betreibbar ist, um den Vorhersageeingaberaum auf den Vorhersageausgaberaum über eine erlernte Darstellung des kombinierten Vorhersagefehlers im Vorhersagesystemmodell und des Vorhersagefehlers im Satz des Trainings aufgrund der Unsicherheit im Satz der Trainingsdaten abzubilden.
Netz nach Anspruch 7, bei dem die nichtlineare Darstellung eine trainierte Darstellung ist, die mit einem endlichen Satz von Eingabedaten innerhalb des Eingaberaums gemäß einem vorgegebenen Trainingsalgorithmus trainiert wird.
Netz nach Anspruch 8, sofern abhängig von Anspruch 1, das ein Gültigkeitsmodell zum Bereitstellen einer erlernten Darstellung der Gültigkeit des Vorhersageausgabevektors des Systemmodells für einen gegebenen Wert des Eingabevektors innerhalb des Eingaberaums umfaßt, wobei das Gültigkeitsmodell aufweist: einen Eingang zum Empfangen des Eingabevektors innerhalb des Eingaberaums; einen Ausgang zum Ausgeben eines Gültigkeitsausgabevektors, der dem Ausgaberaum entspricht; einen Gültigkeitsprozessor zum Erzeugen des Gültigkeitsausgabevektors in Reaktion auf die Eingabe des Eingabevektors und den Ort des Eingabevektors im Eingaberaum, wobei der Wert des Gültigkeitsausgabevektors der Menge der Trainingsdaten entspricht, mit denen das Systemmodell im Bereich des Eingaberaums um den Wert des Eingabevektors trainiert wurde.
Netz nach Anspruch 9, das ferner umfaßt: mehrere Entscheidungsschwellen zum Definieren vorgegebener Schwellenwerte für den Gültigkeitsausgabevektor; eine Ausgabekontrolle zum Bewirken einer Änderung des Wertes des vorhergesagten Ausgabevektors vom Vorhersagesystemmodell; und einen Entscheidungsprozessor zum Empfangen des Gültigkeitsausgabevektors und Vergleichen des Gültigkeitsausgabevektors mit den Entscheidungsschwellen, und zum Betreiben der Ausgabekontrolle, um die Änderung des Wertes des vorhergesagten Ausgabevektors zu bewirken, wenn der Wert des Gültigkeitsausgabevektors eine vorgegebene Beziehung bezüglich der Entscheidungsschwellen erfüllt.
Netz nach Anspruch 5, sofern abhängig von Anspruch 1, ferner umfassend: mehrere Entscheidungsschwellen zum Definieren vorgegebener Schwellenwerte für den Vorhersagefehlerausgabevektor; eine Ausgabekontrolle zum Bewirken einer Änderung des Wertes des vorhergesagten Ausgabevektors vom Vorhersagesystemmodell; und einen Entscheidungsprozessor zum Empfangen des Vorhersagefehlerausgabevektors und Vergleichen desselben mit den Entscheidungsschwellen, und zum Betreiben der Ausgabekontrolle, um die Änderung des Wertes des vorhergesagten Ausgabevektors zu bewirken, wenn der Wert des Vorhersagefehlerausgabevektors eine vorgegebene Beziehung bezüglich der Entscheidungsschwellen erfüllt.
Netz nach irgendeinem der vorangehenden Ansprüche, bei dem die Verarbeitungsschicht einen Speicher zum Speichern eines Profils der Trainingsdatendichte über dem Eingaberaum umfaßt.
Netz nach Anspruch 2, bei dem die Verarbeitungsschicht einen Prozessor umfaßt zum Verarbeiten des Ortes der Eingabedaten im Eingaberaum und der Dichte der Trainingsdaten an dem Ort, wie durch das gespeicherte Profil definiert wird, um einen Gültigkeitsmaßausgabevektor als Funktion der Verteilung der Trainingsdaten in der Nähe des Ortes der Eingabedaten im Eingaberaum zu erzeugen.
Verfahren zum Schätzen des Fehlers im Vorhersageaungaberaum eines Vorhersagesystemmodells, das eine Vorhersageausgabe bereitstellt und über einen Vorhersageeingaberaum arbeitet, wobei das Verfahren die Schritte umfaßt: Empfangen eines Eingabevektors, der mehrere Eingabewerte umfaßt, die den Vorhersageeingaberaum belegen; Ausgeben eines Vorhersagefehlerausgabevektors, der einen Ausgaberaum belegt, der dem Vorhersageausgaberaum des Vorhersage systemmodells entspricht; und Abbilden des Vorhersageeingaberaums auf den Vorhersageausgaberaum über eine erlernte Darstellung des Vorhersagefehlers im Vorhersagesystemmodell, wobei die erlernte Darstellung des Vorhersagefehlers eine Funktion der Architektur des Systemmodells und des zugehörigen Fehlers oder der Unsicherheit des Satzes von Trainingsdaten ist, um im Schritt der Ausgabe den Ausgabevorhersagefehlervektor bereitzustellen.
Verfahren zur Bereitstellung eines Maßes der Gültigkeit im Vorhersageausgaberaum eines Vorhersagesystemmodells, das eine Vorhersageausgabe bereitstellt und über einen Vorhersageeingaberaum arbeitet, wobei das Verfahren die Schritte umfaßt: Empfangen eines Eingabevektors, der mehrere Eingabewerte umfaßt, die den Vorhersageeingaberaum belegen; Ausgeben eines Gültigkeitsmaßausgabevektors, der einen Ausgaberaum belegt, der dem Vorhersageausgaberaum des Vorhersagesystemmodells entspricht; Abbilden des Vorhersageeingaberaums auf den Vorhersageausgaberaum über eine erlernte Darstellung der Gültigkeit des Systemmodells, die mit einem Satz von Trainingsdaten erlernt wurde, wobei die erlernte Darstellung der Gültigkeit dieses Systemmodells eine Funktion der Verteilung der Trainingsdaten im Vorhersageeingaberaum ist, die während des Trainings eingegeben wurden, um ein Maß der Gültigkeit der Systemmodellvorhersageausgabe bereitzustellen.
Verfahren nach Anspruch 14 oder 15, das ferner die Schritte umfaßt: Empfangen eines unverarbeiteten Dateneingabevektors, der zugehörige unverarbeitete Daten aufweist, denen im wesentlichen der gleiche Eingaberaum zugeordnet ist, als Eingabevektor, wobei der unverarbeitete Dateneingabevektor Fehler aufweist, die den zugehörigen unverarbeiteten Daten in ausgewählten Abschnitten des Vorhersageeingaberaums zugeordnet sind; und Verarbeiten der unerarbeiteten Daten im unverarbeiteten Datenvektör, um darin die Fehler zu minimieren, um an einem Ausgang den Eingabevektor bereitzustellen.
Verfahren nach Anspruch 16, bei dem der Schritt des Empfangens eines unverarbeiteten Dateneingabevektors das Empfangen eines unverarbeiteten Dateneingabevektors umfaßt, der Daten umfaßt, die Abschnitte aufweisen, die unbrauchbar sind, wobei der Schritt der Verarbeitung der unverarbeiteten Daten das Abgleichen der unverarbeiteten Daten umfaßt, um die unbrauchbaren Abschnitte durch abgeglichene Daten zu ersetzen.
Verfahren nach Anspruch 19, bei dem der Schritt der Verarbeitung der Daten ferner ausführbar ist, um die Unsicherheit für jeden Wert der abgeglichenen Daten, die vom Verarbeitungsschritt ausgegeben werden, zu berechnen und auszugeben.
Verfahren nach Anspruch 14 oder 15, bei der das Vorhersagesystemmodell ein nichtlineares Modell umfaßt, das einen Eingang zum Empfangen des Eingabevektors aufweist, der sich innerhalb des Vorhersageeingaberaums befindet, sowie einen Ausgang zum Ausgeben eines Vorhersageausgabevektors innerhalb des Vorhersageausgaberaums, wobei das nichtlineare Modell den Vorhersageeingaberaum auf den Vorhersageausgaberaum abbildet, um eine nichtlineare Darstellung eines Systems bereitzustellen.
Verfahren nach Anspruch 14, umfassend: Speichern mehrerer Entscheidungsschwellen zum Definieren vorgegebener Schwellenwerte für den Vorhersagefehlerausgabevektor; Vergleichen des ausgegebenen Vorhersagefehlervektors mit den gespeicherten Entscheidungsschwellen; und Ändern des Wertes des vorhergesagten Ausgabevektors vom Vorhersagesystemmodell, wenn der Wert des Vorhersagefehlerausgabevektors eine vorgegebene Beziehung bezüglich der gespeicherten Entscheidungsschwellen erfüllt.
Verfahren nach Anspruch 15, umfassend: Speichern mehrerer Entscheidungsschwellen zum Definieren vorgegebener Schwellenwerte für den Gültigkeitsmaßausgabevektor; Vergleichen des Gültigkeitsmaßausgabevektors mit den gespeicher ten Entscheidungsschwellen; und Ändern des Wertes des vorhergesagten Ausgabevektors vom Vorhersagesystemmodell, wenn der Wert des Gültigkeitsmaßausgabevektors eine vorgegebene Beziehung bezüglich der gespeicherten Entscheidungsschwellen erfüllt.
Verfahren zum Trainieren eines Vorhersagenetzes, umfassend: Bereitstellen eines Vorhersagemodells mit einstellbaren Parametern, die einen Eingaberaum auf einen Ausgaberaum abbilden, um eine Darstellung eines System bereitzustellen; Bereitstellen von Soll-Ausgabedaten innerhalb des Ausgabedatenraums, die den eingegebenen Trainingsdaten innerhalb des Eingaberaums entsprechen; Eingeben der Eingabetrainingsdaten in den Eingaberaum eines Systemmodells während des Trainings des Modells, wobei das Systemmodell eine vorhergesagte Ausgabe im Ausgaberaum bereitstellt; Vergleichen der vorhergesagten Ausgabe mit der Soll-Ausgabe, um einen Fehler zu erzeugen; Einstellen der Parameter des Vorhersagemodells gemäß einem vorgegebenen Trainingsalgorithmus, um den Fehler zu minimieren; Empfangen eines Unsicherheitswertes, der den eingegebenen Trainingsdaten entspricht; Modifizieren des Trainingsalgorithmus als Funktion des Unsicherheitswertes der empfangenen Trainingsdaten am Eingang gemäß einem vorgegebenen Modifizierungsschema, um den Unsicherheitswert zu kompensieren; wobei das Training des Systemmodells das Systemmodell mit einer erlernten Darstellung des Fehlers versieht.
Verfahren nach Anspruch 22, bei dem das Vorhersagemodell ein nichtlineares Modell ist.
Verfahren nach Anspruch 22 oder 23, bei dem der vorgegebene Trainingsalgorithmus eine zugeordnete Rate aufweist, wobei das vorgegebene Modifizierungsschema die Änderung der Rate umfaßt, mit der der Trainingsalgorithmus arbeitet.
Verfahren nach irgendeinem der Ansprüche 22 bis 24, bei dem das Vorhersagemodell ein neuronales Netz ist und der vorgegebene Trainingsalgorithmus ein Back-Propagation-(Rückwärtsfortpflanzung)-Fehleralgorithmus ist, und wobei der Schritt des Modifizierens des Trainingsalgorithmus das Ändern der Rate der Back-Propagation (Rückwärtsfortpflanzung) als Funktion des Unsicherheitswertes der empfangenen Trainingsdaten am Eingang umfaßt, um für eine Kompensation der gespeicherten Darstellung des Systems als Funktion der Unsicherheitswerte zu sorgen.
Verfahren nach irgendeinem der Ansprüche 22 bis 25, das ferner umfaßt: Empfangen eines unverarbeiteten Dateneingabevektors, der zugehörige unverarbeitete Daten aufweist, denen im wesentlichen der gleiche Eingaberaum zugeordnet ist, als Eingabevektor, wobei der unverarbeitete Dateneingabevektor Fehler aufweist, die den zugehörigen unverarbeiteten Daten in ausgewählten Abschnitten des Vorhersageeingaberaums zugeordnet sind; und Verarbeiten der unerarbeiteten Daten im unverarbeiteten Datenvektor, um darin die Fehler zu minimieren, um an einem Ausgang den Eingabevektor bereitzustellen.