DE4042139A1

DE4042139A1 - Neuron-einheit, neuronales netz und signalverarbeitungsverfahren

Info

Publication number: DE4042139A1
Application number: DE4042139A
Authority: DE
Inventors: Toshiyuki Furuta; Hiroyuki Horiguchi; Hirotoshi Eguchi; Yutaka Ebi; Tatsuya Furukawa; Yoshio Watanabe; Toshihiro Tsukagoshi
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1989-12-29
Filing date: 1990-12-28
Publication date: 1991-07-11
Anticipated expiration: 2010-12-29
Also published as: US5333241A; US5619617A; US5167006A; US5504838A; DE4042139C2; US5327522A

Description

Die Erfindung betrifft eine Neuron-Einheit, ein Neuronales Netz und ein Signalverarbeitungsverfahren und betrifft ins besondere eine Neuron-Einheit, welche Neuronen ähnlich ist und in neuronalen Computern anwendbar ist, betrifft ein Neuronales Netz, welches eine Anzahl derartiger Neuron-Ein heiten enthält, welche zu einer hierarchischen Netzstruktur miteinander verbunden sind, und betrifft ein Signalverarbei tungsverfahren, bei welchem ein derartiges Neuronales Netz benutzt wird.

In einem Lebewesen, insbesondere einem Menschen, können Pro zesse, wie eine Zeichenerkennung, ein Gedächtnis durch Ver knüpfung und eine Bewegungssteuerung ziemlich einfach aus geführt werden. Jedoch sind derartige Prozesse oft extrem schwierig, um sie auf Neumann-Computern durchzuführen. Um mit den Schwierigkeiten fertig zu werden, welche bei den Neumann- Computern aufgetreten sind, sind daher verschiedene Modelle von Neuron-Einheiten und Neuronalen Netzen vorgeschlagen wor den. Die Neuron-Einheit ähnelt einem Neuron des lebenden Kör pers, und das Neuronale Netz benutzt derartige Neuron-Ein heiten, um ein Netz zu bilden, um so eine parallele Informa tionsverarbeitung und eine Selbstschulung durchzuführen, wel che Funktionen eines Nervensystems des lebenden Körpers sind.

Gegenwärtig wird das Neuronale Netz in den meisten Fällen durch eine Computer-Simulation realisiert. Um jedoch die vorteil teilhaften Merkmale des Neuronalen Netzes herauszuarbeiten, muß eine parallele Verarbeitung durch Hardware realisiert werden. Es sind bereits einige Vorschläge gemacht worden, das Neuronale Netz durch Hardware zu realisieren; jedoch kön nen die vorgeschlagenen Neuronalen Netze nicht die Selbstlern funktion realisieren, welche ein weiteres vorteilhaftes Merk mal des Neuronalen Netzes ist. Darüber hinaus sind die Mehr zahl der vorgeschlagenen Neuronalen Netze durch analoge Schal tungen realisiert, welche die Nachteile aufweisen, welche in Verbindung mit den Zeichnungen nachstehend noch beschrieben werden.

Zuerst wird ein Modell eines herkömmlichen Neuronalen Netzes beschrieben. Fig. 1 zeigt eine Neuron-Einheit 1 und Fig. 2 zeigt ein Neuronales Netz, welches aus einer Vielzahl solcher Neu ron-Einheiten 1 gebildet ist. Jede Neuron-Einheit 1 des Neu ronalen Netzes ist mit einer Vielzahl von Neuron-Einheiten 1 verbunden und empfängt ein Signal von ihnen (1), und gibt ein Signal zum Verarbeiten der empfangenen Signale ab. In Fig. 2 hat das Neuronale Netz eine hierarchische Struktur, und jede Neuron-Einheit 1 erhält Signale von den Neuron-Einheiten 1, welche in einer vorherigen Schicht angeordnet sind, welche auf der linken Seite dargestellt ist, und gibt ein Signal an die Neuron-Einheiten 1 ab, welche in einer nächsten auf der rechten Seite dargestellten Schicht angeordnet sind.

In Fig. 1 ist mit T_ÿ eine Gewichtfunktion bezeichnet, welche die Kopplungs- bzw. Verbindungs- (oder Gewichtungs-)Intensi tät zwischen einer i-ten Neuron-Einheit und j-ten Neuron-Ein heit anzeigt. Die Verbindung bzw. Kopplung zwischen ersten und zweiten Neuron-Einheiten wird als eine erregende Kopp lung bezeichnet, wenn ein von der zweiten Neuron-Einheit ab gegebenes Signal zunimmt, wenn ein von der ersten Neuron-Ein heit empfangenes Signal zunimmt. Andererseits wird die Kopp lung zwischen den ersten und zweiten Neuron-Einheiten als eine sperrende Kopplung bezeichnet, wenn das von der zweiten Neuron-Einheit abgegebene Signal abnimmt, wenn das von der ersten Neuron-Einheit empfangene Signal zunimmt. T_ÿ <0 zeigt die erregende Kopplung und T_ÿ <0 zeigt die sperrende Kopplung an.

Die j-te Einheit 1 in Fig. 1 gibt ein Ausgangssignal y_j ab. Wenn ein Ausgangssignal der i-ten Neuron-Einheit 1 mit y_i bezeichnet ist, kann das Eingangssignal an der j-ten Neuron-Einheit 1 von der i-ten Neuron-Einheit 1 durch T_ÿy_i beschrieben werden. Da eine Anzahl Neuron-Einheiten 1 mit der j-ten Neuron-Einheit 1 verbunden sind, können die Eingangssignale an der j-ten Neuron-Einheit 1 mit ΣT_ÿy_i beschrieben werden. Die Eingangssignale der ΣT_ÿy_i an der j-ten Neuron-Einheit 1 wird nachstehend als ein internes Potential u_j der j-ten Neuron-Einheit 1 beschrieben, wie durch die folgende Gl. (1) festgelegt ist.

u_j = ΣT_ÿy_i (1)

Als nächstes soll ein nicht-linearer Prozeß an dem Eingang durchgeführt werden. Der nicht-lineare Prozeß wird durch eine nicht-lineare Neuron-Antwortfunktion mit einer Sigmoid- Funktion beschrieben, wie in Fig. 3 und der folgenden Gl. (2) dargestellt ist.

f(x) = 1/(1 + e^-x) (2)

Somit werden im Falle des in Fig. 2 dargestellten Neuronalen Netzes die Gl.′en (1) und (2) nacheinander für jede Gewichts funktion T_ÿ berechnet, um so einen endgültigen Ausgangswert zu erhalten.

In Fig. 4 ist ein Beispiel einer herkömmlichen Neuron-Einheit dargestellt, welche in der offengelegten japanischen Patent anmeldung Nr. 62-295 188 vorgeschlagen worden ist. Die Neuron- Einheit weist eine Anzahl Verstärker 2 mit einer S-Kurven- Übertragungsfunktion und ein Widerstands-Rückkopplungsschal tungsnetz 3 auf, durch welches Ausgänge jedes der Verstärker 2 mit Eingängen von Verstärkern in einer anderen Schicht ver bunden sind, wie durch eine gestrichelte Linie angezeigt ist. Eine Zeitkonstantenschaltung 4 aus einem geerdeten Kondensa tor und einem geerdeten Widerstand ist mit einem Eingang jedes der Verstärker 2 verbunden. Eingangsströme I₁, I₂ . . .,I_N werden jeweils an die Eingänge der Verstärker 1 angelegt, und ein Ausgangssignal wird aus einer Vereinigung von Ausgangs spannungen der Verstärker 2 hergeleitet.

Eine Stärke der Kopplung bzw. Verbindung (oder Gewichtung) zwischen den Neuron-Einheiten wird durch einen Widerstands wert eines Widerstands 5, durch einen Gitterpunkt in dem Wi derstands-Rückkopplungsschaltungsnetz 3 beschrieben, welches die Eingangs- und Ausgangsleitungen der Neuron-Einheiten ver bindet. Eine Neuron-Antwortfunktion wird durch die Übertra gungsfunktion jedes Verstärkers 2 beschrieben. Außerdem können die Kopplung bzw. Verbindung zwischen den Neuron-Ein heiten in die erregenden und die sperrenden Kopplungen bzw. Verbindungen eingeteilt werden, und derartige Verbindungen werden mathematisch durch positive und negative Vorzeichen an Gewichtsfunktionen beschrieben. Es ist jedoch schwierig, die positiven und negativen Werte durch die Schaltungskon stanten zu realisieren. Folglich wird der Ausgang des Verstär kers 2 auf zwei Signale verteilt, und eines der zwei Signale wird invertiert, um so ein positives bzw. negatives Signal zu erzeugen. Eines der positiven und negativen Signale, die von jedem Verstärker 2 abgeleitet worden sind, werden ent sprechend ausgewählt. Ferner wird ein Verstärker verwendet, um die in Fig. 3 dargestellte Sigmoid-Funktion zu realisieren.

Jedoch ergeben sich bei der vorstehend beschriebenen Neuron- Einheit die folgenden Schwierigkeiten:

1) Die Gewichtsfunktion T_ÿ ist festgelegt. Daher muß ein Wert, welcher vorher durch eine Simulation u. ä. gelernt wird, für die Gewichtsfunktion T_ÿ verwendet werden, und ein Selbst lernen kann nicht durchgeführt werden.
2) Da die Signalintensität durch einen analogen Potential- oder Stromwert beschrieben wird, und interne Operationen eben falls in analoger Form ausgeführt werden, ändert sich der Ausgangswert leicht infolge der Temperaturcharakteristik und der Drift, welche auftritt, unmittelbar nachdem die Energie quelle angeschaltet wird, u. ä.
3) Wenn das Neuronale Netz durch eine große Anzahl von Neu ronen-Einheiten gebildet ist, ist es schwierig,eine große Anzahl Neuron-Einheiten zu erhalten, welche dieselbe Charakteristik haben.
4) Wenn die Genauigkeit und Stabilität einer Neuron-Einheit unbestimmt sind, können sich neue Schwierigkeiten ergeben, wenn eine Vielzahl derartiger Neuron-Einheiten verwendet wer den, um das Neuronale Netz zu bilden. Folglich wird die Ar beitsweise des Neuronalen Netzes unberechenbar.

Andererseits wird als eine Lernregel in numerischen Berechnun gen ein Verfahren verwendet, welches als Rückwärts-Fehler korrektur (back propagation) bezeichnet wird und nachstehend beschrieben wird. Zuerst werden die Gewichtsfunktionen belie big gesetzt. Wenn ein Eingangssignal in diesem Zustand an das Neuronale Netz angelegt wird, ist der sich ergebende Ausgangs wert nicht notwendigerweise ein gewünschter Ausgangswert. Bei spielsweise ist im Falle einer Zeichenerkennung ein sich er gebender Ausgang, "das Zeichen ′L′", der gewünschte Ausgang, wenn ein handgeschriebene Buchstabe "L" der Eingangswert ist; jedoch wird dieser gewünschte Ausgang nicht notwendigerweise erhalten, wenn die Gewichtsfunktionen anfangs beliebig einge stellt werden. Jedoch wird eine korrekte Lösung (ein Schu lungssignal) in das Neuronale Netz eingegeben und die Ge wichtsfunktionen werden so geändert, daß die korrekte Lösung abgegeben wird, wenn der Eingang derselbe ist. Der Algorith mus, um die sich ändernde Größe der Gewichtsfunktionen zu erhalten, wird der Rückwärts-Fehlerkorrektur-Algorithmus genannt.

Beispielsweise wird in dem in Fig. 2 dargestellten, hierarchi schen Neuronalen Netz die Gewichtsfunktion T_ÿ mit Hilfe der Gl. (4) geändert, so daß E, welches durch die Gl. (3) beschrie ben ist, ein Minimum wird, wenn der Ausgang der j-ten Neuron- Einheit in der Ausgabe-(letzten) Schicht mit y_j bezeichnet ist, und das Schulungssignal bezüglich dieser j-ten Neuron- Einheit mit d_j bezeichnet ist.

E = Σ(d_j - y_j)² (3)

ΔT_ÿ = δE/δT_ÿ (4)

Insbesondere wird, wenn die Gewichtsfunktionen der Ausgabeschicht und der Schicht, welche der Ausgabeschicht unmittelbar vorangeht, erhalten werden, ein Fehlersignal δ mit Hilfe der Gl. (5) erhalten, wenn mit f′ eine Differentialfunktion erster Ordnung der Sigmoid-Funktion f bezeichnet ist:

w_j = (d_j - y_j) × f′(u_j) (5)

Wenn die Gewichtsfunktion der Schichten erhalten werden, welche der Ausgabeschicht unmittelbar vorausgeht, wird das Fehlersignal δ mit Hilfe der Gl. (6) erhalten:

δ_j = Σδ_jT_ÿ × f′(u_j) (6)

Die Gewichtsfunktion T_ÿ wird aus der Gl. (7) erhalten und geändert, wobei ΔT′_ÿ bzw. T′_ÿ Werte sind, welche während des vorherigen Lernprozesses erhalten worden sind; mit η ist eine Lernkonstante,mit α eine Stabilisierungskonstante be zeichnet.

Die Konstanten η und α werden durch Versuche erhalten, da sie logisch nicht erhalten werden können. Die Konvergenz ist langsam, wenn die Werte dieser Konstanten η und α kleiner werden, und es kommt leicht zu einer Schwingung, wenn die Werte dieser Konstanten η und α groß sind. Im allgemeinen liegen die Konstanten η und α in der Größenordnung von "1".

Das Neuronale Netz lernt in der vorstehend beschriebenen Weise, und ein Eingangssignal wird danach wieder an das Neu ronale Netz angelegt, um einen Ausgangswert zu berechnen und um zu lernen. Durch Wiederholen einer derartigen Operation wird die Gewichtsfunktion T_ÿ so bestimmt, daß ein gewünsch ter Ausgangswert bei einem gegebenen Eingangswert erhalten wird. Wenn ein Versuch gemacht wird, die vorstehend beschrie bene Lernfunktion zu realisieren, ist es äußerst schwierig, die Lernfunktion durch einen Hardware-Aufbau zu realisieren, da das Lernen viele Berechnungen mit Hilfe der vier Grundrech nungsarten einschließt.

Andererseits ist ein durch digitale Schaltungen realisiertes Neuronales Netz vorgeschlagen worden von Hirai et al "Design of Completely Digital Neuro-Chip", Electronic Information and Communication Society, ICD-88-130, 16. Dezember 1988.

In Fig. 5 ist ein Schaltungsaufbau eines einzelnen Neurons dar gestellt. In Fig. 5 ist jede Synapsen-Schaltung 6 über eine Dendriten-Schaltung 8 mit einer Zellschaltung 8 verbunden.

In Fig. 6 ist ein Beispiel der Synapsen-Schaltung 6 darge stellt. In Fig. 6 multipliziert eine Koeffizienten-Multipli zierschaltung 9 einen Koeffizienten a mit einem Eingangsim puls f, wobei der Koeffizient a "1" oder "2" in Abhängig keit von der Verstärkung eines Rückkopplungssignals ist. Eine Multipliziereinheit 10 erhält ein Ausgangssignal von der Koeffizienten-Multiplizierschaltung 9. Ein Synapsen-Gewich tungsregister 11, welches eine Gewichtsfunktion w speichert, ist mit der Multipliziereinheit 10 verbunden. In Fig. 7 ist ein Beispiel einer Zellenschaltung 8 dargestellt. In Fig. 7 sind eine Steuerschaltung 12, ein Auf-/Abwärtszähler 13, eine Multipliziereinheit 14 und ein Verknüpfungsglied 15 nacheinander in Reihe geschaltet. Außerdem ist ein Auf-/ Abwärtsspeicher 10 vorgesehen.

In diesem vorgeschlagenen Neuronalen Netz ist der Eingang und Ausgang der Neuron-Schaltung durch eine Impulsfolge beschrie ben, und die Signalmenge ist durch die Impulsdichte der Im pulsfolge beschrieben. Die Gewichtsfunktion ist durch eine Binärzahl beschrieben und in dem Speicher 16 gespeichert. Das Eingangssignal wird an die Multipliziereinheit 14 als Takt angelegt, und die Gewichtsfunktion wird an die Multiplizier einheit 14 als der Geschwindigkeitswert (rate value) verwen det, so daß die Impulsdichte des Eingangssignals in Abhän gigkeit von dem Geschwindigkeitswert reduziert wird. Dies entspricht dann dem Term T_ÿy_i eines Rückwärts-Fehler-Korrek turmodells. Der Teil, welcher der Summe Σ von Σ T_ÿy_i ent spricht, ist durch eine ODER-Schaltung realisiert, welche durch die Dendriten-Schaltung 7 angezeigt ist.

Da die Kopplung bzw. Verbindung erregend oder sperrend sein kann, ist die Schaltung in eine erregende Gruppe und eine sperrende Gruppe aufgeteilt, und eine ODER-Operation wird für die erregenden und sperrenden Gruppen unabhängig aus geführt. Ausgangswerte der erregenden und sperrenden Gruppen werden an Aufwärts- bzw. Abwärts-Zählanschlüsse des Zählers 13 angelegt und in diesem (13) gezählt, welcher dann ein bi näres Ausgangssignal erzeugt. Das binäre Ausgangssignal des Zählers 13 wird wieder mit Hilfe der Multipliziereinheit 14 in eine entsprechende Impulsdichte umgesetzt.

Eine Anzahl der vorstehend beschriebenen Neuronen wird ver bunden, um ein Neuronales Netz zu bilden. Das Lernen dieses Neuronalen Netzes wird auf folgende Weise realisiert. Das heißt, der endgültige Ausgangswert des Neuronalen Netzes wird in einen externen Computer eingegeben, in welchem eine numerische Berechnung durchgeführt wird, und ein Ergebnis der numerischen Berechnung wird in den Speicher 16 geschrieben, welcher die Gewichtsfunktion speichert. Folglich hat dieses Neuronale Netz keine Selbstlern-Funktion. Außerdem ist der Schaltungsaufbau dieses Neuronalen Netzes komplex, da eine Impulsdichte eines Signals einmal mit Hilfe eines Zäh lers in einen numerischen Wert umgewandelt wird, und der nu merische Wert wieder zurück in eine Impulsdichte umgesetzt wird.

Somit ergibt sich bei dem herkömmlichen Neuronalen Netz oder überhaupt bei einem Neuronalen Netz die Schwierigkeit, daß die Selbstlernfunktion mittels Hardware nicht realisiert werden kann. Ferner erzeugen die analogen Schaltungen keine stabilen Operationen, und die Lernmethode mit Hilfe einer numerischen Berechnung ist äußerst komplex und ungeeignet, durch Hardware realisiert zu werden. Andererseits ist der Schaltungsaufbau der digitalen Schaltungen, welche stabile Operationen schaffen, ebenfalls komplex.

Gemäß der Erfindung soll daher eine Neuron-Einheit, ein Neuronales Netz und ein Signalverarbeitungsverfahren geschaf fen werden, bei welchem die vorstehend beschriebenen Schwie rigkeiten beseitigt sind. Gemäß der Erfindung ist dies bei einer Neuron -Einheit nach dem Oberbegriff des Anspruchs 1, sowie nach den Ansprüchen 4, 11 und 17 durch die Merkmale in deren kennzeichnenden Teil gelöst. Vorteilhafte Weiterbildun gen der Neuron-Einheit sind Gegenstand der auf diese Ansprüche unmittelbar oder mittelbar rückbezogenen Unteransprüche.

Ferner ist dies bei einem Neuronalen Netz nach dem Anspruch 39, 73 oder 74 durch die Merkmale in deren kennzeichnenden Teil erreicht.

Vorteilhafte Weiterbildungen eines Neuronalen Netzes sind Gegenstand der auf diese Ansprüche unmittelbar oder mittelbar rückbezogenen Unteransprüche.

Ferner ist dies bei einem Signalverarbeitungsverfahren nach Anspruch 77, 78, 79 oder 80 durch die Merkmale im kennzeich nenden Teil der jeweiligen Ansprüche erreicht. Vorteilhafte Weiterbildungen sind Gegenstand der auf diese Ansprüche un mittelbar oder mittelbar rückbezogenen Unteransprüche.

Nachfolgend wird die Erfindung anhand von bevorzugten Aus führungsformen unter Bezugnahme auf die anliegenden Zeich nungen im einzelnen erläutert. Es zeigen:

Fig. 1 ein Beispiel einer herkömmlichen Neuron-Einheit;

Fig. 2 ein herkömmliches Neuronales Netz;

Fig. 3 einen Graphen einer Sigmoid-Funktion;

Fig. 4 ein Schaltungsdiagramm eines Neuronalen Netzes, das in der offengelegten japanischen Patentan meldung Nr. 62-295 188 vorgeschlagen ist;

Fig. 5 ein Systemblockdiagramm eines Beispiels eines herkömmlichen Neurons mit Hilfe von digitalen Schaltungen;

Fig. 6 ein Systemblockdiagramm einer in Fig. 5 dargestell ten Synapsen-Schaltung;

Fig. 7 ein Systemblockdiagramm einer in Fig. 5 dargestell ten Zellenschaltung;

Fig. 8 ein Schaltungsdiagramm einer Gewichtsfunktion ändernden Schaltung einer ersten Ausführungsform einer Neuron-Einheit gemäß der Erfindung;

Fig. 9 ein Schaltungsdiagramm einer Koeffizienten-Multi plizierschaltung, bei welcher die in Fig. 8 darge stellte Gewichtsfunktion ändernde Schaltung ver wendet ist;

Fig. 10 ein Schaltungsdiagramm einer in Fig. 9 dargestell ten Addierschaltung;

Fig. 11 einen Graphen einer Kennlinie einer Differential funktion f′ erster Ordnung;

Fig. 12 ein Schaltungsdiagramm einer f′-signalerzeugenden Schaltung 30;

Fig. 13 eine Eingangs- gegenüber einer Ausgangskennlinie der in Fig. 12 dargestellten f′-signalerzeugenden Schaltung;

Fig. 14 eine Eingangs- gegenüber einer Ausgangscharakte ristik der f′-signalerzeugenden Schaltung, wenn ein Verstärker mit einer nichtlinearen Eingangs- Ausgangskennline in einer Eingangsstufe vorgesehen ist;

Fig. 15 ein Systemblockdiagramm einer Fehlersignale erzeu genden Schaltung entsprechend der Gl. (5) ;

Fig. 16 ein Systemblockdiagramm einer Fehlersignale erzeu genden Schaltung entsprechend der Gl. (6);

Fig. 17 ein Systemblockdiagramm einer Gewichtsfunktion erzeugenden Schaltung entsprechend der Gl. (7);

Fig. 18 ein Systemblockdiagramm einer ersten Ausführungs form einer Neuron-Einheit gemäß der Erfindung;

Fig. 19 ein Diagramm eines handgeschriebenen Zeichens, welches mit einem Scanner gelesen wird, um eine Anwendung der ersten Ausführungsform beim Selbst lern-Zeichenerkennungssystem zu erläutern;

Fig. 20 ein Schaltungsdiagramm einer zweiten Ausführungs form einer Neuron-Einheit gemäß der Erfindung;

Fig. 21 ein Diagramm zum Erläutern einer Impulsfolge, welche ein Eingangssignal der zweiten Ausfüh rungsform beschreibt;

Fig. 22 ein Diagramm zum Erläutern einer Impulsfolge, welche eine Gewichtsfunktion der zweiten Ausfüh rungsform beschreibt;

Fig. 23 ein Diagramm zum Erläutern eines logischen Pro duktes des Eingangssignals und der Gewichtsfunk tion;

Fig. 24 ein Diagramm zum Erläutern eines Ausgangssignals der zweiten Ausführungsform;

Fig. 25 und 26 Diagramme zum Erläutern von Ausgangswerten erregender und sperrender Gruppen;

Fig. 27 ein Diagramm zum Erläutern eines Fehlersignals;

Fig. 28 bzw. 29 Diagramme zum Erläutern positiver und negati ver Fehlersignale im Falle einer erregenden Ver bindung oder Kopplung;

Fig. 30 bzw. 31 Diagramme zum Erläutern positiver und negati ver Fehlersignale im Falle einer sperrenden Kopp lung oder Verbindung;

Fig. 32 bzw. 33 Diagramme zum Erläutern von Beispielen zum Ausdünnen des Fehlersignals;

Fig. 34 bzw. 35 Diagramme zum Erläutern eines Verfahrens zum Ändern der Gewichtsfunktion;

Fig. 36 bzw. 37 Diagramme zum Erläutern eines Verfahrens, um eine neue Gewichtsfunktion für eine erregende und sperrende Original-Gewichtsfunktion zu erhalten;

Fig. 38 ein Schaltungsdiagramm bei einer Schaltung, welche einer Verbindungsleitung zwischen zwei Neuron- Einheiten in dem in Fig. 2 dargestellten Neuronalen Netz entspricht;

Fig. 39 ein Schaltungsdiagramm einer Schaltung, welche der Neuron-Einheit der zweiten Ausführungsform entspricht;

Fig. 40 ein Schaltungsdiagramm einer Schaltung, um ein Fehlersignal in einer Endschicht des Neuronalen Netzes, das auf einem Ausgangswert der End schicht basiert, und ein Lernsignal zu erhalten;

Fig. 41 ein Schaltungsdiagramm einer Ausführungsform einer Schaltung, um erregende und sperrende Kopplungen zu gruppieren und um den Ausgangswert in Fig. 38 und 39 zu bestimmen;

Fig. 42 ein Schaltungsdiagramm einer weiteren Ausführungs form der Schaltung, um erregende und sperrende Kopplungen bzw. Verbindungen zu gruppieren und den Ausgangswert zu bestimmen;

Fig. 43 ein Schaltungsdiagramm einer Abwandlung einer in Fig. 41 und 42 dargestellten Verknüpfungsschaltung;

Fig. 44 ein Schaltungsdiagramm eines wesentlichen Teils einer dritten Ausführungsform einer Neuron-Ein heit gemäß der Erfindung;

Fig. 45 bis 47 Schaltungsdiagramme, in deren wesentliche Teile einer vierten Ausführungsform einer Neuron-Einheit gemäß der Erfindung erläutert werden;

Fig. 48 ein Schaltungsdiagramm eines wesentlichen Teils einer fünften Ausführungsform der Neuron-Einheit gemäß der Erfindung;

Fig. 49 bis 51 Systemblockdiagramme, welche wesentliche Teile einer sechsten Ausführungsform einer Neuron- Einheit gemäß der Erfindung wiedergeben;

Fig. 52 ein Systemblockdiagramm einer siebten Ausführungs form der Erfindung;

Fig. 53 ein Schaltungsdiagramm eines wesentlichen Teils einer achten Ausführungsform der Erfindung;

Fig. 54 ein Diagramm zum Erläutern von Impulsfolgen zum Anzeigen derselben Gewichtsfunktion;

Fig. 55A bzw. 55B Schaltungsdiagramme eines wesentlichen Teils einer neunten Ausführungsform der Erfindung zum Erläutern einer Analog-Digital-Umsetzung;

Fig. 56A bis 56C Schaltungsdiagramme eines anderen wesentli chen Teils der neunten Ausführungsform der Er findung zum Erläutern einer Digital-Analog-Um setzung;

Fig. 57 ein Systemblockdiagramm einer zehnten Ausführungs form gemäß der Erfindung;

Fig. 58 ein Systemblockdiagramm zum Erläutern der Funk tionen von Neuron-Einheiten;

Fig. 59 bis 62 Systemblockdiagramme zum Erläutern einer Ar beitsweise einer elften Ausführungsform der Er findung;

Fig. 63 bzw. 64 Systemblockdiagramme zum Erläutern von Ver fahren zum Speichern der Gewichtsfunktion und deren Vorzeichen;

Fig. 65 ein Schaltungsdiagramm eines wesentlichen Teils einer zwölften Ausführungsform der Erfindung;

Fig. 66A bis 66C Systemblockdiagramme von wesentlichen Teilen einer dreizehnten, vierzehnten und fünfzehnten Ausführungsform der Erfindung;

Fig. 67 ein Flußdiagramm zum Erläutern eines Lernpro zesses einer in Fig. 66B dargestellten Zentralein heit (CPU) in der vierzehnten Ausführungsform;

Fig. 68 ein Flußdiagramm zum Erläutern eines Vorwärts prozesses der in Fig. 66C dargestellten Zentral einheit in der fünfzehnten Ausführungsform und

Fig. 69 bis 71 Systemblockdiagramme zum Erläutern weiterer Ausführungsformen der Erfindung.

Nunmehr wird eine erste Ausführungsform einer Neuron-Einheit gemäß der Erfindung beschrieben. In dieser Ausführungsform hat die Neuron-Einheit die Selbstlernfunktion. Folglich muß die Gewichtsfunktion veränderlich gemacht werden, um so das Selbstlernen zu ermöglichen.

In Fig. 8 ist der Schaltungsaufbau einer Schaltung 20 zum Ändern der Gewichtsfunktion dargestellt; die Schaltung 20 weist eine Anzahl Widerstände 21 auf, welche die Gewichts funktion beschreiben, und die Gewichtsfunktion ist durch ent sprechendes Schalten einer Schaltanordnung 22 veränderlich, um eine Verbindung zu dem Widerstand 21 herzustellen, welcher zu verwenden ist. Die Schaltunganordnung 22 kann durch einen i. a. erhältlichen Schalter realisiert werden, welcher entspre chend einem binären Eingangssignal von einer (nicht darge stellten) externen Steuereinheit geschaltet und gesteuert wird. In dem in Fig. 8 dargestellten Fall wird ein Analog- Digital-(A/D-)Umsetzer 23 verwendet, um eine Spannung S von der externen Steuereinheit in einen binären Wert umzuwandeln, welcher dann dazu verwendet wird, das Schalten der Schaltan ordnung 22 zu steuern.

Außerdem wird ein Vorzeichenbit des A/D-Umsetzers 23 zum Steu ern des Schaltens einer Schaltanordnung 24 verwendet, welche bestimmt, ob ein Eingangswert über einen invertierenden Ver stärker 25 entsprechend dem Vorzeichen zu erhalten ist oder nicht, um so den Ausgang zwischen einem erregenden und einem sperrenden Ausgang zu schalten. Folglich ist die Gewichts funktion in Abhängigkeit von der Spannung (dem externen Sig nal) S veränderlich, und es kann ein Ausgangswert erhalten werden, indem die Gewichtsfunktion, die einen beliebigen Wert hat, mit einem Eingangssignal multipliziert wird.

In Fig. 9 ist eine Koeffizienten-Multiplizierschaltung darge stellt, um die Gl.′en (1) und (2) mit Hilfe der in Fig. 8 dar gestellten Gewichtsfunktion ändernden Schaltung 20 zu be schreiben. Jede Schaltung 20 hat die Funktion, die Gewichts funktion mit einem Eingangssignal von einer unmittelbar vor hergehenden Schicht oder Lage zu multiplizieren. Ausgänge der Schaltungen 20 werden in einer Addierschaltung 26 addiert.

Die Addierschaltung 26 kann ohne weiteres mit Hilfe eines i. a. erhältlichen Operationsverstärkers 27 realisiert wer den, wie in Fig. 10 dargestellt ist. In Fig. 10 ist der Opera tionsverstärker 27 zum Addieren vorgesehen, hat jedoch die Struktur eines invertierenden Verstärkers. Folglich wird ein Verstärker 28 verwendet, um ein Ausgangssignal des Opera tionsverstärkers 27 erneut zu invertieren, um ein Ausgangs signal der Addierschaltung 26 zu erhalten.

Ein nicht-linearer Verstärker 29 ist mit dem Ausgang der Addiererschaltung 26 verbunden, wie in Fig. 9 dargestellt ist. Eingangs- und Ausgangssignale dieses Verstärkers 29 haben eine Beziehung, welche durch die Gl. (2) beschrieben ist. Der Eingangswert am Verstärker 29 entspricht dem internen Po tential der Gl. (1).

Als nächstes wird ein Verfahren zum Erzeugen eines externen Signals S beschrieben, welches die Gewichtsfunktion bestimmt. Dieses Verfahren entspricht den Gl.′en (5) bis (7) und es sind Schaltungen erforderlich, um diese Gl.′en (5) bis (7) zu realisieren. In den Gl.′en (5) und (6) ist f′ die Differen tialfunktion erster Ordnung der in Fig. 3 dargestellten Sig moid-Funktion und hat eine in Fig. 11 dargestellte Charakteri stik. Eine in Fig. 12 dargestellte Schaltung 30 realisiert die Differentialfunktion f′ erster Ordnung.

Wie in Fig. 12 dargestellt, sind eine Anzahl Verstärker 31 bis 35 in einer Anzahl Stufen so miteinander verbunden, daß die Schaltung 30 eine in Fig. 11 dargestellte nichtlineare Charakteristik haben kann. Die Schaltung 30 hat eine in Fig. 13 dargestellte Eingangs-/Ausgangscharakteristik und reali siert nicht immer genau die in Fig. 11 dargestellte Charak teristik; die Charakteristik kann jedoch angenähert werden. Außerdem wird, wenn ein (nicht dargestellter) Verstärker mit einer in Fig. 14 dargestellten nicht-linearen Eingangs-/Aus gangscharakteristik in einer Eingangsstufe der Schaltung 30 vorgesehen ist, die Eingangs-/Ausgangscharakteristik der f′- signalerzeugenden Schaltung 30 so, wie in Fig. 14 dargestellt ist, und die in Fig. 11 dargestellte Charakteristik kann noch mehr angenähert werden.

In Fig. 15 ist eine fehlersignalerzeugende Schaltung 36 dar gestellt, welche der Gl. (5) entspricht. In Fig. 15 ist die Schaltung 30 dieselbe, wie in Fig. 12 und unterwirft das interne Potential (d. h. den Eingangswert an den in Fig. 9 dargestellten Verstärkern 29) der in Fig. 13 oder 14 darge stellten Funktionsverarbeitung. Ferner ist eine Subtrahier schaltung 37 vorgesehen, um einen Fehler zwischen einem Aus gangswert der Neuron-Einheit in der Abgabeschicht und einem Lernsignal zu erhalten. Eine Schaltung, welche derjenigen in Fig. 10 entspricht, kann verwendet werden, indem ein Eingangs signal in einemVerstärker invertiert wird. Ausgangssignale dieser Schaltungen 30 und 37 werden an eine Multiplizier schaltung 38 angelegt, welche ein Produkt aus den zwei Aus gangssignalen bildet und es wird ein Ergebnis erhalten, das der Gl. (5) entspricht.

In Fig. 16 ist eine fehlersignalerzeugende Schaltung 39 ent sprechend der Gl. (6) dargestellt. Die Schaltung 39 in Fig. 16 enthält die Gewichtsfunktion ändernden Schaltungen 20, eine Addierschaltung 26, die f′-signalerzeugende Schaltung 30 und eine Multiplizierschaltung 40, welche ein Produkt der Ausgänge der Schaltungen 26 und 30 erhält. DieserSchaltungs aufbau ist äquivalent der Gl. (6). Folglich kann durch Ein geben des internen Potentials und des Fehlersignals, das durch die in Fig. 16 dargestellte Schaltung in einer anderen Schicht oder durch die Schaltung 36 erzeugt wird, schließ lich ein Ausgangswert erhalten werden, welcher demjenigen ent spricht, welcher durch die Gl. (6) erhalten worden ist.

In Fig. 17 ist eine Gewichtsfunktion erzeugende Schaltung 41 entsprechend der Gl. (6) dargestellt. Die Schaltung 41 enthält eine Multiplizierschaltung 42, welche durch eine i. a. erhältliche Multipliziereinheit realisiert werden kann. Die Multiplizierschaltung 42 bildet ein Produkt aus einem Ausgang einer Neuron-Einheit einer Schicht, dem in der vor stehend beschriebenen Schaltung erzeugten Fehlersignal und einer Konstanten η. Ein Ausgangssignal der Multiplizier schaltung 42 wird an eine Addierschaltung 43 angelegt, und ein neuer Wert T wird aus T und aus ΔT mit Hilfe einer Ver zögerungsschaltung 44 erzeugt. Folglich entspricht ein Aus gangssignal der Addierschaltung 43 dem durch Gl. (7) erhal tenen Ausgang.

In Fig. 18 ist eine erste Ausführungsform einer Neuron-Ein heit dargestellt, welche durch die vorstehend beschriebenen Schaltungen gebildet ist. In einem Neuronalen Netz entspricht eine in Fig. 18 dargestellte Neuron-Einheit 45 einem Teil, wel cher beispielsweise durch eine gestrichelte Linie in Fig. 2 hervorgehoben ist. In Fig. 18 entspricht ein Block B1 der in Fig. 9 dargestellten Schaltung und ein Ausgangswert dieses Blockes B1 wird an jede Neuron-Einheit der nächsten Schicht angelegt. Ein Block B2 entspricht der in Fig. 16 dargestellten Fehlersignal erzeugenden Schaltung 39. Das heißt, der Block B2-1 der nächsten Schicht und der Block B2-2 der Neuron- Einheit 45 entspricht der in Fig. 16 dargestellten Schaltung. Ebenso entsprechen der Block B2-1 der Neuron-Einheit 45 und der Block B2-2 der vorhergehenden Schicht der in Fig. 6 dar gestellten Schaltung. Da das Neuronale Netz als Ganzes die Mehrschichten-Struktur hat, wie sie in Fig. 2 dargestellt ist, kann der Block der Fehlersignal erzeugenden Schaltung 39 in der Mitte in zwei unterteilt werden, um so eine Ersatz schaltung aus zwei Schaltungsteilen zu realisieren.

In Fig. 18 dargestellte Blöcke B3-1, B3-2, . . ., B3-N entspre chen jeweils der in Fig. 17 dargestellten Gewichtungskoeffi zienten erzeugenden Schaltung 41 und dem in Fig. 8 darge stellten A/D-Umsetzer 23. In Fig. 18 ist jedoch die Verzö zögerungsschaltung 44 nicht dargestellt. Die Gewichtsfunk tionen T, welche kürzlich in den Blöcken B3-1, B3-2, . . ., B3-N erhalten worden sind, werden verwendet, und jede Gewichts funktion T wird in der in Fig. 8 dargestellten Gewichtsfunk tion ändernden Schaltung 20 verändert. Da dieselbe Gewichts funktion an zwei Stellen verwendet wird, welche die Blöcke B1 und B2-1 sind, werden die zwei (Blöcke) verbunden und ge ändert. Mit anderen Worten, die Blöcke B2-1 und B3 und die Gewichtsfunktion ändernde Schaltung 20 in dem Block B1 in Fig. 18 entsprechen einer Selbstlernschaltung, während der restliche Teil des Blocks B1 und des Blocks B2-2 einer Neu ron-Schaltung entspricht, welche einem Neuron ähnlich ist.

Eine Anzahl der Neuron-Einheiten 45 mit dem in Fig. 18 dar gestellten Aufbau werden verbunden, um ein Netz zu bilden, welches dem in Fig. 2 dargestellten entspricht. Das Neuronale Netz wird realisiert, indem beispielsweise die in Fig. 15 dargestellte Fehlersignal erzeugende Schaltung 36 an dem Aus gangsteil der Endausgangsschicht hinzugefügt wird.

Bezüglich des vorstehend beschriebenen Schaltungsaufbau wird ein besonderer Fall beschrieben. Zuerst werden die Addier schaltung u. ä. jedes Blockes alle aus i. a. erhältlich Opera tionsverstärkern hergestellt, und eine Vielzahl von 256 Eingabe- und 256 Ausgabe-Neuron-Einheiten 45 mit der in Fig. 18 dargestellten Struktur und eine Anzahl in Fig. 17 dar gestellter Gewichtsfunktion erzeugender Schaltungen 41 werden gebildet. Als nächstes werden die Eingangs- und Ausgangslei tungen der Neuron-Einheit 45 und der Gewichtsfunktion erzeu genden Schaltung 41 miteinander verbunden, um so ein Neuro nales Netz mit drei Schichten zu bilden. In dem Neuronalen Netz weist eine erste Schicht 256 Neuron-Einheiten 45, eine zweite Schicht vier Neuron-Einheiten 45 und eine dritte Schicht fünf Neuron-Einheiten 45 auf. Außerdem ist ein Aus gang der dritten Schicht mit der in Fig. 15 dargestellten Fehlersignal erzeugenden Schaltung 36 verbunden. Wenn ein Eingabewert an jede Neuron-Einheit 45 der ersten Schicht in dem Neuronalen Netz angelegt wird, ist der sich ergebende Ausgabewert nicht notwendigerweise ein erwünschter Wert. Da dieses Netz aus Neuron-Einheiten die Selbstlernschaltung hat, wird der sich ergebende Abgabewert schließlich der gewünschte Wert, d. h. das Lehr- oder Schulungssignal.

Nunmehr wird ein Fall beschrieben, bei welchem das vorste hend beschriebene Neuronale Netz in einem selbstlernenden Zeichenerkennungssystem angewendet wird. Zuerst wird ein in Fig. 19 dargestelltes, handgeschriebenes Zeichen mittels eines Scanners gelesen, und das gelesene Bild wird in 16×16 Ma schen bzw. Felder unterteilt. Die Daten in jedem Feld werden dann an jede Neuron-Einheit 45 der ersten Schicht in dem Neu ronalen Netz angelegt. Der Einfachheit halber wird der Da tenwert eines Feldes, welcher einen Teil des Zeichens ent hält, als 1 V genommen, während der Datenwert eines Feldes, welcher keinen Teil des Zeichens enthält, als 0 V genommen wird. Der Ausgang des Neuronalen Netzes ist mit einem Volt meter verbunden, so daß der sich ergebende Abgabewert unmit telbar an dem Voltmeter angezeigt wird. Von dem fünf Neuron- Einheiten 45 der dritten Schicht soll die Neuron-Einheit 45, welche den größten Ausgangswert abgibt, das Erkennungsergeb nis abgeben. Das Lernen findet so statt, daß wenn die Zahlen "1" bis "5" in das Neuronale Netz eingegeben werden, die fünf Neuron-Einheiten 45 der dritten Schicht, welche den Zahlen "1" bis "5" entsprechen, den größten Ausgangswert ab geben. Mit anderen Worten, wenn die Zahl "1" eingegeben wird, gibt die Neuron-Einheit 45 der dritten Schicht, welche der Zahl "1" entspricht, den größten Ausgangswert ab. Bezüg lich eines Zeichens betrug nach einem hinreichenden Lernpro zeß die Erkennungsrate 100%.

Als nächstes wird eine zweite Ausführungsform der Neuron- Einheit gemäß der Erfindung beschrieben. In dieser Ausfüh rungsform ist die Neuron-Einheit mit Hilfe von digitalen Schaltungen entsprechend den folgenden Vorschriften [1] bis [6] realisiert:

[1] Eingabe- und Ausgabesignale der Neuron-Einheit, Zwischensignale in der Neuron-Einheit, die Gewichtsfunktion, das Lehrsignal u. ä. nehmen alle die Form einer Impulsfolge an, welche durch Binärwerte "0" und "1" beschrieben ist.
[2] Die Signalmenge in dem Neuronalen Netz wird durch die Impulsdichte ausgedrückt, d. h. die Anzahl von "Einsen" ("1") in einer vorherbestimmten Zeit.
[3] Die Berechnung in der Neuron-Einheit wird durch eine logische Operation von Impulsfolgen beschrieben.
[4] Die Impulsfolge, welche die Gewichtsfunktion ausdrückt, ist in einem Speicher gespeichert.
[5] Das Lernen wird durch Wiedereinschreiben der Impulsfolge der in dem Speicher gespeicherten Gewichtsfunktion realisiert.
[6] Wenn der Lernprozeß abgeschlossen ist, wird ein Fehler auf der Basis einer Impulsfolge des gegebenen Lehr- oder Schulungssignals berechnet, und die Impulsfolge der Gewichtsfunktion wird in Abhängigkeit von dem berechneten Fehler geändert. Die Berechnung des Fehlers und die Berechnung der Abweichung der Gewichtsfunktion werden durch logische Operationen von Impulsfolgen ausgeführt, welche durch "Nullen" ("0") und "Einsen" ("1") beschrieben sind.

In Fig. 20 ist eine Neuron-Einheit 50 dargestellt, und eine Anzahl der Neuron-Einheiten 50 ist in einer Anzahl Schichten miteinander verbunden, um beispielsweise ein in Fig. 2 darge stelltes hierarchisches Neuronales Netz zu bilden. Die Ein gabe- und Ausgabesignale der Neuron-Einheit 50 sind in binärer Form durch "Einsen" und "Nullen" beschrieben und synchronisiert. Die Signalstärke des Eingabesignals y_i wird durch eine Impulsdichte ausgedrückt, d. h. eine Anzahl "Einsen", welche in einer Impulsfolge in einer vorherbestimm ten Zeit vorhanden sind. In Fig. 21 ist ein Fall dargestellt, bei welchem vier "Einsen" und zwei "Nullen" des Eingabesig nals y_i in der vorherbestimmten Zeitspanne vorhanden sind, welche sechs Synchronisierimpulse beträgt. In diesem Fall hat das Eingangssignal y_i eine Signalintensität 4/6. Es ist erwünscht, daß die "Einsen" und die "Nullen" des Ein gangssignals y_i beliebig in der vorherbestimmten Zeitspanne positioniert sind.

Der Wichtungskoeffizient T_ÿ wird in ähnlicher Weise durch eine Impulsdichte beschrieben und ist in einem Speicher als eine Impulsfolge aus "Nullen" "Einsen" gespeichert. Fig. 22 zeigt einen Fall, in welchem drei "Einsen" und drei "Nullen" der Gewichtsfunktion T_ÿ in einer vorherbestimmten Zeit spanne vorhanden sind, welche sich auf sechs Synchronisier impulse beläuft. In diesem Fall hat die Gewichtsfunktion T_ÿ einen Wert 3/6. Es ist erwünscht, daß die "Einsen" und "Nullen" der Gewichtsfunktion T_ÿ beliebig in der vorherbe stimmten Zeitspanne positioniert sind.

Die Impulsfolge der Gewichtsfunktion T_ÿ wird nacheinander entsprechend den Synchronisierimpulsen aus dem Speicher ge lesen und an jedes in Fig. 20 dargestellte UND-Glied 51, welches ein logisches Produkt (y_x ∩ T_ÿ) erhält, mit der Impulsfolge des Eingabesignals y_i angelegt. Ein Aus gangswert des UND-Glieds 51 wird als ein Eingabewert an der Neuron-Einheit 50 verwendet. Folglich wird in dem vorste hend beschriebenen Fall das logische Produkt y_i ∩ T_ÿ so, wie in Fig. 23 dargestellt ist, und es wird eine Impulsfolge "101000" erhalten. Aus Fig. 23 ist zu ersehen, daß das Ein gabesignal y_i durch die Gewichtsfunktion T_ÿ umgesetzt wird, und die Impulsdichte 2/6 wird.

Die Impulsdichte des Ausgangssignals des UND-Glieds 51 ist annähernd das Produkt der Impulsdichte des Eingangssignals und der Impulsdichte der Gewichtsfunktion, und das UND-Glied 51 wird ähnlich wie im Falle der Analogschaltung. Die Im pulsdichte des Ausgangssignals des UND-Glieds 51 ist dem vorstehenden Produkt stärker angenähert, wenn die Impulsfol ge länger wird und wenn die Stellen der "Einsen" und "Nullen" beliebiger werden. Wenn die Impulsfolge der Gewichtsfunktion kurz im Vergleich zu der Impulsfolge des Eingabesignals ist, und keine weiteren Daten aus dem Speicher ausgelesen werden können, können die Daten aus den ersten Daten ausgelesen werden und eine derartige Operation kann wiederholt werden, bis die Impulsfolge des Eingabesignals endet.

Eine Neuron-Einheit 50 empfängt eine Anzahl Eingabesignale, und eine Anzahl logischer Produkte werden zwischen dem Ein gabesignal und der Gewichtsfunktion erhalten. Folglich er hält eine ODER-Schaltung 52 eine logische Summe der logischen Produkte. Da die Eingabesignale synchronisiert sind, wird die logische Summe "111000", wenn das logische Produkt beispiels weise "101000" und das zweite logische Produkt "010000" ist. Fig. 24 zeigt die logischen Produkte, welche in die ODER-Schal tung 52 eingegeben werden, und die logische Summe ∪ (y_i ∩ T_ÿ), welche von der ODER-Schaltung 52 abgegeben wird. Dies ent spricht der Berechnung der Summe und der nicht-linearen Funk tion (Sigmoid-Funktion) im Falle der Analogberechnung.

Wenn die Impulsdichten niedrig sind, ist die logische Summe derartiger Impulsdichten annähernd die Summe der Impuls dichten. Wenn die Impulsdichten höher werden, wird der Aus gang der ODER-Schaltung 52 gesättigt, und nähert sich nicht mehr länger der Summe der Impulsdichten, d. h. die nicht lineare Charakteristik beginnt sich zu zeigen. Im Falle der logischen Summen wird die Impulsdichte nicht größer als "1" und wird nicht kleiner als "0". Außerdem zeigt die logische Summe eine monotone Zunahme und ist annähernd dieselbe wie die Sigmoid-Funktion.

Wie oben beschrieben, gibt es zwei Arten von Verbindungen (oder Wichtungen), nämlich die erregende Verbindung und die sperrende Verbindung. Bei numerischen Berechnungen werden die erregenden und sperrenden Bedingungen durch positive und negative Vorzeichen bei der Gewichtsfunktion beschrieben. Im Falle der analogen Neuron-Einheit wird, wenn die Gewichts funktion T_ÿ die sperrende Verbindung anzeigt und das Vor zeichen an der Gewichtsfunktion T_ÿ negativ ist, ein inver tierender Verstärker zum Durchführen einer Inversion verwen det, und eine Verbindung zu einer anderen Neuron-Einheit wird über einen Widerstandwert gemacht, welcher der Gewichts funktion Tÿ entspricht. Andererseits werden in dieser Ausführungsform, welche digi tale Schaltungen verwendet, die Verbindungen in Abhängigkeit von den negativen und positiven Vorzeichen an der Gewichts funktion T_ÿ in eine erregende und in eine sperrende Gruppe geführt. Dann erfolgt die Berechnung bis zu dem Teil, bei welchem die logische Summe der logischen Produkte der Im pulsfolgen der Eingabesignale und der Gewichtsfunktionen für jede Gruppe durchgeführt werden. Danach gibt die Neuron- Einheit 50 "1" ab, wenn nur der Ausgang der erregenden Gruppe "1" ist, und gibt "0" ab, wenn nur der Ausgang der sperren den Gruppe "1" ist. Wenn die Ausgänge der erregenden und der sperrenden Gruppen beide "1" oder "0" sind, kann die Neuron- Einheit 50 entweder "1" oder "0" abgeben oder "1" mit einer Wahrscheinlichkeit von 1/2 abgeben.In dieser Ausführungsform gibt die Neuron-Einheit 50 nur "1" ab, wenn der Ausgang der erregenden Gruppe "1" ist und der Ausgang der sperrenden Gruppe "0" ist. Dies kann erreicht werden, indem ein UND von einem NICHT des Ausgangs der sperrenden Gruppe und des Ausgangs der erregenden Gruppe erhalten wird, wie in Fig. 25 dargestellt ist. Folglich kann der Ausgang a der erregenden Gruppe geschrieben werden als a=∪ (y_i ∩ T_ÿ) und der Ausgang b der sperrenden Gruppe kann beschrieben werden durch b=∪(y_i ∩ T_ÿ). Außerdem kann der Ausgang y_i der Neuron-Einheit 50 beschrieben werden durch y_j=a ∩ b. Das Neuronale Netz kann dadurch gebildet werden, daß eine Anzahl derartiger Neuron-Einheiten 50 in einer Anzahl Schichten verbunden werden, um eine hierarchische Struktur ähnlich wie im Falle des in Fig. 2 dargestellten Neuronalen Netzes zu bilden. Wenn das gesamte Neuronale Netz synchronisiert ist, kann die vorstehend be schriebene Berechnung in jeder Schicht durchgeführt werden.Andererseits können Maßnahmen getroffen werden, damit die Neuron-Einheit 50 "1" außer für den Fall abgibt, bei welchem der Ausgang der erregenden Gruppe "0" und der Ausgang der sperrenden Gruppe "1" ist. Dies kann dadurch erreicht werden, daß ein ODER eines NICHT des Ausgangs der sperrenden Gruppe und des Ausgangs der erregenden Gruppe erhalten wird, wie in Fig. 26 dargestellt ist. Folglich kann der Ausgang a der erregenden Gruppe beschrieben werden als a=∪(y_i ∩ T_ÿ und der Ausgang b in der sperrenden Gruppe kann beschrieben werden durch b=∪(y_i ∩ T_ÿ). Außerdem kann der Ausgang y_j der Neuron-Einheit 50 beschrieben werden durch y_j=a∩ b.Als nächstes wird der Lernprozeß beschrieben.Das Fehlersignal in der Endschicht:Das Fehlersignal jeder Neuron-Einheit 50 in der Endschicht wird berechnet, und die Gewichtsfunktion jeder Neuron-Einheit 50 wird in Abhängigkeit von dem Fehlersignal verändert. Nun mehr wird ein Verfahren zum Berechnen des Fehlersignals be schrieben. In dieser Ausführungsform wird das Fehlersignal wie folgt festgelegt. Das heißt, das Fehlersignal kann einen positiven oder negativen Wert annehmen, wenn der Fehler durch einen numerischen Wert beschrieben wird; aber im Falle der Impulsdichte ist es nicht möglich, gleichzeitig die positiven und negativen Werte zu beschreiben. Folglich werden zwei Arten von Signalen, nämlich ein Signal, welches eine positive Kom ponente anzeigt und ein Signal, welches eine negative Kom ponente anzeigt, verwendet, um das Fehlersignal zu beschreiben. Mit anderen Worten, ein Fehlersignal δ⁺j oder δ^-j der j-ten Neuron-Einheit 50 kann wie folgt beschrieben werden, wenn mit δ⁺j das positive Fehlersignal, mit δ⁻j das nega tive Fehlersignal und das Ausgangssignal y_j und das Lehrsig nal d_j der j-ten Neuron-Einheit 50 so sind, wie in Fig. 27 dargestellt ist.δ⁺j = (Y_j EXOR d_j) AND d_jδ^-j = (y_j EXOR d_j) AND y_jFolglich entspricht die positive Komponente des Fehlersignals den Impulsen, welche auf der Lehrsignalseite außer den Teilen (1,0) und (0,1) vorhanden sind, wobei der Lehrsignal- und der Ausgabesignal-Impuls verschieden sind. Genauso entspricht die negative Komponente des Fehlersignals den Impulsen, wel che auf der Abgabesignalseite außer den Teilen (1,0) und 0,1) vorhanden sind, wobei sich der Lehrsignal- und der Abgabesig nal-Impuls unterscheiden. Mit anderen Worten, wenn die posi tive Komponente des Fehlersignals zu dem Abgabesignal addiert wird und die negative Komponente des Fehlersignals subtra hiert wird, wird das Lehrsignal erhalten. Wie später noch beschrieben wird, wird die Gewichtsfunktion basierend auf der artigen Fehlersignal-Impulsen verändert.Das Fehlersignal in der Zwischenschicht:Das Fehlersignal wird rückwärts-fehlerkorrigiert, so daß nicht nur die Gewichtsfunktionen der Endschicht und der un mittelbar vorhergehenden Schicht, sondern auch die Gewichts funktionen der Schicht, welche der vorerwähnten, unmittelbar vorhergehenden Schicht vorangeht, geändert werden. Aus die sem Grund ist es notwendig, das Fehlersignal für jede Neuron- Einheit 50 in der Zwischenschicht zu berechnen. Die Fehler signale von jeder der Neuron-Einheiten 50 in der nächsten Schicht werden gesammelt und als das Fehlersignal einer be stimmten Neuron-Einheit 50 der Zwischenschicht im wesentli chen in der umgekehrten Weise verwendet, wie das Abgabe signal der bestimmten Neuron-Einheit 50 an jeder der Neuron- Einheiten in der nächsten Schicht angelegt wird. Dies kann ähnlich wie vorstehend bezüglich der Gl. (7) und der Fig. 21 bis 23 beschrieben, erreicht werden. Das heißt, die Verbin dungen werden in zwei Gruppen in Abhängigkeit davon aufge teilt, ob die Verbindung eine erregende oder eine sperren de Verbindung ist, und der Multiplikationsteil wird durch UND und Σ-Teil wird durch ODER beschrieben. Der einzige Unterschied in diesem Fall besteht darin, daß, obwohl y ein einzelnes Signal ist, δ positiv oder negativ sein kann und folglich zwei Fehlersignale in Betracht gezogen werden müs sen. Daher müssen vier Fälle in Abhängigkeit davon betrach tet werden, ob die Gewichtsfunktion T positiv oder negativ ist und ob das Fehlersignal δ positiv oder negativ ist.Als erstes wird die erregende Verbindung beschrieben. In diesem Fall wird δ⁺k ∩ T_ÿ, welches ein UND des positiven Fehlersignals δ⁺k der k-ten Neuron-Einheit in der Schicht, welcher einer spezifischen Schicht am nächsten ist, und der Gewichtsfunktion T_jk zwischen der j-ten Neuron-Einheit in der spezifischen Schicht und der k-ten Neuron-Einheit in der nächsten Schicht ist, für jede Neuron-Einheit in der spezifischen Schicht erhalten. Ferner wird ∪ (δ⁺k ∩ k_jk) was ein ODER von δ⁺k ∩ T_jk ist, welches für jede Neuron-Einheit unter der spezifischen Schicht erhalten worden ist, und dieses ODER wird als das positive Fehlersignal δ⁺j für die spezifische Schicht betrachtet, wie in Fig. 28 dargestellt ist.Außerdem wird δ^-k ∩ T_jk, welches ein UND des negativen Fehlersignals δ^-k der k-ten Neuron-Einheit in der nächsten Schicht und der Gewichtsfunktion T_jk zwischen der j-ten Neuron-Einheit in der spezifischen Schicht und der k-ten Neuron-Einheit in der nächsten Schicht ist, für jede Neuron-Einheit in der spezifischen Schicht erhalten. Ferner ist ∪(δ^-k ∩ T_jk), welches ein ODER von δ^-k ∩ T_jk ist, das für jede Neuron-Einheit in der spezifischen Schicht er halten worden ist, und dies ODER wird als das negative Feh lersignal δ^-j für die spezifische Schicht betrachtet, wie in Fig. 29 dargestellt ist.Als nächstes wird eine sperrende Verbindung beschrieben. In diesem Fall wird δ^-k ∩ T_jk, welches ein UND des negativen Fehlersignals δ^-k der k-ten Neuron-Einheit in der Schicht, welche einer spezifischen Schicht am nächsten ist, und der Gewichtsfunktion T_jk zwischen der j-ten Neuron-Einheit in der spezifischen Schicht und der k-ten Neuron-Einheit in der nächsten Schicht ist, für jede Neuron-Einheit in der spezifischen Schicht erhalten. Ferner ist ∪(δ^-k ∩ T_jk), welches ein ODER von δ^-k ∩ T_jk ist, was für jede Neuron-Einheit der spezifischen Schicht erhalten worden ist und dies ODER wird als das positive Fehlersignal δ⁺j für die spezifischen Schicht betrachtet, wie in Fig. 30 dargestellt ist.Außerdem wird δ⁺k ∩ T_jk, welches ein UND des positiven Fehlersignals δ⁺k der k-ten Neuron-Einheit in der nächsten Schicht und der Gewichtsfunktion T_jk zwischen der j-ten Neuron-Einheit in der spezifischen Schicht und der k-ten Neuron-Einheit in der nächsten Schicht ist, für jede Neuron-Einheit in der spezifischen Schicht erhalten. Ferner ist ∪(δ⁺ ∩ t_jk), welches ein ODER von δ⁺k ∩ T_jk ist, welches für jede Neuron-Einheit in der spezifischen Schicht erhalten worden ist, und dieses ODER wird als das negative Fehlersignal δ^-j für die spezifische Schicht betrachtet, wie in Fig. 31 dargestellt ist.Da eine Neuron-Einheit mit einer anderen Neuron-Einheit durch eine erregende oder sperrende Verbindung verbunden werden kann, werden ein ODER des Fehlersignals δ⁺j was in Fig. 28 dargestellt ist, und das Fehlersignal δ⁺j, was in Fig. 30 dargestellt ist, als das Fehlersignal δ⁺j der j-ten Neuron-Einheit betrachtet. Ebenso wird ein ODER des Fehlersignals δ^-j, was in Fig. 29 dargestellt ist, und das Fehlersignal δ^-j, das in Fig. 31 dargestellt ist, als das Fehlersignal δ^-j, der j-ten Neuron-Einheit betrachtet.Folglich können die Fehlersignale δ⁺j und δ^-j der j-ten Neuron-Einheit in der spezifischen Schicht folgendermaßen beschrieben werden: Das Fehlersignal δ⁺j+δ^-j kann wie folgt beschrieben werden:δ⁺j = ∪E⁺jk,wobei E⁺ jk = δ⁺k ∩ T_jk (T_jk = erregend)
= δ^-k ∩ T_jk (T_jk = sperrend)
δ^-j = ∪E^-jk,wobei E^-jk = δ^-k ∩ T_jk (T_jk = erregend)
= δ⁺k ∩ T_jk (T_jk = sperrend).Ferner kann eine Funktion geschaffen werden, welche der Lern rate (der Lernkonstante) entspricht. Wenn die Rate "1" oder kleiner in einer numerischen Berechnung ist, wird die Lern fähigkeit verbessert. Dies kann im Falle einer Operation an Impulsfolgen durch Ausdünnen der Impulsfolge reali siert werden. Nunmehr werden zwei Beispiele beschrieben, wo bei in dem Beispiel 1) jeder andere Impuls des ursprüng lichen impulsförmigen Signals ausgedünnt wird, in welchem die Impulse gleichen Abstand voneinander haben, und in dem Bei spiel 2) jeder zweite Impuls des ursprünglichen impulsförmi gen Signals ausgedünnt wird, in welchem die Impulse keinen gleichen Abstand voneinander haben.In Fig. 32 wird das Beispiel 1) für η=0,5 dargestellt, wobei jeder zweite Impuls des ursprünglichen impulsförmigen Signals ausgedünnt wird, für η=0,33, wobei jeder dritte Impuls des ursprünglichen impulsförmigen Signals erhalben bleibt, und für η=0,67, jeder dritte Impuls des ursprünglichen impulsför migen Signals ausgedünnt wird.Fig. 33 zeigt das Beispiel 2) für η=0,5, bei welchem jeder zweite Impuls des ursprünglichen impulsförmigen Signals aus gedünnt wird, für η=0,33, wobei jeder dritte Impuls des ursprünglichen impulsförmigen Signals ausgedünnt wird, und für η=0,67, wobei jeder dritte Impuls des ursprünglichen impulsförmigen Signals ausgedünnt wird.Durch Ausdünnen des Fehlersignals in der vorstehend be schriebenen Weise kann die Funktion geschaffen werden, welche der Lernrate entspricht. Ein derartiges Ausdünnen kann ohne weiteres mit Hilfe eines i. a. erhältlichen Zählers und/oder eines Flip-Flops realisiert werden, indem beispielsweise eine logische Operation an einem Zählerausgang durchgeführt wird. In einem besonderen Fall, bei welchem der Zähler verwendet wird, kann ohne weiteres der Wert der Lernkonstante η auf einem beliebigen Wert gesetzt werden, wodurch dann die Cha rakteristik des Neuronalen Netzes gesteuert werden kann.Es ist nicht wesentlich, immer die Lernkonstante für das Fehlersignal zu verwenden. Beispielsweise kann die Lernkon stante nur dann verwendet werden, wenn die Operation durchge führt wird, um die Gewichtsfunktion zu erhalten. Außerdem können sich die Lernkonstante zum Zeitpunkt einer Rückwärts- Fehlerkorrektur des Fehlersignals und die Lernkonstante zum Zeitpunkt des Durchführens der Operation, um die Gewichts funktion zu erhalten, unterscheiden. Dies bedeutet, daß die Kennwerte der Neuron-Einheiten in dem Neuronalen Netz unab hängig eingestellt werden, und es ist folglich möglich ein System zu bilden, welches ohne weiteres für generelle An wendungen verwendbar ist. Folglich kann die Leistungsfähig keit des Neuronalen Netzes entsprechend eingestellt werden.Veränderung jedes Wichtungskoeffizienten durch das Fehler signal:Das Fehlersignal kann durch das vorstehend beschriebene Ver fahren erhalten werden, und jede Gewichtsfunktion wird ver ändert. Das Verfahren zum Ändern jeder Gewichtsfunktion wird nunmehr beschrieben. Zuerst wird ein UND zwischen dem Fehler signal und dem Signal erhalten, das in einer Leitung fließt, zu welcher die Gewichtsfunktion, zu verändern ist, gehört. Mit anderen Worten, es wird δ ∩ y erhalten. Da es jedoch zwei Fehlersignale, nämlich ein positives und ein negatives gibt, werden sowohl δ⁺j ∩ y_i und δ^-j ∩ y_i erhalten, wie in Fig. 34 bzw. 35 dargestellt ist. Die zwei Signale, welche aus δ⁺j ∩ y_i und δ^-j ∩ y_i erhalten werden, werden mit ΔT⁺ÿ bzw. ΔT^-ÿ bezeichnet.Als nächstes wird eine neue Gewichtsfunktion T_ÿ basierend auf ΔT_ÿ erhalten. Da jedoch die Gewichtsfunktion T_ÿ in dieser Ausführungsform eine Komponente mit absolutem Wert ist, wird die neue Gewichtsfunktion T_ÿ in Abhängigkeit davon anders erhalten, ob die ursprüngliche Gewichtsfunktion T_ÿ erregend oder sperrend ist. Wenn die ursprüngliche Gewichtsfunktion T_ÿ erregend ist, wird die Komponente von ΔT⁺ÿ bezüglich der ursprünglichen Gewichtsfunktion T_ÿ erhöht, und die Komponente von ΔT^-ÿ wird bezüglich der ursprünglichen Gewichtsfunktion T_ÿ erniedrigt, wie in Fig. 36 dargestellt ist. Andererseits wird, wenn die ursprüngliche Gewichtsfunktion T_ÿ sperrend ist, die Komponente von ΔT⁺ÿ bezüglich der ursprünglichen Gewichtsfunktion T_ÿ erniedrigt, und die Komponente von ΔT^-ÿ wird bezüglich der ursprüng lichen Gewichtsfunktion T_ÿ erhöht, wie in Fig. 37 darge stellt ist. Die Berechnungen in dem Neuronalen Netz werden basierend auf den vorstehend beschriebenen Lernvorschriften durchgeführt.Als nächstes werden anhand von Fig. 38 bis 40 konkrete Schal tungen beschrieben, welche die zweite Ausführungsform bilden. In Fig. 38 ist eine Schaltung dargestellt, welche einer Verbin dungsleitung zwischen zwei Neuron-Einheiten in dem in Fig. 2 dargestellten Neuronalen Netz entspricht. In Fig. 39 ist eine Schaltung dargestellt, welche der Neuron-Einheit 50 ent spricht, und in Fig. 40 ist eine Schaltung dargestellt, um das Fehlersignal in der Endschicht zu erhalten, das auf dem Abgabewert der Endschicht und dem Lernsignal basiert. Die in Fig. 38 bis 40 dargestellten Schaltungen sind so, wie in Fig. 2 dargestellt, miteinander verbunden, um das digitale Neuronale Netz mit der Selbstlernfunktion zu bilden.In Fig. 9 entspricht ein Eingangssignal 45 an der Neuron-Ein heit 50 dem bezüglich Fig. 21 beschriebenen Eingangssignal. Der Wert der anhand von Fig. 22 beschriebenen Gewichtsfunktion ist in einem Schieberegister 56 gespeichert, welches einen Eingang 56b und einen Ausgang 56a sowie eine Funktion hat, die einem allgemeinen Schieberegister entspricht. Beispiels weise kann als das Schieberegister 56 eine Kombination aus einem Random-Speicher (RAM) und einer Adressensteuereinheit verwendet werden.Eine logische Schaltung 58, welche eine UND-Schaltung 57 auf weist und y_i∩T_ÿ entspricht, was anhand von Fig. 23 beschrie ben worden ist, enthält eine UND-Funktion des Eingangssignals 55 und der Gewichtsfunktion in dem Schieberegister 56. Ein Ausgangssignal der logischen Schaltung 58 muß in Abhängig keit davon gruppiert werden, ob die Verbindung erregend oder sperrend ist. Unter dem Gesichtspunkt einer generellen An wendung ist jedoch vorzugsweise ein Ausgangssignal 59 für die erregende Gruppe und ein Ausgangssignal 60 für die sperrende Gruppe vorzubereiten und eines dieser Ausgangssig nale 59 und 60 abzugeben. Aus diesem Grund hat diese Aus führungsform einen Speicher 61 zum Speichern eines Bits, wel ches anzeigt, ob die Verbindung erregend oder sperrend ist, und eine Schaltanordnung 62 wird in Abhängigkeit von dem Bit geschaltet, welches in dem Speicher 61 gespeichert ist. Die Schaltanordnung 62 weist zwei UND-Glieder 62a und 62b und einen Inverter 62c auf, welcher das Bit invertiert, welches aus dem Speicher 61 ausgelesen und an das UND-Glied 62a an gelegt wird.Außerdem sind, wie in Fig. 39 dargestellt, Verknüpfungsschal tungen 63a und 63b, welche eine Anzahl ODER-Glieder aufwei sen und ∪(y_i∩T_ÿ) entsprechen und anhand von Fig. 24 be schrieben worden sind, vorgesehen, um jeden Eingangswert zu verarbeiten. Eine Verknüpfungsschaltung 64 weist ein UND- Glied 64a und einen Inverter 64b auf und gibt ein Ausgangssig nal "1" nur dann ab, wenn der Ausgang der erregenden Gruppe "1" und der Ausgang der sperrenden Gruppe "0" ist, wie in Verbindung mit Fig. 25 bereits beschrieben worden ist.Als nächstes wird das Fehlersignal beschrieben. Eine in Fig. 40 dargestellte, logische Schaltung 65 weist zwei UND-Glieder und ein exclusives ODER-Glied auf und erzeugt Fehlersignale in der Endschicht. Diese logische Schaltung 65 entspricht den anhand von Fig. 27 beschriebenen Gleichungen. Mit anderen Worten, die logische Schaltung 65 erzeugt Fehlersignale 68 und 69, welche auf einem Ausgangssignal 66 der Endschicht und einem Lehrsignal 67 basieren. Die Berechnung der Fehler signale in der Zwischenschicht, was anhand von Fig. 28 bis 31 beschrieben worden ist, wird durch eine in Fig. 38 dargestellte Verknüpfungsschaltung 72 durchgeführt, welche zwei UND-Glie der enthält. Die Verknüpfungsschaltung 72 gibt Ausgangssignale 73 und 74 in Abhängigkeit von positiven und negativen Signalen 75 und 76 der Fehlersignale 68 und 69 ab.Die Berechnung wird für zwei Fälle durchgeführt, d. h. für den Fall, bei welchem die Verbindung erregend ist, und für den Fall, bei welchem die Verbindung sperrend ist. Eine Ver knüpfungsschaltung 77, welche vier UND-Glieder und zwei ODER-Glieder enthält, bestimmt basierend auf dem in dem Speicher 61 gespeicherten Bit und den positiven und negati ven Signalen 75 und 76, welcher der beiden Berechnungsfälle durchzuführen ist.Eine Verknüpfungsschaltung 78, welche, wie in Fig. 39 darge stellt, ODER-Glieder enthält, führt die Berechnungen entspre chen den vorstehend beschriebenen Gleichungen durch, um die Fehlersignale δ⁺j und δ⁻j zu erhalten. Ferner wird die Be rechnung, um die Lernrate zu erhalten, wie in Verbindung mit Fig. 32 und 33 beschrieben worden ist, durch eine in Fig. 39 dargestellte Frequenzteilerschaltung 79 durchgeführt. Schließ lich berechnet eine Verknüpfungsschaltung 80, welche drei UND-Glieder, ein ODER-Glied und einen Inverter enthält, wie in Fig. 38 dargestellt ist, die neue Gewichtsfunktion aus dem Fehlersignal, wie in Verbindung mit Fig. 34 bis 37 beschrie ben ist. Der Inhalt des Schieberegisters 56, d. h. die Ge wichtsfunktion, wird wieder in die neue Gewichtsfunktion um geschrieben, welche von der Verknüpfungsschaltung 80 berech net ist. Die Verknüpfungsschaltung 80 führt auch die Berech nung für den Fall, bei welchem die Verbindung erregend ist, und für den Fall durch, bei welchem die Verbindung sperrend ist, und einer dieser beiden Fälle wird durch die Verknüpfungs schaltung 77 bestimmt.In Fig. 41 ist eine Ausführungsform des Gruppierungssystems und des Ausgabebestimmungssystems dargestellt, was in Fig. 38 und 39 dargestellt ist. In diesem Fall wird die Gruppierung nicht in der Eingangsstufe vorgenommen. Ein Schieberegister 56 _ÿ, welches die Gewichtsfunktion speichert, ist bezüglich jedes Eingangssignals 55 _ÿ vorgesehen. Ein Ausgangssignal jedes UND-Glieds 57 _ÿ wird über die Schaltanordnung 62 in Ab hängigkeit von dem Inhalt eines Speichers 61 _ÿ entweder in die erregende oder in die sperrende Gruppe gruppiert. Eine logische Summe wird in dem ODER-Glied 63a für die erregende Gruppe (die erregende Verbindung) erhalten, und eine logi sche Summe wird in dem ODER-Glied 63b für die sperrende (sperrende Verbindung) erhalten. Danach wird das Ausgangssig nal durch eine logische Produktverarbeitung in der Verknüp fungsschaltung 64 bestimmt.Als nächstes wird ein Fall beschrieben, bei welchem das vor stehend beschriebene Neuronale Netz bei einem Selbstlern- Zeichenerkennungssystem angewendet ist. Die erste Schicht des Neuronalen Netzes weist 256 Neuron-Einheiten, die zweite Schicht weist 20 Neuron-Einheiten und die dritte Schicht weist fünf Neuron-Einheiten auf. Zuerst wird ein in Fig. 19 dargestelltes, handgeschriebenes Zeichen mittels eines Scan ners gelesen, und das gelesene Bild wird in 16×16 Maschen bzw. Felder unterteilt. Daten in jedem Feld werden dann an jede Neuron-Einheit der ersten Schicht in dem Neuronalen Netz angelegt. Der Einfachheit halber sind die Daten eines Feldes, welche einen Teil des Zeichens enthält, als "1" angenommen, während die Daten eines Feldes, welches keinen Teil des Zei chens enthält, als "0" angenommen sind. Der Ausgang des Neu ronalen Netzes ist mit einer lichtemittierenden Diode (LED) verbunden, so daß der sich ergebende Ausgangswert unmittelbar an der LED angezeigt wird. Unter den fünf Neuronen-Einheiten der dritten Schicht soll die Neuron-Einheit, welche den größten Abgabewert abgibt, das Erkennungsergebnis abgeben. Das Lernen findet so statt, daß wenn die Zahlen "1" bis "5" in das Neuronale Netz eingegeben werden, die fünf Neuron- Einheiten der dritten Schicht, die jeweils den Zahlen "1" bis "5" entsprechen, den größten Ausgangswert abgeben. Mit an deren Worten, wenn die Zahl "1" eingegeben ist, gibt die Neuron-Einheit der dritten Schicht, welche der Zahl "1" entspricht, den größten Ausgangswert ab. Diese Eingangsteile der Neuron-Einheiten, die nicht mit einer anderen Neuron- Einheit verbunden sind, sind geerdet.Wenn jede Gewichtsfunktion beliebig eingestellt wird, ist anfangs der sich ergebende Ausgangswert notwendigerweise der erwünschte Wert. Folglich wird die Selbstlernfunktion ver wendet, um jede Gewichtsfunktion von neuem zu erhalten, und eine solche Erneuerung jeder Gewichtsfunktion wird eine vor bestimmte Anzahl Mal wiederholt, bis der gewünschte Wert als der sich ergebende Ausgangswert erhalten wird. In dieser Aus führungsform ist das Eingangssignal "0" oder "1", und die Eingangsimpulsfolge ist einfach aus Impulsen mit niedrigem und hohem Pegel gebildet. Die LED wird angeschaltet, wenn das Ausgangssignal den hohen Pegel hat, und wird ausgeschaltet, wenn das Ausgangssignal den niedrigen Pegel hat. Da die Syn chronisierimpulse (Takt) eine Frequenz von 1000 kHz haben, scheint sich in Abhängigkeit von der Impulsdichte die Hellig keit der LED für das menschliche Auge zu ändern. Folglich entspricht die LED, welche die hellste zu sein scheint, der Antwort, d. h. dem Erkennungsergebnis. Bezüglich eines Zeichens wurde nach einem ausreichenden Lernprozeß die Erkennungsrate 100%.In Fig. 42 ist eine Ausführungsform des Gruppiersystems und des Ausgangsbestimmungssystems dargestellt, was in Fig. 38 und 39 dargestellt ist. In diesem Fall wird die Gruppierung an der Eingangsstufe vorgenommen, und die Verbindungen werden in eine erregende Verbindungsgruppe a und eine sperrende Verbin dungsgruppe b gruppiert. Ein Schieberegister 81 hat zumin dest zwei Bits und speichert den Verbindungs- bzw. Kopplungs koeffizienten T_ÿ bezüglich jedes Eingangssignals 55 _ÿ. Wenn die Ausgangsignale der Gruppe a an das ODER-Glied 63a angelegt werden, werden die Ausgangssignale der Gruppe b an das ODER- Glied 63b angelegt. Die Ausgangssignale der ODER-Glieder 63a und 63b werden in ähnlicher Weise wie im Falle der in Fig. 41 dargestellten Ausführungsform in der Verknüpfungsschaltung 64 verarbeitet.In Fig. 43 ist eine Abwandlung der in Fig. 41 und 42 darge stellten Verknüpfungsschaltung wiedergegeben. Bei dieser ab gewandelten Verknüpfungsschaltung 64 ist anstelle des UND- Glieds 64a ein ODER-Glied 64c verwendet und es wird eine lo gische Summe erhalten. Dieser Prozeß der in Fig. 43 darge stellten Verknüpfungsschaltung 64 entspricht dem Prozeß, wel cher anhand von Fig. 26 beschrieben worden ist.Nunmehr wird eine dritte Ausführungsform einer Neuron-Ein heit gemäß der Erfindung anhand von Fig. 44 beschrieben. Diese Ausführungsform weist ferner eine Lernkonstanten-Einstellein richtung 82 auf, um die Lernkonstante, welche in der Gewichts funktion ändernden Schaltung verwendet wird, von außen her beliebig und veränderlich einzustellen. Mit anderen Worten, zusätzlich zu den vorstehend beschriebenen Grundregeln [1] bis [6] wird die Neuron-Einheit mit Hilfe digitaler Schaltun gen entsprechend der folgenden zusätzlichen Regel [7A] reali siert.[7A] Die Lernkonstante (Lernrate), welche während des Lern prozesses nach [6] verwendet wird, ist veränderlich, so daß generelle Anwendungen des Neuronalen Netzes ermöglicht sind.Die Lernkonstanten-Einstelleinrichtung 82 ist anstelle der Frequenzteilerschaltung 79 in Fig. 39 vorgesehen. Die Einstell einrichtung 82 weist einen Zähler 83, welcher das Fehlersig nal erhält, ODER-Glieder 84 bis 87, um eine logische Opera tion an Ausgangswerten des Zählers 83 durchzuführen, um so die Lernkonstante zu verarbeiten, Schalter Sa bis Sd, welche jeweils mit den ODER-Gliedern 84 bis 87 verbunden sind, und ein UND-Glied 88 auf, welches Ausgangssignale der ODER-Glie der 84 bis 87 erhält. Es gilt η=1,0, wenn die Schalter Sa bis Sd mit der auf hohem Pegel liegenden Seite verbunden sind und es gilt η=1/16, wenn die Schalter Sa bis Sd mit der nicht auf hohem Pegel liegenden Seite verbun den sind. Wenn die Anzahl der Schalter, welche mit der auf hohem Pegel liegenden Seite verbunden sind, mit N bezeichnet wird, gilt η=2^N/16. Folglich kann die Lernkonstante mit Hilfe der Schalter Sa bis Sd oder mit Hilfe externer Signale beliebig eingestellt werden, welche die Schalter Sa bis Sd ersetzen.Wenn die Impulsdichte als der in dem Zähler 83 eingegebene Takt verwendet wird, kann ein UND-Glied 89 bezüglich des eingegebenen Fehlersignals vorgesehen werden, wie in Fig. 44 dargestellt ist. Die Lernkonstanten-Einstellschaltung 82 ist natürlich nicht auf die in Fig. 44 dargestellte Einrich tung beschränkt; außerdem kann eine Anzahl Lernkonstanten- Einstelleinrichtung 82 vorgesehen sein. Ferner kann die Lernkonstanten-Einstelleinrichtung 82 durch externe Signale entsprechend gesteuert werden und es ist auch möglich, den Wert der Lernkonstanten, welcher für die Operation an der Gewichtsfunktion verwendet wird, verschieden von dem Wert der Lernkonstanten zu machen, welche für die Rückwärts-Fehler korrektur des Fehlersignals verwendet wird.Als nächstes wird eine vierte Ausführungsform einer Neuron- Einheit gemäß der Erfindung anhand von Fig. 45 bis 47 beschrieben. Außer den vorstehend beschriebenen Grundregeln [1] bis [6] ist bei dieser Ausführungsform die Neuron-Einheit durch digitale Schaltungen entsprechend der folgenden zusätzlichen Regel [7B] realisiert.[7B] Zwei Arten von Gewichtsfunktionen, d. h. eine erregende und eine sperrende Gewichtsfunktion, werden vorbereitet, und die Flexibilität des Neuronalen Netzes wird verbessert, um das Ergebnis der Operation an dem Eingangssignal in Abhän gigkeit von der Mehrheit der Art der verwendeten Gewichts funktionen zu bestimmen. Mit anderen Worten, eine Neuron-Einheit hat die erregende Gewichtsfunktion und die sperrende Gewichtsfunktion, und der sich ergebende Ausgangswert, welcher durch ein UND des Ein gangssignals und der Gewichtsfunktion erhalten wird, wird in Abhängigkeit von dem Verhältnis der vorhandenen erregenden und sperrenden Verbindungen verarbeitet. Dieses Verhältnis der vorhandenen erregenden und sperrenden Verbindungen be deutet das folgende. Das heißt, bezüglich der Anzahl Ein gangssignale, welche synchron einer Operation unterzogen werden, wird die Anzahl Mal wie oft der sich ergebende Aus gangswert, welcher mit Hilfe der erregenden Gewichtsfunktion erhalten worden ist "1" ist, mit der Anzahl Mal verglichen, wie oft der sich ergebende Ausgangswert, welcher mit Hilfe der sperrenden Gewichtsfunktion erhalten worden ist "1" ist, und die Neuron-Einheit gibt "0" ab, wenn letztere größer ist, und gibt sonst "1" ab. Alternativ hierzu kann die Neuron- Einheit "0" abgeben, wenn zwei dasselbe sind.In Fig. 45 und 46 sind Schaltungen dargestellt, um das Vor stehende zu realisieren. Bezüglich jedes Eingangssignals 55 sind ein Paar Schieberegister 90a und 90b vorgesehen. Eines der Schieberegister 90a und 90b speichert die erregende Ge wichtsfunktion, während das andere die sperrende Gewichts funktion speichert. Diese Schieberegister 90a und 90b können denselben Aufbau haben, wie das Schieberegister 56. Die In halte der Schieberegister 90a und 90b werden nacheinander durch eine (nicht dargestellte) Leseeinheit ausgelesen und an entsprechende UND-Glieder 91a und 91b zusammen mit dem Eingangssignal 55 angelegt. Hierzu kann eine bekannte Lese einrichtung verwendet werden.Ausgangssignale 59 und 60 der UND-Glieder 91a und 91b werden an eine in Fig. 46 dargestellte Majorität-Bestimmungsschaltung 92 angelegt. Die digitalen Signale einschließlich des Signals 59, welche mit Hilfe der in den Schieberegistern 90a gespei cherten, erregenden Gewichtsfunktionen erhalten werden, werden an einen Verstärker 93a angelegt und einem Addierprozeß un terzogen. In ähnlicher Weise werden die digitalen Signale einschließlich des Signals 60, welche mit Hilfe der in den Schieberegistern 90b gespeicherten, sperrenden Gewichtsfunk tionen erhalten werden, an einen Verstärker 93b angelegt und einem Addierprozeß unterzogen. Ausgangssignale der Verstär ker 93a und 93b werden in einem Vergleicher 94 verglichen, welcher die Majorität festlegt. Natürlich ist die Majorität- Bestimmungsschaltung 92 nicht auf die in Fig. 46 dargestellte beschränkt, sondern es kann auch irgendeine andere Art Majo rität-Bestimmungsschaltung verwendet werden.In Fig. 47 ist die Schaltung zum Gruppieren der in Fig. 45 dar gestellten Schaltung wiedergegeben. Ein Paar Speicherregister (Speicher) zum Speichern der erregenden und sperrenden Ge wichtsfunktionen bezüglich jedes Eingangssignals sind vorge sehen, und das logische Produkt wird für jede Gruppe von Schieberegistern erhalten. In Fig. 47 sind ODER-Glieder 63a und 63b anstelle der Majoritäts-Bestimmungsschaltung 92 ähn lich wie in den in Fig. 41 und 42 dargestellten Schaltungen vorgesehen. Die Verknüpfungsschaltung 64 kann den in Fig. 43 dargestellten Aufbau haben.In dieser Ausführungsform ist das Paar Schieberegister 90a und 90b für jedes Eingangssignal 55 vorgesehen. Folglich wird das Wiedereinschreiben der Gewichtsfunktion mit Hilfe der Selbstlernfunktion für jedes der Schieberegister 90a und 90b durchgeführt. Aus diesem Grund ist eine Selbstlernschaltung 95 vorgesehen, wie in Fig. 45 dargestellt ist, um die neue Ge wichtsfunktion in Verbindung mit Fig. 29 bis 31 beschrieben worden ist, und die Gleichungen zu berechnen, um die Fehler signale δ⁺j und δ⁻j zu erhalten. Diese Selbstlernschaltung 95 ist mit der Eingangsseite der Schieberegister 90a und 90b verbunden. Gemäß dieser Ausführungsform ist das Verbinden bzw. Koppeln der Neuron-Einheiten nicht nur auf das erregen de oder das sperrende Verbinden beschränkt. Folglich hat das Neuronale Netz mehr Flexibilität und ist bei generellen An wendungen anwendbar.Die Frequenzteilerschaltung 79 in Fig. 46 ist ebenfalls durch eine Lernkonstanten-Einstelleinrichtung, wie die Lernkon stanten-Einstellschaltung in Fig. 44, ersetzbar. Außerdem ist das Verfahren zum Bestimmen des Ausgangssignals mittels der Majoritäts-Bestimmungsschaltung 92 nicht auf die in Fig. 45 dargestellte Schaltung beschränkt, in welcher zwei Speicher (Schieberegister 90a und 90b) bezüglich jedes Eingangssignals vorgesehen sind. Beispielsweise kann dieses Verfahren ebenso bei einem Fall angewendet werden, bei welchem ein Speicher 56 bezüglich jedes Eingangssignals vorgesehen ist. Mit an deren Worten, außer der Kombination der Fig. 38 und 39 können auch die Fig. 38 und 46 kombiniert werden.Als nächstes wird eine fünfte Ausführungsform der Neuron- Einheit gemäß der Erfindung beschrieben. In dieser Ausfüh rungsform ist eine Schaltanordnung vorgesehen, um eine erste Betriebsart, bei welcher die Gewichtsfunktion erneuert (ge ändert) wird, oder eine zweite Betriebsart auszuwählen, in welcher die Gewichtsfunktion festgelegt ist. Zusätzlich zu den vorstehend beschriebenen Grundregeln [1] bis [6] ist bei dieser Ausführungsform die Neuron-Einheit mit Hilfe di gitaler Schaltungen gemäß der folgenden zusätzlichen Vor schrift [7C] realisiert.[7C] Die Betriebsart wird zwischen einer ersten Betriebsart, in welcher die Gewichtsfunktion erneuert (geändert) wird, oder einer zweiten Betriebsart geschaltet, bei welcher die Gewichtsfunktion festgelegt ist, wobei die erste Betriebsart einem Fall entspricht, bei welchem das Lernen (eine Rückwärts- Fehlerkorrektur) stattfindet und die zweite Betriebsart einem Fall entspricht, bei welchem kein Lernen (nur ein Vorwärts prozeß) stattfindet. In Fig. 48 ist ein wesentlicher Teil der fünften Ausführungs form dargestellt. In Fig. 48 sind diejenigen Teile, welche dieselben sind, wie die entsprechenden Teile in Fig. 38 mit denselben Bezugszeichen bezeichnet, und werden daher nicht noch einmal beschrieben. In dem Neuronalen Netz wird der Vorwärtsprozeß und die Rückwärts-Fehlerkorrektur nicht not wendigerweise ständig zur selben Zeit durchgeführt. In Ab hängigkeit von den Umständen ist nur der Vorwärtsprozeß er forderlich. Wenn beispielsweise eine Zeichenerkennung mit Hilfe der Gewichtsfunktionen durchgeführt wird, welche nach dem Lernprozeß erhalten werden, reicht es aus allein den Vorwärtsprozeß durchzuführen. Daher wird das Neuronale Netz flexibler, wenn die Betriebsart zwischen den ersten und zwei ten Betriebsarten geschaltet wird. Dieses Schalten der Be triebsart entspricht einer Steuerung, welche festlegt, ob die Gewichtsfunktion durch die neue Gewichtsfunktion zu er neuern ist oder nicht, welche, wie vorstehend in Verbindung mit Fig. 36 oder 37 beschrieben ist, erhalten wird.In Fig. 48 schaltet eine Schaltanordnung 101 die Betriebsart zwischen der ersten und der zweiten Betriebsart entsprechend einem externen Schaltsignal S, welches an einen Anschluß 101a angelegt wird. Die Schaltanordnung 101 enthält zwei UND-Glieder, ein ODER-Glied und einen Inverter, welche so, wie dargestellt, verbunden sind. Wenn die erste Betriebsart gewählt wird, gibt die Schaltanordnung 101 entsprechend dem Schaltsignal S den Ausgangswert der Verknüpfungsschaltung 80 welcher neu erhalten wird, an das Schieberegister 56 ab, um so die Gewichtsfunktion zu erneuern. Wenn dagegen die zweite Betriebsart gewählt wird, gibt die Schaltanordnung 101 ent sprechend dem Schaltsignal S selektiv den Ausgangswert des Schieberegisters 56 an das Schieberegister 56 an, um so die Gewichtsfunktion fixiert zu erhalten. Folglich kann das Neu ronale Netz als Ganzes durch das Schalten der Schaltanordnung 101 entsprechend dem Schaltsignal S gesteuert werden. In der zweiten Ausführungsform werden beispielsweise die Gewichtsfunktion und deren Vorzeichen (Polarität) in dem Speicher gespeichert. Jedoch wird der Speicherinhalt gelöscht, wenn die Energiequelle abgeschaltet wird, und der Speicherin halt muß daher in einem leistungsunabhängigen Speichermedium gespeichert werden. Wenn dagegen die Gewichtsfunktionen und deren Vorzeichen bereits über den Lernprozeß vorbereitet sind, ist es nicht notwendig, den Lernprozeß durchzuführen, sondern ist einfach notwendig, die vorbereiteten Gewichtsfunktionen und deren Vorzeichen in den Speicher zu schreiben. Aus diesem Grund würde es zweckdienlich sein, wenn ein Zugriff zu dem Speicherinhalt von außen her frei vorgenommen werden könnte.Als nächstes wird eine siebte Ausführungsform einer Neuron- Einheit gemäß der Erfindung beschrieben, bei welcher ein Zugriff zu dem Speicherinhalt von außen her vorgenommen werden kann. In Fig. 49 bis 51 sind wesentliche Teile dieser sechsten Ausführungsform dargestellt.In Fig. 49 ist ein Ausgangssignal 102 dargestellt, welches von dem Ausgang 56a des Schieberegisters 56 nach außen hin abgegeben wird. Am Eingang 56b des Schieberegisters 56 wird ein externes Signal 103 verwendet, wenn von außen gelesen oder eingeschrieben wird und es wird ein internes Signal 103′ ver wendet, wenn von außen nicht gelesen oder geschrieben wird. Folglich ist ein Selektor 111 vorgesehen, um in Abhängigkeit von einem externen Signal 104 wahlweise eines der Signale 103 und 103′ an das Schieberegister 56 anzulegen. Ein Taktsignal 106 wird verwendet, um den Inhalt des Schieberegisters 56 zu schieben und ein internes Synchronisiersignal (Takt) 105 wird so, wie es ist, als das Taktsignal 106 verwendet. Dieser interne Synchronisierimpuls 105 wird als ein Taktsignal 105′ an die Außenseite abgegeben. Eine (nicht dargestellte) externe Schaltung kann das Lesen und Schreiben bezüglich des Schie beregisters 56 synchron mit dem Taktsignal 105′ steuern. Andererseits kann ein externes Taktsignal 107 an einen Selek tor 111a angelegt werden, welcher auch den internen Synchro nisierimpuls 105 erhält, wie in Fig. 50 dargestellt ist. Der Selektor 111a legt selektiv das externe Taktsignal 107 oder den internen Synchronisierimpuls 105 an das Schieberegister 56 an, und dieser Selektor 111a wird ähnlich wie der Selektor 111 gesteuert.Wenn anstelle des Schieberegisters 56 eine Kombination aus einem RAM und einem Adressendecoder verwendet wird, wird es möglich, einen wahlfreien Zugriff zu dem RAM von der externen Schaltung aus vorzunehmen, indem ein Adressen-Bus, ein Daten- Bus und eine Steuersignalleitung für Lese-/Schreib-Steuersig nale mit der externen Schaltung verbunden werden. Im Falle eines Speichers mit zwei Anschlüssen wird ein Anschluß für das Lesen/Schreiben von der externen Schaltung aus und der andere Anschluß für die interne Verarbeitung verwendet. Im Falle eines Speichers mit einem Anschluß wird die Leitung von dem internen Adressendecoder an den Adressenbus u. ä. geschal tet, wenn der Zugriff von der externen Schaltung erfolgt. Dies kann dadurch erreicht werden, daß die Leitungen für die Signale 105 bis 107 durch den Adressen-Bus und durch die Steuersignalleitung für die Lese-/Schreib-Steuersignale er setzt werden.Als nächstes wird ein Fall anhand von Fig. 50 beschrieben, bei welchem das Lesen/Schreiben bezüglich einer Anzahl Spei cher mit Hilfe eines gemeinsamen Bus durchgeführt wird. In Fig. 51 sind nur wesentliche Teile der Fig. 49 und 50 darge stellt.Zuerst wird eine Adresse jedem Speicher 56 zugeordnet. Eine Beurteilungsschaltung 122 ist mit jedem Speicher 56 verbun den und beurteilt, ob eine Adresse, welche von der externen Schaltung empfangen worden ist, zu der dem Speicher 56 zuge teilten Adresse paßt oder nicht. Jeder Speicher wird in Abhängigkeit von einem Beurteilungsergebnis 124 ausgewählt, welches von der Beurteilungsschaltung 122 abgegeben worden ist. Wenn das Lesen/Schreiben bezüglich des Speichers 56 vorgenommen wird, wird ein Adressensignal 120, welches ei nen beliebigen der Speicher 56 bestimmt, an die Beurteilungs schaltungen 122 angelegt, so daß nur der beliebige Speicher 56 für ein Lesen/Schreiben freigegeben wird.Wenn der Speicher 56 nur einen Anschluß hat, wird ein ex ternes Signal 121 von der externen Schaltung dazu verwendet, anzuzeigen, ob das Lesen/Schreiben durchzuführen ist oder nicht. Andererseits werden alle Speicher 56 gewählt, wenn kein Lesen/Schreiben vorzunehmen ist. Ferner ist eine Ver knüpfungsschaltung 123 vorgesehen, um zu verhindern, daß die Daten an den gemeinsamen Bus für ein externes Lesen/Schreiben angelegt werden.Wenn diese Ausführungsform durch die vorstehend beschriebene Hardware realisiert wird, kann die ganze Hardware oder nur ein Teil der Hardware in dem Computer vorgesehen werden. Außerdem können Hardwareteile mit unabhängigen Funktionen kombiniert werden, um die gesamte Hardware zu bilden.Als nächstes wird eine siebte Ausführungsform einer Neuron- Einheit gemäß der Erfindung beschrieben. Zusätzlich zu den vorstehend beschriebenen Grundregeln [1] bis [6] wird bei dieser Ausführungsform die Neuron-Einheit mit Hilfe digita ler Schaltungen gemäß der folgenden zusätzlichen Vorschriften [7D] und [8D] realisiert.[7D] Wenn der Lernprozeß durchgeführt wird, werden das Ein gangssignal und das Lehrsignal in einem Speicher gespeichert, um so die Bedienung durch das Bedienungspersonal zu erleich tern.[8D] Wenn der Lernprozeß unter der Vorschrift [7D] durchge führt wird, wird die Lernrate von dem Fehler in dem sich ergebenden endgültigen Ausgang beurteilt, und die Beurteilung des Lernens wird durch das Neuronale Netz selbst vorgenommen.Der Einfachheit halber ist angenommen, daß die Neuron-Einhei ten so, wie in Fig. 2 dargestellt miteinander verbunden sind, um das Neuronale Netz zu bilden und daß dieses Neuronale Netz von dem Lehrer lernt.Damit das Neuronale Netz lernt, ist es notwendig, Eingangs signale, welche in die Eingangsschicht eingegeben werden, und ein gewünschtes Ausgangssignal vorzubereiten, d. h. ein Lehr signal, welches von der Ausgangsschicht abgegeben wird. In Fig. 2 ist die Eingangsschicht aus den Neuron-Einheiten auf der linken Seite und die Ausgangsschicht aus den Neuron-Ein heiten auf der rechten Seite gebildet.Unmittelbar nachdem ein System, wie ein Zeichenerkennungs system, bei welchem das Neuronale Netz angewendet worden ist, gestartet wird, d. h. bevor das Lernen stattfindet, werden die Gewichtsfunktionen der Neuron-Einheiten beliebig eingestellt. Aus diesem Grund wird das sich ergebende Ausgangssignal in den meisten Fällen nicht der gewünschte Wert bezüglich des Eingangssignals werden. Folglich wird jede Gewichtsfunktion so, wie oben beschrieben, geändert, indem an das Neuronale Netz das Lehrsignal angelegt wird, welches dem Eingangssig nal entspricht. Im allgemeinen hat das Neuronale Netz viele Eingangs- und Ausgangssignale. Folglich ist das Eingangssig nal bzw. das Lehrsignal selten ein Signal und existieren üblicherweise eine Gruppe von Eingangssignalen und eine Gruppe von Lehrsignalen. Außerdem wird das Lernen nicht da durch beendet, daß die Gewichtsfunktionen einmal geändert werden; der Lernprozeß wird üblicherweise einige Zehn- bis einige Tausendmal oder mehr durchgeführt. Folglich ergibt sich in dieser Hinsicht eine große Belastung für das Bedie nungspersonal. Demgemäß ist bei dieser Ausführungsform ein Speicher zum Speichern der Eingangssignaldaten und der Lehrsignaldaten vorgesehen, so daß das Eingeben der verschiedenen Daten wäh rend jedes Lernprozesses und der Lernprozeß als Ganzes ver einfacht werden, wodurch die Belastung des Bedienungsperso nals reduziert ist.Insbesondere werden Gruppen entsprechender Eingangssignal daten, welche sich für den Lernprozeß eignen, und entspre chende Gruppen von Lehrsignaldaten vorher vorbereitet. Zu mindest eine Gruppe von Eingangssignaldaten und zumindest eine Gruppe von Lehrsignaldaten werden in einem externen Speicher gespeichert, welcher extern mit dem Neuronalen Netz verbunden ist. Die in dem externen Speicher gespeicherten Daten werden in Form von Impulsfolgen gespeichert, um so die Form der Eingangssignale an das Neuronale Netz anzupassen. Alternativ hierzu ist es auch möglich, die Daten in dem ex ternen Speicher in Form von numerischen Werten zu speichern und die numerischen Werte erforderlichenfalls in entsprechen de Impulsfolgen umzusetzen. Jede Gruppe von Eingangssignal daten hat eine entsprechende Gruppe von Lehrsignaldaten, und solche entsprechenden Gruppen werden aus dem externen Spei cher ausgelesen.Nach der vorstehend beschriebenen Vorbereitung weist das Be dienungspersonal das Neuronale Netz an, den Lernprozeß durch zuführen. Entsprechend der Lernanweisung liest das Neuronale Netz die entsprechenden Gruppen Eingangssignaldaten und Lehr signaldaten aus dem externen Speicher und legt die Eingangs signaldaten an die Neuron-Einheiten in der Eingangsschicht des Neuronalen Netzes an. Dann führt das neuronale Netz den vorstehend beschriebenen Vorwärtsprozeß durch, und das Operationsergebnis wird von den Neuron-Einheiten in der Aus gangsschicht des Neuronalen Netzes erhalten. Die Lehrsignal daten, welche aus dem externen Speicher ausgelesen werden, werden dann an das Neuronale Netz angelegt, so daß das Neuronale Netz den Lernprozeß durchführen kann. Andere Grup pen von Eingangs- und Lehrsignaldaten werden nacheinander aus dem externen Speicher ausgelesen und der Vorgang, die Eingangssignaldaten an die Eingangsschicht und die Lehrsig naldaten an das Neuronale Netz anzulegen, wird erforderli chenfalls wiederholt. Das Ende des Lernprozesses kann da durch gesteuert werden, daß ein Zähler vorgesehen wird, und die Anzahl Lernprozesse gezählt werden, welche durchgeführt werden. Durch ein geeignetes Ändern der entsprechenden Grup pen von Eingangs- und Lehr-Signaldaten, welche für den Lern prozeß in Abhängigkeit von dem gezählten Wert in dem Zähler verwendet werden, ist es möglich, einen effizienten Lernpro zeß zu realisieren. Es ist nicht wesentlich, die Lehrsignal daten gleichzeitig wie die Eingangssignaldaten aus dem ex ternen Speicher auszulesen; die Lehrsignaldaten müssen nur an das Neuronale Netz zu dem Zeitpunkt angelegt werden, an welchem der Lernprozeß des Neuronalen Netzes startet.Der Lernprozeß kann auch folgendermaßen gesteuert werden. Um einen effizienten Lernprozeß zu verwirklichen. Das heißt, das sich ergebende Ausgangssignal des Neuronalen Netzes wird mit den Lehrsignaldaten verglichen, und es wird beurteilt, daß das Neuronale Netz ausreichend gelernt hat, und der Lern prozeß wird beendet, wenn der Fehler zwischen dem sich erge benden Ausgangssignal und den Lehrsignaldaten kleiner als ein vorherbestimmter Wert wird. Diese Beurteilung kann ohne weiteres Vergleichen und Ausführen einer Operation an dem sich ergebenden Ausgangssignal des Neuronalen Netzes und der Lehrsignaldaten verwirklicht werden, wenn die Lehrsignalda ten an die Neuron-Einheiten in dem Neuronalen Netz angelegt werden. Ferner kann ein Zähler in ähnlicher Weise, wie oben beschrieben vorgesehen sein und den Lernprozeß stoppen, wenn der Fehler nicht kleiner als der vorherbestimmte Wert wird, nachdem eine vorherbestimmte Anzahl von Lernprozessen durch geführt ist. In diesem Fall ist es dann möglich, die Daten zum Lernen rückzusetzen und den Lernprozeß wieder durchzu führen; diese Methode ist äußerst wirksam, wenn die Größe E in der Gl. (4) beispielsweise als ein lokales Minimum ange sehen wird.In Fig. 52 ist eine siebte Ausführungsform gemäß der Erfin dung dargestellt, welche bei dem Neuronalen Netz angewendet wird. Ein in Fig. 52 dargestelltes System 131 enthält ein hierarchisches Neuronales Netz 132, eine Steuereinheit 133, einen Speicher 134 zum Speichern der Eingangssignaldaten, einen Speicher 135 zum Speichern der Lehrsignaldaten und eine Operationsschaltung 136. Die notwendigen Daten werden vorher in den Speichern 134 und 135 gespeichert. Die Opera tionsschaltung 136 empfängt ein sich ergebendes Ausgangssig nal 132R des Neuronalen Netzes 132 und Lehrsignaldaten 135B und führt einen Vergleich und eine Beurteilung durch, wie nachstehend beschrieben wird.Wenn das Bedienungspersonal den Lernprozeß der Steuereinheit 133 befiehlt, gibt die Steuereinheit 133 Steuersignale 132A, 134A und 135A ab. Der Speicher 134 gibt Eingangssignaldaten 134B an einen Eingabeteil 132-I des Neuronalen Netzes 132 entsprechend dem Steuersignal 134A ein und der Speicher 135 gibt Lehrsignaldaten 135B an einen Ausgabeteil 132-O des Neuronalen Netzes 132 entsprechend dem Steuersignal 136A ein. Das Neuronale Netz 132 startet den Lernprozeß entspre chend dem Steuersignal 132A. Die Steuereinheit 133 enthält eine Schaltung zum Speichern der Anzahl von durchgeführten Lernprozessen. Wenn die Anzahl an Lernprozessen eine vorher bestimmte Zahl erreicht, beendet die Steuereinheit 133 den Lernprozeß des Neuronalen Netzes 132 durch Anlegen des Steu ersignals 132A. Die entsprechenden Daten werden selektiv aus den Speichern 134 und 135 ausgelesen und entsprechend den Steuersignalen 134A und 135A in Abhängigkeit von jeder Stufe des Lernprozesses in das Neuronale Netz 132 eingegeben.Der Lernprozeß kann mit Hilfe der Operationsschaltung 136 beendet werden. Insbesondere werden das sich ergebende Aus gangssignal 132R des Neuronalen Netzes 132 und die Lehrsig naldaten 135B verglichen, und ein Fehler wird in die Steuer einheit als ein Beurteilungsergebnis 136A eingegeben. Die Steuereinheit 133 beendet den Lernprozeß, wenn das Beurtei lungsergebnis 136A kleiner als ein vorherbestimmter Wert ist, während sie sonst den Lernprozeß fortsetzt. Alternativ hier zu kann die Operationsschaltung 136 beurteilen, ob der Lern prozeß zu beenden oder fortzusetzen ist, und in diesem Fall gibt die Operationsschaltung 136 das Beurteilungsergebnis in die Steuereinheit 133 als das Beurteilungsergebnis 136A ein. Ferner kann in diesen beiden Fällen die Operationsschal tung 136 in der Steuereinheit 133 enthalten sein. Außerdem kann der Lernprozeß des Neuronalen Netzes 132 durch eine Verknüpfung des Beurteilungsergebnisses 136A und der Anzahl an durchgeführten Lernprozessen gesteuert werden, welche in der Steuereinheit 133 gespeichert sind. Natürlich können die Operationen von Teilen des Systems 131 auch von einem Computer ausgeführt werden.Als nächstes wird eine achte Ausführungsform der Erfindung beschrieben. Zusätzlich zu den vorstehend beschriebenen Grund regeln [1] bis [6] kann bei dieser Ausführungsform die Neuron-Einheit mit Hilfe von digitalen Schaltungen entspre chend der folgenden zusätzlichen Regel [7E] ausgeführt wer den.[7E] Die Länge der Impulsfolge, d. h. die Datenlänge, welche die Gewichtsfunktion beschreibt, wird veränderlich gemacht, um so die Berechnungsgenauigkeit des Neuronalen Netzes zu verbessern.In Fig. 53 ist ein wesentlicher Teil der achten Ausführungs form dargestellt, wobei diejenigen Teile, welche dieselben wie die entsprechenden Teile in Fig. 38 sind, mit denselben Bezugszeichen bezeichnet und nicht noch einmal beschrieben werden. In Fig. 53 ist die Impulsdichte des Ausgangssignals des Ausgangssignals der UND-Schaltung 57 annähernd das Pro dukt der Impulsdichte des Eingangssignals und der Impuls dichte der Gewichtsfunktion, und die UND-Schaltung 57 arbei tet ähnlich wie wenn logische Produkte von Signalen in dem logischen System erhalten werden. Die Impulsdichte des Aus gangssignals der UND-Schaltung 57 ist stärker dem Produkt der Impulsdichten der zwei angelegten Signale angenähert, wenn die Impulsfolgen der zwei Signale länger sind, und wenn die "Einsen" und "Nullen" beliebiger in den Impulsfolgen ange ordnet werden. Die "Nullen" oder "Einsen" werden konzentriert, wenn die "Nullen" oder "Einsen" nicht beliebig angeordnet wer den.Folglich können, indem die Länge der Impulsfolge (die Daten länge) der Gewichtsfunktion veränderlich gemacht wird, und die Länge der Impulsfolgen in Abhängigkeit von den Umständen eingestellt wird, die "Einsen" und "Nullen" beliebiger an geordnet werden. Insbesondere kann, wenn die Impulsfolge der Gewichtsfunktion kurz im Vergleich zu der Impulsfolge des Eingangssignals ist und nicht mehr Daten als die Gewichts funktion gelesen werden können, das Auslesen auf den Anfang der Impulsfolge der Gewichtsfunktion zurückkehren und ein solches Auslesen in Abhängigkeit von der Länge der Impuls folge des Eingangssignals wiederholt werden.In Fig. 54 ist ein Fall dargestellt, bei welchem die Länge der Impulsfolge des Eingangssignals 12 ist, und die Gewichts funktion für drei Fälle 6/12 ist, d. h. für einen Fall, bei welchem die Länge der Impulsfolge der Gewichtsfunktion 6 ist, für einen Fall, bei welchem die Länge der Impulsfolge der Gewichtsfunktion 8 ist, und für einen Fall, bei welchem die Länge der Impulsfolge der Gewichtsfunktion 12 ist. In dem Fall, wo die Länge der Impulsfolge der Gewichtsfunktion 6 ist, wird die Länge der Impulsfolge der Gewichtsfunktion einmal wiederholt, d. h. die Gesamtlänge der Impulsfolge der Gewichtsfunktion wird einmal geshiftet, um sie so der Länge der Impulsfolge des Eingangssignals anzupassen. In dem Fall, wo die Länge der Impulsfolge der Gewichtsfunktion 8 ist, wird die Länge der Impulsfolge der Gewichtsfunktion 0,5-mal wiederholt, d. h. 0,5-mal wird die Gesamtlänge der Impulsfolge der Gewichtsfunktion einmal geshiftet, um sie der Länge der Impulsfolge des Eingangssignals anzupassen.Es kann ohne weiteres aus Fig. 54 ersehen werden, daß, obwohl die Gewichtsfunktion für die drei Fälle 6/12 ist, sich die zufällige Beschaffenheit der Impulsfolge der Gewichtsfunktion verbessert, wenn deren Länge durch Wiederholen derselben Im pulsfolgen geändert wird, um sie der Länge der Impulsfolge des Eingangssignals anzupassen. Wenn die zufällige Beschaf fenheit der Impulsfolge verbessert ist, ist es möglich, kann auch die Berechnungsgenauigkeit des Neuronalen Netzes als Ganzes verbessert werden.In Fig. 53 ist ein Steuersignal 56c von einer externen Schal tung, wie einer Steuerschaltung, an das Schieberegister 56 angelegt, um so die Bitlänge der zu schiebenden Daten zu steuern. Im Ergebnis ist es dann möglich, die Länge der Im pulsfolge (die Datenlänge) der Gewichtsfunktion variabel zu machen.Als nächstes wird eine neunte Ausführungsform der Erfindung beschrieben. Zusätzlich zu den vorstehend beschriebenen Grund regeln [1] bis [6] wird bei dieser Ausführungsform die Neuron- Einheit mit Hilfe digitaler Daten gemäß der folgenden zusätz lichen [7F] verwirklicht.[7F] In dem Neuronalen Netz können die Eingangs- und Ausgangs signale in analoger Form verbessert werden.Wie oben beschrieben, sind die in dem Neuronalen Netz ver arbeiteten Signale digitale Signale, d. h. Impulsfolgen. Um analoge Signale in das Neuronale Netz einzugeben, werden daher die digitalen Daten in Impulsfolgen umgewandelt, welche Information in Form von Impulsdichten enthalten. Die Umwand lung kann dadurch verwirklicht werden, daß eine Umsetzein heit an dem Eingangssignal-Eingabeteil jeder Neuron-Einheit vorgesehen wird, die zu der Eingangsschicht des Neuronalen Netzes gehört, und dadurch, daß eine Umsetzeinheit an dem Lehrsignal-Eingabeteil jeder Neuron-Einheit vorgesehen wird, welche zu der Ausgangsschicht des Neuronalen Netzes gehört.Für eine Analog-Digital-(A/D-)Umsetzung kann eine in Fig. 55A dargestellte Schaltung 141 verwendet werden. Ein Vergleicher 143 der Schaltung 141 vergleicht ein Eingangssignal (eine Analogspannung) 144 mit einem thermischen Rauschen (einer Spannnung) 142 eines Transistors u. ä. und gibt ein Signal 145 ab, welches an die Neuron-Einheit angelegt wird, welche zu der Eingangsschicht des Neuronalen Netzes gehört. Das ther mische Rauschen 142 wird an den Vergleicher 143 als eine Zu fallszahl angelegt. Folglich ist das von der Schaltung 141 abgegebene Signal 145 eine Impulsfolge, welche proportional zu dem Eingangssignal 144 ist, und in welcher die Impulse in zufälligen Intervallen vorhanden sind.Als eine zweite Methode einer A/D-Umsetzung kann eine in Fig. 55B dargestellte Schaltung 146 verwendet werden. Die Schaltung 146 weist einen Verstärker 149, einen A/D-Umsetzer 147 und einen Speicher 148 auf, in welchem Impulsfolgedaten vorgespeichert werden, welche verschiedenen Eingangswerten entsprechen. Das Eingangssignal (die Analogspannung) 144 wird an den A/D-Umsetzer 147 über den Verstärker 149 ange legt, und binäre Ausgangsdaten des A/D-Umsetzers 147 werden an den Speicher 148 als ein Adressensignal angelegt. Basie rend auf dem Adressensignal werden die vorgespeicherten Im pulsfolgedaten, welche dem Eingangssignalwert entsprechen, aus dem Speicher 148 gelesen, und an die Neuron-Einheit an gelegt, welche zu der Eingangsschicht des Neuronalen Netzes gehört. Natürlich kann auch der Verstärker 149 weggelassen werden. Als eine dritte Methode einer A/D-Umsetzung kann ein Aus gangssignal des A/D-Umsetzers mit Hilfe einer (nicht darge stellten) einen Pseudo-Zufallsimpuls erzeugenden Schaltung in serielle Impulsfolge umgewandelt werden. Ähnlich wie im Falle der Eingangssignale an dem Neuronalen Netz sind auch dessen Ausgangssignale Impulsfolgen, welche Information in Form von Impulsdichten enthalten. Um analoge Signale von dem Neuro nalen Netz abzugeben, werden die Impulsfolgen (digitalen Da ten) in analoge Daten umgesetzt. Die Umsetzung kann dadurch verwirklicht werden, daß eine Umsetzeinheit an dem Signalaus gabeteil jeder Neuron-Einheit vorgesehen wird, welche zu der Eingangsschicht des Neuronalen Netzes gehört.Als erste Methode einer Digital-Analog-(D/A-)Umsetzung kann eine in Fig. 56A dargestellte Schaltung 150 verwendet werden. Die Schaltung 150 weist einen Zähler 151, einen D/A-Umsetzer 152 und einen Verstärker 154 auf. Der Zähler 151 zählt die Anzahl Impulse, welche von der Neuron-Einheit empfangen wor den sind, welche zu der Ausgangsschicht des Neuronalen Netzes gehört, und gibt den gezählten Wert als einen binären Daten wert ab. Der binäre Datenwert wird durch denD/A-Umsetzer 152 in ein analoges Signal 153 umgesetzt und wird durch den Ver stärker 154 verstärkt. Die Impulse, welche von der Neuron- Einheit empfangen worden sind, welche zu der Ausgangsschicht des neuronalen Netzes gehören, werden in zufälligen Zeitinter vallen erzeugt, und folglich kann, wenn diese Impulse an den Zähler 151 während Bezugszeitintervallen angelegt werden, die Impulsfolge, welche die Information in Form der Impulsdichte enthält, in die Binärdaten umgesetzt werden, welche dieselbe Information anzeigen. Normalerweise wird dieser Umsetzvor gang wiederholt. Natürlich kann auch der Verstärker 154 weg gelassen werden.Als ein zweites Verfahren einer D/A-Umsetzung kann eine in Fig. 56B dargestellte Schaltung 155 verwendet werden. Die Schaltung 155 weist einen Frequenz-Spannungs-(F/S-)Umsetzer 156 und einen Verstärker 154 auf. Der F/S-Umsetzer 156 er zeugt eine Ausgangsspannung 153, welche von der Frequenz der Impulse abhängt, welche von der Neuron-Einheit empfangen wor den sind, welcher zu der Ausgangsschicht des Neuronalen Net zes gehört, d. h. von der Impulsdichte abhängt. Die Ausgangs spannung 153 des F/S-Umsetzers 156 wird durch den Verstärker 154 verstärkt. Da die Impulsdichte der Impulsfolge einer Art Frequenzmodulation entspricht, kann das entsprechende Analogsignal (die Spannung) 153 ohne weiteres mit Hilfe des F/S-Umsetzers 156 erhalten werden, welcher ein i. a. erhält liches Element ist. Wiederum kann der Verstärker 154 wegge lassen werden.Als eine dritte Methode einer D/A-Umsetzung kann eine in Fig. 56C dargestellte Schaltung 157 verwendet werden. Die Schaltung 157 weist eine Treiberschaltung 158 und eine LED 159 auf. Die Impulse, welche von der zu der Ausgangsschicht des Neuronalen Netzes gehörenden Neuron-Einheit erhalten wor den sind, werden über die Treiberschaltung 158 an die LED 159 angelegt. Folglich wird, wenn der Bezugstakt eine ausreichend hohe Frequenz hat, die Helligkeit der LED 159 proportional zu der Impulsdichte der Impulsfolge. In diesem Fall kann der sich ergebende Ausgangswert des Neuronalen Netzes visuell und direkt festgestellt werden. Folglich erleichtert die dritte Methode die Übertragung des sich ergebenden Ausgangssignals in Form eines optischen Signals.Als nächstes wird eine zehnte Ausführungsform der Erfindung beschrieben. In dieser Ausführungsform ist ein Neuronales Netz durch eine Vielzahl von Neuron-Einheiten wie solchen der vorher beschriebenen Ausführungsformen gebildet. Eine Anzahl solcher Neuronaler Netze wird dann verbunden, um ein großes Neuronales Netz zu bilden, wie in Fig. 57 dargestellt ist. In dieser Ausführungsform sind sechs Neuronale Netze NW1 bis NW6 miteinander verbunden, um das große Neuronale Netz zu bilden, und die sechs Neuronalen Netze NW1 bis NW6 empfangen entsprechende Bits von Eingangssignalen y1 bis y6. Mit anderen Worten, die Anzahl der Neuronalen Netze, welche miteinander verbunden sind, ist gleich der Anzahl Bits der Eingangssignale.Als nächstes wird ein Fall beschrieben, bei welchem das vor stehend beschriebene große Neuronale Netz in einem Selbst lern-Zeichenerkennungssystem verwendet wird. Die erste Schicht des Neuronalen Netzes enthält 256 Neuron-Einheiten, die zweite Schicht enthält 20 Neuron-Einheiten und die dritte Schicht enthält fünf Neuron-Einheiten. Zuerst wird ein in Fig. 9 dargestelltes, handgeschriebenes Zeichen mittels eines Scanners gelesen, und das gelesene Bild wird in 16×16 Felder unterteilt. Die Daten in jedem Feld werden dann an jede Neuron-Einheit der ersten Schicht des Neuronalen Netzes angelegt. Der Einfachheit halber ist der Datenwert eines Fel des, welches einen Teil des Zeichens enthält, mit "1" ange nommen, während der Datenwert eines Feldes, welches keinen Teil des Zeichens enthält, ist mit "0" angenommen. Der Aus gang des Neuronalen Netzes ist mit einer LED verbunden, so daß das sich ergebende Ausgangssignal direkt an der LED an gezeigt wird. Von den fünf Neuron-Einheiten der dritten Schicht soll die Neuron-Einheit, welche das größte Ausgangs signal abgibt, das Erkennungsergebnis abgeben. Das Lernen findet so statt, daß wenn die Zahlen "1" bis "5" in das Neu ronale Netz eingegeben werden, die fünf Neuron-Einheiten der dritten Schicht, welche den Zahlen "1" bis "5" entspre chen, das größte Ausgangssignal abgeben. Mit anderen Worten, wenn die Zahl "1" eingegeben ist, gibt die Neuron-Einheit der dritten Schicht, welche der Zahl "1" entspricht, das größte Ausgangssignal ab.Alle Eingangssignaldaten sind aus 128 Bits gebildet. Folglich wurden 128 identische Neuronale Netze miteinander verbunden, um das große Neuronale Netz zu bilden. Wenn jede Gewichtsfunk tion beliebig eingestellt wird, ist anfangs der sich ergebende Ausgangswert nicht notwendigerweise der gewünschte Wert. Folglich wird die Selbstlernfunktion verwendet, um von neuem jede Gewichtsfunktion zu erhalten, und eine solche Erneuerung jeder Gewichtsfunktion wird eine vorherbestimmte Anzahl Mal wiederholt, bis der gewünschte Wert als der sich ergebende Ausgangswert erhalten wird. In dieser Ausführungsform ist das Eingangssignal "0" oder "1", und die Eingangsimpulsfolge ist einfach aus Impulsen mit niedrigem und hohem Pegel ge bildet. Die LED wird eingeschaltet, wenn das Ausgangssignal den hohen Pegel hat, und wird ausgeschaltet, wenn das Aus gangssignal den niedrigen Pegel hat. Da die Synchronisierim pulse (der Takt) eine Frequenz von 1000 kHz hat, scheint sich für das menschliche Auge die Helligkeit der LED in Abhängig keit von der Impulsdichte zu ändern. Folglich entspricht die LED, welche die hellste zu sein scheint, der Antwort, d. h. dem Erkennungsergebnis. Bezüglich eines Zeichens, das aus reichend eingelernt wurde, betrug die Erkennungsrate 100%.In den vorstehend beschriebenen Ausführungsformen führt das Neuronale Netz eine parallele Verarbeitung durch. Wenn je doch der Umfang des Neuronalen Netzes groß wird, wird es schwierig, tatsächlich die erforderliche Anzahl zu erzeugen, welche das neuronale Netz bilden. Wenn es eine Neuron-Einheit gäbe, welche die Funktionen einer Anzahl Neuron-Einheiten hätten, würde es möglich sein, den Umfang des gesamten Neu ronalen Netzes zu verringern.Als nächstes wird daher eine elfte Ausführungsform der Er findung beschrieben, in welcher eine Neuron-Einheit die Funktionen von zwei Neuron-Einheiten in derselben Schicht des Neuronalen Netzes hat.In Fig. 58 sind zwei Neuron-Einheiten 161 und 162 dargestellt, welche jeweils Eingangssignale 164 bzw. 165 für den Vor wärtsprozeß empfangen bzw. Ausgangssignale 166 bzw. 167 des Vorwärtsprozesses abgeben. Fehlersignale 170 bzw. 172 werden von einer unmittelbar folgenden Schicht des Neuronalen Netzes aus verbreitet, und Fehlersignale 168 und 169 werden in einer unmittelbar vorhergehenden Schicht des Neuronalen Netzes rückwärts fehlerkorrigiert. Tatsächlich wird jedes Signal über eine Anzahl Signalleitungen erhalten.In Fig. 59 ist ein Diagramm dargestellt, anhand welchem eine erste Methode erläutert wird, um die Funktionen der zwei in Fig. 58 dargestellten Neuron-Einheiten 161 und 162 durch eine einzige Neuron-Einheit 173 zu verwirklichen. In Fig. 59 sind die Signale, welche dieselben sind, wie die entspre chenden Signale in Fig. 58, mit denselben Bezugszeichen be zeichnet und werden daher nicht noch einmal beschrieben.Als nächstes wird anhand von Fig. 60 bis 62 die in Fig. 59 dargestellte Schaltung beschrieben. Zuerst werden Eingangs signale 174 und 175 eingegeben und in entsprechenden Spei chern 182 und 183 gespeichert. Die Neuron-Einheit 173 führt eine Operation an dem Eingangssignal 174 durch und speichert ein Ausgangssignal in einem Speicher 175. Folglich endet der Vorwärtsprozeß bezüglich des Eingangssignals 174.Als nächstes wird, wie in Fig. 61 dargestellt, das Eingangs signal 175, welches in dem Speicher 183 gespeichert ist, aus gelesen und an die Neuron-Einheit 173 angelegt. Die Neuron- Einheit 173 führt folglich eine Operation an dem Eingangs signal 175 durch und gibt das Ausgangssignal 177 ab. Gleich zeitig gibt die Neuron-Einheit 173 das Ausgangssignal 176 ab, welches in dem Speicher 175 gespeichert ist. Folglich werden die Ausgangssignale 176 und 177, welche jeweils die Ergebnisse der an den Eingangssignalen 174 und 175 durchgeführten Opera tionen sind, als die Ergebnisse des Vorwärtsprozesses abgege ben.Eine Operation wird dann in der unmittelbaren Nähe der fol genden Schicht des Neuronalen Netzes auf der Basis der Aus gangssignale 176 und 177 durchgeführt, und die Fehlersignale 180 und 181 werden schließlich rückwärts-fehlerkorrigiert. Zuerst wird das rückwärts-fehlerkorrigierte Fehlersignal 180 in einem Speicher 176 gespeichert. Das rückwärts-fehler korrigierte Fehlersignal 181 wird an die Neuron-Einheit 173 angelegt, welche an ihm eine Operation ausführt, und ein Fehlersignal, welches von der Neuron-Einheit 173 abgegeben wird, wird in einem Speicher 174 gespeichert. Als nächstes werden das Fehlersignal 180, welches in dem Speicher 176 gespeichert ist, und das Eingangssignal 174, welches in dem Speicher 182 gespeichert ist, rechtzeitig ausgelesen und an die Neuron-Einheit 173 angelegt, welche an diesem eine Opera tion durchführt. Folglich gibt die Neuron-Einheit 173 das Fehlersignal 178 ab, und das in dem Speicher 184 gespeicherte Fehlersignal wird als das Fehlersignal 179 abgegeben, wodurch dann die Operation der Neuron-Einheit 173 endet.Die Leitung, an welcher das Signal abzugeben ist, und die Leitung, von welcher aus das Signal eingegeben wird, können entsprechend ausgewählt werden, indem ein Schalter u. ä. an jeder der Leitungen 187 bis 190 vorgesehen wird, welche mit der Neuron-Einheit 173 verbunden sind.Als nächstes wird die Gewichtsfunktion und deren positives oder negatives Vorzeichen beschrieben, welche in der Neuron- Einheit gespeichert sind. Die Gewichtsfunktion und ihr Vor zeichen können in den jeweiligen Speichern, wie in Fig. 63 dargestellt ist, durch Schalten von Schaltern SW1 und SW2 unabhängig gespeichert werden. Andererseits können sowohl die Gewichtsfunktion als auch deren Vorzeichen in demselben Spei cher 56 gespeichert werden, wie in Fig. 64 dargestellt ist.Der vorstehend beschriebene Speicher 185 ist vorgesehen, um gleichzeitig die Ausgangssignale 176 und 177 abzugeben. Folg lich kann der Speicher 185 weggelassen werden, wenn es nicht erforderlich ist, gleichzeitig die Ausgangssignale 176 und 177 zu speichern. Der Speicher 184 ist vorgesehen, um gleichzei tig die Fehlersignale 178 und 179 abzugeben, welche in der unmittelbar vorhergehenden Schicht des Neuronalen Netzes rückwärts-fehlerzukorrigieren sind. Folglich kann der Spei cher 184 ebenfalls weggelassen werden, wenn die Fehlersignale 178 und 179 nicht gleichzeitig abgegeben werden müssen.Der Speicher 183 ist vorgesehen, um vorübergehend die Ein gangssignale 174 und 175 zu speichern, welche gleichzeitig empfangen werden. Wenn das Eingangssignal 175 sich nicht in den in Fig. 60 und 62 dargestellten Zuständen ändert, kann dieser Speicher 183 weggelassen werden. Die Speicher 182 und 186 können aus entsprechenden Gründen weggelassen werden. In der beschriebenen Ausführungsform hat die einzelne Neuron- Einheit die Funktionen von zwei Neuron-Einheiten. Daher ist es natürlich für die einzelne Neuron-Einheit auch möglich, die Funktionen von drei oder mehr Neuron-Einheiten zu haben. Außerdem kann die einzelne Neuron-Einheit die Funktionen von zwei oder mehr Neuron-Einheiten haben, welche zu verschie denen Schichten des Neuronalen Netzes gehören. Die Schaltungs technik, welche für die einzelne Neuron-Einheit erforderlich ist, welche solche Funktionen hat, kann bequem mit Hilfe integrierter Schaltungen (ICs) verwirklicht werden.Als nächstes wird ein Fall beschrieben, bei welchem ein Neu ronales Netz aus den vorstehend beschriebenen Neuron-Ein heiten bei einem Selbstlern-Zeichenerkennungssystem angewen det wird. Die erste Schicht des Neuronalen Netzes weist 256 Neuron-Einheiten, die zweite Schicht weist 20 Neuron-Ein heiten und die dritte Schicht weist fünf Neuron-Einheiten auf. Als erstes wird ein in Fig. 19 dargestelltes, handge schriebenes Zeichen mittels eines Scanners gelesen und das gelesene Bild wird in 16×16 Felder unterteilt. Die Daten in jedem Feld werden an jede Neuron-Einheit der ersten Schicht in dem Neuronalen Netz angelegt. Der Einfachheit halber wird der Datenwert eines Feldes, welches einen Teil des Zeichens aufweist mit "1" angenommen während der Datenwert eines Feldes welches keinen Teil des Zeichens enthält, mit "0" angenommen wird. Der Ausgang des Neuronalen Netzes ist mit LED verbunden, so daß das sich ergebende Ausgangssignal un mittelbar an der LED angezeigt wird. Von den fünf Neuron- Einheiten der dritten Schicht soll die Neuron-Einheit, welche das größte Ausgangssignal abgibt, das Erkennungsergebnis ab geben. Das Lernen findet so statt, daß, wenn die Zahlen "1" bis "5" in das Neuronale Netz eingegeben werden, die fünf Neuron-Einheiten der dritten Schicht, welche den Zahlen "1" bis "5" entsprechen, das größte Ausgangssignal abgeben. Mit anderen Worten, wenn die Zahl "1" eingegeben wird, gibt die Neuron-Einheit der dritten Schicht, welche der Zahl "1" ent spricht, das größte Ausgangssignal ab.Wenn anfangs jede Gewichtsfunktion beliebig eingestellt wird, ist der sich ergebende Ausgangswert nicht notwendigerweise der gewünschte Wert. Folglich wird die Selbstlern-Funktion benutzt, um jede Gewichtsfunktion von neuem zu erhalten, und eine derartige Erneuerung jeder Gewichtsfunktion wird eine vorherbestimmte Anzahl Mal wiederholt, bis der gewünschte Wert als der sich ergebende Ausgangswert erhalten wird. In dieser Ausführungsform ist das Eingangssignal "0" oder "1", und die eingegebene Impulsfolge ist einfach aus Impulsen mit einem niedrigen und einem hohen Pegel gebildet. Die LED wird eingeschaltet, wenn das Ausgangssignal den hohen Pegel hat und wird ausgeschaltet, wenn das Ausgangssignal den niedrigen Pegel hat. Da die Synchronisierimpulse (der Takt) eine Frequenz von 1000 kHz haben, scheint sich für das mensch liche Auge die Helligkeit der LED in Abhängigkeit von der Impulsdichte zu ändern. Folglich entspricht die LED, welche die hellste zu sein scheint, der Antwort, d.h. dem Erkennungs ergebnis. Bezüglich eines Zeichens betrug nach einem ausrei chenden Lernprozeß die Erkennungsrate 100%.Als nächstes wird eine zwölfte Ausführungsform der Erfindung beschrieben, wobei Fig. 65 einen wesentlichen Teil dieser Aus führungsform zeigt. In Fig. 65 sind diejenigen Teile, welche dieselben wie die entsprechenden Teile in Fig. 39 sind, mit denselben Bezugszeichen bezeichnet und werden daher nicht noch einmal beschrieben. In Fig. 65 entspricht eine ODER-Schal tung 216 dem vorstehend in Verbindung mit Fig. 24 beschriebenen Prozeß.Beim Durchführen einer parallelen Verarbeitung ist die Anzahl an Eingangssignalen extrem groß, und die Zwischenverbindun gen in dem Neuronalen Netz sind extrem komplex, wenn eine Zeichenerkennung u. ä. durchgeführt wird. Folglich wird in dieser Ausführungsform eine serielle Verarbeitung bezüglich eines Teils der Daten durchgeführt, so daß die Anzahl an Zwischenverbindungen stark verringert wird. Im Falle einer ladungsgekoppelten Einrichtung (CCD) werden die Daten seriell für jede Zeile ausgelesen. Folglich ist es in einem solchen Fall günstiger, die serielle Verarbeitung bezüglich eines Teils der Daten durchzuführen.Zuerst können, wenn die Ausgangswerte a und b berechnet wer den, was in Verbindung mit Fig. 25 beschrieben worden ist, die Berechnungen unabhängig für das Ausgangssignal a und für das Ausgangssignal b durchgeführt werden. Um die Ausgangs signale a und b für 256 Eingänge zu berechnen, werden bei spielsweise zuerst die Ausgangssignale a und b für 64 Ein gangssignale berechnet. Die Berechnung der Ausgangssignale a und b für 64 Eingangssignale wird nacheinander viermal durchgeführt, und die Ausgangssignale a und b werden schließ lich erhalten, indem eine ODER-Funktion der vier Ausgangs signale a und eine ODER-Funktion der vier Ausgangssignale b genommen wird. Dieses Prinzip kann zum Durchführen der seriel len Verarbeitung angewendet werden.Die Ausgangssignale a und b, welche durch den ersten Prozeß erhalten werden, werden in Speichern 215 gespeichert, welche in Fig. 65 dargestellt sind. Die Ausgangssignale a und b, wel che durch die zweiten bis vierten Prozesse erhalten werden, werden ebenso in den Speichern 215 gespeichert. Nachdem vier Ausgangssignale a in einem Speicher 215 und vier Ausgangssig nale b in dem anderen Speicher 215 gespeichert sind, werden die vier Ausgänge a in paralleler Form von dem einen Speicher 215 ausgelesen und an eine ODER-Schaltung 216 angelegt, und die vier Ausgangssignale b werden in paralleler Form aus dem anderen Speicher 215 ausgelesen und an die andere ODER-Schal tung 216 angelegt. Folglich endet die Berechnung nach vier Bezugstaktimpulsen. Die serielle Verarbeitung wird möglich nachdem der Prozeß y_i=a∩b, was in Verbindung mit Fig. 25 beschrieben worden ist, bezüglich der Ausgangssignale der ODER-Schaltungen 216 durchgeführt ist. Ein Schieberegister u. ä. kann anstelle des Speichers 215 verwendet werden.Das Ausgangssignal der Verknüpfungsschaltung 64 wird an die nächste Schicht des Neuronalen Netzes angelegt. Da jedoch das Ausgangssignal von der Verknüpfungsschaltung 64 nach einer Anzahl Taktimpulse an die nächste Schicht angelegt wird, muß die Operation der Neuron-Einheiten bezüglich der nächsten Schicht entsprechend verzögert werden. Es können Taktimpulse, welche durch Frequenzteilen der Bezugstaktimpulse erhalten werden, in einem (nicht dargestellten) Taktgenerator erzeugt werden und es kann ein Schalter u. ä. an der Neuron-Einheit vorgesehen sein, so daß jede Neuron-Einheit den Bezugstakt impuls oder den Taktimpuls empfangen kann. Andererseits kann ein Frequenzteiler in der Neuron-Einheit vorgesehen sein, so daß die Taktimpulse aus den Bezugstaktimpulsen in der Neuron- Einheit erzeugt werden können. Auf jeden Fall wird eine all gemeinere Anwendung des Neuralen Netzes möglich, wenn solche Maßnahmen getroffen sind, daß die Neuron-Einheit selektiv den Bezugstaktimpuls oder den Taktimpuls empfangen kann.Der Impuls des Fehlersignals wird nur rückwärts-fehler korrigiert, nachdem die vier seriellen Verarbeitungen been det sind. Jedoch sind die Impulse des Eingangssignals, die Gewichtsfunktion und deren Vorzeichen, welche für den Vor wärtsprozeß verwendet werden, für das Lernen und Rückwärts- Fehlerkorrigieren des Fehlersignals erforderlich. Wenn die serielle Verarbeitung durchgeführt wird, werden die Impulse, welche den ersten drei Verarbeitungen entsprechen, bereits ausgelesen, wenn die Operation an dem Impuls des Fehlersig nals durchgeführt wird, und die Impulse, welche den ersten drei Verarbeitungen entsprechen, müssen wieder ausgelesen wer den. Folglich werden, nachdem der Vorwärtsprozeß für die vier seriellen Verarbeitungen durchgeführt ist, die ersten bis 64-sten Impulse wieder eingegeben oder aus dem Speicher aus gelesen und werden für Operationen verwendet, welche für die Rückwärts-Fehlerkorrektur des Fehlersignals und den Lern prozeß notwendig sind. Danach wird die Operation an den näch sten 65-sten bis 128-sten Impulsen durchgeführt. Die vorste hend beschriebene Operation wird insgesamt viermal wiederholt, bevor die Operationen an den 256 Eingängen enden.Wie oben beschrieben, werden die Daten, welche bei dem Vor wärtsprozeß verwendet worden sind, für den Lernprozeß ver wendet. Folglich können die Daten, welche bei dem Vorwärts prozeß verwendet worden sind, in einem unabhängigen Speicher gespeichert und für den Lernprozeß ausgelesen werden. Anderer seits kann eine Halteschaltung bezüglich des Eingangssignals vorgesehen werden, welches von außen her empfangen wird und ein Adressendecodierer kann bezüglich der Gewichtsfunktion u. ä. vorgesehen sein, welche in dem Speicher gespeichert ist, um dieselbe Adresse wie die gespeicherte Gewichtsfunktion ab zugeben, so daß die Daten, welche mit denen zur Zeit des Vor wärtsprozesses identisch sind, bei dem Lernprozeß eingegeben werden.Außerdem kann ein Schalter 221 vorgesehen sein, so daß die in Fig. 65 dargestellte Schaltung zwischen zwei Betriebsarten geschaltet werden kann, d. h. einer Betriebsart, bei welcher die parallele Verarbeitung so,wie in Verbindung mit Fig. 39 beschrieben, durchgeführt wird, und einer Betriebsart, bei welcher die serielle Verarbeitung durchgeführt wird. Um parallele Daten in das Neuronale Netz einzugeben, welches die serielle Verarbeitung durchführt, ist eine Parallel-Seriell- Umsetzerschaltung am Eingang des Neuronalen Netzes vorgesehen, und ein bekanntes Verfahren, wie das Verfahren, bei welchem ein Schieberegister verwendet ist, kann benutzt werden, um einen Parallel-Seriell-Umsetzer zu verwirklichen.Als nächstes wird ein Fall beschrieben, bei welchem das vor stehend beschriebene Neuronale Netz als ein Selbstlern- Zeichenerkennungssystem verwendet wird. Die erste Schicht des Neuronalen Netzes enthält 256 Neuron-Einheiten, die zweite Schicht enthält 20 Neuron-Einheiten und die dritte Schicht enthält fünf Neuron-Einheiten. Als erstes wird ein in Fig. 19 dargestelltes, handgeschriebenes Zeichen mittels eines Scanners gelesen, und das gelesene Bild wird dann in 16×16 Felder aufgeteilt. Die Daten in jedem Feld werden dann an jede Neuron-Einheit der ersten Schicht des Neuronalen Netzes angelegt. Der Einfachheit halber wird der Datenwert eines Feldes, welcher einen Teil des Zeichens enthält, als "1" genommen, während der Datenwert des Feldes, welches keinen Teil des Zeichens enthält, als "0" genommen wird. Der Ausgang des Neuron-Einheiten-Netzes ist mit einer LED verbun den, so daß das sich ergebende Ausgangssignal unmittelbar an der LED angezeigt wird. Von den fünf Neuron-Einheiten der dritten Schicht soll die Neuron-Einheit, welche das größte Ausgangssignal abgibt, das Erkennungsergebnis abgeben. Das Lernen findet statt, so daß während die Zahlen "1" bis "5" in das Neuronale Netz eingegeben werden, die fünf Neuron- Einheiten der dritten Schicht, welche den Zahlen "1" bis "5" entsprechen, das größte Ausgangssignal abgeben. Mit anderen Worten, wenn die Zahl "1" eingegeben wird, gibt die Neuron- Einheit der dritten Schicht, welche der Zahl "1" entspricht, den größten Ausgangswert ab. Wenn anfangs jede Gewichtsfunk tion beliebig eingestellt wird, ist der sich ergebende Aus gangswert nicht notwendigerweise der gewünschte Wert. Folg lich wird die Selbstlern-Funktion benutzt, um jede Gewichts funktion von neuem zu erhalten, und eine solche Erneuerung jeder Gewichtsfunktion wird eine vorherbestimmte Anzahl Mal wiederholt, bis der gewünschte Wert als der sich ergebende Ausgangswert erhalten wird. In dieser Ausführungsform ist das Eingangssignal "0"oder "1", und die Eingangsimpulsfolge ist einfach aus Impulsen mit niedrigem oder hohem Pegel ge bildet. Die LED wird eingestellt, wenn das Ausgangssignal den hohen Pegel hat und wird ausgeschaltet, wenn das Aus gangssignal den niedrigen Pegel hat. Da die Synchronisier impulse (der Takt) eine Frequenz von 1000 kHz haben, scheint die Helligkeit der LED für das menschliche Auge sich in Ab hängigkeit von der Impulsdichte zu ändern. Folglich ent spricht die LED, welche die hellste zu sein scheint, der Antwort, d.h. dem Erkennungsergebnis. Bezüglich eines Zei chens betrug nach einem ausreichenden Lernprozeß die Erken nungsrate 100%.In den vorstehend beschriebenen Ausführungsformen ist ange nommen, daß der sogenannte Vorwärtsprozeß und der Lernpro zeß beide in Hardware, d. h. in Form von Schaltungen ausge führt sind. Diese Prozesse können jedoch auch in Software ausgeführt sein, d. h. es können entsprechende Programme von einer Zentraleinheit (CPU) ausgeführt werden.Als nächstes werden dreizehnte bis fünfzehnte Ausführungs formen der Erfindung anhand von Fig. 66 bis 68 beschrieben. Die in Fig. 38 bis 47 dargestellten Neuron-Schaltungen können verwendet werden, um eine Neuron-Einheit oder ein Neuronales Netz auszubilden; die ganze Schaltung muß jedoch nicht aus schließlich in Hardware ausgeführt sein. Beispielsweise kann die Signalverarbeitung gemäß der Prozedur, welche anhand der Gl.′en (8) bis (29) beschrieben worden ist, in Hardware aus geführt werden. In der dreizehnten Ausführungsform der Erfindung können die Funktionen der Neuron-Einheiten, welche das Neuronale Netz bilden, durch Software realisiert werden. Im Falle des in Fig. 2 dargestellten Neuronalen Netzes wird die Signalver arbeitung in einer beliebigen Neuron-Einheit des Neuronalen Netzes durch Software ausgeführt. Die Signalverarbeitung kann durch Software in einer oder mehreren Neuron-Einheiten, in allen Neuron-Einheiten oder in ausgewählten Neuron-Ein heiten durchgeführt werden, welche für jede Schicht des Neuronalen Netzes festgelegt sind.In Fig. 66A ist die Neuron-Einheit dargestellt, welche die Signalverarbeitung mittels Software in der dreizehnten Aus führungsform durchführt. In Fig. 66A ist eine Ein-/Ausgabe- Einheit 301 mit einer Neuron-Einheit verbunden, welche eine Neuron-Schaltung oder eine Einrichtung zum Eingeben/Ausgeben von Signalen in das bzw. aus dem Neuronalen Netz. Ein Spei cher 303 speichert Daten und Programme (Software) zum Steuern einer Zentraleinheit (CPU) 302, und die Signale werden in der Zentraleinheit 302 verarbeitet. Die Signalverarbeitungs prozedur erfolgt so, wie vorstehend beschrieben ist. Die Software ist gemäß dem in Fig. 67 und 68 dargestellten Proze duren ausgebildet und in dem Speicher 303 gespeichert.Eine in Fig. 66A dargestellte Neuron-Einheit kann in Abhän figkeit von der Software wie eine Anzahl Neuron-Einheiten arbeiten. In diesem Fall werden die Signale in einer Zeit aufteilung verarbeitet. Bei dieser Ausführungsform kann die Netzstruktur dadurch modifiziert werden, daß einfach der Speicher 303 (oder der Inhalt des Speichers 303) geändert wird, ohne daß die Hardware modifiziert zu werden braucht. Folglich wird die Netzstruktur flexibel und ist für generelle Anwendungszwecke geeignet.In der vierzehnten Ausführungsform ist ein Teil der Funktio nen einer Neuron-Einheit in Software ausgeführt. Mit anderen Worten, der sogenannte Vorwärtsprozeß wird mittels Software ausgeführt. In Fig. 66B ist Software, welche auf der in Fig. 68 dargestellten Signalverarbeitungsprozedur basiert, in dem Speicher 303 gespeichert, um so eine Neuron-Einheit zu ver wirklichen, welche Software benutzt und den Vorwärtsprozeß durchführen kann. Um eine Neuron-Einheit zu verwirklichen, welche die Funktion hat, den sogenannten Vorwärtsprozeß auszuführen, wird die in Fig. 38 oder 45 dargestellte Schal tung zu der Ein-/Ausgabeeinrichtung 301 hinzugefügt. Auf je den Fall sind die rechte Hälfte der in Fig. 39 dargestellten Schaltung und die in Fig. 40 dargestellte Schaltung erforder lich. Die in Fig. 44 dargestellte Schaltung kann in Abhängig keit von den Erfordernissen vorgesehen werden. In Fig. 66B ist der Vorwärtsprozeß mit Hilfe einer Vorwärtsprozeß-Schal tung 304 realisiert.Gemäß dieser Ausführungsform kann die Netzstruktur dadurch modifiziert werden, daß einfach der Speicher 303 (oder der Inhalt dieses Speichers) geändert wird, ohne daß die Hard ware modifiziert zu werden braucht. Folglich wird die Netz struktur flexibel und ist für allgemeine Anwendungszwecke geeignet. Elektronische Universalgeräte haben im allgemei nen eine Zentraleinheit (CPU) und es ist nicht erforderlich, die Zentraleinheit 302 von neuem vorzusehen. Wenn keine Lernfunktion gefordert wird, kann notwendige Hardware stark reduziert werden.In der fünfzehnten Ausführungsform wird der Lernprozeß mit tels Software durchgeführt. In Fig. 66C ist Software, welche auf der in Fig. 67 dargestellten Signalverarbeitungsprozedur basiert, in dem Speicher 303 gespeichert, um so eine Neuron- Einheit zu verwirklichen, welche Software benutzt und den Lernprozeß ausführen kann. Um eine Neuron-Einheit mit einer Funktion zum Durchführen des Lernprozesses zu verwirklichen, werden die in Fig. 38 und 39 dargestellten Schaltungen, die in Fig. 38 und 36 dargestellten, die in Fig. 42 und 47 oder 46 dargestellte Schaltung zu der Ein-/Ausgabeeinheit 301 hinzu gefügt. Die in Fig. 43 dargestellte Schaltung kann unabhängig von den Erfordernissen vorgesehen sein. In Fig. 66C ist die Lernfunktion durch Vorsehen einer Lernschaltung 305 verwirk licht.Bei dieser Ausführungsform kann die Netzstruktur einfach durch Ändern des Speichers 303 (oder durch Ändern von dessen Inhalt) modifiziert werden, ohne daß die Hardware modifiziert zu werden braucht. Im Ergebnis wird dann die Netzstruktur flexibel und ist für allgemeineAnwendung geeignet. Außerdem kann das Netz mit einer Modifikation die Lernvorschrift be wältigen. Ferner haben die elektronischen Universaleinrich tungen üblicherweise eine Zentraleinheit und es ist nicht notwendig, von neuem die Zentraleinheit 302 vorzusehen.Wie oben beschrieben, können die Funktionen der Neuron- Einheit mit Hilfe vonSoftware realsisiert werden. Darüber hinaus kann, wenn das Signalverarbeitungssystem gemäß der Erfindung angewendet wird, die Signalverarbeitung allein durch digitale logische Operationen durchgeführt werden, und es kann eine auf niedrigem Pegel liegende Sprache für die geforderte Software verwendet werden, um dadurch eine hoch schnelle Verarbeitung der Software zu ermöglichen.Fig. 67 ist ein Flußdiagramm, anhand welchem der Lernprozeß der Zentraleinheit (CPU) 302 erläutert wird. In Fig. 67 wird bei einem Schritt S1 das Fehlersignal δ⁺j=(y_j EXOR d_j) UND d_j und δ⁻j=(y_j EXOR d_j) UND y_j zwischen dem Ausgangs signal y_j und dem Lehrsignal d_j erzeugt, wie in Ver bindung mit Fig. 27 beschrieben ist. Beim Schritt S2 wird beurteilt, ob die folgenden Prozesse in Abhängigkeit von den Vorzeichen der Gewichtsfunktion berechnet werden, welche erregend oder sperrend ist. Schritte S3e und S4e werden dann in dem Fall ausgeführt, wenn die Verbindung zwischen der j- ten Schicht und der nächsten k-ten Schicht er- bzw. anregend ist. Andererseits werden Schritte S3i und S4i in dem Fall durchgeführt, daß die Verbindung zwischen der j-ten Schicht und der nächsten j-ten Schicht sperrend ist.Der Schritt S3e enthält eine UND-Funktion zwischen der Ge wichtsfunktion T_jk und dem Fehlersignal δ⁺k, und eine UND-Funktion zwischen der Gewichtsfunktion T_jk und dem Fehlersignal δ⁻k. Beim Schritt S4e wird E⁺j = ∪(δ⁺k∩T_jk) erhalten, wenn eine ODER-Funktion von allen δ⁺k∩T_jk vorliegt, welche bei dem Schritt S3e erhalten wird. Außerdem wird beim Schritt S4e E⁻j = ∪(δ⁻k∩T_jk) erhalten, welches eine ODER-Funktion von allen δ⁻k∩T_jk ist, das beim Schritt S3e erhalten wird.Ebenso wird beim Schritt S3i eine UND-Funktion zwischen der Gewichtsfunktion T_jk und dem Fehlersignal δ⁺k und eine UND-Funktion zwischen der Gewichtsfunktion T_jk von dem Fehlersignal δ⁻k erhalten. Beim Schritt S4i wird I⁺jk = ∪(δ⁺k∩T_jk) erhalten, welches eine ODER-Funktion von allen δ⁺k∩T_jk ist, was beim Schritt S3i erhalten worden ist. Außerdem wird dem Schritt S4i I⁻j = ∪(δ⁻k∩T_jk) erhalten, welches eine ODER-Funktion von allen δ⁻k∩T_jk ist, was beim Schritt S3i erhalten worden ist.Bei einem Schritt S5 wird δ⁺j = E⁺j∪i⁻j erhalten, welches eine ODER-Funktion von E⁺j + I⁻j ist. Außerdem wird bei dem Schritt S5 δ⁻j = E⁻j∪I⁺j erhalten, was eine ODER-Funktion von E⁻j und I⁺j ist. Bei einem Schritt S6 werden Impulsfolgen der Fehlersignale δ⁺j und δ⁻j ausgedünnt und ηδ⁺j + ηδ⁻j erhalten. Bei einem Schritt S7 wird eine UND-Funktion des Eingangssignals y_i und der ausgedünnten Fehlersignale ηδ⁺j und ηδ⁻j erhalten. Das heißt, beim Schritt S7 wird ΔT⁺ÿ 05059 00070 552 001000280000000200012000285910494800040 0002004042139 00004 04940= ηδ⁺j∩y_i und ΔT⁻ÿ = ηδ⁻j∩y_i erhalten. Bei einem Schritt S8 wird beurteilt, ob die folgenden Prozesse in Abhängigkeit von dem Vorzeichen der Gewichtsfunktion welche erregend oder sperrend ist, berechnet werden. Dann wird ein Schritt S9e im Falle der erregenden Verbindung durchgeführt, und ein Schritt S9i wird im Falle der sperren den Verbindung ausgeführt. Beim Schritt S9e wird die Gewichts funktion T_ÿ erneuert, um zu erhalten. Andererseits wird bei dem Schritt S9i die Gewichtsfunktion T_ÿ durch Erhalten von erneuert.Bei einem Schritt S10 wird entsprechend dem Rückwärtsprozeß j in i geändert. In diesem Fall wird j um i dekrementiert. Bei einem Schritt S11 wird danach beurteilt, ob die j-te Schicht des Neuronalen Netzes die Eingangsschicht ist oder nicht. Der Prozeß kehrt auf den Schritt S2 zurück, wenn das Beurteilungsergebnis beim Schritt S11 nein ist. Dagegen endet der Prozeß, wenn die Beurteilung bei einem Schritt S11 ja ist.Fig. 68 ist ein Flußdiagramm, anhand welchem der sogenannte Vorwärtsprozeß der Zentraleinheit 302 erläutert wird. In Fig. 68 wird bei einem Schritt S21 das Eingangssignal (die Impulsfolge) y₁ eingegeben. Bei einem Schritt S22 wird ein Signal y_i von der i-ten Schicht an die j-te Schicht angelegt, wobei j=i+1 ist. Bei einem Schritt S23 wird y_i∩T_ÿ er halten, welches eine UND-Funktion des Eingangssignals y_i und der Gewichtsfunktion T_ÿ ist. Bei einem Schritt S24 wird beurteilt, ob die folgenden Prozesse in Abhängigkeit von dem Vorzeichen der Gewichtsfunktion berechnet werden, welche er regend oder sperrend ist.Ein Schritt 25e wird dann durchgeführt, wenn die Verbindung erregend ist. Dagegen wird ein Schritt S25i durchgeführt, wenn die Verbindung sperrend ist. Bei einem Schritt S25e wird E = ∪(T_ÿ∩y_i) erhalten, welches eine ODER-Funktion von allen y_i∩T_ÿ ist, was beim Schritt S23 erhalten worden ist. Bei einem Schritt S25i wird I = ∪(T_ÿ∩y_i) erhalten, welches eine Funktion von allen y_i∩T_ÿ ist, was beim Schritt S23 erhalten worden ist. Bei einem Schritt S26 wird y_i=E∩ erhalten, was eine UND-Funktion von E und oder es wird y_j=E∪ erhalten, was eine ODER-Funktion von E und ist. Dann wird bei einem Schritt S27 i um eins inkrementiert. In diesem Fall wird i in j inkrementiert. Bei einem Schritt S28 wird beurteilt, ob die i-te Schicht die Ausgangsschicht des Neuronalen Netzes ist oder nicht. Wenn das Beurteilungsergebnis beim Schritt S28 nein ist, kehrt der Prozeß auf den Schritt S22 zurück. Und wenn dagegen das Beurteilungsergebnis beim Schritt S28 ja ist, wird bei einem Schritt S29 das Signal (die Impuls folge) y_j ausgegeben und der Prozeß endet.Natürlich ist die Anwendung der Erfindung nicht auf das Zeichenerkennungssystem beschränkt. Die Erfindung kann auch bei vielen anderen Systemen, wie bei Bilderkennungssystemen,einem Bewegungssteuersystem wie Roboter und zugeordneten Informa tionsspeichersystemen angewendet werden. Außerdem ist die Struktur des Neuronalen Netzes gemäß der Erfindung nicht auf die in Fig. 2 dargestellte Netzstruktur beschränkt.In Fig. 69 ist ein Neuronales Netz dargestellt, in welchem eine Neuron-Einheit 1, die in einem Aggregat enthalten ist, mit allen Neuron-Einheiten 1 verbunden ist, welche in einem anderen Aggregat enthalten sind. Jedoch müssen gemäß der Erfindung die Neuron-Einheiten 1, welche in einem Aggregat enthalten sind, nicht mit allen Neuron-Einheiten 1 verbunden sein, die in einem anderen Aggregat enthalten sind, wie aus Fig. 69 zu ersehen ist.In Fig. 70 ist ein Neuronales Netz dargestellt, in welchem ein erstes Aggregat und ein letztes Aggregat über zwei Zwi schenaggregate verbunden sind. Natürlich ist die Anzahl an Zwischenaggregaten zwischen den ersten und letzten Aggrega ten nicht auf eins oder zwei beschränkt und kann vielmehr auch drei oder mehr sein. In Fig. 71 ist ein Neuronales Netz dargestellt, in welchem ein erstes Aggregat und ein letztes Aggregat über ein einzi ges Zwischenaggregat verbunden sind.

Claims

1. Neuron-Einheit zum Verarbeiten einer Anzahl von Eingangs signalen und zum Abgeben eines Ausgangssignals, welches ein Ergebnis der Verarbeitung anzeigt, gekennzeichnet durch
eine Eingangsleitungs-Einrichtung zum Empfangen der Eingangs signale;
eine Vorwärtsprozeß-Einrichtung, welche mit der Eingangslei tung verbunden ist und Zuführeinrichtungen zum Zuführen von Gewichtsfunktionen und Operationseinrichtungen aufweist, um eine Operation an jedem der Eingangssignale mit Hilfe der Gewichtsfunktionen durchzuführen und um das Ausgangssignal abzugeben, und
eine Selbstlerneinrichtung, welche mit der Vorwärtsprozeß- Einrichtung verbunden ist und eine Erzeugungseinrichtung zum Erzeugen neuer Gewichtsfunktionen, welche auf Fehlern zwi schen dem Ausgangssignal der Vorwärtsprozeß-Einrichtung und Lehrsignalen basieren, und eine Veränderungseinrichtung zum Verändern der Gewichtsfunktionen aufweist, welche von der Zuführeinrichtung der Vorwärtsprozeß-Einrichtung den neuen Gewichtsfunktionen zugeführt worden sind, welche von der Erzeugungseinrichtung erzeugt worden sind.

2. Neuron-Einheit nach Anspruch 1, dadurch gekenn zeichnet, daß die Zuführeinrichtung und Operations einrichtung der Vorwärtsprozeß-Einrichtung aus analogen Schaltungen gebildet sind.

3. Neuron-Einheit nach Anspruch 1, dadurch gekenn zeichnet, daß die Zuführeinrichtung und die Opera tionseinrichtung der Vorwärtsprozeß-Einrichtung aus digitalen Schaltungen gebildet sind.

4. Neuron-Einheit nach Anspruch 1, dadurch gekenn zeichnet, daß die Eingangsleitungs-Einrichtung eine Anzahl erster Eingangsleitungen zum Empfangen von ersten binären Eingangssignalen, welche Übergänge bezüglich der Zeit erfahren, und eine Anzahl zweiter Eingangsleitungen auf weist, um zweite binäre Eingangssignale zu empfangen, welche Übergänge bezüglich der Zeit durchmachen, daß die Zuführein richtung erste und zweite Speichereinrichtungen zum Speichern der Gewichtsfunktionen aufweist, und daß die Operationsein richtung aufweist:
eine erste Verknüpfungseinrichtung, um nacheinander ein lo gisches Produkt aus einem der ersten Eingangssignale, welche von den ersten Eingangsleitungen erhalten worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu erhalten, welche aus der ersten Speichereinrichtung für jedes der er sten binären Eingangssignale ausgelesen worden ist;
eine zweite Verknüpfungseinrichtung, um nacheinander ein lo gisches Produkt aus einem der zweiten binären Eingangssignale, welche von den zweiten Eingangsleitungen erhalten worden sind, und einer entsprechenden der Gewichtsfunktionen zu erhalten, welche aus der zweiten Speichereinrichtung für jedes der zweiten binären Eingangssignale ausgelesen worden sind;
eine dritte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der ersten Verknüpfungseinrichtung abgegeben worden sind;
eine vierte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der zweiten Verknüpfungseinrichtung abgegeben worden sind, und
eine Ausgabeeinrichtung, welche einen Inverter zum Invertie ren der logischen Summe, welche von der vierten Verknüpfungs einrichtung abgegeben worden ist, und ein Verknüpfungsglied aufweist, um ein logisches Produkt und eine logische Summe von der Zwischensumme, welche von der dritten Verknüpfungs einrichtung abgegeben worden ist, und einer invertierten lo gischen Summe zu erhalten, welche von dem Inverter abgegeben worden ist, wobei die Verknüpfungseinrichtung das Ausgangs signal der Neuron-Einheit abgibt.

5. Neuron-Einheit nach Anspruch 4, dadurch gekenn zeichnet, daß die ersten bzw. die zweiten binären Ein gangssignale eine Signalmenge in Form einer Impulsdichte beschreiben, und daß die ersten und zweiten Speichereinrich tungen die Gewichtsfunktionen speichern, welche eine Signal menge in Form einer Impulsdichte beschreiben.

6. Neuron-Einheit nach Anspruch 5, dadurch gekenn zeichnet, daß jede Gewichtsfunktion eine Impulsdichte, welche durch eine Anzahl erster und zweiter Werte festgelegt worden ist, innerhalb einer vorherbestimmten Zeit aufweist, daß die ersten und die zweiten Werte beliebig angeordnet sind, und daß die ersten bzw. zweiten Werte hohen und niedrigen binären Signalpegeln entsprechen.

7. Neuron-Einheit nach Anspruch 4, dadurch gekenn zeichnet, daß die ersten bzw. zweiten Speichereinrich tungen Schieberegister enthalten, die jeweils eine Speicher kapazität von zumindest zwei Bits haben.

8. Neuron-Einheit nach Anspruch 7, dadurch gekenn zeichnet, daß die ersten bzw. zweiten Speicherein richtungen einen Inhalt jedes Schieberegisters rekursiv be nutzen.

9. Neuron-Einheit nach Anspruch 4, dadurch gekenn zeichnet, daß die ersten Eingangsleitungen, die erste Speichereinrichtung, die erste Verknüpfungseinrichtung und die dritte Verknüpfungseinrichtung eine erregende Gruppe bilden, und daß die zweiten Eingangsleitungen, die zweite Speichereinrichtung, die zweite Verknüpfungseinichtung und die vierte Verknüpfungseinrichtung eine sperrende Gruppe bil den.

10. Neuron-Einheit nach Anspruch 9, dadurch gekenn zeichnet, daß die dritten und vierten Verknüpfungs einrichtungen und die Ausgabeeinrichtung eine Majorität bestimmende Einrichtung bilden, um das Ausgangssignal der Neuron-Einheit zu bestimmen, das auf einer Majorität von Ausgangssignalen, welche von der erregenden Gruppe erhal ten worden sind, und von Ausgangssignalen basiert, welche von der sperrenden Gruppe erhalten worden sind.

11. Neuron-Einheit nach Anspruch 3, dadurch gekenn zeichnet, daß die Eingangsleitung-Einrichtung eine Anzahl Eingangsleitungen zum Empfangen von binären Eingangs signalen aufweist, welche bezüglich der Zeit Übergänge er fahren, daß die Zuführeinrichtung eine Speichereinrichtung aufweist, welche die Gewichtsfunktionen speichert und einer Gruppeninformation entspricht, wobei die Gruppeninformation eine der erregenden oder sperrenden Gruppen anzeigt, zu wel chen die Gewichtsfunktionen gehören, und daß die Operations einrichtung aufweist:
eine erste Verknüpfungseinrichtung, um nacheinander ein lo gisches Produkt aus einem der binären Eingangssignale, wel che von den Eingangsleitungen erhalten worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu erhalten, wel che aus der Speichereinrichtung für jedes der binären Ein gangssignale ausgelesen worden sind;
eine zweite Verknüpfungseinrichtung, um ein logisches Produkt aus einer der Gruppierungsinformation, welche aus dem Spei cher ausgelesen worden ist, und aus einem entsprechenden der logischen Produkte, welche von der ersten Verknüpfungsein richtung abgegeben worden ist, für jedes der logischen Pro dukte zu erhalten, welche von der ersten Verknüpfungsein richtung abgegeben worden sind;
eine dritte Verknüpfungseinrichtung, um ein logisches Pro dukt einer Inversion einer der Gruppierungsinformationen, welche aus der Speichereinrichtung ausgelesen worden ist, und aus einem entsprechenden der logischen Produkte, welche von der ersten Verknüpfungseinrichtung abgegeben worden sind, für jedes der logischen Produkte zu erhalten, welche von der ersten Verknüpfungseinrichtung abgegeben worden sind;
eine vierte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der zweiten Verknüpfungseinrichtung abgegeben worden sind;
eine fünfte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der dritten Verknüpfungseinrichtung abgegeben worden sind, und
eine Ausgabeeinrichtung, welche einen Inverter zum Inver tieren der logischen Summe, welche von der fünften Verknüp fungseinrichtung abgegeben worden ist, und ein Verknüpfungs glied aufweist, um ein logisches Produkt und eine logische Summe der logischen Summe, welche von der vierten Verknüp fungseinrichtung abgegeben worden ist, und einer invertierten logischen Summe zu erhalten, welche von dem Inverter abgege ben worden ist, wobei das Verknüpfungsglied das Ausgangssig nal der Neuron-Einheit abgibt.

12. Neuron-Einheit nach Anspruch 11, dadurch gekenn zeichnet, daß die binären Eingangssignale eine Signal menge in Form einer Impulsdichte beschreiben, und daß die Speichereinrichtung Gewichtsfunktionen speichern, welche jeweils eine Signalmenge in Form einer Impulsdichte be schreiben.

13. Neuron-Einheit nach Anspruch 12, dadurch gekenn zeichnet, daß jede Gewichtsfunktion eine Impulsdichte hat, welche durch eine Anzahl erster und zweiter Werte in einer vorherbestimmten Zeit festgelegt worden ist, die er sten und die zweiten Werte beliebig angeordnet sind, und die ersten und zweiten Werte hohen bzw. niedrigen Binärsignal pegeln entsprechen.

14. Neuron-Einheit nach Anspruch 11, dadurch gekenn zeichnet, daß die Speichereinrichtung eine Speicher kapazität von zumindest drei Bits für eine Gewichtsfunktion und eine entsprechende Gruppierfunktion aufweist.

15. Neuron-Einheit nach Anspruch 14, dadurch gekenn zeichnet, daß die Speichereinrichtung Schieberegister, die jeweils eine Speicherkapazität von zumindest zwei Bits zum Speichern der Gewichtsfunktionen haben, und 1 Bit-Spei cher zum Speichern der Gruppierinformation aufweist.

16. Neuron-Einheit nach Anspruch 15, dadurch gekenn zeichnet, daß die Speichereinrichtungen einen Inhalt jedes Schieberegisters rekursiv benutzen.

17. Neuron-Einheit nach Anspruch 3, dadurch gekenn zeichnet, daß die Eingangsleitungs-Einrichtung eine Anzahl Eingangsleitungen aufweist, um binäre Eingangssignale zu empfangen, welche bezüglich der Zeit Übergänge durchlau fen, die Zuführeinrichtung erste und zweite Speichereinrich tungen zum Speichern der Gewichtsfunktionen aufweist, und die Operationseinrichtung aufweist:
eine erste Verknüpfungseinrichtung, um nacheinander ein logisches Produkt eines der binären Eingangssignale, welche von den Eingangsleitungen empfangen worden sind, und einer entsprechenden der Gewichtsfunktionen zu erhalten, die aus der ersten Speichereinrichtung für jedes der binären Eingangssignale ausgelesen worden sind;
eine zweite Verknüpfungseinrichtung, um nacheinander ein logisches Produkt aus einem der binären Eingangssignale, welche von den Eingangsleitungen empfangen worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu er halten, welche aus der zweiten Speichereinrichtung für jedes der binären Eingangssignale ausgelesen worden sind;
eine dritte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der ersten Verknüpfungseinrichtung abgegeben worden sind;
eine vierte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der zweiten Verknüpfungseinrichtung abgegeben worden sind, und
eine Ausgabeeinrichtung, welche einen Inverter zum Inver tieren der logischen Summe, welche von der vierten Verknüp fungseinrichtung abgegeben worden ist, und ein Verknüpfungs glied aufweist, um ein logisches Produkt und eine logische Summe der logischen Summe, welche von der dritten Verknüp fungseinrichtung abgegeben worden ist, und einer invertier ten logischen Summe zu erhalten, welche von dem Inverter ab gegeben worden ist, wobei das Verknüpfungsglied ein Aus gangssignal der Neuron-Einheit abgibt.

18. Neuron-Einheit nach Anspruch 17, dadurch gekenn zeichnet, daß die binären Eingangssignale eine Signal menge in Form einer Impulsdichte beschreiben, und die ersten und zweiten Speichereinrichtungen die Gewichtsfunktionen speichern, welche jeweils eine Signalmenge in Form einer Im pulsdichte beschreiben.

19. Neuron-Einheit nach Anspruch 18, dadurch gekenn zeichnet, daß jede Gewichtsfunktion eine Impulsdichte hat, welche durch eine Anzahl erster und zweiter Werte in einer vorherbestimmten Zeit festgelegt worden ist, die er sten und die zweiten Werte beliebig angeordnet sind, und die ersten und zweiten Werte hohen bzw. niedrigen binären Signalpegeln entsprechen.

20. Neuron-Einheit nach Anspruch 17, dadurch gekenn zeichnet, daß die ersten und zweiten Speicherein richtungen Schieberegister aufweisen, die jeweils eine Spei cherkapazität von mindestens zwei Bits haben.

21. Neuron-Einheit nach Anspruch 20, dadurch gekenn zeichnet, daß die ersten und zweiten Speicherein richtungen einen Inhalt jedes Schieberegisters rekursiv benutzen.

22. Neuron-Einheit nach Anspruch 17, dadurch gekenn zeichnet, daß die erste Speichereinrichtung und die erste sowie die dritte Verknüpfungseinrichtung eine erregende Gruppe bilden, und die zweite Speichereinrichtung sowie die zweite und vierte Verknüpfungseinrichtung eine sperrende Gruppe bilden.

23. Neuron-Einheit nach Anspruch 22, dadurch gekenn zeichnet, daß die dritte und vierte Verknüpfungs einrichtung und die Ausgabeeinrichtung eine Majorität be stimmende Einrichtung bilden, um das Ausgangssignal der Neuron-Einheit zu bestimmen, das auf einer Majorität von Ausgangssignalen, welche von der erregenden Gruppe erhalten worden sind, und von Ausgangssignalen basiert, welche von der sperrenden Gruppe erhalten worden sind.

24. Neuron-Einheit nach Anspruch 3, dadurch gekenn zeichnet, daß die Erzeugungseinrichtung der Selbst lern-Einrichtung die neuen Gewichtsfunktionen auf der Basis der Fehler und einer Lernkonstanten erzeugt.

25. Neuron-Einheit nach Anspruch 24, gekennzeich net durch eine Einrichtung, um die Lernkonstante von der Außenseite der Neuron-Einheit her beliebig einzustellen.

26. Neuron-Einheit nach Anspruch 3, gekennzeich net durch eine Schalteinrichtung zum Schalten einer Be triebsart der Neuron-Einheit zwischen ersten und zweiten Be triebsarten, wobei die Änderungseinrichtung der Selbstlern- Einrichtung in der ersten Betriebsart freigegeben wird, um dadurch die Gewichtsfunktionen zu erneuern, wobei die Ände rungseinrichtung die Selbstlern-Einrichtung in der zweiten Betriebsart sperrt, um dadurch die Gewichtsfunktionen fest zulegen.

27. Neuron-Einheit nach Anspruch 3, dadurch gekenn zeichnet, daß die Zuführeinrichtung der Vorwärts prozeß-Einrichtung eine Speichereinrichtung zum Speichern der Gewichtsfunktionen aufweist, und die Neuron-Einheit ferner eine Einrichtung für einen Zugriff zu der Speicher einrichtung aufweist, so daß die Gewichtsfunktionen von der Außenseite der Neuron-Einheit her in die Speichereinrichtung eingeschrieben und aus dieser ausgelesen werden können.

28. Neuron-Einheit nach Anspruch 3 gekennzeich net durch eine erste Speichereinrichtung zum Speichern der Eingangssignale, durch eine zweite Speichereinrichtung zum Speichern der Lehrsignale und durch eine Steuerein richtung zum Steuern der ersten und zweiten Speichereinrich tung, um die gespeicherten Eingangssignale der Vorwärtspro zeß-Einrichtung und die Lehrsignale der Selbstlern-Einrich tung zuzuführen.

29. Neuron-Einheit nach Anspruch 28, dadurch gekenn zeichnet, daß die Steuereinrichtung einen Zähler zum Zählen einer Anzahl Lernprozesse aufweist, welche von der Selbstlern-Einrichtung durchgeführt worden sind.

30. Neuron-Einheit nach Anspruch 3, dadurch gekenn zeichnet, daß die Zuführeinrichtung der Vorwärts prozeß-Einrichtung eine Speichereinrichtung zum Speichern der Gewichtsfunktionen aufweist, und die Neuron-Einheit ferner eine Einstelleinrichtung aufweist, um eine Datenlänge der Gewichtsfunktionen in der Speichereinrichtung variabel einzustellen.

31. Neuron-Einheit nach Anspruch 30, dadurch gekenn zeichnet, daß jedes der Eingangssignale bzw. jede der Gewichtsfunktionen eine Signalmenge in Form einer Impulsdichte beschreibt, und daß die Einstelleinrichtung eine Länge jeder Impulsfolge, welche der Gewichtsfunktion entspricht, variabel einstellt.

32. Neuron-Einheit nach Anspruch 31, dadurch gekenn zeichnet, daß die Speichereinrichtung ein Schiebere gister zum Speichern der Gewichtsfunktion aufweist, und daß die Einstelleinrichtung eine Bitlänge, welche in das Schiebe register zu schieben ist, variabel einstellt.

33. Neuron-Einheit nach Anspruch 3, gekennzeich net durch einen ersten Umsetzer, um analoge Eingangssig nale in digitale Eingangssignale umzusetzen, welche der Vor wärtsprozeß-Einheit als die Eingangssignale zugeführt werden, und durch einen zweiten Umsetzer, um das Ausgangssignal der Neuron-Einheit in ein analoges Signal umzusetzen.

34. Neuron-Einheit nach Anspruch 3, gekennzeich net durch eine Schalteinrichtung zum Schalten zumindest eines der Eingangssignale zu der Vorwärtsprozeß-Einrichtung und des Ausgangssignals der Selbstlern-Einrichtung entspre chend einer Anzahl externer Signale.

35. Neuron-Einheit nach Anspruch 3, dadurch gekenn zeichnet, daß die Operationseinrichtung der Vorwärts prozeß-Einrichtung eine erste Einrichtung, um nacheinander eine Operation an die Eingangssignale in Gruppen der Ein gangssignale durchzuführen, eine zweite Einrichtung, um nach einander Ergebnisse von Operationen für die Gruppen zu spei chern, und eine dritte Einrichtung aufweist, um eine Opera tion an den Operationsergebnissen durchzuführen, welche gleichzeitig aus der zweiten Einrichtung gelesen worden sind.

36. Neuron-Einheit nach Anspruch 3, dadurch gekenn zeichnet, daß die Operationseinrichtung der Vorwärts prozeß-Einrichtung eine erste Einrichtung, um nacheinander eine Operation an den Eingangssignalen in Gruppen der Ein gangssignalen durchzuführen, eine zweite Einrichtung, um nacheinander Operationsergebnisse für die Gruppen zu spei chern, eine dritte Einrichtung, um eine Operation an den Ein gangssignalen in einer ersten Betriebsart durchzuführen und um eine Operation an den Operationsergebnissen durchzuführen, die gleichzeitig aus der zweiten Einrichtung in einer zweiten Betriebsart gelesen worden sind, und eine vierte Einrichtung aufweist, um eine Betriebsart der dritten Einrichtung auf eine der ersten oder zweiten Betriebsarten einzustellen.

37. Neuron-Einheit nach Anspruch 1, dadurch gekenn zeichnet, daß Operationen der Vorwärtsprozeß-Ein richtung und der Selbstlern-Einrichtung an einem Computer durchgeführt werden.

38. Neuron-Einheit nach Anspruch 1, dadurch gekenn zeichnet, daß Operationen der Vorwärtsprozeß-Ein richtung mittels Hardware durchgeführt werden und Operatio nen der Selbstlern-Einrichtung an einem Computer durchge führt werden.

39. Neuronales Netz, gekennzeichnet durch eine Anzahl Neuron-Einheiten, welche miteinander verbunden sind, um eine hierarchische Struktur zu bilden, welche eine Anzahl von Schichten hat;
eine Anzahl Signalleitungen, welche Ausgänge von beliebigen Neuron-Einheiten in einer Schicht der hierarchischen Struktur mit Eingängen von beliebigen Neuron-Einheiten in einer ande ren Schicht der hierarchischen Struktur verbindet,
wobei die Neuron-Einheiten gleichzeitig eine Vielzahl binärer Eingangssignale verarbeiten und ein Ausgangssignal abgeben, welches ein Verarbeitungsergebnis anzeigt, und
wobei jede Neuron-Einheit aufweist:
eine Eingangsleitungseinrichtung zum Empfangen der Eingangs signale;
eine Vorwärtsprozeß-Einrichtung, welche mit der Eingangslei tungs-Einrichtung verbunden ist und eine Zuführeinrichtung zum Zuführen von Gewichtsfunktionen und eine Operationsein richtung aufweist, um eine Operation an jeder der Eingangs signale mit Hilfe einer der Gewichtsfunktionen durchzuführen und um das Ausgangssignal abzugeben, und
eine Selbstlern-Einrichtung, welche mit der Vorwärtsprozeß- Einrichtung verbunden ist und eine Erzeugungseinrichtung zum Erzeugen neuer Gewichtsfunktionen, welche auf Fehlern zwischen dem Ausgangssignal der Vorwärtsprozeß-Einrichtung und Lehrsignalen basieren, und eine Veränderungseinrichtung aufweist, um die Gewichtsfunktionen, welche der Zuführein richtung der Vorwärtsprozeß-Einrichtung zugeführt worden sind, in neue Gewichtsfunktionen zu ändern, welche von der Erzeugungseinrichtung erzeugt worden sind.

40. Neuronales Netz nach Anspruch 39, dadurch gekenn zeichnet, daß die Zuführeinrichtung und die Opera tionseinrichtung der Vorwärtsprozeß-Einrichtung aus analogen Schaltungen gebildet sind.

41. Neuronales Netzwerk nach Anspruch 39, dadurch ge kennzeichnet, daß die Zuführeinrichtung und die Operationseinrichtung der Vorwärtsprozeß-Einrichtung aus digitalen Schaltungen gebildet ist.

42. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Eingangsleitungs-Einrichtung eine Anzahl erster Eingangsleitungen, um erste binäre Eingangs signale zu erhalten, welche bezüglich der Zeit Übergänge durchlaufen, und eine Anzahl zweiter Eingangsleitungen auf weist, um zweite binäre Eingangssignale zu erhalten, welche bezüglich der Zeit Übergänge durchlaufen, die Zuführeinrich tung erste und zweite Speichereinrichtungen zum Speichern der Gewichtsfunktionen enthält, und die Operationseinrich tung aufweist:
eine erste Verknüpfungseinrichtung, um nacheinander ein lo gisches Produkt aus einem der ersten binären Eingangssignale, welche von den ersten Eingangsleitungen erhalten worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu er halten, welche aus der ersten Speichereinrichtung für die ersten binären Eingangssignale ausgelesen worden ist;
eine zweite Verknüpfungseinrichtung, um nacheinander ein lo gisches Produkt aus einem der zweiten binären Eingangssignale, welche von den zweiten Eingangsleitungen erhalten worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu erhalten, welche aus der zweiten Speichereinrichtung für jedes der zweiten binären Eingangssignale ausgelesen worden sind;
eine dritte Verknüpfungseinrichtung, um eine logische Summe logischer Produkte zu erhalten, welche von der ersten Ver knüpfungseinrichtung abgegeben worden sind;
eine vierte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der zweiten Verknüpfungseinrichtung abgegeben worden sind und
eine Ausgabeeinrichtung, welche einen Inverter zum Invertie ren der logischen Summe, welche von der vierten Verknüpfungs einrichtung abgegeben worden ist, und ein Verknüpfungsglied aufweist, um sowohl ein logisches Produkt als auch eine lo gische Summe der logischen Summe, welche von der dritten Ver knüpfungseinrichtung abgegeben worden ist, und einer inver tierten logischen Summe zu erhalten, welche von dem Inverter abgegeben worden ist, wobei das Verknüpfungsglied das Aus gangssignal der Neuron-Einheit abgibt.

43. Neuronales Netz nach Anspruch 42, dadurch gekenn zeichnet, daß die ersten und zweiten binären Eingangs signale eine Signalmenge in Form einer Impulsdichte beschrei ben, und die ersten und zweiten Speichereinrichtungen die Gewichtsfunktionen speichern, welche jeweils eine Signalmenge in Form einer Impulsdichte beschreiben.

44. Neuronales Netz nach Anspruch 43, dadurch gekenn zeichnet, daß jede Gewichtsfunktion eine Impulsdichte hat, welche durch eine Anzahl erster und zweiter Werte in einer vorherbestimmten Zeit festgelegt worden ist, die er sten und zweiten Werte beliebig angeordnet sind, und die ersten und zweiten Werte hohen bzw. niedrigen binären Sig nalpegeln entsprechen.

45. Neuronales Netz nach Anspruch 2, dadurch gekenn zeichnet, daß die ersten und zweiten Speichereinrich tungen Schieberegister aufweisen, die jeweils eine Speicher kapazität von mindestens zwei Bits haben.

46. Neuronales Netz nach Anspruch 45, dadurch gekenn zeichnet, daß die ersten und zweiten Speichereinrich tungen einen Inhalt jedes Schieberegisters rekursiv benutzen.

47. Neuronales Netz nach Anspruch 42, dadurch gekenn zeichnet, daß die ersten Eingangsleitungen, die erste Speichereinrichtung sowie die erste und dritte Verknüpfungs einrichtung eine erregende Gruppe bilden, und daß die zwei ten Eingangsleitungen, die zweite Speichereinrichtung sowie die zweite und vierte Verknüpfungseinrichtung eine sperrende Gruppe bilden.

48. Neuronales Netz nach Anspruch 47, dadurch gekenn zeichnet, daß die dritte und vierte Verknüpfungsein richtung und die Ausgabeeinrichtung eine Majorität bestimmen de Einrichtung bilden, um das Ausgangssignal der Neuron-Ein heit zu bestimmen, welche auf einer Majorität von Ausgängen, welche von der erregenden Gruppe erhalten worden sind, und von Ausgängen basieren, welche von der sperrenden Gruppe erhalten worden sind.

49. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Eingangsleitungs-Einrichtung eine Anzahl Eingangsleitungen aufweist, um binäre Eingangssignale zu empfangen, welche mit der Zeit Übergänge durchlaufen, die Zuführeinrichtung eine Speichereinrichtung zum Speichern der Gewichtsfunktionen und einer entsprechenden Gruppierinforma tion aufweist, wobei die Gruppierinformation eine der erre genden oder sperrenden Gruppen anzeigt, zu welchen die Ge wichtsfunktionen gehören, und die Operationseinrichtung auf weist:
eine erste Verknüpfungseinrichtung, um nacheinander ein großes Produkt aus einem der binären Eingangssignale, welche von den Eingangsleitungen erhalten worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu erhalten, welche aus der Speichereinrichtung für jedes der binären Eingangssignale ausgelesen worden sind;
eine zweite Verknüpfungseinrichtung, um ein logisches Produkt aus einer der Gruppierinformationen, welche aus der Speicher einrichtung ausgelesen worden sind, und aus einem entspre chenden der logischen Produkte , welche von der Verknüpfungs einrichtung abgegeben worden sind, für jedes der logischen Produkte zu erhalten, welche von der ersten Verknüpfungsein richtung abgegeben worden sind;
eine dritte Verknüpfungseinrichtung, um ein logisches Produkt einer Inversion einer der Gruppierinformationen, welche aus der Speichereinrichtung ausgelesen worden sind, und eines ent sprechenden der logischen Produkte, welche von der ersten Verknüpfungseinrichtung abgegeben worden sind, für jedes der logischen Produkte zu erhalten, welche von der ersten Ver knüpfungseinrichtung abgegeben worden sind;
eine vierte Verknüpfungseinrichtung, um eine logische Summe logischer Produkte zu erhalten, welche von der zweiten Ver knüpfungseinrichtung abgegeben worden sind;
eine fünfte Verknüpfungseinrichtung, um eine logische Summe logischer Produkte zu erhalten, welche von der dritten Ver knüpfungseinrichtung abgegeben worden sind, und
eine Abgabeeinrichtung, welche einen Inverter zum Invertie ren der logischen Summe, welche von der fünften Verknüpfungs einrichtung abgegeben worden ist, und ein Verknüpfungsglied aufweist, um ein logisches Produkt und eine logische Summe der logischen Summe, welche von der vierten Verknüpfungsein richtung abgegeben worden ist und einer invertierten logischen Summe zu erhalten, welche von dem Inverter abgegeben worden ist, wobei das Verknüpfungsglied das Ausgangssignal der Neuron-Einheit abgibt.

50. Neuronales Netz nach Anspruch 49, dadurch gekenn zeichnet, daß die binären Eingangssignale jeweils eine Signalmenge in Form einer Impulsdichte beschreiben, und die Speichereinrichtung die Gewichtsfunktionen speichert, welche jeweils eine Signalmenge in Form einer Impulsdichte beschrei ben.

51. Neuronales Netz nach Anspruch 50, dadurch gekenn zeichnet, daß jede Gewichtsfunktion eine Impulsdichte hat, welche durch eine Anzahl erster und zweiter Werte inner halb einer vorherbestimmten Zeit festgelegt ist, die ersten und die zweiten Werte beliebig angeordnet sind, und die ersten und zweiten Werte hohen bzw. niedrigen binären Signal pegeln entsprechen.

52. Neuronales Netz nach Anspruch 49, dadurch gekenn zeichnet, daß die Speichereinrichtung eine Speicher kapazität von zumindest drei Bits für eine Gewichtsfunktion und eine entsprechende Gruppierinformation aufweist.

53. Neuronales Netz nach Anspruch 52, dadurch gekenn zeichnet, daß die Speichereinrichtung Schieberegister, welche jeweils eine Speicherkapazität von zumindest zwei Bits zum Speichern der Gewichtsfunktionen haben, und 1 Bit-Spei cher zum Speichern der Gruppierinformation aufweist.

54. Neuronales Netz nach Anspruch 53, dadurch gekenn zeichnet, daß die Speichereinrichtungen jeweils einen Inhalt jedes Schieberegisters rekursiv benutzen.

55. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Eingangsleitungs-Einrichtung eine Anzahl Eingangsleitungen aufweist, um binäre Eingangssignale zu empfangen, welche mit der Zeit Übergänge durchlaufen, die Zuführeinrichtung erste und zweite Speichereinrichtungen zum Speichern der Gewichtsinformation aufweist, und die Opera tionseinrichtung aufweist:
eine erste Verknüpfungseinrichtung, um nacheinander ein lo gisches Produkt aus einem der binären Eingangssignale, welche von den Eingangsleitungen erhalten worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu erhalten, welche aus der ersten Speichereinrichtung für jedes der binären Eingangs signale ausgelesen sind;
eine zweite Verknüpfungseinrichtung, um nacheinander ein lo gisches Produkt aus einem der binären Eingangssignale, welche von den Eingangsleitungen erhalten worden sind, und aus einer entsprechenden der Gewichtsfunktionen zu erhalten, welche aus der zweiten Speichereinrichtung für jedes der binären Ein gangssignale ausgelesen worden sind;
eine dritte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der ersten Verknüpfungseinrichtung abgegeben worden sind;
eine vierte Verknüpfungseinrichtung, um eine logische Summe von logischen Produkten zu erhalten, welche von der zweiten Verknüpfungseinrichtung abgegeben worden sind, und
eine Abgabeeinrichtung, welche einen Inverter zum Invertie ren der logischen Summe, welche von der vierten Verknüpfungs einrichtung abgegeben worden ist, und ein Verknüpfungsglied aufweist, um sowohl ein logisches Produkt als auch eine lo gische Summe der logischen Summe, welche von der dritten Verknüpfungseinrichtung abgegeben worden ist, und einer in vertierten logischen Summe zu erhalten, welche von dem Inver ter abgegeben worden ist,wobei das Verknüpfungsglied ein Aus gangssignal der Neuron-Einheit abgibt.

56. Neuronales Netz nach Anspruch 55, dadurch gekenn zeichnet, daß die binären Eingangssignale jeweils eine Signalmenge in Form einer Impulsdichte beschreiben, und die ersten und zweiten Speichereinrichtungen die Gewichts funktionen speichern, welche jeweils eine Signalmenge in Form einer Impulsdichte beschreiben.

57. Neuronales Netz nach Anspruch 56, dadurch gekenn zeichnet, daß jede Gewichtsfunktion eine Impulsdichte hat, die durch eine Anzahl erster und zweiter Werte innerhalb einer vorherbestimmten Zeit festgelegt ist, die ersten und die zweiten Werte beliebig angeordnet sind, und die ersten und zweiten Werte hohen bzw. niedrigen Signalpegeln entspre chen.

58. Neuronales Netz nach Anspruch 55, dadurch gekenn zeichnet, daß die ersten und zweiten Speichereinrich tungen jeweils Schieberegister aufweisen, die jeweils eine Speicherkapazität von zumindest zwei Bits haben.

59. Neuronales Netz nach Anspruch 58, dadurch gekenn zeichnet, daß die ersten und zweiten Speichereinrich tungen jeweils einen Inhalt jedes Schieberegisters rekursiv benutzen.

60. Neuronales Netz nach Anspruch 55, dadurch gekenn zeichnet, daß die erste Speichereinrichtung sowie die erste und die dritte Verknüpfungseinrichtung eine erregende Gruppe bilden, und daß die zweite Speichereinrichtung sowie die zweite und die vierte Verknüpfungseinrichtung eine sperren de Gruppe bilden.

61. Neuronales Netz nach Anspruch 60, dadurch gekenn zeichnet, daß die dritten und vierten Verknüpfungsein richtungen und die Ausgabeeinrichtung eine Majorität bestim mende Einrichtung bilden, um das Ausgangssignal der Neuron- Einheit zu bestimmen, was auf einer Majorität von Ausgängen, welche von der erregenden Gruppe erhalten worden sind, und von Ausgängen basiert, die von der sperrenden Gruppe erhalten worden sind.

62. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Erzeugungseinrichtung der Selbst lern-Einrichtung die neuen Gewichtsfunktionen erzeugt, welche auf den Fehlern und einer Lernkonstanten basieren.

63. Neuronales Netz nach Anspruch 62, dadurch gekenn zeichnet, daß die Neuron-Einheit ferner eine Einrich tung aufweist, um die Lernkonstante von der Außenseite der Neuron-Einheit her beliebig einzustellen.

64. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Neuron-Einheit ferner eine Schalt einrichtung aufweist, um eine Betriebsart der Neuron-Einheit zwischen ersten und zweiten Betriebsarten zu schalten, wobei die Änderungseinrichtung der Selbstlerneinrichtung in der ersten Betriebsart freigegeben wird, um dadurch die Gewichts funktionen zu erneuern, und wobei die Veränderungseinrich tung die Selbstlern-Einrichtung in der zweiten Betriebsart sperrt, um dadurch die Gewichtsfunktionen festzulegen.

65. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Zuführeinrichtung der Vorwärtspro zeß-Einrichtung Speichereinrichtungen zum Speichern der Ge wichtsfunktionen aufweist, und daß die Neuron-Einrichtung ferner eine Einrichtung für einen Zugriff zu den Speicher einrichtungen aufweist, so daß die Gewichtsfunktionen von der Außenseite der Neuron-Einheit her in die Speichereinrichtungen geschrieben und aus diesen ausgelesen werden können.

66. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Neuron-Einheit ferner eine erste Speichereinrichtung zum Speichern der Eingangssignale, eine zweite Speichereinrichtung zum Speichern der Lehrsignale und eine Steuereinrichtung aufweist, um die ersten und zweiten Speichereinrichtungen zu steuern, um die gespeicherten Ein gangssignale der Vorwärtsprozeß-Einrichtung und die Lehrsig nale der Selbstlern-Einrichtung zuzuführen.

67. Neuronales Netz nach Anspruch 66, dadurch gekenn zeichnet, daß die Steuereinrichtung einen Zähler aufweist, um eine Anzahl Lernprozesse zu zählen, welche von der Selbstlern-Einrichtung durchgeführt worden sind.

68. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Zuführeinrichtung der Vorwärts prozeß-Einrichtung eine Speichereinrichtung zum Speichern der Gewichtsfunktionen aufweist, und daß die Neuron-Einheit ferner eine Einstelleinrichtung aufweist, um eine Datenlänge der Gewichtsfunktionen in der Speichereinrichtung variabel einzustellen.

69. Neuronales Netz nach Anspruch 68, dadurch gekenn zeichnet, daß jedes der Eingangssignale bzw. der Gewichtsfunktionen eine Signalmenge in Form einer Impuls dichte beschreiben, und daß die Einstelleinrichtung eine Länge jeder Impulsfolge variabel einstellt, welche der Ge wichtsfunktion entspricht.

70. Neuronales Netz nach Anspruch 69, dadurch gekenn zeichnet, daß die Speichereinrichtung ein Schiebere gister zum Speichern der Gewichtsfunktion aufweist, und die Einstelleinrichtung eine Bitlänge, die in das Schieberegi ster zu schieben ist, variabel einstellt.

71. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Neuron-Einheit ferner einen ersten Umsetzer, um analoge Eingangssignale in digitale Eingangs signale umzusetzen, welche der Vorwärtsprozeß-Einrichtung als die Eingangssignale zugeführt werden, und einen zweiten Umsetzer aufweist, um das Ausgangssignal der Neuron-Einheit in ein analoges Signal umzusetzen.

72. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Neuron-Einheit ferner eine Schalt einrichtung aufweist, um zumindest eines der Eingangssignale zu der Vorwärtsprozeß-Einrichtung und das Ausgangssignal der Selbstlern-Einrichtung entsprechend einer Anzahl externer Signale zu schalten.

73. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Operationseinrichtung der Vorwärts prozeß-Einrichtung eine erste Einrichtung, um nacheinander eine Operation an den Eingangssignalen in Gruppen der Ein gangssignale durchzuführen, eine zweite Einrichtung, um nacheinander Operationsergebnisse für die Gruppen zu spei chern, und eine dritte Einrichtung aufweist, um eine Opera tion an den Operationsergebnissen durchzuführen, die gleich zeitig aus der zweiten Speichereinrichtung ausgelesen worden sind.

74. Neuronales Netz nach Anspruch 41, dadurch gekenn zeichnet, daß die Operationseinrichtung der Vorwärts prozeß-Einrichtung eine erste Einrichtung, um nacheinander eine Operation an den Eingangssignalen in Gruppen der Ein gangssignale durchzuführen, eine zweite Einrichtung, um nacheinander die Operationsergebnisse für die Gruppen zu speichern, eine dritte Einrichtung, um eine Operation an den Eingangssignale in einer ersten Betriebsart durchzuführen und eine Operation an den Operationsergebnissen, welche gleichzeitig aus der zweiten Einrichtung ausgelesen worden sind, in einer zweiten Betriebsart durchzuführen, und eine vierte Einrichtung aufweist, um eine Betriebsart der dritten Einrichtung auf eine der ersten und zweiten Betriebsarten einzustellen.

75. Neuronales Netz nach Anspruch 39, dadurch gekenn zeichnet, daß Operationen der Vorwärtsprozeß-Ein richtung und Selbstlern-Einrichtung an einem Computer durch geführt werden.

76. Neuronales Netz nach Anspruch 39, dadurch gekenn zeichnet, daß Operationen der Vorwärtsprozeß-Ein richtung mittels Hardware durchgeführt werden, und Opera tionen der Selbstlern-Einrichtung auf einem Computer durch geführt werden.

77. Signalverarbeitungssystem, gekennzeichnet durch
N Neuronale Netzwerke, welche verbunden sind, um eine Signal verarbeitung an einer Vielzahl von Eingangssignalen durchzu führen, die jeweils N Bits haben, wobei N eine ganze Zahl ist,
wobei die N Neuronalen Netzwerke entsprechende Bits der Ein gangssignale empfangen, wobei jedes der N Neuronalen Netze aufweist:
eine Anzahl von Neuron-Einheiten, welche jeweils zu einer hierarchischen Struktur verbunden sind, welche eine Anzahl Schichten aufweist, und
eine Vielzahl von Signalleitungen, welche Ausgänge von be liebigen Neuron-Einheiten in einer Schicht der hierarchi schen Struktur mit Eingängen von beliebigen Neuron-Einhei ten in einer anderen Schicht der hierarchischen Struktur verbinden,
wobei jede der Neuron-Einheiten gleichzeitig eine Anzahl binärer Eingangssignale verarbeitet und ein Ausgangssignal abgibt, welches ein Verarbeitungsergebnis anzeigt wobei jede Neuron-Einheit aufweist:
eine Eingangsleitung-Einrichtung zum Empfangen der Eingangs signale;
eine Vorwärtsprozeß-Einrichtung, welche mit der Eingangslei tungs-Einrichtung verbunden ist und eine Zuführeinrichtung zum Zuführen von Gewichtsfunktionen und eine Operationsein richtung aufweist, um mit Hilfe einer der Gewichtsfunktionen eine Operation an jedem der Eingangssignale durchzuführen und um das Ausgangssignal abzugeben, und
eine Selbstlern-Einrichtung, welche mit der Vorwärtsprozeß- Einrichtung verbunden ist und welche eine Erzeugungseinrich tung zum Erzeugen neuer Gewichtsfunktionen, welche auf Feh lern zwischen dem Ausgangssignal der Vorwärtsprozeß-Ein richtung und Lernsignalen basieren, und eine Änderungsein richtung aufweist, um die Gewichtsfunktionen, welche von der Zuführeinrichtung der Vorwärtsprozeß-Einrichtung zugeführt worden sind, in die neuen Gewichtsfunktionen zu ändern, wel che von der Erzeugungseinrichtung erzeugt worden sind.

78. Signalverarbeitungsverfahren, um eine Vielzahl von Eingangssignalen in einer Neuron-Einheit zu verarbeiten und um ein Ausgangssignal abzugeben, welches ein Verarbeitungs ergebnis anzeigt, dadurch gekennzeichnet, daß
Gewichtsfunktionen in Speichereinrichtungen der Neuron- Einheit von der Außenseite der Neuron-Einheit her eingeschrie ben werden;
ein Vorwärtsprozeß einschließlich einer Operation an jedem der Eingangssignale mit Hilfe der Gewichtsfunktionen durchge führt wird, welche in der Speichereinrichtung gespeichert sind, und um ein Operationsergebnis als das Ausgangssignal abzugeben, und
ein Selbstlernprozeß durchgeführt wird, bei welchem neue Ge wichtsfunktionen erzeugt werden, welche auf Fehlern zwischen dem bei dem Vorwärtsprozeß erhaltenen Ausgangssignal und Lehr signalen basieren, und die Gewichtsfunktionen, welche bei dem Vorwärtsprozeß verwendet worden sind, in die neuen Gewichts funktionen geändert werden, welche durch Erneuern von Inhal ten der Speichereinrichtung erzeugt werden.

79. Signalverarbeitungsverfahren, um eine Vielzahl Eingangs signale in einer Neuron-Einheit zu verarbeiten, und um ein Ausgangssignal abzugeben, welches ein Verarbeitungsergebnis anzeigt, dadurch gekennzeichnet, daß Gewichts funktionen in Speichereinrichtungen der Neuron-Einheit von außen her eingeschrieben werden;
ein Vorwärtsprozeß einschließlich einer Operation an jedem der Eingangssignale mit Hilfe einer der Gewichtsfunktionen durchgeführt wird, die in der Speichereinrichtung gespeichert sind, und um ein Operationsergebnis als das Ausgangssignal abzugeben;
ein Lernprozeß durchgeführt wird, bei welchem neue Gewichts funktionen erzeugt werden, welche auf Fehlern zwischen dem bei dem Vorwärtsprozeß erhaltenen Ausgangssignal und Lehr signalen basieren, und die Gewichtsfunktionen, welche bei dem Vorwärtsprozeß verwendet worden sind, in die neuen Ge wichtsfunktionen geändert werden, welche durch Erneuern der Inhalte der Speichereinrichtung erzeugt werden, und
die Gewichtsfunktionen eingeschrieben werden, welche in der Speichereinrichtung von der Außenseite der Neuron-Einheit her gespeichert worden sind.

80. Signalverarbeitungsverfahren, um eine Vielzahl Eingangs signale in einer Neuron-Einheit zu verarbeiten, und um ein Ausgangssignal abzugeben, welches ein Verarbeitungsergebnis anzeigt, dadurch gekennzeichnet, daß
Eingangssignaldaten der Eingangssignale in einer ersten Speichereinrichtung und Lehrsignaldaten von Lehrsignalen in einer zweiten Speichereinrichtung gespeichert werden;
ein Vorwärtsprozeß einschließlich einer Operation an jedem der Eingangssignale mit Hilfe einer der Gewichtsfunktionen durchgeführt und ein Operationsergebnis als das Ausgangssig nal abgegeben wird, und
ein Selbstlern-Prozeß durchgeführt wird, bei welchem neue Gewichtsfunktionen erzeugt werden, welche auf Fehlern zwischen dem durch Vorwärtsprozeß erhaltenen Signal und den Lehr signalen basieren, und die Gewichtsfunktionen, welche bei dem Vorwärtsprozeß verwendet worden sind, in die neuen Ge wichtsfunktionen geändert werden, welche erzeugt werden.

81. Signalverarbeitungsverfahren nach Anspruch 80, dadurch gekennzeichnet, daß eine Anzahl Mal gezählt wird, wie oft der Selbstlernprozeß durchgeführt wird.

82. Signalverarbeitungsverfahren nach Anspruch 80, dadurch gekennzeichnet, daß das Ausgangssignal der Neuron-Einheit und die Lehrsignaldaten verglichen werden.

83. Mittels Computer durchgeführtes Verfahren zum Simulieren einer Neuron-Einheit, um eine Vielzahl Eingangssignale zu verarbeiten, und um ein Ausgangssignal abzugeben, welches ein Verarbeitungsergebnis anzeigt, dadurch gekenn zeichnet, daß die Eingangssignale empfangen werden;
ein Vorwärtsprozeß durchgeführt wird, bei welchem Gewichts funktionen zugeführt und eine Operation an jedem der Ein gangssignale mit Hilfe einer der Gewichtsfunktionen durchge führt wird, um ein Operationsergebnis als das Ausgangssignal abzugeben, und
ein Selbstlern-Prozeß durchgeführt wird, bei welchem neue Gewichtsfunktionen erzeugt werden, welche auf Fehlern zwi schen dem Ausgangssignal und Lehrsignalen basieren, und die Gewichtsfunktionen in neue Gewichtsfunktionen geändert wer den, welche erzeugt werden.

84. Mittels Computer durchgeführtes Verfahren zum Simulie ren eines Selbstlernprozesses einer Neuron-Einheit, welche eine Vielzahl von Eingangssignalen verarbeitet und ein Aus gangssignal abgibt, welches ein Verarbeitungsergebnis an zeigt, wobei die Neuron-Einheit eine Eingangsleitungs-Ein richtung zum Empfangen der Eingangssignale und eine Vor wärtsprozeß-Einrichtung aufweist, welche eine Zuführein richtung zum Zuführen von Gewichtsfunktionen und eine Opera tionseinrichtung aufweist, um eine Operation an jedem der Eingangssignale mit Hilfe einer der Gewichtsfunktionen durchzuführen, welche von der Zuführeinrichtung zugeführt worden sind, und um das Ausgangssignal abzugeben, dadurch gekennzeichnet, daß neue Gewichtsfunktionen erzeugt werden, welche auf Fehlern zwischen dem Ausgangs signal, das von der Vorwärtsprozeß-Einrichtung abgegeben worden ist, und Lehrsignalen basieren, und die Gewichtsfunktionen, welche von der Zuführeinrichtung der Vorwärtsprozeß-Einrichtung zugeführt worden sind, in neue Gewichtsfunktionen geändert werden, welche erzeugt werden.

85. Hierarchische Signalverarbeitungseinrichtung mit einer Anzahl von Aggregaten mit logischen Operationseinrichtungen, gekennzeichnet durch
eine Vergleichseinrichtung, um ein endgültiges Ausgangssig nal von einer der logischen Operationseinrichtungen und ein Lehrsignal zu vergleichen, welches der logischen Operations einrichtung entspricht, und um ein Fehlersignal der logischen Operationseinrichtung zu erzeugen, indem ein Signal, welches nur in dem Lehrsignal als ein positives Fehlersignal vorhanden ist, und ein Signal genommen werden, welches nur in dem end gültigen Ausgangssignal als ein negatives Fehlersignal vor handen ist;
eine Fehlersignal erzeugende Einrichtung, welche ein Gewichts funktionssignal verwendet, welches aus einem erregenden Ge wichtsfunktionssignal und/oder einem sperrenden Gewichtsfunk tionssignal gebildet ist, welches einen Verbindungszustand zwischen einer Operationseinrichtung, welche ein anderes Aggregat bildet, und einer der logischen Operationseinrich tungen in einem bestimmten Aggregat anzeigt, und in welcher ein Fehlersignal verwendet wird, das aus einem positiven und einem negativen Fehlersignal der Operationseinrichtung be steht, welche das andere Aggregat bildet, um ein positives Fehlersignal der logischen Operationseinrichtung in dem be stimmten Aggregat zu erzeugen, was auf einer logischen Opera tion an dem erregenden Gewichtsfunktionssignal,auf dem posi tiven Fehlersignal, auf dem sperrenden Gewichtsfunktionssig nal des Gewichtsfunktionssignals und auf dem negativen Fehler signal basiert, um ein negatives Fehlersignal der logischen Operationseinrichtung in dem bestimmten Aggregat zu erzeugen, was auf einer logischen Operation an dem sperrenden Gewichts funktionssignal des Gewichtsfunktionssignals, auf dem positiven Fehlersignal des anderen Aggregats, auf dem erregenden Ge wichtsfunktionssignal des Gewichtsfunktionssignals und auf dem negativen Fehlersignal in der logischen Operationseinrichtung in dem bestimmten Aggregat basiert, welche ein Ausgangssignal an die logische Operationseinrichtung des anderen Aggregats anlegt, und
eine Gewichtsfunktions-Steuereinrichtung zum Steuern des Ge wichtsfunktionssignals, was auf allen Eingangssignalen der logischen Operationseinrichtung, welche das andere Aggregat bildet, auf den positiven und negativen Fehlersignalen der logischen Operationseinrichtung und auf dem Funktionssignal basiert, welches den Verbindungszustand zwischen der logischen Operationseinrichtung des anderen Aggregats und der logischen Operationseinrichtung des bestimmten Aggregats anzeigt, wel ches sein Ausgangssignal an die logische Operationseinrich tung des anderen Aggregats anlegt.

86. Signalverarbeitungseinrichtung nach Anspruch 85, da durch gekennzeichnet, daß das Eingangssignal, das Ausgangssignal, das endgültige Ausgangssignal, das Ge wichtsfunktionssignal, das Lehrsignal bzw. das Fehlersignal jeweils Signalmengen haben, welche als Impulsdichten von Impulsfolgen beschrieben sind.

87. Signalverarbeitungseinrichtung, welche ein erstes Aggre gat, ein Endaggregat und zumindest ein Zwischenaggregat auf weist, welches ein Ausgangssignal des ersten Aggregats er hält und ein Ausgangssignal an das Endaggregat abgibt, wobei das erste, das Zwischen- und das Endaggregat jeweils logische Operationseinrichtungen haben, wobei eine Signalübertragung und ein Signalempfang zwischen den logischen Operationsein richtungen in einem bestimmten Aggregat und einer logischen Operationseinrichtung eines anderen Aggregats durchgeführt werden, Gewichtsfunktionen zwischen allen logischen Opera tionseinheiten auf der Basis eines Vergleichs eines spezifi schen Lehrsignals und eines endgültigen Ausgangssignals ge steuert werden, welches von dem Endaggregat entsprechend einem Eingangssignal an dem ersten Aggregat abgegeben wird, so daß das endgültige Ausgangssignal, das von der logischen Operationseinrichtung des endgültigen Aggregats für ein vorgegebenes Eingangssignal an das erste Aggregat abgegeben worden ist, zu dem Lehrsignal konvergiert, gekenn zeichnet durch
eine Ausgangsvergleichseinrichtung, um das endgültige Aus gangssignal, das von der logischen Operationseinrichtung in dem Endaggregat abgegeben worden ist, und ein Lehrsignal zu vergleichen, das der logischen Operationseinrichtung entspricht, und um ein Fehlersignal der logischen Operations einrichtung zu erzeugen, indem ein Signal, welches nur in dem Lehrsignal als ein positives Fehlersignal vorhanden ist, und ein Signal genommen werden, welches nur in dem endgülti gen Ausgangssignal als ein negatives Fehlersignal existiert;
eine Fehlersignalerzeugungseinrichtung, in welcher ein Ge wichtsfunktionssignal, welches aus einem erregenden Gewichts funktionssignal und/oder einem sperrenden Gewichtsfunktions signal besteht, das einen Verbindungszustand zwischen einer Operationseinrichtung, welche ein anderes Aggregat bildet, und der logischen Operationseinrichtung in einem bestimmten Aggregat anzeigt, und ein Fehlersignal verwendet wird, wel ches aus einem positiven und einem negativen Fehlersignal der Operationseinrichtung besteht, welche das andere Aggregat bildet, um ein poisitves Signal der logischen Operationsein richtung in dem bestimmten Aggregat zu erzeugen, was auf einer logischen Operation an dem erregenden Gewichtsfunk tionssignal des Gewichtsfunktionssignals,auf dem positiven Fehlersignal, auf dem sperrenden Gewichtsfunktionssignal des Gewichtsfunktionssignals und auf dem negativen Fehlersignal basiert, und um ein negatives Fehlersignal der logischen Operationseinrichtung in dem bestimmten Aggregat zu erzeugen, was auf einer logischen Operation an dem sperrenden Gewichts funktionssignal des Gewichtsfunktionssignals, auf dem posi tiven Fehlersignal des anderen Aggregats, auf dem erregenden Gewichtsfunktionssignal des Gewichtsfunktionssignals und auf dem negativen Fehlersignal in der logischen Operationsein richtung in dem bestimmten Aggregat basiert, welches sein Aus gangssignal an die logische Operationseinrichtung des anderen Aggregats anlegt, und
eine Gewichtsfunktions-Steuereinrichtung zum Steuern des Ge wichtsfunktionssignals, das auf allen Eingangssignalen an der logischen Operationseinrichtung, welche das andere Aggre gat bildet, auf den positiven und negativen Fehlersignalen der logischen Operationseinrichtung und dem Gewichtsfunktions signal basiert, welches den Verbindungszustand zwischen der logischen Operationseinrichtung des anderen Aggregats und der logischen Operationseinrichtung des bestimmten Aggregats anzeigt, welches sein Ausgangssignal an die logische Opera tionseinrichtung des anderen Aggregats anlegt.

88. Signalverarbeitungseinrichtung nach Anspruch 87, dadurch gekennzeichnet, daß das Eingangssignal, das Ausgangssignal, das endgültige Ausgangssignal und das Ge wichtsfunktionssignal, das Lehrsignal bzw. das Fehlersignal Signalmengen haben, welche als Impulsmengen von Impulsfolgen beschrieben worden sind.