DE4042139C2 - Neuron-Einheit - Google Patents

Neuron-Einheit

Info

Publication number
DE4042139C2
DE4042139C2 DE4042139A DE4042139A DE4042139C2 DE 4042139 C2 DE4042139 C2 DE 4042139C2 DE 4042139 A DE4042139 A DE 4042139A DE 4042139 A DE4042139 A DE 4042139A DE 4042139 C2 DE4042139 C2 DE 4042139C2
Authority
DE
Germany
Prior art keywords
circuit
input
neuron
output
neuron unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE4042139A
Other languages
English (en)
Other versions
DE4042139A1 (de
Inventor
Toshiyuki Furuta
Hiroyuki Horiguchi
Hirotoshi Eguchi
Yutaka Ebi
Tatsuya Furukawa
Yoshio Watanabe
Toshihiro Tsukagoshi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP5552390A external-priority patent/JPH03256184A/ja
Priority claimed from JP2058548A external-priority patent/JPH03260759A/ja
Priority claimed from JP2058515A external-priority patent/JPH03260785A/ja
Priority claimed from JP2067944A external-priority patent/JPH03268082A/ja
Priority claimed from JP2067938A external-priority patent/JPH03268079A/ja
Priority claimed from JP2067943A external-priority patent/JPH03268081A/ja
Priority claimed from JP2067939A external-priority patent/JPH03268080A/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of DE4042139A1 publication Critical patent/DE4042139A1/de
Publication of DE4042139C2 publication Critical patent/DE4042139C2/de
Application granted granted Critical
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Description

In einem Lebewesen, insbesondere einem Menschen, können Prozesse, wie eine Zeichenerkennung, ein Gedächtnis durch Verknüpfung und eine Bewegungssteue­ rung ziemlich einfach ausgeführt werden. Jedoch sind derartige Prozesse oft ex­ trem schwierig, um sie auf Neumann-Computern durchzuführen. Um mit den Schwierigkeiten fertig zu werden, welche bei den Neumann-Computern aufgetreten sind, sind daher verschiedene Modelle von Neuron-Einheiten und Neuronalen Net­ zen vorgeschlagen worden. Die Neuron-Einheit ähnelt einem Neuron des lebenden Körpers, und das Neuronale Netz benutzt derartige Neuron-Einheiten, um ein Netz zu bilden, um so eine parallele Informationsverarbeitung und eine Selbstschulung durchzuführen, welche Funktionen eines Nervensystems des lebenden Körpers sind.
Gegenwärtig wird das Neuronale Netz in den meisten Fällen durch eine Compu­ ter-Simulation realisiert. Um jedoch die vorteilhaften Merkmale des Neuronalen Netzes herauszuarbeiten, muss eine parallele Verarbeitung durch Hardware reali­ siert werden. Es sind bereits einige Vorschläge gemacht worden, das Neuronale Netz durch Hardware zu realisieren; jedoch können die vorgeschlagenen Neurona­ len Netze nicht die Selbstlernfunktion realisieren, welche ein weiteres vorteilhaftes Merkmal des Neuronalen Netzes ist. Darüber hinaus sind die Mehrzahl der vorge­ schlagenen Neuronalen Netze durch analoge Schaltungen realisiert, welche die Nachteile aufweisen, welche in Verbindung mit den Zeichnungen nachstehend noch beschrieben werden.
Zuerst wird ein Modell eines herkömmlichen Neuronalen Netzes beschrieben. Fig. 1 zeigt eine Neuron-Einheit 1 und Fig. 2 zeigt ein Neuronales Netz, welches aus einer Vielzahl solcher Neuron-Einheiten 1 gebildet ist. Jede Neuron-Einheit 1 des Neuronalen Netzes ist mit einer Vielzahl von Neuron-Einheiten 1 verbunden und empfängt ein Signal von ihnen (1) und gibt ein Signal zum Verarbeiten der emp­ fangenen Signale ab. In Fig. 2 hat das Neuronale Netz eine hierarchische Struktur, und jede Neuron-Einheit 1 erhält Signale von den Neuron-Einheiten 1, welche in einer vorherigen Schicht angeordnet sind, welche auf der linken Seite dargestellt ist, und gibt ein Signal an die Neuron-Einheiten 1 ab, welche in einer nächsten auf der rechten Seite dargestellten Schicht angeordnet sind.
In Fig. 1 ist mit T eine Gewichtfunktion bezeichnet, wobei Tij einen einzelnen Gewichtswert (kurz: Gewicht) beschreibt, welcher die Kopplungs- bzw. Verbin­ dungs- (oder Gewichtungs-)Intensität zwischen einer i-ten Neuron-Einheit und j-ten Neuron-Einheit anzeigt. Die Verbindung bzw. Kopplung zwischen ersten und zweiten Neuron-Einheiten wird als eine erregende Kopplung bezeichnet, wenn ein von der zweiten Neuron-Einheit abgegebenes Signal zunimmt, wenn ein von der ersten Neuron-Einheit empfangenes Signal zunimmt. Andererseits wird die Kopp­ lung zwischen den ersten und zweiten Neuron-Einheiten als eine sperrende Kopp­ lung bezeichnet, wenn das von der zweiten Neuron-Einheit abgegebene Signal ab­ nimmt, wenn das von der ersten Neuron-Einheit empfangene Signal zunimmt. Tij < 0 zeigt die erregende Kopplung und Tij < 0 zeigt die sperrende Kopplung an.
Die j-te Einheit 1 in Fig. 1 gibt ein Ausgangssignal yj ab. Wenn ein Ausgangssig­ nal der i-ten Neuron-Einheit 1 mit yi bezeichnet ist, kann das Eingangssignal an der j-ten Neuron-Einheit 1 von der i-ten Neuron-Einheit 1 durch Tijyi beschrieben wer­ den. Da eine Anzahl Neuron-Einheiten 1 mit der j-ten Neuron-Einheit 1 verbunden sind, können die Eingangssignale an der j-ten Neuron-Einheit 1 mit ΣTijyi be­ schrieben werden. Die Eingangssignale der ΣTijyi an der j-ten Neuron-Einheit 1 werden nachstehend als ein internes Potenzial uj der j-ten Neuron-Einheit 1 beschrie­ ben, wie durch die folgende Gl. (1) festgelegt ist.
uj = ΣTijyi (1)
Als Nächstes soll ein nicht-linearer Prozess an dem Eingang durchgeführt werden. Der nicht-lineare Prozess wird durch eine nicht-lineare Neuron-Antwortfunktion mit einer Sigmoid-Funktion beschrieben, wie in Fig. 3 und der folgenden Gl. (2) dargestellt ist.
f(x) = 1/(1 + e-x) (2)
Somit werden im Falle des in Fig. 2 dargestellten Neuronalen Netzes die Gl.'en (1) und (2) nacheinander für jedes Gewicht Tij berechnet, um so einen endgültigen Ausgangswert zu erhalten.
In Fig. 4 ist ein Beispiel einer herkömmlichen Neuron-Einheit dargestellt, welche in der offengelegten japanischen Patentanmeldung Nr. 62-295 188 vorgeschlagen worden ist. Die Neuron-Einheit weist eine Anzahl Verstärker 2 mit einer S-Kur­ ven-Übertragungsfunktion und ein Widerstands-Rückkopplungsschaltungsnetz 3 auf, durch welches Ausgänge jedes der Verstärker 2 mit Eingängen von Verstär­ kern in einer anderen Schicht verbunden sind, wie durch eine gestrichelte Linie angezeigt ist. Eine Zeitkonstantenschaltung 4 aus einem geerdeten Kondensator und einem geerdeten Widerstand ist mit einem Eingang jedes der Verstärker 2 ver­ bunden. Eingangsströme I1, I2 . . ., IN werden jeweils an die Eingänge der Verstär­ ker 1 angelegt, und ein Ausgangssignal wird aus einer Vereinigung von Ausgangs­ spannungen der Verstärker 2 hergeleitet.
Eine Stärke der Kopplung bzw. Verbindung (oder Gewichtung) zwischen den Neu­ ron-Einheiten wird durch einen Widerstandswert eines Widerstands 5, durch einen Gitterpunkt in dem Widerstands-Rückkopplungsschaltungsnetz 3 beschrieben, wel­ ches die Eingangs- und Ausgangsleitungen der Neuron-Einheiten verbindet. Eine Neuron-Antwortfunktion wird durch die Übertragungsfunktion jedes Verstärkers 2 beschrieben. Außerdem können die Kopplung bzw. Verbindung zwischen den Neu­ ron-Einheiten in die erregenden und die sperrenden Kopplungen bzw. Verbindun­ gen eingeteilt werden, und derartige Verbindungen werden mathematisch durch positive und negative Vorzeichen an Gewichten beschrieben. Es ist jedoch schwie­ rig, die positiven und negativen Werte durch die Schaltungskonstanten zu realisie­ ren. Folglich wird der Ausgang des Verstärkers 2 auf zwei Signale verteilt, und eines der zwei Signale wird invertiert, um so ein positives bzw. negatives Signal zu erzeugen. Eines der positiven und negativen Signale, die von jedem Verstärker 2 abgeleitet worden sind, wird entsprechend ausgewählt. Ferner wird ein Verstär­ ker verwendet, um die in Fig. 3 dargestellte Sigmoid-Funktion zu realisieren.
Jedoch ergeben sich bei der vorstehend beschriebenen Neuron-Einheit die folgen­ den Schwierigkeiten.
  • 1. Das Gewicht Tij ist festgelegt. Daher muss ein Wert, welcher vorher durch eine Simulation u. Ä. gelernt wird, für das Gewicht Tij verwendet werden, und ein Selbstlernen kann nicht durchgeführt werden.
  • 2. Da die Signalintensität durch einen analogen Potenzial- oder Stromwert be­ schrieben wird, und interne Operationen ebenfalls in analoger Form aus­ geführt werden, ändert sich der Ausgangswert leicht infolge der Tempera­ turcharakteristik und der Drift, welche auftritt, unmittelbar nachdem die Energiequelle angeschaltet wird, u. Ä.
  • 3. Wenn das Neuronale Netz durch eine große Anzahl von Neuronen-Einheiten gebildet ist, ist es schwierig, eine große Anzahl Neuron-Einheiten zu erhal­ ten, welche dieselbe Charakteristik haben.
  • 4. Wenn die Genauigkeit und Stabilität einer Neuron-Einheit unbestimmt sind können sich neue Schwierigkeiten ergeben, wenn eine Vielzahl derartiger Neuron-Einheiten verwendet werden, um das Neuronale Netz zu bilden. Folglich wird die Arbeitsweise des Neuronalen Netzes unberechenbar.
Andererseits wird als eine Lernregel in nummerischen Berechnungen ein Verfahren verwendet, welches als Rückwärts-Fehlerkorrektur (back propagation) bezeichnet wird und nachstehend beschrieben wird. Zuerst werden die Gewichte beliebig ge­ setzt. Wenn ein Eingangssignal in diesem Zustand an das Neuronale Netz angelegt wird, ist der sich ergebende Ausgangswert nicht notwendigerweise ein gewünsch­ ter Ausgangswert. Beispielsweise ist im Falle einer Zeichenerkennung ein sich er­ gebender Ausgang, "das Zeichen 'L'", der gewünschte Ausgang, wenn ein hand­ geschriebene Buchstabe "L" der Eingangswert ist; jedoch wird dieser gewünschte Ausgang nicht notwendigerweise erhalten, wenn die Gewichte anfangs beliebig eingestellt werden. Jedoch wird eine korrekte Lösung (ein Schulungssignal) in das Neuronale Netz eingegeben und die Gewichte werden so geändert, dass die kor­ rekte Lösung abgegeben wird, wenn der Eingang derselbe ist. Der Algorithmus, um die sich ändernde Größe der Gewichte zu erhalten, wird der Back- Propagation-Algorithmus genannt.
Beispielsweise wird in dem in Fig. 2 dargestellten, hierarchischen Neuronalen Netz das Gewicht Tij mit Hilfe der Gl. (4) geändert, so dass E, welches durch die Gl. (3) beschrieben ist, ein Minimum wird, wenn der Ausgang der j-ten Neu­ ron-Einheit in der Ausgabe-(letzten) Schicht mit yj bezeichnet ist, und das Schu­ lungssignal bezüglich dieser j-ten Neuron-Einheit mit dj bezeichnet ist.

E = Σ(dj - yj)2 (3)
ΔTij = δE/δTij (4)
Insbesondere wird, wenn die Gewichte der Ausgabeschicht und der Schicht, wel­ che der Ausgabeschicht unmittelbar vorangeht erhalten werden, ein Fehlersignal δ mit Hilfe der Gl. (5) erhalten, wenn mit f' eine Differenzialfunktion erster Ord­ nung der Sigmoid-Funktion f bezeichnet ist:
δj = (dj - yj) × f'(uj) (5)
Wenn die Gewichte der Schichten erhalten werden, welche der Ausgabeschicht unmittelbar vorausgeht, wird das Fehlersignal δ mit Hilfe der Gl. (6) erhalten,
δj = ΣδjTij × f'(uj) (6)
Die Gewichte Tij werden aus der Gl. (7) erhalten und geändert, wobei ΔT'ij bzw. T"ij Werte sind, welche während des vorherigen Lernprozesses erhalten worden sind; mit η ist eine Lernkonstante, mit α eine Stabilisierungskonstante bezeichnet.
Die Konstanten η und α werden durch Versuche erhalten, da sie logisch nicht er­ halten werden können. Die Konvergenz ist langsam, wenn die Werte dieser Kon­ stanten η und α kleiner werden, und es kommt leicht zu einer Schwingung, wenn die Werte dieser Konstanten η und α groß sind. Im Allgemeinen liegen die Kon­ stanten η und α in der Größenordnung von "1".
Das Neuronale Netz lernt in der vorstehend beschriebenen Weise, und ein Ein­ gangssignal wird danach wieder an das Neuronale Netz angelegt, um einen Aus­ gangswert zu berechnen und um zu lernen. Durch Wiederholen einer derartigen Operation werden die Gewichte Tij so bestimmt, dass ein gewünschter Aus­ gangswert bei einem gegebenen Eingangswert erhalten wird. Wenn ein Versuch gemacht wird, die vorstehend beschriebene Lernfunktion zu realisieren, ist es äu­ ßerst schwierig, die Lernfunktion durch einen Hardware-Aufbau zu realisieren, da das Lernen viele Berechnungen mit Hilfe der vier Grundrechnungsarten ein­ schließt.
Aus der WO 89/12275 A1 ist eine Spike-Übertragung für Neuronale Netze be­ kannt. Dabei werden Pulszüge für die Übertragung einer Information in einem Neuronalen Netzwerk verwendet. Eine Squash-Funktion wird durch logisches Undieren gepulster Ausgänge erzielt, wobei für f(x) ungefähr 1 - e-x angesetzt wird. Hinsichtlich der rückwärtigen Ausbreitung erhält man die Ableitung der Squash-Funktion, indem die Zeit untersucht wird, wann keine undierten Pulse vorhanden sind. Das logische Undieren von Pulszügen ergibt die zeitliche Mul­ tiplikation der zwei Signale. Die Multiplikation von Eingangsfrequenzen mit Gewichen wird erzielt, indem die Breite der Ausgangspulse moduliert wird, während die Frequenz gleich gehalten wird. Die Verwendung zweier Signallei­ tungen ist bekannt, um eine inhibitorische oder exhibitorische Wirkung zu erzielen.
Der Erfindung liegt die Aufgabe zu Grunde, eine Neuroneneinheit mit mög­ lichst einfachem Aufbau bereitzustellen.
Diese Aufgabe wird durch den Gegenstand des Anspruches 1 gelöst. Vorteil­ hafte Weiterbildungen gehen aus den abhängigen Ansprüchen 2 bis 4 hervor.
Nachfolgend wird die Erfindung anhand von bevorzugten Ausführungsformen un­ ter Bezugnahme auf die anliegenden Zeichnungen im Einzelnen erläutert. Es zei­ gen:
Fig. 1 ein Beispiel einer herkömmlichen Neuron-Einheit;
Fig. 2 ein herkömmliches Neuronales Netz;
Fig. 3 einen Graphen einer Sigmoid-Funktion;
Fig. 4 ein Schaltungsdiagramm eines Neuronalen Netzes, das in der offen­ gelegten japanischen Patentanmeldung Nr. 62-295 188 vorgeschlagen ist;
Fig. 5 bis 7 (gestrichen)
Fig. 8 ein Schaltungsdiagramm einer Gewichte ändernden Schaltung einer Ausführungsform einer Neuron-Einheit gemäß der Erfindung;
Fig. 9 ein Schaltungsdiagramm einer Koeffizienten-Multiplizierschaltung, bei welcher die in Fig. 8 dargestellte Gewichte ändernde Schaltung verwendet ist;
Fig. 10 ein Schaltungsdiagramm einer in Fig. 9 dargestellten Addierschal­ tung;
Fig. 11 einen Graphen einer Kennlinie einer Differenzialfunktion f' erster Ordnung;
Fig. 12 ein Schaltungsdiagramm einer f'-signalerzeugenden Schaltung 30;
Fig. 13 eine Eingangs- gegenüber einer Ausgangskennlinie der in Fig. 12 dargestellten f'-signalerzeugenden Schaltung;
Fig. 14 eine Eingangs- gegenüber einer Ausgangscharakteristik der f'-signalerzeugenden Schaltung, wenn ein Verstärker mit einer nicht- linearen Eingangs-Ausgangskennline in einer Eingangsstufe vorgese­ hen ist;
Fig. 15 ein Systemblockdiagramm einer Fehlersignale erzeugenden Schaltung entsprechend der Gl. (5);
Fig. 16 ein Systemblockdiagramm einer Fehlersignale erzeugenden Schaltung entsprechend der Gl. (6);
Fig. 17 ein Systemblockdiagramm einer Gewichte erzeugenden Schaltung entsprechend der Gl. (7);
Fig. 18 ein Systemblockdiagramm einer Ausführungsform einer Neuron- Einheit gemäß der Erfindung;
Fig. 19 ein Diagramm eines handgeschriebenen Zeichens, welches mit einem Scanner gelesen wird, um eine Anwendung der Erfindung beim Selbstlern-Zeichenerkennungssystem zu erläutern.
Nunmehr wird eine Ausführungsform einer Neuron-Einheit gemäß der Erfindung beschrieben. In dieser Ausführungsform hat die Neuron-Einheit die Selbstlernfunk­ tion. Folglich müssen die Gewichte veränderlich gemacht werden, um so das Selbstlernen zu ermöglichen.
In Fig. 8 ist der Schaltungsaufbau einer Schaltung 20 zum Ändern von Gewichten dargestellt; die Schaltung 20 weist eine Anzahl Widerstände 21 auf, welche ver­ schiedene Gewichte darstellen und die Gewichtsfunktion ist durch entsprechendes Schalten einer Schaltanordnung 22 veränderlich, um eine Verbindung zu dem Wi­ derstand 21 herzustellen, welcher zu verwenden ist. Die Schaltungsanordnung 22 kann durch einen üblichen Schalter realisiert werden, welcher entsprechend einem binären Eingangssignal von einer (nicht dargestellten) externen Steuereinheit ge­ schaltet und gesteuert wird. In dem in Fig. 8 dargestellten Fall wird ein Ana­ log-Digital-(A/D-)Umsetzer 23 verwendet, um eine Spannung S von der externen Steuereinheit in einen binären Wert umzuwandeln, welcher dann als Gewichtsbe­ stimmungssignal dazu verwendet wird, das Schalten der Schaltanordnung 22 zu steuern.
Außerdem wird ein Vorzeichenbit des A/D-Umsetzers 23 zum Steuern des Schal­ tens einer Schaltanordnung 24 verwendet, welche bestimmt, ob ein Eingangswert über einen invertierenden Verstärker 25 entsprechend dem Vorzeichen zu erhalten ist oder nicht, um so den Ausgang zwischen einem erregenden und einem sperren­ den Signal umzuschalten. Folglich ist die Gewichtsfunktion in Abhängigkeit von der Spannung (dem externen Signal) S veränderlich, und es kann ein Ausgangswert erhalten werden, indem das Eingangssignal mit einem Gewicht, das einen belie­ bigen Wert hat, multipliziert wird.
In Fig. 9 ist eine Koeffizienten-Multiplizierschaltung dargestellt, um die Gl.'en (1) und (2) mit Hilfe der in Fig. 8 dargestellten Gewichte ändernden Schaltung 20 zu beschreiben. Jede Schaltung 20 hat die Funktion, das Gewicht mit einem Eingangssignal von einer unmittelbar vorhergehenden Schicht oder Lage zu multiplizieren. Ausgänge der Schaltungen 20 werden in einer Addierschaltung 26 addiert.
Die Addierschaltung 26 kann ohne weiteres mit Hilfe eines Operationsverstärkers 27 realisiert werden, wie in Fig. 10 dargestellt ist. In Fig. 10 ist der Operations­ verstärker 27 zum Addieren vorgesehen, hat jedoch die Struktur eines invertieren­ den Verstärkers. Folglich wird ein Verstärker 28 verwendet, um ein Ausgangssig­ nal des Operationsverstärkers 27 erneut zu invertieren, um ein Ausgangssignal der Addierschaltung 26 zu erhalten.
Ein nicht-linearer Verstärker 29 ist mit dem Ausgang der Addiererschaltung 26 verbunden, wie in Fig. 9 dargestellt ist. Eingangs- und Ausgangssignale dieses Verstärkers 29 haben eine Beziehung, welche durch die Gl. (2) beschrieben ist. Der Eingangswert am Verstärker 29 entspricht dem internen Potenzial der Gl. (1).
Als Nächstes wird ein Verfahren zum Erzeugen eines externen Signals S beschrie­ ben, welches die Gewichtsfunktion bestimmt. Dieses Verfahren entspricht den Gl.en (5) bis (7) und es sind Schaltungen erforderlich, um diese Gl.en (5) bis (7) zu realisieren. In den Gl.en (5) und (6) ist f' die Differenzialfunktion erster Ord­ nung der in Fig. 3 dargestellten Sigmoid-Funktion und hat eine in Fig. 11 darge­ stellte Charakteristik. Eine in Fig. 12 dargestellte Schaltung 30 realisiert die Diffe­ renzialfunktion f' erster Ordnung.
Wie in Fig. 12 dargestellt, sind eine Anzahl Verstärker 31 bis 35 in einer Anzahl Stufen so miteinander verbunden, dass die Schaltung 30 eine in Fig. 11 dargestellte nichtlineare Charakteristik haben kann. Die Schaltung 30 hat eine in Fig. 13 dar­ gestellte Eingangs-/Ausgangscharakteristik und realisiert nicht immer genau die in Fig. 11 dargestellte Charakteristik; die Charakteristik kann jedoch angenähert wer­ den. Außerdem wird, wenn ein (nicht dargestellter) Verstärker mit einer in Fig. 14 dargestellten nicht-linearen Eingangs-/Ausgangscharakteristik in einer Eingangsstu­ fe der Schaltung 30 vorgesehen ist, die Eingangs-/Ausgangscharakteristik der f'-si­ gnalerzeugenden Schaltung 30 so, wie in Fig. 14 dargestellt ist, und die in Fig. 11 dargestellte Charakteristik kann noch mehr angenähert werden.
In Fig. 15 ist eine fehlersignalerzeugende Schaltung 36 dargestellt, welche der Gl. (5) entspricht. In Fig. 15 ist die Schaltung 30 dieselbe, wie in Fig. 12 und unter­ wirft das interne Potenzial (d. h. den Eingangswert an den in Fig. 9 dargestellten Verstärkern 29) der in Fig. 13 oder 14 dargestellten Funktionsverarbeitung. Ferner ist eine Subtrahierschaltung 37 vorgesehen, um einen Fehler zwischen einem Aus­ gangswert der Neuron-Einheit in der Abgabeschicht und einem Lernsignal zu er­ halten. Eine Schaltung, welche derjenigen in Fig. 10 entspricht, kann verwendet werden, indem ein Eingangssignal in einem Verstärker invertiert wird. Ausgangs­ signale dieser Schaltungen 30 und 37 werden an eine Multiplizierschaltung 38 an­ gelegt, welche ein Produkt aus den zwei Ausgangssignalen bildet und es wird ein Ergebnis erhalten, das der Gl. (5) entspricht.
In Fig. 16 ist eine fehlersignalerzeugende Schaltung 39 entsprechend der Gl. (6) dargestellt. Die Schaltung 39 in Fig. 16 enthält die Gewichte ändernden Schaltungen 20, eine Addierschaltung 26, die f'-signalerzeugende Schaltung 30 und eine Multiplizierschaltung 40, welche ein Produkt der Ausgänge der Schaltun­ gen 26 und 30 erhält. Dieser Schaltungsaufbau ist äquivalent der Gl. (6). Folglich kann durch Eingeben des internen Potenzials und des Fehlersignals, das durch die in Fig. 16 dargestellte Schaltung in einer anderen Schicht oder durch die Schaltung 36 erzeugt wird, schließlich ein Ausgangswert erhalten werden, welcher demjeni­ gen entspricht welcher durch die Gl. (6) erhalten worden ist.
In Fig. 17 ist eine Gewichte erzeugende Schaltung 41 entsprechend der Gl. (7) dargestellt. Die Schaltung 41 enthält eine Multiplizierschaltung 42, welche durch eine i. a. erhältliche Multipliziereinheit realisiert werden kann. Die Multiplizier­ schaltung 42 bildet ein Produkt aus einem Ausgang einer Neuron-Einheit einer Schicht dem in der vorstehend beschriebenen Schaltung erzeugten Fehlersignal und einer Konstanten η. Ein Ausgangssignal der Multiplizierschaltung 42 wird an eine Addierschaltung 43 angelegt, und ein neuer Wert T wird aus T und aus ΔT mit Hilfe einer Verzögerungsschaltung 44 erzeugt. Folglich entspricht ein Aus­ gangssignal der Addierschaltung 43 dem durch Gl. (7) erhaltenen Ausgang.
In Fig. 18 ist eine Ausführungsform einer Neuron-Einheit dargestellt, welche durch die vorstehend beschriebenen Schaltungen gebildet ist. In einem Neuronalen Netz entspricht eine in Fig. 18 dargestellte Neuron-Einheit 45 einem Teil, welcher beispielsweise durch eine gestrichelte Linie in Fig. 2 hervorgehoben ist. In Fig. 18 entspricht ein Block B1 der in Fig. 9 dargestellten Schaltung und ein Ausgangswert dieses Blockes B1 wird an jede Neuron-Einheit der nächsten Schicht angelegt. Ein Block B2 entspricht der in Fig. 16 dargestellten Fehlersignal erzeugenden Schal­ tung 39. Das heißt der Block B2-1 der nächsten Schicht und der Block B2-2 der Neuron-Einheit 45 entspricht der in Fig. 16 dargestellten Schaltung. Ebenso ent­ sprechen der Block B2-1 der Neuron-Einheit 45 und der Block B2-2 der vorherge­ henden Schicht der in Fig. 16 dargestellten Schaltung. Da das Neuronale Netz als Ganzes die Mehrschichten-Struktur hat, wie sie in Fig. 2 dargestellt ist, kann der Block der Fehlersignal erzeugenden Schaltung 39 in der Mitte in zwei unterteilt werden, um so eine Ersatzschaltung aus zwei Schaltungsteilen zu realisieren.
In Fig. 18 dargestellte Blöcke B3-1, B3-2, . . ., B3-N entsprechen jeweils der in Fig. 17 dargestellten Gewichte erzeugenden Schaltung 41 und dem in Fig. 8 dar­ gestellten A/D-Umsetzer 23. In Fig. 18 ist jedoch die Verzögerungsschaltung 44 nicht dargestellt. Die Gewichte T, welche kürzlich in den Blöcken B3-1, B3-2, . . ., B3-N erhalten worden sind, werden verwendet, und jedes Gewicht wird in der in Fig. 8 dargestellten Schaltung 20 verändert. Da dasselbe Gewicht an zwei Stel­ len verwendet wird, welche die Blöcke B1 und B2-1 sind, werden die zwei (Blö­ cke) verbunden und geändert. Mit anderen Worten, die Blöcke B2-1 und B3 und die Gewichte ändernde Schaltung 20 in dem Block B1 in Fig. 18 entsprechen einer Selbstlernschaltung, während der restliche Teil des Blocks B1 und des Blocks B2-2 einer Neuron-Schaltung entspricht, welche einem Neuron ähnlich ist.
Eine Anzahl der Neuron-Einheiten 45 mit dem in Fig. 18 dargestellten Aufbau werden verbunden, um ein Netz zu bilden, welches dem in Fig. 2 dargestellten entspricht. Das Neuronale Netz wird realisiert, indem beispielsweise die in Fig. 15 dargestellte Fehlersignal erzeugende Schaltung 36 an dem Ausgangsteil der End­ ausgangsschicht hinzugefügt wird.
Bezüglich des vorstehend beschriebenen Schaltungsaufbau wird ein besonderer Fall beschrieben. Zuerst werden die Addierschaltung u. Ä. jedes Blockes alle aus i. a. erhältlich Operationsverstärkern hergestellt, und eine Vielzahl von 256 Eingabe- und 256 Ausgabe-Neuron-Einheiten 45 mit der in Fig. 18 dargestellten Struktur und eine Anzahl in Fig. 17 dargestellter Gewichte erzeugender Schaltungen 41 werden gebildet. Als Nächstes werden die Eingangs- und Ausgangsleitungen der Neuron-Einheit 45 und der Gewichte erzeugenden Schaltung 41 miteinander ver­ bunden, um so ein Neuronales Netz mit drei Schichten zu bilden. In dem Neurona­ len Netz weist eine erste Schicht 256 Neuron-Einheiten 45, eine zweite Schicht vier Neuron-Einheiten 45 und eine dritte Schicht fünf Neuron-Einheiten 45 auf. Außerdem ist ein Ausgang der dritten Schicht mit der in Fig. 15 dargestellten Feh­ lersignal erzeugenden Schaltung 36 verbunden. Wenn ein Eingabewert an jede Neuron-Einheit 45 der ersten Schicht in dem Neuronalen Netz angelegt wird, ist der sich ergebende Ausgabewert nicht notwendigerweise ein erwünschter Wert. Da dieses Netz aus Neuron-Einheiten die Selbstlernschaltung hat, wird der sich erge­ bende Abgabewert schließlich der gewünschte Wert, d. h. das Lehr- oder Schu­ lungssignal.
Nunmehr wird ein Fall beschrieben, bei welchem das vorstehend beschriebene Neuro­ nale Netz in einem selbstlernenden Zeichenerkennungssystem angewendet wird. Zu­ erst wird ein in Fig. 19 dargestelltes, handgeschriebenes Zeichen mittels eines Scan­ ners gelesen, und das gelesene Bild wird in 16 × 16 Maschen bzw. Felder unterteilt. Die Daten in jedem Feld werden dann an jede Neuron-Einheit 45 der ersten Schicht in dem Neuronalen Netz angelegt. Der Einfachheit halber wird der Datenwert eines Fel­ des, welcher einen Teil des Zeichens enthält, als 1 V genommen, während der Da­ tenwert eines Feldes, welcher keinen Teil des Zeichens enthält, als 0 V genommen wird. Der Ausgang des Neuronalen Netzes ist mit einem Voltmeter verbunden, so dass der sich ergebende Abgabewert unmittelbar an dem Voltmeter angezeigt wird. Von dem fünf Neuron-Einheiten 45 der dritten Schicht soll die Neuron-Einheit 45, welche den größten Ausgangswert abgibt, das Erkennungsergebnis abgeben. Das Ler­ nen findet so statt, dass wenn die Zahlen "1" bis "5" in das Neuronale Netz eingege­ ben werden, die fünf Neuron-Einheiten 45 der dritten Schicht, welche den Zahlen "1" bis "5" entsprechen, den größten Ausgangswert abgeben. Mit anderen Worten, wenn die Zahl "1" eingegeben wird, gibt die Neuron-Einheit 45 der dritten Schicht, welche der Zahl "1" entspricht, den größten Ausgangswert ab. Bezüglich eines Zeichens be­ trug nach einem hinreichenden Lernprozess die Erkennungsrate 100%.

Claims (4)

1. Neuroneinheit (45) zum Verarbeiten einer Anzahl von Eingangssignalen und zum Aus­ geben eines Ausgangssignals, welches ein Ergebnis der Verarbeitung anzeigt, wobei die Neuroneinheit (45) die folgenden Merkmale aufweist:
  • a) eine Eingangleitungseinrichtung zum Empfangen der Eingangssignale;
  • b) eine Vorwärtsprozesseinrichtung (B1), welche
    • a) mit der Eingangsleitungseinrichtung verbunden ist und
    • b) eine Einrichtung (21) zum Bereitstellen eines Gewichts zu jedem Ein­ gangssignal, um die Eingangssignale zu gewichten, und
    • c) Operationseinrichtungen (26, 29) aufweist, um mit den gewichteten Eingangssignalen eine Operation auszuführen, um das Ausgangssignal zu erhalten und abzugeben; und
  • c) eine Selbstlerneinrichtung (B2, B3, 20), welche
    • a) mit der Vorwärtsprozesseinrichtung (B1) verbunden ist, und aufweist:
    • b) eine Erzeugungseinrichtung (B2, B3) zum Erzeugen von jedem Ein­ gangssignal zugeordneten Gewichtsbestimmungssignalen, wobei deren Erzeugung auf Fehlern zwischen dem Ausgangssignal der Vorwärts­ prozesseinrichtung (B1) und Lehrsignalen basiert, und
    • c) eine Veränderungs-/Invertiereinrichtung (22, 23, 24, 25) zum Verän­ dern (22, 23) der jedem Eingangssignal zugeordneten Gewichte und zum Umschalten (23, 24, 25) zwischen einer Invertierung und Nicht- Invertierung der gewichteten Eingangssignale, wobei das Verändern und Umschalten in Abhängigkeit von den Gewichtsbestimmungs­ signalen erfolgt.
2. Neuroneinheit nach Anspruch 1, dadurch gekennzeichnet, dass die Veränderung der zugeordneten Gewichte durch Auswahl eines jeden Gewichts aus einer Anzahl von Gewichten in Übereinstimmung mit den Gewichtsbestimmungssignalen erfolgt.
3. Neuroneinheit nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verändern und/oder Umschalten auf digitalen Werten der Gewichtsbestimmungssignale beruht.
4. Neuroneinheit nach Anspruch 3, dadurch gekennzeichnet, dass die digitalen Werte durch Analog/Digital-Wandlung analoger Gewichtsbestimmungssignale erzielt wer­ den.
DE4042139A 1989-12-29 1990-12-28 Neuron-Einheit Expired - Fee Related DE4042139C2 (de)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
JP34389189 1989-12-29
JP5552390A JPH03256184A (ja) 1990-03-07 1990-03-07 信号処理回路
JP2058515A JPH03260785A (ja) 1990-03-09 1990-03-09 信号処理方法及びその回路網
JP2058548A JPH03260759A (ja) 1990-03-09 1990-03-09 信号処理方法及び装置
JP6073890 1990-03-12
JP6794290 1990-03-16
JP2067938A JPH03268079A (ja) 1990-03-16 1990-03-16 信号処理装置
JP2067943A JPH03268081A (ja) 1990-03-16 1990-03-16 信号処理方法及び装置
JP6794090 1990-03-16
JP2067944A JPH03268082A (ja) 1990-03-16 1990-03-16 信号処理方法及び装置
JP6794190 1990-03-16
JP2067939A JPH03268080A (ja) 1990-03-16 1990-03-16 信号処理装置
JP27282790 1990-10-11

Publications (2)

Publication Number Publication Date
DE4042139A1 DE4042139A1 (de) 1991-07-11
DE4042139C2 true DE4042139C2 (de) 2000-10-12

Family

ID=27584236

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4042139A Expired - Fee Related DE4042139C2 (de) 1989-12-29 1990-12-28 Neuron-Einheit

Country Status (2)

Country Link
US (5) US5167006A (de)
DE (1) DE4042139C2 (de)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581662A (en) * 1989-12-29 1996-12-03 Ricoh Company, Ltd. Signal processing apparatus including plural aggregates
US5167006A (en) * 1989-12-29 1992-11-24 Ricoh Company, Ltd. Neuron unit, neural network and signal processing method
KR100191107B1 (ko) * 1990-11-06 1999-06-15 이데이 노부유끼 신호 처리 방법
JP3102918B2 (ja) * 1990-11-22 2000-10-23 株式会社リコー ニューラルネットワーク学習方法およびこの学習方法を用いた信号処理装置
US5259064A (en) * 1991-01-25 1993-11-02 Ricoh Company, Ltd. Signal processing apparatus having at least one neural network having pulse density signals as inputs and outputs
US5613039A (en) * 1991-01-31 1997-03-18 Ail Systems, Inc. Apparatus and method for motion detection and tracking of objects in a region for collision avoidance utilizing a real-time adaptive probabilistic neural network
US5563982A (en) * 1991-01-31 1996-10-08 Ail Systems, Inc. Apparatus and method for detection of molecular vapors in an atmospheric region
US5276772A (en) * 1991-01-31 1994-01-04 Ail Systems, Inc. Real time adaptive probabilistic neural network system and method for data sorting
JPH04266153A (ja) * 1991-02-20 1992-09-22 Honda Motor Co Ltd ニューラルネットワーク
JP2868640B2 (ja) * 1991-02-26 1999-03-10 株式会社東芝 ニューラル・ネットワークを用いた信号処理装置
JP2520331B2 (ja) * 1991-03-25 1996-07-31 株式会社エイ・ティ・アール自動翻訳電話研究所 ニュ―ラルネットワ―クの学習方法
US5321795A (en) * 1991-05-24 1994-06-14 Alvarez De Toledo Santiago Pattern association central subsystem and a perception learning system
US5963930A (en) * 1991-06-26 1999-10-05 Ricoh Company Ltd. Apparatus and method for enhancing transfer function non-linearities in pulse frequency encoded neurons
DE4124501C2 (de) * 1991-07-24 1994-09-15 Dieter Prof Dr Ing Barschdorff Neuronales Netz mit automatischer Installation von Zwischenneuronen
KR0131754B1 (en) * 1992-03-19 1998-04-24 Fujitsu Ltd Neuro processing service system
EP0566015A3 (en) * 1992-04-14 1994-07-06 Eastman Kodak Co Neural network optical character recognition system and method for classifying characters in amoving web
US5479574A (en) * 1993-04-01 1995-12-26 Nestor, Inc. Method and apparatus for adaptive classification
JP3582737B2 (ja) * 1993-05-20 2004-10-27 株式会社リコー 信号処理装置
US5426721A (en) * 1993-06-17 1995-06-20 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Neural networks and methods for training neural networks
EP0630150B1 (de) * 1993-06-18 1998-08-05 Hewlett-Packard Company Neuronales Netzwerk für Farbumsetzungen
EP0636991A3 (de) * 1993-07-29 1997-01-08 Matsushita Electric Ind Co Ltd Informationsverarbeitungsgerät zur Durchführung eines neuronalen Netzwerkes.
JPH07114524A (ja) * 1993-10-14 1995-05-02 Ricoh Co Ltd 信号処理装置
US5473730A (en) * 1993-11-09 1995-12-05 At&T Ipm Corp. High efficiency learning network
US5579440A (en) * 1993-11-22 1996-11-26 Brown; Robert A. Machine that learns what it actually does
US5486999A (en) * 1994-04-20 1996-01-23 Mebane; Andrew H. Apparatus and method for categorizing health care utilization
DE69430527T2 (de) * 1994-07-28 2003-01-02 Ibm Schaltung für das Vorladen von Eingangsvektorbestandteilen in eine freie Neuronalschaltung während der Erkennungsphase
US5689621A (en) * 1995-04-28 1997-11-18 Michigan State University Modular feedforward neural network architecture with learning
DE19518030C1 (de) * 1995-05-17 1996-10-10 Aeg Atlas Schutz Und Leittechn Anordnung und Verfahren für die Bestimmung der Betriebszustände eines elektrischen Energieversorgungsnetzes
US5835633A (en) * 1995-11-20 1998-11-10 International Business Machines Corporation Concurrent two-stage multi-network optical character recognition system
EP0782083B1 (de) * 1995-12-27 2003-06-25 Kabushiki Kaisha Toshiba Datenverarbeitungssystem
JPH09231189A (ja) * 1996-02-26 1997-09-05 Fuji Xerox Co Ltd 連想記憶装置および連想記憶方法
US6061673A (en) * 1996-11-06 2000-05-09 Sowa Institute Of Technology Co., Ltd. Learning methods in binary systems
US6041322A (en) * 1997-04-18 2000-03-21 Industrial Technology Research Institute Method and apparatus for processing data in a neural network
JP2002024199A (ja) * 1998-02-20 2002-01-25 Souwa Kenkyusho:Kk 二値システムの学習方法
JP4392089B2 (ja) * 1999-05-27 2009-12-24 株式会社デンソー ニューロン、当該ニューロンを用いて構成された階層型ニューラルネットワーク及び当該ニューロン内部での乗算処理に用いられる乗算回路
JP3845593B2 (ja) * 2002-03-13 2006-11-15 株式会社リコー 分級装置、現像装置、画像形成装置、分級方法、現像方法及び画像形成方法
JP4322169B2 (ja) * 2003-07-16 2009-08-26 株式会社リコー 文書処理システム、文書処理方法、文書処理プログラム
US8229108B2 (en) * 2003-08-15 2012-07-24 Broadcom Corporation Pseudo-random number generation based on periodic sampling of one or more linear feedback shift registers
JP4198677B2 (ja) * 2004-12-28 2008-12-17 株式会社デンソー 電力スイッチング装置
WO2008067676A1 (en) 2006-12-08 2008-06-12 Medhat Moussa Architecture, system and method for artificial neural network implementation
US7953762B2 (en) * 2008-04-09 2011-05-31 American Express Travel Related Services Company, Inc. Infrastructure and architecture for development and execution of predictive models
US8341166B2 (en) * 2008-04-09 2012-12-25 American Express Travel Related Services Company, Inc. Infrastructure and architecture for development and execution of predictive models
US8527438B2 (en) * 2009-12-22 2013-09-03 International Business Machines Corporation Producing spike-timing dependent plasticity in an ultra-dense synapse cross-bar array
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9904889B2 (en) 2012-12-05 2018-02-27 Applied Brain Research Inc. Methods and systems for artificial cognition
CN111079895A (zh) * 2014-10-16 2020-04-28 谷歌有限责任公司 增强具有外部存储器的神经网络
WO2017083742A1 (en) * 2015-11-12 2017-05-18 Google Inc. Neural network programmer
JP6524933B2 (ja) 2016-02-03 2019-06-05 富士通株式会社 ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置
US11263521B2 (en) 2016-08-30 2022-03-01 International Business Machines Corporation Voltage control of learning rate for RPU devices for deep neural network training
WO2018137411A1 (zh) * 2017-01-25 2018-08-02 清华大学 神经网络信息转换方法、系统及计算机设备
US10679119B2 (en) * 2017-03-24 2020-06-09 Intel Corporation Handling signal saturation in spiking neural networks
KR102574887B1 (ko) * 2018-06-19 2023-09-07 한국전자통신연구원 스파이크 뉴럴 네트워크를 사용하는 생성적 적대 신경망을 구현하기 위한 전자 회로
US11119674B2 (en) * 2019-02-19 2021-09-14 Macronix International Co., Ltd. Memory devices and methods for operating the same
RU2744361C1 (ru) * 2020-04-10 2021-03-05 Евгений Николаевич Захаров Нейроподобный элемент

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0325119A2 (de) * 1988-01-19 1989-07-26 Nestor, Inc. Vorrichtung für kumulatives Lernen von internen Darstellungen in einem n-dimensionalen "Coulomb"-Netzwerk
US4858147A (en) * 1987-06-15 1989-08-15 Unisys Corporation Special purpose neurocomputer system for solving optimization problems
US4866645A (en) * 1987-12-23 1989-09-12 North American Philips Corporation Neural network with dynamic refresh capability
WO1989012275A1 (en) * 1988-05-31 1989-12-14 Analog Intelligence Corporation Spike transmission for neural networks

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3293609A (en) * 1961-08-28 1966-12-20 Rca Corp Information processing apparatus
US3358271A (en) * 1964-12-24 1967-12-12 Ibm Adaptive logic system for arbitrary functions
US3601811A (en) * 1967-12-18 1971-08-24 Matsushita Electric Ind Co Ltd Learning machine
US4193115A (en) * 1977-12-15 1980-03-11 The United States Of America As Represented By The Secretary Of Commerce Method and apparatus for implementation of the CMAC mapping algorithm
US4737929A (en) * 1986-04-14 1988-04-12 American Telephone And Telegraph Company, At&T Bell Laboratories Highly parallel computation network employing a binary-valued T matrix and single output amplifiers
US4807168A (en) * 1987-06-10 1989-02-21 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Hybrid analog-digital associative neural network
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks
JP2645272B2 (ja) * 1988-03-25 1997-08-25 科学技術振興事業団 ディジタル型ニューロン回路
US4918618A (en) * 1988-04-11 1990-04-17 Analog Intelligence Corporation Discrete weight neural network
JPH0277871A (ja) * 1988-06-14 1990-03-16 Mitsubishi Electric Corp 神経回路網
US5093899A (en) * 1988-09-17 1992-03-03 Sony Corporation Neural network with normalized learning constant for high-speed stable learning
US5095443A (en) * 1988-10-07 1992-03-10 Ricoh Company, Ltd. Plural neural network system having a successive approximation learning method
US5048100A (en) * 1988-12-15 1991-09-10 Michael Kuperstein Self organizing neural network method and system for general classification of patterns
US5046020A (en) * 1988-12-16 1991-09-03 E. I. Du Pont De Nemours And Company Distributed parallel processing network wherein the connection weights are generated using stiff differential equations
JP2676397B2 (ja) * 1989-01-05 1997-11-12 株式会社エイ・ティ・アール視聴覚機構研究所 動的システムの運動軌道生成方法
EP0378115B1 (de) * 1989-01-06 1998-09-30 Hitachi, Ltd. Neuronaler Rechner
US4941122A (en) * 1989-01-12 1990-07-10 Recognition Equipment Incorp. Neural network image processing system
US4974169A (en) * 1989-01-18 1990-11-27 Grumman Aerospace Corporation Neural network with memory cycling
US4972363A (en) * 1989-02-01 1990-11-20 The Boeing Company Neural network using stochastic processing
DE69013716T2 (de) * 1989-02-23 1995-06-01 Matsushita Electric Ind Co Ltd Lernmaschine.
US4951243A (en) * 1989-10-12 1990-08-21 Analog Intelligence Corporation Probabilistic pulse train randomization device
US5167006A (en) * 1989-12-29 1992-11-24 Ricoh Company, Ltd. Neuron unit, neural network and signal processing method
US5157275A (en) * 1991-03-22 1992-10-20 Ricoh Corporation Circuit employing logical gates for calculating activation function derivatives on stochastically-encoded signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4858147A (en) * 1987-06-15 1989-08-15 Unisys Corporation Special purpose neurocomputer system for solving optimization problems
US4866645A (en) * 1987-12-23 1989-09-12 North American Philips Corporation Neural network with dynamic refresh capability
EP0325119A2 (de) * 1988-01-19 1989-07-26 Nestor, Inc. Vorrichtung für kumulatives Lernen von internen Darstellungen in einem n-dimensionalen "Coulomb"-Netzwerk
WO1989012275A1 (en) * 1988-05-31 1989-12-14 Analog Intelligence Corporation Spike transmission for neural networks

Also Published As

Publication number Publication date
US5619617A (en) 1997-04-08
US5167006A (en) 1992-11-24
US5504838A (en) 1996-04-02
US5327522A (en) 1994-07-05
DE4042139A1 (de) 1991-07-11
US5333241A (en) 1994-07-26

Similar Documents

Publication Publication Date Title
DE4042139C2 (de) Neuron-Einheit
DE112018004223T5 (de) Trainieren künstlicher neuronaler Netze
DE4217832C2 (de) Mustererkennungsgerät
DE112016003245T5 (de) Resistive Verarbeitungseinheit
DE112015003992T5 (de) Neuromorphe Synapsen
DE3922129A1 (de) Neurocomputer
DE112019005119T5 (de) Abgleichtechniken zum angleichen des symmetriepunktes als null-gewichtungspunkt in analogen kreuzungspunktanordnungen
DE112020002186T5 (de) Dnn-training mit asymmetrischen rpu-einheiten
DE4143073A1 (de) Mehrschichtiges neuronales netzwerk
DE112020001369T5 (de) Gepulste synaptische elemente für gepulste neuronale netze
DE19503147C2 (de) Chaos-Neuronen-Schaltung und diese verwendendes Neuronales Chaos-Netzwerk
DE102016221516B4 (de) Zeitverzögerungselement aus Phasenwechselmaterial für neuromorphe Netzwerke
DE19751301A1 (de) Schmitt-Triggerschaltung mit einstellbarer Triggerspannung sowie Einstellverfahren hierfür
DE19504664C2 (de) Chaotisches rekurrentes neuronales Netz und Lernverfahren dafür
DE112020005613T5 (de) Neuromorphe Einheit mit Kreuzschienen-Array-Struktur
WO1995002855A1 (de) Anordnung zur modellierung eines nichtlinearen prozesses
DE112020002547T5 (de) Rausch- und signalverwaltung für rpu-array
DE4315576A1 (de) Neuronales Netzwerk
DE10139682A1 (de) Verfahren zum Generieren von neuronalen Netzen
EP0643353B1 (de) Vorrichtung und Verfahren zur Datenverarbeitung
WO2019206776A1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE4244014A1 (de) Verfahren zum Erkennen und Identifizieren von Fehlern an Sensoren
DE4328751A1 (de) Selbstlernendes mehrschichtiges neuronales Netz und zugehöriges Lernverfahren
DE4316533C2 (de) Neuronales Netz für dynamische Prozesse
EP0537205B1 (de) Anordnung zur emulation neuronaler netze und verfahren zu ihrem betrieb

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee