DE4042139C2 - Neuron-Einheit - Google Patents
Neuron-EinheitInfo
- Publication number
- DE4042139C2 DE4042139C2 DE4042139A DE4042139A DE4042139C2 DE 4042139 C2 DE4042139 C2 DE 4042139C2 DE 4042139 A DE4042139 A DE 4042139A DE 4042139 A DE4042139 A DE 4042139A DE 4042139 C2 DE4042139 C2 DE 4042139C2
- Authority
- DE
- Germany
- Prior art keywords
- circuit
- input
- neuron
- output
- neuron unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Description
In einem Lebewesen, insbesondere einem Menschen, können Prozesse, wie eine
Zeichenerkennung, ein Gedächtnis durch Verknüpfung und eine Bewegungssteue
rung ziemlich einfach ausgeführt werden. Jedoch sind derartige Prozesse oft ex
trem schwierig, um sie auf Neumann-Computern durchzuführen. Um mit den
Schwierigkeiten fertig zu werden, welche bei den Neumann-Computern aufgetreten
sind, sind daher verschiedene Modelle von Neuron-Einheiten und Neuronalen Net
zen vorgeschlagen worden. Die Neuron-Einheit ähnelt einem Neuron des lebenden
Körpers, und das Neuronale Netz benutzt derartige Neuron-Einheiten, um ein Netz
zu bilden, um so eine parallele Informationsverarbeitung und eine Selbstschulung
durchzuführen, welche Funktionen eines Nervensystems des lebenden Körpers
sind.
Gegenwärtig wird das Neuronale Netz in den meisten Fällen durch eine Compu
ter-Simulation realisiert. Um jedoch die vorteilhaften Merkmale des Neuronalen
Netzes herauszuarbeiten, muss eine parallele Verarbeitung durch Hardware reali
siert werden. Es sind bereits einige Vorschläge gemacht worden, das Neuronale
Netz durch Hardware zu realisieren; jedoch können die vorgeschlagenen Neurona
len Netze nicht die Selbstlernfunktion realisieren, welche ein weiteres vorteilhaftes
Merkmal des Neuronalen Netzes ist. Darüber hinaus sind die Mehrzahl der vorge
schlagenen Neuronalen Netze durch analoge Schaltungen realisiert, welche die
Nachteile aufweisen, welche in Verbindung mit den Zeichnungen nachstehend noch
beschrieben werden.
Zuerst wird ein Modell eines herkömmlichen Neuronalen Netzes beschrieben. Fig.
1 zeigt eine Neuron-Einheit 1 und Fig. 2 zeigt ein Neuronales Netz, welches aus
einer Vielzahl solcher Neuron-Einheiten 1 gebildet ist. Jede Neuron-Einheit 1 des
Neuronalen Netzes ist mit einer Vielzahl von Neuron-Einheiten 1 verbunden und
empfängt ein Signal von ihnen (1) und gibt ein Signal zum Verarbeiten der emp
fangenen Signale ab. In Fig. 2 hat das Neuronale Netz eine hierarchische Struktur,
und jede Neuron-Einheit 1 erhält Signale von den Neuron-Einheiten 1, welche in
einer vorherigen Schicht angeordnet sind, welche auf der linken Seite dargestellt
ist, und gibt ein Signal an die Neuron-Einheiten 1 ab, welche in einer nächsten auf
der rechten Seite dargestellten Schicht angeordnet sind.
In Fig. 1 ist mit T eine Gewichtfunktion bezeichnet, wobei Tij einen einzelnen
Gewichtswert (kurz: Gewicht) beschreibt, welcher die Kopplungs- bzw. Verbin
dungs- (oder Gewichtungs-)Intensität zwischen einer i-ten Neuron-Einheit und j-ten
Neuron-Einheit anzeigt. Die Verbindung bzw. Kopplung zwischen ersten und
zweiten Neuron-Einheiten wird als eine erregende Kopplung bezeichnet, wenn ein
von der zweiten Neuron-Einheit abgegebenes Signal zunimmt, wenn ein von der
ersten Neuron-Einheit empfangenes Signal zunimmt. Andererseits wird die Kopp
lung zwischen den ersten und zweiten Neuron-Einheiten als eine sperrende Kopp
lung bezeichnet, wenn das von der zweiten Neuron-Einheit abgegebene Signal ab
nimmt, wenn das von der ersten Neuron-Einheit empfangene Signal zunimmt. Tij
< 0 zeigt die erregende Kopplung und Tij < 0 zeigt die sperrende Kopplung an.
Die j-te Einheit 1 in Fig. 1 gibt ein Ausgangssignal yj ab. Wenn ein Ausgangssig
nal der i-ten Neuron-Einheit 1 mit yi bezeichnet ist, kann das Eingangssignal an der
j-ten Neuron-Einheit 1 von der i-ten Neuron-Einheit 1 durch Tijyi beschrieben wer
den. Da eine Anzahl Neuron-Einheiten 1 mit der j-ten Neuron-Einheit 1 verbunden
sind, können die Eingangssignale an der j-ten Neuron-Einheit 1 mit ΣTijyi be
schrieben werden. Die Eingangssignale der ΣTijyi an der j-ten Neuron-Einheit 1
werden nachstehend als ein internes Potenzial uj der j-ten Neuron-Einheit 1 beschrie
ben, wie durch die folgende Gl. (1) festgelegt ist.
uj = ΣTijyi (1)
Als Nächstes soll ein nicht-linearer Prozess an dem Eingang durchgeführt werden.
Der nicht-lineare Prozess wird durch eine nicht-lineare Neuron-Antwortfunktion
mit einer Sigmoid-Funktion beschrieben, wie in Fig. 3 und der folgenden Gl. (2)
dargestellt ist.
f(x) = 1/(1 + e-x) (2)
Somit werden im Falle des in Fig. 2 dargestellten Neuronalen Netzes die Gl.'en
(1) und (2) nacheinander für jedes Gewicht Tij berechnet, um so einen endgültigen
Ausgangswert zu erhalten.
In Fig. 4 ist ein Beispiel einer herkömmlichen Neuron-Einheit dargestellt, welche
in der offengelegten japanischen Patentanmeldung Nr. 62-295 188 vorgeschlagen
worden ist. Die Neuron-Einheit weist eine Anzahl Verstärker 2 mit einer S-Kur
ven-Übertragungsfunktion und ein Widerstands-Rückkopplungsschaltungsnetz 3
auf, durch welches Ausgänge jedes der Verstärker 2 mit Eingängen von Verstär
kern in einer anderen Schicht verbunden sind, wie durch eine gestrichelte Linie
angezeigt ist. Eine Zeitkonstantenschaltung 4 aus einem geerdeten Kondensator
und einem geerdeten Widerstand ist mit einem Eingang jedes der Verstärker 2 ver
bunden. Eingangsströme I1, I2 . . ., IN werden jeweils an die Eingänge der Verstär
ker 1 angelegt, und ein Ausgangssignal wird aus einer Vereinigung von Ausgangs
spannungen der Verstärker 2 hergeleitet.
Eine Stärke der Kopplung bzw. Verbindung (oder Gewichtung) zwischen den Neu
ron-Einheiten wird durch einen Widerstandswert eines Widerstands 5, durch einen
Gitterpunkt in dem Widerstands-Rückkopplungsschaltungsnetz 3 beschrieben, wel
ches die Eingangs- und Ausgangsleitungen der Neuron-Einheiten verbindet. Eine
Neuron-Antwortfunktion wird durch die Übertragungsfunktion jedes Verstärkers 2
beschrieben. Außerdem können die Kopplung bzw. Verbindung zwischen den Neu
ron-Einheiten in die erregenden und die sperrenden Kopplungen bzw. Verbindun
gen eingeteilt werden, und derartige Verbindungen werden mathematisch durch
positive und negative Vorzeichen an Gewichten beschrieben. Es ist jedoch schwie
rig, die positiven und negativen Werte durch die Schaltungskonstanten zu realisie
ren. Folglich wird der Ausgang des Verstärkers 2 auf zwei Signale verteilt, und
eines der zwei Signale wird invertiert, um so ein positives bzw. negatives Signal
zu erzeugen. Eines der positiven und negativen Signale, die von jedem Verstärker
2 abgeleitet worden sind, wird entsprechend ausgewählt. Ferner wird ein Verstär
ker verwendet, um die in Fig. 3 dargestellte Sigmoid-Funktion zu realisieren.
Jedoch ergeben sich bei der vorstehend beschriebenen Neuron-Einheit die folgen
den Schwierigkeiten.
- 1. Das Gewicht Tij ist festgelegt. Daher muss ein Wert, welcher vorher durch eine Simulation u. Ä. gelernt wird, für das Gewicht Tij verwendet werden, und ein Selbstlernen kann nicht durchgeführt werden.
- 2. Da die Signalintensität durch einen analogen Potenzial- oder Stromwert be schrieben wird, und interne Operationen ebenfalls in analoger Form aus geführt werden, ändert sich der Ausgangswert leicht infolge der Tempera turcharakteristik und der Drift, welche auftritt, unmittelbar nachdem die Energiequelle angeschaltet wird, u. Ä.
- 3. Wenn das Neuronale Netz durch eine große Anzahl von Neuronen-Einheiten gebildet ist, ist es schwierig, eine große Anzahl Neuron-Einheiten zu erhal ten, welche dieselbe Charakteristik haben.
- 4. Wenn die Genauigkeit und Stabilität einer Neuron-Einheit unbestimmt sind können sich neue Schwierigkeiten ergeben, wenn eine Vielzahl derartiger Neuron-Einheiten verwendet werden, um das Neuronale Netz zu bilden. Folglich wird die Arbeitsweise des Neuronalen Netzes unberechenbar.
Andererseits wird als eine Lernregel in nummerischen Berechnungen ein Verfahren
verwendet, welches als Rückwärts-Fehlerkorrektur (back propagation) bezeichnet
wird und nachstehend beschrieben wird. Zuerst werden die Gewichte beliebig ge
setzt. Wenn ein Eingangssignal in diesem Zustand an das Neuronale Netz angelegt
wird, ist der sich ergebende Ausgangswert nicht notwendigerweise ein gewünsch
ter Ausgangswert. Beispielsweise ist im Falle einer Zeichenerkennung ein sich er
gebender Ausgang, "das Zeichen 'L'", der gewünschte Ausgang, wenn ein hand
geschriebene Buchstabe "L" der Eingangswert ist; jedoch wird dieser gewünschte
Ausgang nicht notwendigerweise erhalten, wenn die Gewichte anfangs beliebig
eingestellt werden. Jedoch wird eine korrekte Lösung (ein Schulungssignal) in das
Neuronale Netz eingegeben und die Gewichte werden so geändert, dass die kor
rekte Lösung abgegeben wird, wenn der Eingang derselbe ist. Der Algorithmus,
um die sich ändernde Größe der Gewichte zu erhalten, wird der Back-
Propagation-Algorithmus genannt.
Beispielsweise wird in dem in Fig. 2 dargestellten, hierarchischen Neuronalen
Netz das Gewicht Tij mit Hilfe der Gl. (4) geändert, so dass E, welches durch die
Gl. (3) beschrieben ist, ein Minimum wird, wenn der Ausgang der j-ten Neu
ron-Einheit in der Ausgabe-(letzten) Schicht mit yj bezeichnet ist, und das Schu
lungssignal bezüglich dieser j-ten Neuron-Einheit mit dj bezeichnet ist.
E = Σ(dj - yj)2 (3)
E = Σ(dj - yj)2 (3)
ΔTij = δE/δTij (4)
Insbesondere wird, wenn die Gewichte der Ausgabeschicht und der Schicht, wel
che der Ausgabeschicht unmittelbar vorangeht erhalten werden, ein Fehlersignal δ
mit Hilfe der Gl. (5) erhalten, wenn mit f' eine Differenzialfunktion erster Ord
nung der Sigmoid-Funktion f bezeichnet ist:
δj = (dj - yj) × f'(uj) (5)
Wenn die Gewichte der Schichten erhalten werden, welche der Ausgabeschicht
unmittelbar vorausgeht, wird das Fehlersignal δ mit Hilfe der Gl. (6) erhalten,
δj = ΣδjTij × f'(uj) (6)
Die Gewichte Tij werden aus der Gl. (7) erhalten und geändert, wobei ΔT'ij bzw. T"ij Werte
sind, welche während des vorherigen Lernprozesses erhalten worden sind; mit η
ist eine Lernkonstante, mit α eine Stabilisierungskonstante bezeichnet.
Die Konstanten η und α werden durch Versuche erhalten, da sie logisch nicht er
halten werden können. Die Konvergenz ist langsam, wenn die Werte dieser Kon
stanten η und α kleiner werden, und es kommt leicht zu einer Schwingung, wenn
die Werte dieser Konstanten η und α groß sind. Im Allgemeinen liegen die Kon
stanten η und α in der Größenordnung von "1".
Das Neuronale Netz lernt in der vorstehend beschriebenen Weise, und ein Ein
gangssignal wird danach wieder an das Neuronale Netz angelegt, um einen Aus
gangswert zu berechnen und um zu lernen. Durch Wiederholen einer derartigen
Operation werden die Gewichte Tij so bestimmt, dass ein gewünschter Aus
gangswert bei einem gegebenen Eingangswert erhalten wird. Wenn ein Versuch
gemacht wird, die vorstehend beschriebene Lernfunktion zu realisieren, ist es äu
ßerst schwierig, die Lernfunktion durch einen Hardware-Aufbau zu realisieren, da
das Lernen viele Berechnungen mit Hilfe der vier Grundrechnungsarten ein
schließt.
Aus der WO 89/12275 A1 ist eine Spike-Übertragung für Neuronale Netze be
kannt. Dabei werden Pulszüge für die Übertragung einer Information in einem
Neuronalen Netzwerk verwendet. Eine Squash-Funktion wird durch logisches
Undieren gepulster Ausgänge erzielt, wobei für f(x) ungefähr 1 - e-x angesetzt
wird. Hinsichtlich der rückwärtigen Ausbreitung erhält man die Ableitung der
Squash-Funktion, indem die Zeit untersucht wird, wann keine undierten Pulse
vorhanden sind. Das logische Undieren von Pulszügen ergibt die zeitliche Mul
tiplikation der zwei Signale. Die Multiplikation von Eingangsfrequenzen mit
Gewichen wird erzielt, indem die Breite der Ausgangspulse moduliert wird,
während die Frequenz gleich gehalten wird. Die Verwendung zweier Signallei
tungen ist bekannt, um eine inhibitorische oder exhibitorische Wirkung zu
erzielen.
Der Erfindung liegt die Aufgabe zu Grunde, eine Neuroneneinheit mit mög
lichst einfachem Aufbau bereitzustellen.
Diese Aufgabe wird durch den Gegenstand des Anspruches 1 gelöst. Vorteil
hafte Weiterbildungen gehen aus den abhängigen Ansprüchen 2 bis 4 hervor.
Nachfolgend wird die Erfindung anhand von bevorzugten Ausführungsformen un
ter Bezugnahme auf die anliegenden Zeichnungen im Einzelnen erläutert. Es zei
gen:
Fig. 1 ein Beispiel einer herkömmlichen Neuron-Einheit;
Fig. 2 ein herkömmliches Neuronales Netz;
Fig. 3 einen Graphen einer Sigmoid-Funktion;
Fig. 4 ein Schaltungsdiagramm eines Neuronalen Netzes, das in der offen
gelegten japanischen Patentanmeldung Nr. 62-295 188 vorgeschlagen
ist;
Fig. 5 bis 7 (gestrichen)
Fig. 8 ein Schaltungsdiagramm einer Gewichte ändernden Schaltung einer
Ausführungsform einer Neuron-Einheit gemäß der Erfindung;
Fig. 9 ein Schaltungsdiagramm einer Koeffizienten-Multiplizierschaltung,
bei welcher die in Fig. 8 dargestellte Gewichte ändernde Schaltung
verwendet ist;
Fig. 10 ein Schaltungsdiagramm einer in Fig. 9 dargestellten Addierschal
tung;
Fig. 11 einen Graphen einer Kennlinie einer Differenzialfunktion f' erster
Ordnung;
Fig. 12 ein Schaltungsdiagramm einer f'-signalerzeugenden Schaltung 30;
Fig. 13 eine Eingangs- gegenüber einer Ausgangskennlinie der in Fig. 12
dargestellten f'-signalerzeugenden Schaltung;
Fig. 14 eine Eingangs- gegenüber einer Ausgangscharakteristik der
f'-signalerzeugenden Schaltung, wenn ein Verstärker mit einer nicht-
linearen Eingangs-Ausgangskennline in einer Eingangsstufe vorgese
hen ist;
Fig. 15 ein Systemblockdiagramm einer Fehlersignale erzeugenden Schaltung
entsprechend der Gl. (5);
Fig. 16 ein Systemblockdiagramm einer Fehlersignale erzeugenden Schaltung
entsprechend der Gl. (6);
Fig. 17 ein Systemblockdiagramm einer Gewichte erzeugenden Schaltung
entsprechend der Gl. (7);
Fig. 18 ein Systemblockdiagramm einer Ausführungsform einer Neuron-
Einheit gemäß der Erfindung;
Fig. 19 ein Diagramm eines handgeschriebenen Zeichens, welches mit einem
Scanner gelesen wird, um eine Anwendung der Erfindung beim
Selbstlern-Zeichenerkennungssystem zu erläutern.
Nunmehr wird eine Ausführungsform einer Neuron-Einheit gemäß der Erfindung
beschrieben. In dieser Ausführungsform hat die Neuron-Einheit die Selbstlernfunk
tion. Folglich müssen die Gewichte veränderlich gemacht werden, um so das
Selbstlernen zu ermöglichen.
In Fig. 8 ist der Schaltungsaufbau einer Schaltung 20 zum Ändern von Gewichten
dargestellt; die Schaltung 20 weist eine Anzahl Widerstände 21 auf, welche ver
schiedene Gewichte darstellen und die Gewichtsfunktion ist durch entsprechendes
Schalten einer Schaltanordnung 22 veränderlich, um eine Verbindung zu dem Wi
derstand 21 herzustellen, welcher zu verwenden ist. Die Schaltungsanordnung 22
kann durch einen üblichen Schalter realisiert werden, welcher entsprechend einem
binären Eingangssignal von einer (nicht dargestellten) externen Steuereinheit ge
schaltet und gesteuert wird. In dem in Fig. 8 dargestellten Fall wird ein Ana
log-Digital-(A/D-)Umsetzer 23 verwendet, um eine Spannung S von der externen
Steuereinheit in einen binären Wert umzuwandeln, welcher dann als Gewichtsbe
stimmungssignal dazu verwendet wird, das Schalten der Schaltanordnung 22 zu
steuern.
Außerdem wird ein Vorzeichenbit des A/D-Umsetzers 23 zum Steuern des Schal
tens einer Schaltanordnung 24 verwendet, welche bestimmt, ob ein Eingangswert
über einen invertierenden Verstärker 25 entsprechend dem Vorzeichen zu erhalten
ist oder nicht, um so den Ausgang zwischen einem erregenden und einem sperren
den Signal umzuschalten. Folglich ist die Gewichtsfunktion in Abhängigkeit von
der Spannung (dem externen Signal) S veränderlich, und es kann ein Ausgangswert
erhalten werden, indem das Eingangssignal mit einem Gewicht, das einen belie
bigen Wert hat, multipliziert wird.
In Fig. 9 ist eine Koeffizienten-Multiplizierschaltung dargestellt, um die Gl.'en (1)
und (2) mit Hilfe der in Fig. 8 dargestellten Gewichte ändernden Schaltung
20 zu beschreiben. Jede Schaltung 20 hat die Funktion, das Gewicht mit
einem Eingangssignal von einer unmittelbar vorhergehenden Schicht oder Lage zu
multiplizieren. Ausgänge der Schaltungen 20 werden in einer Addierschaltung 26
addiert.
Die Addierschaltung 26 kann ohne weiteres mit Hilfe eines Operationsverstärkers
27 realisiert werden, wie in Fig. 10 dargestellt ist. In Fig. 10 ist der Operations
verstärker 27 zum Addieren vorgesehen, hat jedoch die Struktur eines invertieren
den Verstärkers. Folglich wird ein Verstärker 28 verwendet, um ein Ausgangssig
nal des Operationsverstärkers 27 erneut zu invertieren, um ein Ausgangssignal der
Addierschaltung 26 zu erhalten.
Ein nicht-linearer Verstärker 29 ist mit dem Ausgang der Addiererschaltung 26
verbunden, wie in Fig. 9 dargestellt ist. Eingangs- und Ausgangssignale dieses
Verstärkers 29 haben eine Beziehung, welche durch die Gl. (2) beschrieben ist.
Der Eingangswert am Verstärker 29 entspricht dem internen Potenzial der Gl. (1).
Als Nächstes wird ein Verfahren zum Erzeugen eines externen Signals S beschrie
ben, welches die Gewichtsfunktion bestimmt. Dieses Verfahren entspricht den
Gl.en (5) bis (7) und es sind Schaltungen erforderlich, um diese Gl.en (5) bis (7)
zu realisieren. In den Gl.en (5) und (6) ist f' die Differenzialfunktion erster Ord
nung der in Fig. 3 dargestellten Sigmoid-Funktion und hat eine in Fig. 11 darge
stellte Charakteristik. Eine in Fig. 12 dargestellte Schaltung 30 realisiert die Diffe
renzialfunktion f' erster Ordnung.
Wie in Fig. 12 dargestellt, sind eine Anzahl Verstärker 31 bis 35 in einer Anzahl
Stufen so miteinander verbunden, dass die Schaltung 30 eine in Fig. 11 dargestellte
nichtlineare Charakteristik haben kann. Die Schaltung 30 hat eine in Fig. 13 dar
gestellte Eingangs-/Ausgangscharakteristik und realisiert nicht immer genau die in
Fig. 11 dargestellte Charakteristik; die Charakteristik kann jedoch angenähert wer
den. Außerdem wird, wenn ein (nicht dargestellter) Verstärker mit einer in Fig. 14
dargestellten nicht-linearen Eingangs-/Ausgangscharakteristik in einer Eingangsstu
fe der Schaltung 30 vorgesehen ist, die Eingangs-/Ausgangscharakteristik der f'-si
gnalerzeugenden Schaltung 30 so, wie in Fig. 14 dargestellt ist, und die in Fig. 11
dargestellte Charakteristik kann noch mehr angenähert werden.
In Fig. 15 ist eine fehlersignalerzeugende Schaltung 36 dargestellt, welche der Gl.
(5) entspricht. In Fig. 15 ist die Schaltung 30 dieselbe, wie in Fig. 12 und unter
wirft das interne Potenzial (d. h. den Eingangswert an den in Fig. 9 dargestellten
Verstärkern 29) der in Fig. 13 oder 14 dargestellten Funktionsverarbeitung. Ferner
ist eine Subtrahierschaltung 37 vorgesehen, um einen Fehler zwischen einem Aus
gangswert der Neuron-Einheit in der Abgabeschicht und einem Lernsignal zu er
halten. Eine Schaltung, welche derjenigen in Fig. 10 entspricht, kann verwendet
werden, indem ein Eingangssignal in einem Verstärker invertiert wird. Ausgangs
signale dieser Schaltungen 30 und 37 werden an eine Multiplizierschaltung 38 an
gelegt, welche ein Produkt aus den zwei Ausgangssignalen bildet und es wird ein
Ergebnis erhalten, das der Gl. (5) entspricht.
In Fig. 16 ist eine fehlersignalerzeugende Schaltung 39 entsprechend der Gl. (6)
dargestellt. Die Schaltung 39 in Fig. 16 enthält die Gewichte ändernden
Schaltungen 20, eine Addierschaltung 26, die f'-signalerzeugende Schaltung 30
und eine Multiplizierschaltung 40, welche ein Produkt der Ausgänge der Schaltun
gen 26 und 30 erhält. Dieser Schaltungsaufbau ist äquivalent der Gl. (6). Folglich
kann durch Eingeben des internen Potenzials und des Fehlersignals, das durch die
in Fig. 16 dargestellte Schaltung in einer anderen Schicht oder durch die Schaltung
36 erzeugt wird, schließlich ein Ausgangswert erhalten werden, welcher demjeni
gen entspricht welcher durch die Gl. (6) erhalten worden ist.
In Fig. 17 ist eine Gewichte erzeugende Schaltung 41 entsprechend der Gl. (7)
dargestellt. Die Schaltung 41 enthält eine Multiplizierschaltung 42, welche durch
eine i. a. erhältliche Multipliziereinheit realisiert werden kann. Die Multiplizier
schaltung 42 bildet ein Produkt aus einem Ausgang einer Neuron-Einheit einer
Schicht dem in der vorstehend beschriebenen Schaltung erzeugten Fehlersignal und
einer Konstanten η. Ein Ausgangssignal der Multiplizierschaltung 42 wird an eine
Addierschaltung 43 angelegt, und ein neuer Wert T wird aus T und aus ΔT mit
Hilfe einer Verzögerungsschaltung 44 erzeugt. Folglich entspricht ein Aus
gangssignal der Addierschaltung 43 dem durch Gl. (7) erhaltenen Ausgang.
In Fig. 18 ist eine Ausführungsform einer Neuron-Einheit dargestellt, welche
durch die vorstehend beschriebenen Schaltungen gebildet ist. In einem Neuronalen
Netz entspricht eine in Fig. 18 dargestellte Neuron-Einheit 45 einem Teil, welcher
beispielsweise durch eine gestrichelte Linie in Fig. 2 hervorgehoben ist. In Fig. 18
entspricht ein Block B1 der in Fig. 9 dargestellten Schaltung und ein Ausgangswert
dieses Blockes B1 wird an jede Neuron-Einheit der nächsten Schicht angelegt. Ein
Block B2 entspricht der in Fig. 16 dargestellten Fehlersignal erzeugenden Schal
tung 39. Das heißt der Block B2-1 der nächsten Schicht und der Block B2-2 der
Neuron-Einheit 45 entspricht der in Fig. 16 dargestellten Schaltung. Ebenso ent
sprechen der Block B2-1 der Neuron-Einheit 45 und der Block B2-2 der vorherge
henden Schicht der in Fig. 16 dargestellten Schaltung. Da das Neuronale Netz als
Ganzes die Mehrschichten-Struktur hat, wie sie in Fig. 2 dargestellt ist, kann der
Block der Fehlersignal erzeugenden Schaltung 39 in der Mitte in zwei unterteilt
werden, um so eine Ersatzschaltung aus zwei Schaltungsteilen zu realisieren.
In Fig. 18 dargestellte Blöcke B3-1, B3-2, . . ., B3-N entsprechen jeweils der in
Fig. 17 dargestellten Gewichte erzeugenden Schaltung 41 und dem in Fig. 8 dar
gestellten A/D-Umsetzer 23. In Fig. 18 ist jedoch die Verzögerungsschaltung 44
nicht dargestellt. Die Gewichte T, welche kürzlich in den Blöcken B3-1, B3-2, . . .,
B3-N erhalten worden sind, werden verwendet, und jedes Gewicht wird in der in
Fig. 8 dargestellten Schaltung 20 verändert. Da dasselbe Gewicht an zwei Stel
len verwendet wird, welche die Blöcke B1 und B2-1 sind, werden die zwei (Blö
cke) verbunden und geändert. Mit anderen Worten, die Blöcke B2-1 und B3 und
die Gewichte ändernde Schaltung 20 in dem Block B1 in Fig. 18 entsprechen einer
Selbstlernschaltung, während der restliche Teil des Blocks B1 und des Blocks B2-2
einer Neuron-Schaltung entspricht, welche einem Neuron ähnlich ist.
Eine Anzahl der Neuron-Einheiten 45 mit dem in Fig. 18 dargestellten Aufbau
werden verbunden, um ein Netz zu bilden, welches dem in Fig. 2 dargestellten
entspricht. Das Neuronale Netz wird realisiert, indem beispielsweise die in Fig. 15
dargestellte Fehlersignal erzeugende Schaltung 36 an dem Ausgangsteil der End
ausgangsschicht hinzugefügt wird.
Bezüglich des vorstehend beschriebenen Schaltungsaufbau wird ein besonderer Fall
beschrieben. Zuerst werden die Addierschaltung u. Ä. jedes Blockes alle aus i. a.
erhältlich Operationsverstärkern hergestellt, und eine Vielzahl von 256 Eingabe-
und 256 Ausgabe-Neuron-Einheiten 45 mit der in Fig. 18 dargestellten Struktur
und eine Anzahl in Fig. 17 dargestellter Gewichte erzeugender Schaltungen 41
werden gebildet. Als Nächstes werden die Eingangs- und Ausgangsleitungen der
Neuron-Einheit 45 und der Gewichte erzeugenden Schaltung 41 miteinander ver
bunden, um so ein Neuronales Netz mit drei Schichten zu bilden. In dem Neurona
len Netz weist eine erste Schicht 256 Neuron-Einheiten 45, eine zweite Schicht
vier Neuron-Einheiten 45 und eine dritte Schicht fünf Neuron-Einheiten 45 auf.
Außerdem ist ein Ausgang der dritten Schicht mit der in Fig. 15 dargestellten Feh
lersignal erzeugenden Schaltung 36 verbunden. Wenn ein Eingabewert an jede
Neuron-Einheit 45 der ersten Schicht in dem Neuronalen Netz angelegt wird, ist
der sich ergebende Ausgabewert nicht notwendigerweise ein erwünschter Wert. Da
dieses Netz aus Neuron-Einheiten die Selbstlernschaltung hat, wird der sich erge
bende Abgabewert schließlich der gewünschte Wert, d. h. das Lehr- oder Schu
lungssignal.
Nunmehr wird ein Fall beschrieben, bei welchem das vorstehend beschriebene Neuro
nale Netz in einem selbstlernenden Zeichenerkennungssystem angewendet wird. Zu
erst wird ein in Fig. 19 dargestelltes, handgeschriebenes Zeichen mittels eines Scan
ners gelesen, und das gelesene Bild wird in 16 × 16 Maschen bzw. Felder unterteilt.
Die Daten in jedem Feld werden dann an jede Neuron-Einheit 45 der ersten Schicht in
dem Neuronalen Netz angelegt. Der Einfachheit halber wird der Datenwert eines Fel
des, welcher einen Teil des Zeichens enthält, als 1 V genommen, während der Da
tenwert eines Feldes, welcher keinen Teil des Zeichens enthält, als 0 V genommen
wird. Der Ausgang des Neuronalen Netzes ist mit einem Voltmeter verbunden, so
dass der sich ergebende Abgabewert unmittelbar an dem Voltmeter angezeigt wird.
Von dem fünf Neuron-Einheiten 45 der dritten Schicht soll die Neuron-Einheit 45,
welche den größten Ausgangswert abgibt, das Erkennungsergebnis abgeben. Das Ler
nen findet so statt, dass wenn die Zahlen "1" bis "5" in das Neuronale Netz eingege
ben werden, die fünf Neuron-Einheiten 45 der dritten Schicht, welche den Zahlen "1"
bis "5" entsprechen, den größten Ausgangswert abgeben. Mit anderen Worten, wenn
die Zahl "1" eingegeben wird, gibt die Neuron-Einheit 45 der dritten Schicht, welche
der Zahl "1" entspricht, den größten Ausgangswert ab. Bezüglich eines Zeichens be
trug nach einem hinreichenden Lernprozess die Erkennungsrate 100%.
Claims (4)
1. Neuroneinheit (45) zum Verarbeiten einer Anzahl von Eingangssignalen und zum Aus
geben eines Ausgangssignals, welches ein Ergebnis der Verarbeitung anzeigt, wobei
die Neuroneinheit (45) die folgenden Merkmale aufweist:
- a) eine Eingangleitungseinrichtung zum Empfangen der Eingangssignale;
- b) eine Vorwärtsprozesseinrichtung (B1), welche
- a) mit der Eingangsleitungseinrichtung verbunden ist und
- b) eine Einrichtung (21) zum Bereitstellen eines Gewichts zu jedem Ein gangssignal, um die Eingangssignale zu gewichten, und
- c) Operationseinrichtungen (26, 29) aufweist, um mit den gewichteten Eingangssignalen eine Operation auszuführen, um das Ausgangssignal zu erhalten und abzugeben; und
- c) eine Selbstlerneinrichtung (B2, B3, 20), welche
- a) mit der Vorwärtsprozesseinrichtung (B1) verbunden ist, und aufweist:
- b) eine Erzeugungseinrichtung (B2, B3) zum Erzeugen von jedem Ein gangssignal zugeordneten Gewichtsbestimmungssignalen, wobei deren Erzeugung auf Fehlern zwischen dem Ausgangssignal der Vorwärts prozesseinrichtung (B1) und Lehrsignalen basiert, und
- c) eine Veränderungs-/Invertiereinrichtung (22, 23, 24, 25) zum Verän dern (22, 23) der jedem Eingangssignal zugeordneten Gewichte und zum Umschalten (23, 24, 25) zwischen einer Invertierung und Nicht- Invertierung der gewichteten Eingangssignale, wobei das Verändern und Umschalten in Abhängigkeit von den Gewichtsbestimmungs signalen erfolgt.
2. Neuroneinheit nach Anspruch 1, dadurch gekennzeichnet, dass die Veränderung der
zugeordneten Gewichte durch Auswahl eines jeden Gewichts aus einer Anzahl von
Gewichten in Übereinstimmung mit den Gewichtsbestimmungssignalen erfolgt.
3. Neuroneinheit nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verändern
und/oder Umschalten auf digitalen Werten der Gewichtsbestimmungssignale beruht.
4. Neuroneinheit nach Anspruch 3, dadurch gekennzeichnet, dass die digitalen Werte
durch Analog/Digital-Wandlung analoger Gewichtsbestimmungssignale erzielt wer
den.
Applications Claiming Priority (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34389189 | 1989-12-29 | ||
JP5552390A JPH03256184A (ja) | 1990-03-07 | 1990-03-07 | 信号処理回路 |
JP2058515A JPH03260785A (ja) | 1990-03-09 | 1990-03-09 | 信号処理方法及びその回路網 |
JP2058548A JPH03260759A (ja) | 1990-03-09 | 1990-03-09 | 信号処理方法及び装置 |
JP6073890 | 1990-03-12 | ||
JP6794290 | 1990-03-16 | ||
JP2067938A JPH03268079A (ja) | 1990-03-16 | 1990-03-16 | 信号処理装置 |
JP2067943A JPH03268081A (ja) | 1990-03-16 | 1990-03-16 | 信号処理方法及び装置 |
JP6794090 | 1990-03-16 | ||
JP2067944A JPH03268082A (ja) | 1990-03-16 | 1990-03-16 | 信号処理方法及び装置 |
JP6794190 | 1990-03-16 | ||
JP2067939A JPH03268080A (ja) | 1990-03-16 | 1990-03-16 | 信号処理装置 |
JP27282790 | 1990-10-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE4042139A1 DE4042139A1 (de) | 1991-07-11 |
DE4042139C2 true DE4042139C2 (de) | 2000-10-12 |
Family
ID=27584236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4042139A Expired - Fee Related DE4042139C2 (de) | 1989-12-29 | 1990-12-28 | Neuron-Einheit |
Country Status (2)
Country | Link |
---|---|
US (5) | US5167006A (de) |
DE (1) | DE4042139C2 (de) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5581662A (en) * | 1989-12-29 | 1996-12-03 | Ricoh Company, Ltd. | Signal processing apparatus including plural aggregates |
US5167006A (en) * | 1989-12-29 | 1992-11-24 | Ricoh Company, Ltd. | Neuron unit, neural network and signal processing method |
KR100191107B1 (ko) * | 1990-11-06 | 1999-06-15 | 이데이 노부유끼 | 신호 처리 방법 |
JP3102918B2 (ja) * | 1990-11-22 | 2000-10-23 | 株式会社リコー | ニューラルネットワーク学習方法およびこの学習方法を用いた信号処理装置 |
US5259064A (en) * | 1991-01-25 | 1993-11-02 | Ricoh Company, Ltd. | Signal processing apparatus having at least one neural network having pulse density signals as inputs and outputs |
US5613039A (en) * | 1991-01-31 | 1997-03-18 | Ail Systems, Inc. | Apparatus and method for motion detection and tracking of objects in a region for collision avoidance utilizing a real-time adaptive probabilistic neural network |
US5563982A (en) * | 1991-01-31 | 1996-10-08 | Ail Systems, Inc. | Apparatus and method for detection of molecular vapors in an atmospheric region |
US5276772A (en) * | 1991-01-31 | 1994-01-04 | Ail Systems, Inc. | Real time adaptive probabilistic neural network system and method for data sorting |
JPH04266153A (ja) * | 1991-02-20 | 1992-09-22 | Honda Motor Co Ltd | ニューラルネットワーク |
JP2868640B2 (ja) * | 1991-02-26 | 1999-03-10 | 株式会社東芝 | ニューラル・ネットワークを用いた信号処理装置 |
JP2520331B2 (ja) * | 1991-03-25 | 1996-07-31 | 株式会社エイ・ティ・アール自動翻訳電話研究所 | ニュ―ラルネットワ―クの学習方法 |
US5321795A (en) * | 1991-05-24 | 1994-06-14 | Alvarez De Toledo Santiago | Pattern association central subsystem and a perception learning system |
US5963930A (en) * | 1991-06-26 | 1999-10-05 | Ricoh Company Ltd. | Apparatus and method for enhancing transfer function non-linearities in pulse frequency encoded neurons |
DE4124501C2 (de) * | 1991-07-24 | 1994-09-15 | Dieter Prof Dr Ing Barschdorff | Neuronales Netz mit automatischer Installation von Zwischenneuronen |
KR0131754B1 (en) * | 1992-03-19 | 1998-04-24 | Fujitsu Ltd | Neuro processing service system |
EP0566015A3 (en) * | 1992-04-14 | 1994-07-06 | Eastman Kodak Co | Neural network optical character recognition system and method for classifying characters in amoving web |
US5479574A (en) * | 1993-04-01 | 1995-12-26 | Nestor, Inc. | Method and apparatus for adaptive classification |
JP3582737B2 (ja) * | 1993-05-20 | 2004-10-27 | 株式会社リコー | 信号処理装置 |
US5426721A (en) * | 1993-06-17 | 1995-06-20 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Neural networks and methods for training neural networks |
EP0630150B1 (de) * | 1993-06-18 | 1998-08-05 | Hewlett-Packard Company | Neuronales Netzwerk für Farbumsetzungen |
EP0636991A3 (de) * | 1993-07-29 | 1997-01-08 | Matsushita Electric Ind Co Ltd | Informationsverarbeitungsgerät zur Durchführung eines neuronalen Netzwerkes. |
JPH07114524A (ja) * | 1993-10-14 | 1995-05-02 | Ricoh Co Ltd | 信号処理装置 |
US5473730A (en) * | 1993-11-09 | 1995-12-05 | At&T Ipm Corp. | High efficiency learning network |
US5579440A (en) * | 1993-11-22 | 1996-11-26 | Brown; Robert A. | Machine that learns what it actually does |
US5486999A (en) * | 1994-04-20 | 1996-01-23 | Mebane; Andrew H. | Apparatus and method for categorizing health care utilization |
DE69430527T2 (de) * | 1994-07-28 | 2003-01-02 | Ibm | Schaltung für das Vorladen von Eingangsvektorbestandteilen in eine freie Neuronalschaltung während der Erkennungsphase |
US5689621A (en) * | 1995-04-28 | 1997-11-18 | Michigan State University | Modular feedforward neural network architecture with learning |
DE19518030C1 (de) * | 1995-05-17 | 1996-10-10 | Aeg Atlas Schutz Und Leittechn | Anordnung und Verfahren für die Bestimmung der Betriebszustände eines elektrischen Energieversorgungsnetzes |
US5835633A (en) * | 1995-11-20 | 1998-11-10 | International Business Machines Corporation | Concurrent two-stage multi-network optical character recognition system |
EP0782083B1 (de) * | 1995-12-27 | 2003-06-25 | Kabushiki Kaisha Toshiba | Datenverarbeitungssystem |
JPH09231189A (ja) * | 1996-02-26 | 1997-09-05 | Fuji Xerox Co Ltd | 連想記憶装置および連想記憶方法 |
US6061673A (en) * | 1996-11-06 | 2000-05-09 | Sowa Institute Of Technology Co., Ltd. | Learning methods in binary systems |
US6041322A (en) * | 1997-04-18 | 2000-03-21 | Industrial Technology Research Institute | Method and apparatus for processing data in a neural network |
JP2002024199A (ja) * | 1998-02-20 | 2002-01-25 | Souwa Kenkyusho:Kk | 二値システムの学習方法 |
JP4392089B2 (ja) * | 1999-05-27 | 2009-12-24 | 株式会社デンソー | ニューロン、当該ニューロンを用いて構成された階層型ニューラルネットワーク及び当該ニューロン内部での乗算処理に用いられる乗算回路 |
JP3845593B2 (ja) * | 2002-03-13 | 2006-11-15 | 株式会社リコー | 分級装置、現像装置、画像形成装置、分級方法、現像方法及び画像形成方法 |
JP4322169B2 (ja) * | 2003-07-16 | 2009-08-26 | 株式会社リコー | 文書処理システム、文書処理方法、文書処理プログラム |
US8229108B2 (en) * | 2003-08-15 | 2012-07-24 | Broadcom Corporation | Pseudo-random number generation based on periodic sampling of one or more linear feedback shift registers |
JP4198677B2 (ja) * | 2004-12-28 | 2008-12-17 | 株式会社デンソー | 電力スイッチング装置 |
WO2008067676A1 (en) | 2006-12-08 | 2008-06-12 | Medhat Moussa | Architecture, system and method for artificial neural network implementation |
US7953762B2 (en) * | 2008-04-09 | 2011-05-31 | American Express Travel Related Services Company, Inc. | Infrastructure and architecture for development and execution of predictive models |
US8341166B2 (en) * | 2008-04-09 | 2012-12-25 | American Express Travel Related Services Company, Inc. | Infrastructure and architecture for development and execution of predictive models |
US8527438B2 (en) * | 2009-12-22 | 2013-09-03 | International Business Machines Corporation | Producing spike-timing dependent plasticity in an ultra-dense synapse cross-bar array |
US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US9904889B2 (en) | 2012-12-05 | 2018-02-27 | Applied Brain Research Inc. | Methods and systems for artificial cognition |
CN111079895A (zh) * | 2014-10-16 | 2020-04-28 | 谷歌有限责任公司 | 增强具有外部存储器的神经网络 |
WO2017083742A1 (en) * | 2015-11-12 | 2017-05-18 | Google Inc. | Neural network programmer |
JP6524933B2 (ja) | 2016-02-03 | 2019-06-05 | 富士通株式会社 | ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置 |
US11263521B2 (en) | 2016-08-30 | 2022-03-01 | International Business Machines Corporation | Voltage control of learning rate for RPU devices for deep neural network training |
WO2018137411A1 (zh) * | 2017-01-25 | 2018-08-02 | 清华大学 | 神经网络信息转换方法、系统及计算机设备 |
US10679119B2 (en) * | 2017-03-24 | 2020-06-09 | Intel Corporation | Handling signal saturation in spiking neural networks |
KR102574887B1 (ko) * | 2018-06-19 | 2023-09-07 | 한국전자통신연구원 | 스파이크 뉴럴 네트워크를 사용하는 생성적 적대 신경망을 구현하기 위한 전자 회로 |
US11119674B2 (en) * | 2019-02-19 | 2021-09-14 | Macronix International Co., Ltd. | Memory devices and methods for operating the same |
RU2744361C1 (ru) * | 2020-04-10 | 2021-03-05 | Евгений Николаевич Захаров | Нейроподобный элемент |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0325119A2 (de) * | 1988-01-19 | 1989-07-26 | Nestor, Inc. | Vorrichtung für kumulatives Lernen von internen Darstellungen in einem n-dimensionalen "Coulomb"-Netzwerk |
US4858147A (en) * | 1987-06-15 | 1989-08-15 | Unisys Corporation | Special purpose neurocomputer system for solving optimization problems |
US4866645A (en) * | 1987-12-23 | 1989-09-12 | North American Philips Corporation | Neural network with dynamic refresh capability |
WO1989012275A1 (en) * | 1988-05-31 | 1989-12-14 | Analog Intelligence Corporation | Spike transmission for neural networks |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3293609A (en) * | 1961-08-28 | 1966-12-20 | Rca Corp | Information processing apparatus |
US3358271A (en) * | 1964-12-24 | 1967-12-12 | Ibm | Adaptive logic system for arbitrary functions |
US3601811A (en) * | 1967-12-18 | 1971-08-24 | Matsushita Electric Ind Co Ltd | Learning machine |
US4193115A (en) * | 1977-12-15 | 1980-03-11 | The United States Of America As Represented By The Secretary Of Commerce | Method and apparatus for implementation of the CMAC mapping algorithm |
US4737929A (en) * | 1986-04-14 | 1988-04-12 | American Telephone And Telegraph Company, At&T Bell Laboratories | Highly parallel computation network employing a binary-valued T matrix and single output amplifiers |
US4807168A (en) * | 1987-06-10 | 1989-02-21 | The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration | Hybrid analog-digital associative neural network |
US4874963A (en) * | 1988-02-11 | 1989-10-17 | Bell Communications Research, Inc. | Neuromorphic learning networks |
JP2645272B2 (ja) * | 1988-03-25 | 1997-08-25 | 科学技術振興事業団 | ディジタル型ニューロン回路 |
US4918618A (en) * | 1988-04-11 | 1990-04-17 | Analog Intelligence Corporation | Discrete weight neural network |
JPH0277871A (ja) * | 1988-06-14 | 1990-03-16 | Mitsubishi Electric Corp | 神経回路網 |
US5093899A (en) * | 1988-09-17 | 1992-03-03 | Sony Corporation | Neural network with normalized learning constant for high-speed stable learning |
US5095443A (en) * | 1988-10-07 | 1992-03-10 | Ricoh Company, Ltd. | Plural neural network system having a successive approximation learning method |
US5048100A (en) * | 1988-12-15 | 1991-09-10 | Michael Kuperstein | Self organizing neural network method and system for general classification of patterns |
US5046020A (en) * | 1988-12-16 | 1991-09-03 | E. I. Du Pont De Nemours And Company | Distributed parallel processing network wherein the connection weights are generated using stiff differential equations |
JP2676397B2 (ja) * | 1989-01-05 | 1997-11-12 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 動的システムの運動軌道生成方法 |
EP0378115B1 (de) * | 1989-01-06 | 1998-09-30 | Hitachi, Ltd. | Neuronaler Rechner |
US4941122A (en) * | 1989-01-12 | 1990-07-10 | Recognition Equipment Incorp. | Neural network image processing system |
US4974169A (en) * | 1989-01-18 | 1990-11-27 | Grumman Aerospace Corporation | Neural network with memory cycling |
US4972363A (en) * | 1989-02-01 | 1990-11-20 | The Boeing Company | Neural network using stochastic processing |
DE69013716T2 (de) * | 1989-02-23 | 1995-06-01 | Matsushita Electric Ind Co Ltd | Lernmaschine. |
US4951243A (en) * | 1989-10-12 | 1990-08-21 | Analog Intelligence Corporation | Probabilistic pulse train randomization device |
US5167006A (en) * | 1989-12-29 | 1992-11-24 | Ricoh Company, Ltd. | Neuron unit, neural network and signal processing method |
US5157275A (en) * | 1991-03-22 | 1992-10-20 | Ricoh Corporation | Circuit employing logical gates for calculating activation function derivatives on stochastically-encoded signals |
-
1990
- 1990-12-18 US US07/629,632 patent/US5167006A/en not_active Expired - Fee Related
- 1990-12-28 DE DE4042139A patent/DE4042139C2/de not_active Expired - Fee Related
-
1992
- 1992-05-28 US US07/889,380 patent/US5333241A/en not_active Expired - Lifetime
- 1992-12-11 US US07/989,781 patent/US5327522A/en not_active Expired - Lifetime
-
1993
- 1993-09-30 US US08/128,707 patent/US5619617A/en not_active Expired - Lifetime
-
1994
- 1994-03-07 US US08/206,855 patent/US5504838A/en not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4858147A (en) * | 1987-06-15 | 1989-08-15 | Unisys Corporation | Special purpose neurocomputer system for solving optimization problems |
US4866645A (en) * | 1987-12-23 | 1989-09-12 | North American Philips Corporation | Neural network with dynamic refresh capability |
EP0325119A2 (de) * | 1988-01-19 | 1989-07-26 | Nestor, Inc. | Vorrichtung für kumulatives Lernen von internen Darstellungen in einem n-dimensionalen "Coulomb"-Netzwerk |
WO1989012275A1 (en) * | 1988-05-31 | 1989-12-14 | Analog Intelligence Corporation | Spike transmission for neural networks |
Also Published As
Publication number | Publication date |
---|---|
US5619617A (en) | 1997-04-08 |
US5167006A (en) | 1992-11-24 |
US5504838A (en) | 1996-04-02 |
US5327522A (en) | 1994-07-05 |
DE4042139A1 (de) | 1991-07-11 |
US5333241A (en) | 1994-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4042139C2 (de) | Neuron-Einheit | |
DE112018004223T5 (de) | Trainieren künstlicher neuronaler Netze | |
DE4217832C2 (de) | Mustererkennungsgerät | |
DE112016003245T5 (de) | Resistive Verarbeitungseinheit | |
DE112015003992T5 (de) | Neuromorphe Synapsen | |
DE3922129A1 (de) | Neurocomputer | |
DE112019005119T5 (de) | Abgleichtechniken zum angleichen des symmetriepunktes als null-gewichtungspunkt in analogen kreuzungspunktanordnungen | |
DE112020002186T5 (de) | Dnn-training mit asymmetrischen rpu-einheiten | |
DE4143073A1 (de) | Mehrschichtiges neuronales netzwerk | |
DE112020001369T5 (de) | Gepulste synaptische elemente für gepulste neuronale netze | |
DE19503147C2 (de) | Chaos-Neuronen-Schaltung und diese verwendendes Neuronales Chaos-Netzwerk | |
DE102016221516B4 (de) | Zeitverzögerungselement aus Phasenwechselmaterial für neuromorphe Netzwerke | |
DE19751301A1 (de) | Schmitt-Triggerschaltung mit einstellbarer Triggerspannung sowie Einstellverfahren hierfür | |
DE19504664C2 (de) | Chaotisches rekurrentes neuronales Netz und Lernverfahren dafür | |
DE112020005613T5 (de) | Neuromorphe Einheit mit Kreuzschienen-Array-Struktur | |
WO1995002855A1 (de) | Anordnung zur modellierung eines nichtlinearen prozesses | |
DE112020002547T5 (de) | Rausch- und signalverwaltung für rpu-array | |
DE4315576A1 (de) | Neuronales Netzwerk | |
DE10139682A1 (de) | Verfahren zum Generieren von neuronalen Netzen | |
EP0643353B1 (de) | Vorrichtung und Verfahren zur Datenverarbeitung | |
WO2019206776A1 (de) | Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes | |
DE4244014A1 (de) | Verfahren zum Erkennen und Identifizieren von Fehlern an Sensoren | |
DE4328751A1 (de) | Selbstlernendes mehrschichtiges neuronales Netz und zugehöriges Lernverfahren | |
DE4316533C2 (de) | Neuronales Netz für dynamische Prozesse | |
EP0537205B1 (de) | Anordnung zur emulation neuronaler netze und verfahren zu ihrem betrieb |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |