DE19523293A1 - Generating nonlinear bell-shaped transfer functions for neural networks using stochastic processes - Google Patents

Generating nonlinear bell-shaped transfer functions for neural networks using stochastic processes

Info

Publication number
DE19523293A1
DE19523293A1 DE19523293A DE19523293A DE19523293A1 DE 19523293 A1 DE19523293 A1 DE 19523293A1 DE 19523293 A DE19523293 A DE 19523293A DE 19523293 A DE19523293 A DE 19523293A DE 19523293 A1 DE19523293 A1 DE 19523293A1
Authority
DE
Germany
Prior art keywords
bell
stochastic
transmitter
output
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19523293A
Other languages
German (de)
Other versions
DE19523293C2 (en
Inventor
Ruediger Hein
Kuno Dr Rer Nat Koellmann
Karl-Ragmar Riemschneider
Hans Christoph Prof Dr Zeidler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Plath 20097 Hamburg De GmbH
Original Assignee
HEIN RUEDIGER DIPL WIRTSCH ING
RIEMSCHNEIDER KARL RAGMAR DIPL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEIN RUEDIGER DIPL WIRTSCH ING, RIEMSCHNEIDER KARL RAGMAR DIPL filed Critical HEIN RUEDIGER DIPL WIRTSCH ING
Priority to DE19523293A priority Critical patent/DE19523293C2/en
Publication of DE19523293A1 publication Critical patent/DE19523293A1/en
Application granted granted Critical
Publication of DE19523293C2 publication Critical patent/DE19523293C2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/60—Methods or arrangements for performing computations using a digital non-denominational number representation, i.e. number representation without radix; Computing devices using combinations of denominational and non-denominational quantity representations, e.g. using difunction pulse trains, STEELE computers, phase computers
    • G06F7/70—Methods or arrangements for performing computations using a digital non-denominational number representation, i.e. number representation without radix; Computing devices using combinations of denominational and non-denominational quantity representations, e.g. using difunction pulse trains, STEELE computers, phase computers using stochastic pulse trains, i.e. randomly occurring pulses the average pulse rates of which represent numbers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Abstract

A neural network employing a back propagation network uses hardware structured stochastic processing. The input is converted by an approximate sigmoid function stage and the result is stored in a delay element for an adjustable period before being provided as an output. The output is combined with the input in an EXCLUSIVE-OR gate. The nonlinear bell-shaped characteristic that results from the process.

Description

Die Erfindung betrifft Schaltungsanordnungen, denen Verfahren gemäß den Oberbegriffen der Ansprüche 1, 2, 3 und 4 zugrunde liegen. Solche Verfahren sind aus Veröffentlichungen nicht bekannt.The invention relates to circuit arrangements, the method according to the The preambles of claims 1, 2, 3 and 4 are based. Such procedures are not known from publications.

Stand der TechnikState of the art

Durch einen Trainingsvorgang werden Neuronale Netze befähigt, Eingangsvek­ toren in gewünschte Ausgangsvektoren zu überführen. Diese Fähigkeit sowie die Möglichkeit gegenüber Transformationen und Störungen Invarianz-Eigenschaften erwerben zu können, führten zu zahlreichen Applikationen dieser Netze.A training process enables neural networks, input vector to convert gates into desired output vectors. This ability as well as the Possibility of transformations and perturbations of invariance properties being able to acquire led to numerous applications of these networks.

Die Nutzung der möglichen massiven Parallelverarbeitung zur Erhöhung der Trainings- und Arbeitsgeschwindigkeit wird durch neuronale Hardware intensiv angestrebt.The use of the possible massive parallel processing to increase the Training and work speed is intensified by neural hardware sought.

Ein Weg, den Hardwareaufwand für massive Parallelität zu senken, ist der Einsatz unterschiedlicher stochastische Rechenwerke in Neuronalen Netzen ver­ schiedener Klassen und Varianten [NgH89], [Egu91], [Mur89], [MuT94], [Tom88a], [Tom88b], [Sha912a], [Sha91b]. Das für konventionelle Anwendungen häufig stören­ de Genanigkeits-Zeit-Verhalten stochastischer Rechentechnik kann für Neuro­ nale Netze beherrscht werden.One way to reduce the hardware overhead for massive parallelism is Use of different stochastic arithmetic units in neural networks different classes and variants [NgH89], [Egu91], [Mur89], [MuT94], [Tom88a], [Tom88b], [Sha912a], [Sha91b]. Often disturbing for conventional applications en Genuineness-time behavior of stochastic computing technology can for neuro nale networks are mastered.

Hardwareanordnungen entsprechend dem von Brandt et al. [BRZ93] beschrie­ benen Verfahren nutzen für die parallele Realisierung der zahlreichen Rechen­ operationen aufwandsgünstige stochastische Rechenwerke für Netze der Back­ propagation-Klasse.Hardware arrangements according to that of Brandt et al. [BRZ93] described Use the above method for the parallel implementation of the numerous rakes operations low-cost stochastic arithmetic units for back networks propagation class.

Wie in dieser Schrift - und darauf basierenden Arbeiten [RZ94a], [RZ94b] - dar­ gestellt, werden sowohl für das Funktionsglied, welches die nichtlineare sigmoid­ ähnliche Übertragung in der Arbeitsphase für Backpropagation-Netze bewirkt, als auch für das Funktionsglied, welches die nichtlineare sigmoid-ableitungs-ähn­ liche Übertragung in der Lernphase dieser Netze bewirkt, sequentielle Schaltun­ gen unter Anwendung von dort beschriebenen Automaten-Funktionsschemata eingesetzt.As in this document - and works based on it [RZ94a], [RZ94b] - are placed for both the functional member, which is the nonlinear sigmoid causes similar transmission in the work phase for back propagation networks, as well as for the functional member, which is the nonlinear sigmoid-derivative-like Liche transmission in the learning phase of these networks causes sequential switching conditions using the machine operating diagrams described there used.

Diese sequentiellen Schaltungen detektieren Folgen gleicher binärer Werte im zu überführenden Bitstrom - in dem die relative Häufigkeit des Auftretens einer binären "1" den Wert der codierten Zahl oder Größe repräsentiert - und verur­ sachen nach Überschreitung einer bestimmten Folgenlänge einen Schaltvorgang an ihrem Ausgang.These sequential circuits detect sequences of the same binary values in the bit stream to be transferred - in which the relative frequency of occurrence of a binary "1" represents the value of the encoded number or size - and verur things after a certain sequence length has been exceeded at their exit.

Die dort beschriebene Lösung für das Funktionsglied des rückwärts gerichteten Informationflusses der Lernphase läßt bei längerer Beobachtung der Ausgangs­ größe einen nichtlinearen Zusammenhang zur Eingangsgröße erkennen. Hier­ bei ergibt sich ein bogenförmiger Verlauf, der dem für die Backpropagation- Methode erwarteten Verlauf der Kennline als erste Ableitung der sigmoiden Kennlinie des Funktionsgliedes der Arbeitsphase nur grob ähnelt. The solution described there for the functional element of the rearward facing The information flow of the learning phase leaves the output with longer observation recognize a non-linear relationship to the input variable. Here at results in an arcuate course that corresponds to that for back propagation Method expected course of the characteristic curve as the first derivative of the sigmoid Characteristic of the functional element of the work phase only roughly resembles.  

Dieser Verlauf ist in Abb. 8 dargestellt. Die Höhe der bogenförmigen Kenn­ line ist durch die Folgenlänge n einstellbar.This course is shown in Fig. 8. The height of the arc-shaped characteristic line can be adjusted by the length n of the sequences.

In Neuronalen Netzen der Radial-Basis-Funktions-Klasse (RBF) werden am Neuronenausgang im vorwärts gerichteten Informationsfluß Funktionen mit glockenförmigen Kennlinien eingesetzt. Für die Hardwarerealisierung auch die­ ser Klasse in stochastischer Rechentechnik wird die Verfügbarkeit eines geeigne­ ten Funktionsgliedes mit glockenförmiger Kennlinie notwendig; ein solches war bisher nicht bekannt.In neural networks of the radial basic function class (RBF) are on Neuron output in the forward information flow functions with bell-shaped characteristics used. For hardware implementation also this class in stochastic computing technology, the availability of a suitable th function link with bell-shaped characteristic curve necessary; was such not yet known.

Gegenstand der ErfindungSubject of the invention

Im Gegensatz zu bisherigen Lösungen für Netze der Backprogation-Klasse, die gewünschten glockenförmigen Kennlinen nur bogenförmig anzunähern, und für bisher nicht verfügbare Lösungen zum Einsatz in Netzen der Radial-Basis- Funktions-Klasse (RBF) wird erfindungsgemäß folgendes Verfahren vorgeschla­ gen:In contrast to previous solutions for networks in the backprogation class, the desired bell-shaped characteristic curves only to approximate, and for previously unavailable solutions for use in radial base networks Function class (RBF), the following method is proposed according to the invention gene:

  • - Als erster Schritt wird der Eingang des erfindungsgemäßen Funktions­ gliedes nichtlinear mit sigmoid-ähnlicher Kennline überformt. Hierzu sind zum Beispiel geeignete Funktionsglieder nach [BRZ93] einsetzbar.- The first step is the input of the function according to the invention link non-linearly overmolded with a sigmoid-like characteristic. For this are For example, suitable functional elements according to [BRZ93] can be used.
  • - Als zweiter Schritt wird das Ergebnis der nichtlinearen, sigmoid-förmigen Überführung in ein Funktionsglied eingespeist, welches diesen Wert nach einer einstellbaren Zeit t wieder an seinem Ausgang entläßt. Bei geeig­ neter Wahl der Verzögerungszeit t sind der Eingang und der Ausgang dieses Gliedes ausreichend stochastisch entkoppelt, was für die Funktion der anschließenden stochastischen Rechenwerke notwendig ist.- The second step is the result of the non-linear, sigmoid-shaped Transfer fed into a function element, which after this value released an adjustable time t at its output. At approve The choice of delay time t is the input and the output this link is decoupled sufficiently stochastically, what is the function the subsequent stochastic arithmetic units is necessary.
  • - Als dritter Schritt wird eine Verknüpfung des Ausgangs und des Eingangs­ wertes des verzögernden Funktionsgliedes mit einem Exklusiv-Oder-Glied vorgenommen. Die stochastische Entkopplung erlaubt, diese Verknüpfung als Invertierung eines Wertes und anschließende Multiplikation im Fall der bipolaren Codierung zu verstehen.- The third step is to link the output and the input value of the delaying function element with an exclusive-OR element performed. The stochastic decoupling allows this link as an inversion of a value and subsequent multiplication in the case of understand bipolar coding.
  • - Nur bei vorliegender bipolarer Codierung kann als zusätzlicher vierter Schritt eine Verknüpfung so vorgenommen werden (Anspruch 3), daß das sich im dritten Schritt ergebende Verknüpfungsergebnis mit der Wahr­ scheinlichkeit 0.5 zufällig durch den binären Werte "1" ersetzt wird, um den dadurch erzeugten, stochastisch codierten Ausgangswert des Über­ tragers nur Werte größer Null annehmen zu lassen.- Only when bipolar coding is present can a linkage be made as an additional fourth step (claim 3) such that the result of the linkage resulting in the third step is replaced with the probability 0.5 randomly by the binary values "1" in order to generate the resultant stochastically coded output value of the transmitter to only accept values greater than zero.

Abb. 2 (oben) zeigt das Funktionsschema dieses Verfahrens als Ausführungs­ beispiel ohne Berücksichtigung des vierten Schrittes. Fig. 2 (top) shows the functional diagram of this method as an execution example without taking into account the fourth step.

Prinzipiell sind der erste und der zweite der oben genannten Schritte vertausch­ bar (Anspruch 2), jedoch ist dann ein zweiter sigmoid-förmiger Übertrager für den Eingangswert des verzögernden Funktionsgliedes vor dem drittem Schritt einzusetzen. Abb. 2 (unten) zeigt das Funktionsschema dieses Verfahrens als Ausführungsbeispiel.In principle, the first and the second of the above-mentioned steps are interchangeable (claim 2), but then a second sigmoid-shaped transformer is to be used for the input value of the delaying function element before the third step. Fig. 2 (below) shows the functional diagram of this method as an exemplary embodiment.

Abb. 3 (oben) zeigt das Funktionsschema dieses Verfahrens als Ausführungs­ beispiel im Falle bipolarer Codierung und unter Berücksichtigung des vierten Schrittes. Auch hier sind der erste und der zweite der oben genannten Schritte vertauschbar (Anspruch 4). Die Abb. 3 (unten) zeigt das Funktionsschema dieses Verfahrens als Ausführungsbeispiel. Fig. 3 (top) shows the functional diagram of this method as an execution example in the case of bipolar coding and taking into account the fourth step. Here, too, the first and the second of the above-mentioned steps are interchangeable (claim 4). Fig. 3 (below) shows the functional diagram of this method as an exemplary embodiment.

Neben den in Anspruch 2 bzw. 4 explizit genannten Varianten der Wirkprinzi­ pien der Verfahren der Ansprüche 1 bzw. 3, sind auch davon abgeleitete Mc­ difikationen möglich, die auf bekannten Regeln der digitalen Schaltungstechnik beruhen. Unter spezifischen Realisierungsbedingungen können sich Schaltungsvorteile ergeben. Abb. 5 zeigt Ausführungsbeispiele derartiger Modifika­ tionen.In addition to the variants of the principles of action of the methods of claims 1 and 3 explicitly mentioned in claims 2 and 4, modifications derived therefrom are also possible, which are based on known rules of digital circuit technology. Circuit advantages can result under specific implementation conditions. Fig. 5 shows exemplary embodiments of such modifications.

Die Verzögerung kann durch eine getaktete Digitalschaltung (z. B. ein Schie­ beregister) mit verschiedenen Taktungsformen (Anspruch 7) realisiert werden, möglich sind aber auch Laufzeitglieder. Für den ersten Fall kann die verzögern­ de Schaltung synchron mit einem giobalen, einem partiell synchron wirkenden oder einem asynchronen Takt eingesetzt werden. Wird außerdem die Erzeu­ gung der sigmoiden Übertragung nach Brandt et al. [BRZ93] vorgenommen, so ist es möglich, den Verzögerungsschaltungstakt gegenüber dem Takt des sigmoid-förmigen Überträgers zu reduzieren (Anspruch 7 (e)) und gleichzeitig diese Schaltung zu minimieren (z. B. das Schieberegister zu verkürzen). Diese Taktreduktion kann maximal durch Teilung des ursprünglichen Taktes durch die Folgenlänge n erfolgen.The delay can be caused by a clocked digital circuit (e.g. a slide registers) can be realized with different timing forms (claim 7), Term elements are also possible. In the first case it can be delayed de Circuitry synchronous with a giobal, a partially synchronous one or an asynchronous clock can be used. Will also the Erzeu sigmoid transmission according to Brandt et al. [BRZ93] made so it is possible to compare the delay circuit clock with the clock of the reduce sigmoid-shaped transmitter (claim 7 (e)) and at the same time to minimize this switching (e.g. to shorten the shift register). This Clock reduction can be maximized by dividing the original clock the sequence length n take place.

Anwendungsfall: Sigmoid-Ableitung für Netze der Backpropagation-KlasseUse case: Sigmoid derivation for networks of Backpropagation class

Die in der Backpropagation-Methode in der Lernphase notwendige erste Ab­ leitung der Sigmoid-Funktion hat glockenförmigen Verlauf. Hier können die vorgeschlagenen Verfahren vorteilhaft eingesetzt werden.The first Ab necessary in the backpropagation method in the learning phase line of the sigmoid function has a bell-shaped course. Here you can proposed methods can be used advantageously.

Insbesondere ist die Benutzung des für die Arbeitsphase in den Neuronen vor­ handenen sigmoiden Übertragers möglich. Als Eingang des Funktionsgliedes dient dann nicht der Ausgangswert der mittelnden Addition, sondern der Aus­ gangswert des - bereits vorhandenen - sich daran anschließenden Funktions­ gliedes mit sigmoid-ähnlicher, nichtlinearer Übertragungsfunktion.In particular, the use of the for the work phase is in the neurons existing sigmoid transmitter possible. As the input of the functional element then serves not the initial value of the averaging addition, but the off initial value of the - already existing - subsequent function member with a sigmoid-like, non-linear transfer function.

Diese Folge von binären Werten wird durch ein geeignetes Funktionsglied um die Zeit t ausreichend verzögert. Dessen Ausgang wird logisch invertiert und mit der ursprünglich nicht verzögerten Folge multiplikativ verknüpft. Beides kann - dem vorgeschlagenen Verfahren gemäß - mit Hilfe eines digitaltechnischen Exklusiv-Oder-Gliedes geschehen. Die Verzögerung um die Zeit t bewirkt, daß eine statistische Entkopplung erfolgt, so daß es möglich ist, diesen Wert mit seiner Negation multiplikativ - im Sinne stochastischer Rechentechnik - zu verknüpfen. Das Ergebnis der Exklusiv-Oder-Verknüpfung bildet den Ausgang des erfindungsgemäßen Funktionsgliedes.This sequence of binary values is converted by a suitable function element the time t is sufficiently delayed. Its output is inverted logically and with the sequence, which was originally not delayed, is multiplicatively linked. Both can - According to the proposed method - with the help of a digital technology Exclusive-or-link happen. The delay by time t causes statistical decoupling takes place so that it is possible to use this value with its negation multiplicative - in the sense of stochastic computing technology link. The result of the exclusive-or link forms the output  of the functional element according to the invention.

Zwischen dem Ergebnis der mittelnden Addition und dem Ausgang des vorge schlagenen Funktionsgliedes, - als dem Eingangspunkt und Ausgang des bisher eingesetzten Funktionsgliedes - ergibt sich ein nichtlinearer, glockenförmiger Verlauf der Übertragungskennlinie.Between the result of the averaging addition and the output of the pre struck functional element, - as the entry point and exit of the previously used functional element - results in a non-linear, bell-shaped Course of the transmission characteristic.

Der Verlauf dieser Kennlinie ist in Abb. 9 dargestellt. Die Form der Glockenkurve wird durch das Parameterpaar Verzögerungszeit t und Folgenlänge n bestimmt; letztere bedingt die Steilheit der sigmoid-ähnlichen Übertragungs­ funktion. Mit zunehmender Verzögerungszeit t ergibt sich eine bessere stati­ stische Entkopplung. Eine wachsende Folgenlänge n senkt die Häufigkeit der Schaltvorgänge am Ausgang des Funktionsgliedes mit sigmoid-ähnlicher Übert­ ragungsfunktion und benötigt aus diesem Grund eine längere Zeit t.The course of this characteristic is shown in Fig. 9. The shape of the bell curve is determined by the parameter pair of delay time t and sequence length n; the latter causes the steepness of the sigmoid-like transfer function. With increasing delay time t, there is a better statistical decoupling. A growing sequence length n reduces the frequency of switching operations at the output of the functional element with a sigmoid-like transfer function and therefore requires a longer time t.

In Abb. 6 ist in Form eines Ausführungsbeispiels in einem Neuron in stochastischer Rechentechnik der Ersatz der bisherigen Anordnung durch eine erfindungsgemäße prinzipiell dargestellt.In Fig. 6, the replacement of the previous arrangement by an inventive one is shown in principle in the form of an exemplary embodiment in a neuron using stochastic computing technology.

Der glockenförmige Verlauf zeichnet sich gegenüber dem bogenförmigen durch zwei deutliche Wendepunkte aus und nähert somit die angestrebte erste Ablei­ tung der sigmoiden Überführungsfunktion qualitativ besser an. Dieses wird im Vergleich der Abb. 7, 8 und 9 deutlich.The bell-shaped course is distinguished from the arched by two distinct turning points and thus better approximates the intended first derivative of the sigmoid transfer function. This becomes clear in the comparison of Figs. 7, 8 and 9.

VerweiseReferences

[BRz93] Brandt, Holger; Biemschneider, Karl-Ragmar; Zeidler, Hans Chri­ stoph Verfahren und Anordnungen zur Hardwarerealisierung von Back-Propagation-Netzen mittels stochastischer Rechenwerke Uni­ versität der Bundeswehr Hamburg, Diensterfindung 93/22, Deutsche Patentanmeldung DE-P 44 04974.9-53 (2/94), 1993
[NgH89] Nguyen, D.D.; Holt, F.B. Neural Network using stoachstic processing US-Patent 4.972.363 1990 (1989)
[Egu91] Eguchi, H.; Futura, T.; Horiguchi, H.; Oteki, S.; Kitaguchi, T. Neural Network LSI chip with on-chip learning IEEE Int. Joint Conf. on Neural Networks, 453-456, 1991
[Mur89] Murray, Alan F. Pulse Arithmetic in VLSI Neural Network. Reprint in Sanches-Sinecio, Edgar; Lau, Clifford; Artifical neural networks IEEE Press 1992 ISBN 087942-289-0 Orig. IEEE Micro Mag., 64-74, 1989
[MuT94] Murray, A.; Tarassenko. L. A Pulse Stream Approach to Neural VLSI Chapman and Hail, 1994
[RZ94a] Riemschneider, Karl-Ragmar; Zeidler, Hans Christoph Hardwarerea­ lisierung von Backpropagation-Netzen mittels stochastischer Rechen­ werke in Reusch, B. (Hrsg.) Fuzzy Logik - Theorie und Praxia, Sprin­ ger, 15-24,1994
[RZ94b] Riemschneider, Karl-Bagmar; Zeidler, Hans Christoph Massivpar­ alleler Ansatz für Backpropagation-Netze mittels stochastischer Re­ chenwerke in Schmeck, H. (Hrsg.) Architekturen für hochintegrierte Schaltungen GI/ITG-Workshop, Dagstuhl und zugl. Forschungsbe­ richt 303, Univ. Karlsruhe, Inst. f. ang. Informatik, 23-32, 1994
[Tom88a] Tomlinson, Max Stanford jr. Implementing Neural Network. Diss., Univ. of California, 1988
[Tom88b] Tomlinson, Max Stanford jr. Spike transmission for neural networks US-Patent 4.893.255 1990(1988)
[Tom90] Tomlinaon, Max Stanford jr.; Walker, Dennis J.; Sivilotti, A. Mas­ simo Implementing Neural Network. IEEE Intern. Joint Conf. on Neural Networks 11, 545-550, 1990
[Sha91a] ShaweTaylor, John; Jeavons, Pete; van Daalen, Max Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317-328, Abingdon Oxfordshire 1991
[Sha91b] Shawe-Taylor, John; Jeavons, P.; van Daaien, Max Probabilistic Bit Stream NeuraI Chip: Implementation, Proc. VLSI for Artifical Intel­ ligence and Neural Networks, (ed. Delgado-Frias, J.G.; Moore, W.R. 1991), Plenum Press, New York 1991[BRz93] Brandt, Holger; Biemschneider, Karl-Ragmar; Zeidler, Hans Chri stoph Processes and arrangements for hardware implementation of back-propagation networks using stochastic arithmetic units University of the Bundeswehr Hamburg, service invention 93/22, German patent application DE-P 44 04974.9-53 (2/94), 1993
[NgH89] Nguyen, DD; Holt, FB Neural Network using stoachstic processing US Patent 4,972,363 1990 (1989)
[Egu91] Eguchi, H .; Futura, T .; Horiguchi, H .; Oteki, S .; Kitaguchi, T. Neural Network LSI chip with on-chip learning IEEE Int. Joint Conf. on Neural Networks, 453-456, 1991
[Mur89] Murray, Alan F. Pulse Arithmetic on VLSI Neural Network. Reprint in Sanches-Sinecio, Edgar; Lau, Clifford; Artifical neural networks IEEE Press 1992 ISBN 087942-289-0 Orig. IEEE Micro Mag., 64-74, 1989
[MuT94] Murray, A .; Tarassenko. L. A Pulse Stream Approach to Neural VLSI Chapman and Hail, 1994
[RZ94a] Riemschneider, Karl-Ragmar; Zeidler, Hans Christoph Hardware implementation of back propagation networks using stochastic arithmetic units in Reusch, B. (Ed.) Fuzzy Logic - Theory and Practice, Springer, 15-24, 1994
[RZ94b] Riemschneider, Karl-Bagmar; Zeidler, Hans Christoph Massivpar alleler approach for back propagation networks using stochastic arithmetic works in Schmeck, H. (ed.) Architectures for highly integrated circuits GI / ITG workshop, Dagstuhl and related research report 303, Univ. Karlsruhe, Inst. F. nec Computer Science, 23-32, 1994
[Tom88a] Tomlinson, Max Stanford jr. Implementing Neural Network. Diss., Univ. of California, 1988
[Tom88b] Tomlinson, Max Stanford jr. Spike transmission for neural networks U.S. Patent 4,893,255 1990 (1988)
[Tom90] Tomlinaon, Max Stanford jr .; Walker, Dennis J .; Sivilotti, A. Mas simo Implementing Neural Network. IEEE Intern. Joint Conf. on Neural Networks 11, 545-550, 1990
[Sha91a] ShaweTaylor, John; Jeavons, Pete; van Daalen, Max Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317-328, Abingdon Oxfordshire 1991
[Sha91b] Shawe-Taylor, John; Jeavons, P .; van Daaien, Max Probabilistic Bit Stream NeuraI Chip: Implementation, Proc. VLSI for Artifical Intel ligence and Neural Networks, (ed.Delgado-Frias, JG; Moore, WR 1991), Plenum Press, New York 1991

AbbildungenIllustrations

Die Abbildungen sind durch die Abbildungsunterschriften erläutert. Neben all­ gemein bekannten Symbolen werden eigene Symbole eingesetzt, die in Abb. 1 erklärt sind.The illustrations are explained by the signatures. In addition to all commonly known symbols, own symbols are used, which are explained in Fig. 1.

Die Abb. 4, 5 und 6 zeigen die Darstellung der Kennlinien sowohl im Koordinatensystem der Wahrscheinlichkeiten mit dem Definitionsbereich X und dem Wertebereich Y, als auch im Koordinatensystem der bipolar codierten Wer­ te mit dem Definitionsbereich x und dem Wertebereich y. Fig. 4, 5 and 6 show the representation of the characteristic curves both in the coordinate system of the probabilities with the definition range X and the value range Y, as well as in the coordinate system of the bipolar coded values with the definition range x and the value range y.

Claims (7)

1. Verfahren zur Realisierung eines Übertragers mit glockenförmiger Kenn­ linie zur Verwendung in Neuronalen Netzen, die mittels stochastischer Rechenwerke in Hardware ausgeführt werden, dadurch gekennzeichnet,
  • (a) daß ein stochastisch codierter Eingangswert x mit Hilfe eines Über­ tragers sigmoid-ähnlich bewertet wird,
  • (b) sich daran der Eingang eines Funktionsgliedes anschließt, welches diesen Wert zeitverzögert an seinen Ausgang weitergibt,
  • (c) anschließend eine Verknüpfung mit dem nicht verzögerten Ausgangs­ wert des sigmoid bewertenden Übertragers mit Exklusiv-Oder-Funk­ tion erfolgt,
  • (d) und das Ergebnis dieser Verknüpfung den Ausgang Y des Übertra­ gers bildet, welcher den glockenförmig bewerteten Eingangswert X in stochastischer Codierung darstellt.
1. A method for realizing a transformer with a bell-shaped characteristic line for use in neural networks which are executed in hardware by means of stochastic arithmetic units, characterized in that
  • (a) that a stochastically coded input value x is evaluated sigmoid-like with the aid of a transmitter,
  • (b) this is followed by the input of a functional element which passes this value on to its output with a time delay,
  • (c) there is then a link to the undelayed output value of the sigmoid evaluating transmitter with exclusive-or function,
  • (d) and the result of this combination forms the output Y of the transmitter, which represents the bell-valued input value X in stochastic coding.
2. Verfahren zur Realisierung eines Übertragers mit glockenförmiger Kenn­ linie zur Verwendung in Neuronalen Netzen, die mittels stochastischer Rechenwerke in Hardware ausgeführt werden, dadurch gekennzeichnet,
  • (a) daß das Wirkungsprinzip von Anspruch 1 zutrifft, jedoch eine andere Reihenfolge und Anordnung der Funktionsglieder gegeben ist, so daß
  • (b) zuerst ein Funktionsglied eine zeitliche Verzögerung des stochastisch codierten Eingangswertes X vornimmt und
  • (c) erst danach der verzögerte Wert mit Hilfe eines Übertragers sigmoid bewertet wird,
  • (d) der nichtverzögerte stochastisch codierte Eingangswert X ebenfalls mit Hilfe eines weiteren Übertragers sigmoid bewertet wird,
  • (e) beide sigmoid bewerteten Übertragerausgangswerte anschließend ei­ ner Verknüpfung mit Exklusiv-Oder-Funktion unterliegen,
  • (f) und das Ergebnis dieser Verknüpfung den Ausgang Y des Übertra­ gers bildet, welcher den glockenförmig bewerteten Eingangswert X in stochastischer Codierung darstellt.
2. Method for realizing a transformer with a bell-shaped characteristic line for use in neural networks, which are executed in hardware by means of stochastic arithmetic units, characterized in that
  • (a) that the principle of operation of claim 1 applies, but there is a different order and arrangement of the functional elements, so that
  • (b) a function element first delays the stochastically coded input value X and
  • (c) the delayed value is only then evaluated using a sigmoid transformer,
  • (d) the undelayed stochastically coded input value X is also sigmoidally evaluated with the aid of a further transmitter,
  • (e) both sigmoid-rated transmitter output values are then subject to a link with an exclusive-OR function,
  • (f) and the result of this combination forms the output Y of the transmitter, which represents the bell-valued input value X in stochastic coding.
3. Verfahren zur Realisierung eines Übertragers mit glockenförmiger Kenn­ linie zur Verwendung in Neuronalen Netzen, die mittels stochastischer Rechenwerke in Hardware ausgeführt werden und eine bipolare stocha­ stische Codierung der Werte des Netzes aufweisen, dadurch gekennzeich­ net,
  • (a) daß alle kennzeichnenden Merkmale von Anspruch 1(a), (b), (c) zutreffen und
  • (b) zusätzlich der Ausgang der Verknüpfung lt. Anspruch 1 (c) mit der Wahrscheinlichkeit 0.5 zufällig auf den Binärwert "1" gesetzt wird, um den dadurch erzeugten, stochastisch codierten Ausgangswert y des Übertragers nur Werte größer Null annehmen zu lassen.
3. Method for realizing a transformer with a bell-shaped characteristic line for use in neural networks, which are executed in hardware by means of stochastic arithmetic units and have a bipolar stochastic coding of the values of the network, characterized in that
  • (a) that all the characteristic features of claim 1 (a), (b), (c) apply and
  • (b) additionally the output of the link according to claim 1 (c) with the probability 0.5 is randomly set to the binary value "1" in order to allow the stochastically coded output value y of the transmitter thus generated to assume only values greater than zero.
4. Verfahren zur Realisierung eines Übertragers mit positiver glockenförmi­ ger Kennlinie zur Verwendung in Neuronalen Netzen, die mittels stocha­ stischer Rechenwerke in Hardware ausgeführt werden und eine bipolare stochastische Codierung der Werte des Netzes aufweisen, dadurch gekenn­ zeichnet,
  • (a) daß alle kennzeichnenden Merkmale von Anspruch 2(a), (b), (c), (d), (e) zutreffen und
  • (b) zusätzlich der Ausgangswert der Verknüpfung lt. Anspruch 2 (e) mit der Wahrscheinlichkeit 0.5 zufällig auf den Binärwert "1" gesetzt wird, um den dadurch erzeugten, stochastisch codierten Ausgangs­ wert y des Übertragers nur Werte größer Null annehmen zu lassen.
4. Method for realizing a transformer with a positive bell-shaped characteristic curve for use in neural networks, which are implemented in hardware by means of stochastic arithmetic units and have a bipolar stochastic coding of the values of the network, characterized in that
  • (a) that all the characteristic features of claim 2 (a), (b), (c), (d), (e) apply and
  • (b) additionally the output value of the link according to claim 2 (e) with the probability 0.5 is randomly set to the binary value "1" in order to allow the stochastically coded output value y of the transmitter thus generated to assume only values greater than zero.
5. Schaltungsanordnung eines Übertragers mit glockenförmiger Kennlinie zum Einsatz in Neuronalen Netzen, die in stochastischer Rechentechnik ausgeführt werden und zur Backpropagation-Klasse gehören, dadurch ge­ kennzeichnet,
  • (a) daß die für den eingangsseitigen Schritt der Verfahren nach Anspruch 1 bis 4 benötigte sigmoide Bewertung des Eingangswertes von einem Funktionsglied vorgenommen wird,
  • (b) welches gleichzeitig die sigmoide Übertragung für die Arbeitsphase in den Neuronen des Netzes durchführt.
5. Circuit arrangement of a transformer with a bell-shaped characteristic curve for use in neural networks which are implemented in stochastic computing technology and belong to the backpropagation class, characterized in that
  • (a) that the sigmoid evaluation of the input value required for the input-side step of the method according to claims 1 to 4 is carried out by a functional element,
  • (b) which simultaneously carries out the sigmoid transmission for the work phase in the neurons of the network.
6. Schaltungsanordnung eines Übertragers mit glockenförmiger Kennlinie zum Einsatz in Neuronalen Netzen, die in stochastischer Rechentechnik ausgeführt wurden und zur Radial-Basis-Funktions-Klasse (RBF) gehören, dadurch gekennzeichnet,
  • (a) daß die in den Neuronen benötigte ausgangseitige glockenförmige Bewertung von einem Funktionsglied vorgenommen wird,
  • (b) welches bei unipolarer stochastischer Codierung der Werte des Net­ zes den Schritten der Verfahren nach den Ansprüchen 1 und 2 folgt
  • (c) und welches bei bipolarer stochastischer Codierung der Werte des Netzes den Schritten der Verfahren nach den Ansprüchen 3 und 4 folgt.
6. Circuit arrangement of a transformer with a bell-shaped characteristic curve for use in neural networks which have been implemented in stochastic computing technology and belong to the radial basic function class (RBF), characterized in that
  • (a) that the bell-shaped evaluation on the output side required in the neurons is carried out by a functional element,
  • (b) which follows the steps of the method according to claims 1 and 2 with unipolar stochastic coding of the values of the network
  • (c) and which follows the steps of the method according to claims 3 and 4 in the case of bipolar stochastic coding of the values of the network.
7. Schaltungsanordnungen nach den Ansprüchen 5 und 6 dadurch gekenn­ zeichnet,
  • (a) daß die benötigte Verzögerung eines stochastisch codierten Wertes durch eine getaktete Digitalschaltung erzeugt wird, wobei deren Tak­ tung:
  • (b) synchron zum gesamten Netzes ist;
  • (c) synchron zu Teilen des Netzes ist;
  • (d) asynchron zum gesamten Netz ist;
  • (e) auf Grund eines frequenzreduzierenden Verhaltens des sigmoid-förmi­ gen Übertragers gegenüber der Taktung dieses Übertragers synchron reduziert ist.
7. characterized in that circuit arrangements according to claims 5 and 6,
  • (a) that the required delay of a stochastically coded value is generated by a clocked digital circuit, the clocking of which:
  • (b) is in sync with the entire network;
  • (c) is in sync with parts of the network;
  • (d) is asynchronous to the entire network;
  • (e) is reduced synchronously due to a frequency-reducing behavior of the sigmoid-shaped transmitter compared to the timing of this transmitter.
DE19523293A 1995-06-28 1995-06-28 Method and circuit arrangement for realizing the nonlinear transformer with bell-shaped characteristic for neural networks in stochastic computing technology Expired - Fee Related DE19523293C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19523293A DE19523293C2 (en) 1995-06-28 1995-06-28 Method and circuit arrangement for realizing the nonlinear transformer with bell-shaped characteristic for neural networks in stochastic computing technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19523293A DE19523293C2 (en) 1995-06-28 1995-06-28 Method and circuit arrangement for realizing the nonlinear transformer with bell-shaped characteristic for neural networks in stochastic computing technology

Publications (2)

Publication Number Publication Date
DE19523293A1 true DE19523293A1 (en) 1997-01-02
DE19523293C2 DE19523293C2 (en) 1999-11-11

Family

ID=7765348

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19523293A Expired - Fee Related DE19523293C2 (en) 1995-06-28 1995-06-28 Method and circuit arrangement for realizing the nonlinear transformer with bell-shaped characteristic for neural networks in stochastic computing technology

Country Status (1)

Country Link
DE (1) DE19523293C2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4893255A (en) * 1988-05-31 1990-01-09 Analog Intelligence Corp. Spike transmission for neural networks
US4972363A (en) * 1989-02-01 1990-11-20 The Boeing Company Neural network using stochastic processing
DE4404974C1 (en) * 1994-02-17 1995-07-13 Bundesrep Deutschland Operating and learning phase neural network realisation method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4893255A (en) * 1988-05-31 1990-01-09 Analog Intelligence Corp. Spike transmission for neural networks
US4972363A (en) * 1989-02-01 1990-11-20 The Boeing Company Neural network using stochastic processing
DE4404974C1 (en) * 1994-02-17 1995-07-13 Bundesrep Deutschland Operating and learning phase neural network realisation method

Also Published As

Publication number Publication date
DE19523293C2 (en) 1999-11-11

Similar Documents

Publication Publication Date Title
DE60314584T2 (en) Masking of data decomposed or factored in a residual class system
DE4101004C2 (en) Parallel multiplier with jump field and modified Wallac tree
Afshar et al. Turn down that noise: synaptic encoding of afferent SNR in a single spiking neuron
Sossa et al. New associative memories to recall real-valued patterns
DE102009027086A1 (en) Apparatus and method for forming a signature
DE102009000322A1 (en) Non-linear feedback shift register and method for non-linear signature formation
DE2235802C2 (en) Method and device for testing non-linear circuits
Sossa et al. Transforming fundamental set of patterns to a canonical form to improve pattern recall
DE19523293A1 (en) Generating nonlinear bell-shaped transfer functions for neural networks using stochastic processes
DE69737849T2 (en) Device for pattern recognition
DE102014105218A1 (en) Search device using finite automata for partial words
DE10061315A1 (en) Method and device for generating a pseudo random sequence
EP0288783B1 (en) Arrangement for the DPCM coding of television signals
EP0643353B1 (en) Data processing system and method
EP0548127B1 (en) Neural network and circuit device for the Boolean realization of ADALINE-type neural networks
EP0829803B1 (en) Digital signal processor and method for performing a multiplication in a digital signal processor
DE4404974C1 (en) Operating and learning phase neural network realisation method
Vázquez et al. A new bi-directional associative memory
DE19503149A1 (en) Nonlinear circuit for neural chaos circuit
DE19910620C2 (en) Device for performing arithmetic operations
EP0433315A1 (en) Circuits for adding or subtracting bcd-coded or dual-coded operands
DE1462591A1 (en) Coding arrangement
Sossa et al. Real-valued pattern recall by associative memory
Mullery et al. Batch normalization in the final layer of generative networks
Sossa et al. New Associative Model for Pattern Recall in the Presence of Mixed Noise.

Legal Events

Date Code Title Description
8122 Nonbinding interest in granting licences declared
8110 Request for examination paragraph 44
D2 Grant after examination
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: C. PLATH GMBH NAUTISCH-ELEKTRONISCHE TECHNIK, 2009

8381 Inventor (new situation)

Free format text: HEIN, RUEDIGER, DIPL.-WIRTSCH.-ING., 27616 BOKEL, DE KOELLMANN, KUNO, DR.RER.NAT., 22459 HAMBURG, DE RIEMSCHNEIDER, KARL-RAGMAR, DIPL.-INFORM., 22047 HAMBURG, DE ZEIDLER, HANS-CHRISTOPH, PROF.DR.-ING.HABIL., 22143 HAMBURG, DE

8327 Change in the person/name/address of the patent owner

Owner name: PLATH GMBH, 20097 HAMBURG, DE

8339 Ceased/non-payment of the annual fee