DE19523293C2

DE19523293C2 - Method and circuit arrangement for realizing the nonlinear transformer with bell-shaped characteristic for neural networks in stochastic computing technology

Info

Publication number: DE19523293C2
Application number: DE19523293A
Authority: DE
Inventors: Ruediger Hein; Kuno Koellmann; Karl-Ragmar Riemschneider; Hans Christoph Zeidler
Original assignee: Individual
Current assignee: Plath 20097 Hamburg De GmbH
Priority date: 1995-06-28
Filing date: 1995-06-28
Publication date: 1999-11-11
Anticipated expiration: 2015-06-29
Also published as: DE19523293A1

Description

Die Erfindung betrifft ein Verfahren und eine Schaltungsanordnung, der das Verfahren gemäß den Oberbegriffen der Ansprüche 1, 2, 3 und 4 zugrunde liegt. Ein solches Ver fahren ist aus Veröffentlichungen nicht bekannt. Die Erfindung ergänzt den Stand der Technik insbesondere gegenüber [BRZ93] durch einen Übertrager, welcher besonders vorteilhaft technisch umzusetzen ist und die Möglichkeit über die bekannten Verfahren und Anordnungen hinaus bietet, eine netzadäquate glockenförmige Kennlinie zu realisieren.The invention relates to a method and a circuit arrangement, which the method according to the The preambles of claims 1, 2, 3 and 4 are based. Such a ver Driving is not known from publications. The invention complements the State of the art in particular with respect to [BRZ93] by a transformer, which is particularly advantageous to implement technically and the possibility of the known methods and arrangements offers a network-adequate to realize bell-shaped characteristic.

State of the art

Durch einen Trainingsvorgang werden Neuronale Netze befähigt, Eingangsvek toren in gewünschte Ausgangsvektoren zu überführen. Diese Fähigkeit sowie die Eigenschaft gegenüber Transformation und Störungen Invarianz-Eigenschaften erwerben zu können, führten zu zahlreichen Applikationen dieser Netze.A training process enables neural networks, input vector to convert gates into desired output vectors. This ability as well as the Property versus transformation and perturbation invariance properties being able to acquire led to numerous applications of these networks.

Die Nutzung der möglichen massiven Parallelverarbeitung zur Erhöhung der Trainings- und Arbeitsgeschwindigkeit wird durch neuronale Hardware intensiv angestrebt.The use of the possible massive parallel processing to increase the Training and work speed is intensified by neural hardware sought.

Ein Weg, den Aufwand massiver Parallelität zu senken, ist der Einsatz un terschiedlicher stochastische Rechenwerke in Neuronalen Netzen verschiede ner Klassen und Varianten [NgH89], [Egu91], [Mur89], [MuT94], [Tom88a], [Tom88b], [Sha91a], [Sha91b]. Das für die konventionelle Anwendungen häufig störende Genauigkeits-Zeit-Verhalten stochastischer Rechentechnik kann für Neu ronale Netze beherrscht werden.One way to reduce the effort involved in massive parallelism is to use it different stochastic arithmetic units in neural networks classes and variants [NgH89], [Egu91], [Mur89], [MuT94], [Tom88a], [Tom88b], [Sha91a], [Sha91b]. Often for conventional applications disruptive accuracy-time behavior of stochastic computing technology can be new for ronal networks are mastered.

Hardwareanordnungen entsprechend dem von Brandt et al. [BRZ93] beschrie benen Verfahren nutzen für die parallele Realisierung der zahlreichen Rechen operationen aufwandsgünstige stochastische Rechenwerke für Netze der Back propagation-Klasse.Hardware arrangements according to that of Brandt et al. [BRZ93] described Use the above method for the parallel implementation of the numerous rakes operations low-cost stochastic arithmetic units for back networks propagation class.

Wie in dieser Schrift - und darauf basierenden Arbeiten [RZ94a], [RZ94b] - dar gestellt werden sowohl für das Funktionsglied, welches die nichtlineare sigmoid ähnliche Übertragung der Arbeitsphase für Backpropagation-Netze bewirkt, als auch für das Funktionsglied, welches die nichtlineare sigmoid-ableitungs-ähnli che Übertragung der Lernphase dieser Netze bewirkt, sequentielle Schaltungen unter Anwendung von dort beschriebenen Automaten-Funktionsschemata ein gesetzt.As in this document - and works based on it [RZ94a], [RZ94b] - be put for both the functional member, which is the nonlinear sigmoid similar transfer of the work phase for back propagation networks, than also for the functional element, which is the nonlinear sigmoid derivative-like che transmission of the learning phase of these networks causes sequential circuits using the machine operating diagrams described there set.

Diese sequentiellen Schaltungen detektieren Folgen gleicher binärer Werte im zu überführenden Bitstrom - in dem die relative Häufigkeit des Auftretens eines Bits den Wert der codierten Zahl oder Größe repräsentiert - und verur sachen nach Überschreitung einer bestimmten Folgenlänge einen Schaltvorgang am Ausgang.These sequential circuits detect sequences of the same binary values in the bit stream to be transferred - in which the relative frequency of occurrence of a bit represents the value of the coded number or size - and things after a certain sequence length has been exceeded at the exit.

Die dort beschriebene Lösung für das Funktionsglied des rückwärts gerichte ten Informationflusses der Lernphase läßt bei längerer Beobachtung der Aus gangsgröße einen nichtlinearen Zusammenhang zur Eingangsgröße erkennen. Hierbei ergibt sich ein bogenförmiger Verlauf der Kennlinie, der dem für die Backpropagation-Methode erwarteten Verlauf der Kennlinie als erste Ableitung der sigmoiden Kennlinie des Funktionsgliedes der Arbeitsphase nur grob ähnelt. Dieser Verlauf ist in Abb. 8 dargestellt. Diese Höhe der bogenförmigen Kennlinie ist durch die Folgenlänge n einstellbar. The solution described there for the functional element of the backward-looking information flow during the learning phase reveals a non-linear relationship to the input variable when the output variable is observed for a longer period. This results in an arc-shaped course of the characteristic curve, which only roughly resembles the characteristic curve expected for the back propagation method as the first derivative of the sigmoid characteristic curve of the functional element of the working phase. This course is shown in Fig. 8. This height of the arc-shaped characteristic curve can be set by the sequence length n.

In Neuronalen Netzen der Radial-Basis-Funktions-Klasse (RBF) werden am Neuronenausgang im vorwärts gerichteten Informationsfluß Funktionen mit glockenförmigen Kennlinien eingesetzt, für die Hardwarerealisierung auch dieser Klasse in stochastischer Rechentechnik wird die Verfügbarkeit eines geeigneten Funktionsgliedes mit glockenförmiger Kennlinie notwendig, ein solches war bis her nicht bekannt.In neural networks of the radial basic function class (RBF) are on Neuron output in the forward information flow functions with bell-shaped characteristics used for the hardware implementation of this too Class in stochastic computing technology becomes the availability of a suitable one Functional element with bell-shaped characteristic curve necessary, such was until not known.

Object and object of the invention

Die Aufgabe der Erfindung ist es, dieses Funktionsglied, welches für die Hard warerealisierung der Netze in stochastischer Rechentechnik benötigt wird, vor teilhaft verfügbar zu machen.The object of the invention is this functional element, which for the hard Realization of the networks in stochastic computing technology is required to make it partially available.

Im Gegensatz zu bisherigen Lösungen, die gewünschten glockenförmigen Kenn linen nur bogenförmig anzunähern, wird u. a. vorgeschlagen:
In contrast to previous solutions to only approximate the desired bell-shaped characteristic lines in an arc, the following is proposed:

- The first step is the input of the function according to the invention link non-linearly overmolded with a sigmoid-like characteristic. For this are For example, suitable functional elements according to [BRZ93] can be used.
- The second step is the result of the non-linear, sigmoid-shaped Transfer fed into a function element, which after this value released the time t at its exit. After a to be set Delay time, this output is sufficiently stochastically decoupled. That is, there is then sufficient stochasti for the subsequent steps independence as a prerequisite for the function of the connect the stochastic arithmetic units
- The third step is to link the output and the on initial value of the delaying function element with an exclusive-or Limb made. This stochastic decoupling allows this ver linkage as negation of a value and subsequent multiplication understand.
- Only when there is bipolar coding can an additional fourth Step a link can be made so that the value obtained in the third step with the probability 0.5 is randomly replaced by one of the binary values (e.g. 1) by the generated, stochastically coded output value of the transmitter only accept values greater than zero.

Abb. 2 (oben) zeigt das Funktionsschema dieses Verfahrens als Ausführungs beispiel ohne Berücksichtigung des vierten Schrittes. Fig. 2 (top) shows the functional diagram of this method as an execution example without taking into account the fourth step.

Prinzipiell sind der erste und der zweite der oben genannten Schritte vertausch bar, jedoch ist dann ein zweiter sigmoid-förmiger Übertrager für den Eingangswert des verzögernden Funktionsgliedes vor dem drittem Schritt einzusetzen. Abb. 2 (unten) das Funktionsschema dieses Verfahrens als Ausführungsbeispiel.In principle, the first and the second of the above-mentioned steps are interchangeable, but then a second sigmoid-shaped transformer is to be used for the input value of the delaying function element before the third step. Fig. 2 (below) the functional diagram of this method as an embodiment.

Abb. 3 (oben) zeigt das Funktionsschema dieses Verfahrens als Ausführungs beispiel im Falle bipolarer Codierung und unter Berücksichtigung des vierten Schrittes. Auch hier sind der erste und der zweite der oben genannten Schrit te vertauschbar, Abb. 3 (unten) zeigt das Funktionsschema dieses Verfahrens als Ausführungsbeispiel. Fig. 3 (top) shows the functional diagram of this method as an execution example in the case of bipolar coding and taking into account the fourth step. Here, too, the first and second of the above steps are interchangeable, Fig. 3 (below) shows the functional diagram of this method as an exemplary embodiment.

Neben den explizit genannten Ableitungen der Wirkprin zipen der Verfahren, sind auch Ableitungen möglich, die auf bekannten Regeln der digitalen Schaltungstechnik beruhen, unter spezi fischen Realisierungsbedingungen können sich Schaltungsvorteile ergeben. Abb. 5 zeigt Ausführungsbeispiele derartiger Ableitungen.In addition to the explicitly mentioned derivations of the principles of operation of the method, derivations are also possible which are based on known rules of digital circuit technology. Under specific implementation conditions, circuit advantages can result. Fig. 5 shows embodiments of such derivatives.

Die Verzögerung kann durch eine getaktete Digitalschaltung (z. B. ein Schie beregister) mit verschiedenen Taktungsformen realisiert werden, möglich sind aber auch Laufzeitglieder. Für den ersten Fall kann die verzögern de Schaltung synchron mit einem globalen, einem partiell synchron wirkenden, oder einem asynchronen Takt eingesetzt werden. Wird außerdem die Erzeu gung der sigmoiden Übertragung nach Brandt et al. [BRZ93] vorgenommen, so ist es möglich, den Verzögerungsschaltungstakt gegenüber dem Takt des sigmoid-förmigen Übertragers zu reduzieren und gleichzeitig diese Schaltung zu minimieren (z. B. das Schieberegister zu verkürzen). Diese Taktreduktion kann maximal durch Teilung des ursprünglichen Werte durch die Folgenlänge n erfolgen.The delay can be caused by a clocked digital circuit (e.g. a slide registers) can be implemented with different timing forms, Term elements are also possible. In the first case it can be delayed de switching synchronous with a global, partially synchronous, or an asynchronous clock can be used. Will also the Erzeu sigmoid transmission according to Brandt et al. [BRZ93] made so it is possible to compare the delay circuit clock with the clock of the sigmoid-shaped transformer to reduce and at the same time to minimize this switching (e.g. to shorten the shift register). This Clock reduction can be done by dividing the original values by the maximum Sequence length n take place.

Use case: Sigmoid derivation for networks of Backpropagation class

Die in der Backpropagation-Methode in der Lernphase notwendige erste Ab leitung der Sigmoid-Funktion hat glockenförmigen Verlauf. Hier können die vorgeschlagenden Verfahren vorteilhaft eingesetzt werden.The first Ab necessary in the backpropagation method in the learning phase line of the sigmoid function has a bell-shaped course. Here you can proposed method can be used advantageously.

Insbesondere ist die Benutzung des vorhandenen sigmoiden Übertragers der Arbeitsphase möglich. Als Eingang des Funktionsgliedes dient dann nicht der Ausgangswert der mittelnden Addition, sondern der Ausgangswert der - bereits vorhandenen - sich daran anschließenden Funktionsgliedes mit sigmoid-ähnli cher, nichtlinearer Übertragungsfunktion.In particular, the use of the existing sigmoid transmitter is the Working phase possible. The function element then does not serve as the input Initial value of the averaging addition, but the initial value of the - already existing - adjoining functional member with sigmoid-like non-linear transfer function.

Diese Folge von binären Werten wird durch ein geeignetes Funktionsglied um die Zeit t ausreichend verzögert. Dessen Ausgang wird logisch invertiert und mit der ursprünglich nicht verzögerten Folge multiplikativ verknüpft. Beides kann dem vorgeschlagenen Verfahren gemäß - mit Hilfe eines digitaltechnischen Exklusiv-Oder-Gliedes geschehen. Die Verzögerung um die Zeit t bewirkt, daß eine statistische Entkopplung erfolgt, so daß es möglich ist, diesen Wert mit seiner Negation multiplikativ - im Sinne stochastischer Rechentechnik - zu verknüpfen. Das Ergebnis der Exklusiv-Oder-Verknüpfung bildet den Ausgang des erfindungsgemäßen Funktionsgliedes.This sequence of binary values is converted by a suitable function element the time t is sufficiently delayed. Its output is inverted logically and with the sequence, which was originally not delayed, is multiplicatively linked. Both can according to the proposed method - with the help of a digital technology Exclusive-or-link happen. The delay by time t causes statistical decoupling takes place so that it is possible to use this value with its negation multiplicative - in the sense of stochastic computing technology link. The result of the exclusive-or link forms the output of the functional element according to the invention.

Zwischen dem Ergebnis der mittelnden Addition und dem Ausgang des vorge schlagenen Funktionsgliedes, - als dem Eingangspunkt und Ausgang des bisher eingesetzten Funktionsgliedes, - ergibt sich ein nichtlinearer, glockenförmiger Verlauf der Übertragungskennlinie.Between the result of the averaging addition and the output of the pre struck functional element, - as the entry point and exit of the previously used functional member, - results in a non-linear, bell-shaped Course of the transmission characteristic.

Der Verlauf dieser Kennlinie ist in Abb. 9 dargestellt. Die Form der Glockenkurve wird durch das Parameterpaar Verzögerungszeit t und Steilheit (bestimmt durch die Folgenlänge n) der sigmoid-ähnlichen Übertragungsfunk tion bestimmt. Mit zunehmender Verzögerungszeit t ergibt sich eine bessere statistische Entkopplung. Eine wachsende Folgenlänge n senkt die Häufigkeit der Schaltvorgänge am Ausgang des Funktionsgliedes mit sigmoid-ähnlicher Übertragungsfunktion und benötigt aus diesem Grund eine längere Zeit t. In Abb. 6 ist in Form eines Ausführungsbeispiels in einem Neuron in stocha stischer Rechentechnik der Ersatz der bisherigen Anordnung durch eine erfin dungsgemäße prinzipiell dargestellt.The course of this characteristic is shown in Fig. 9. The shape of the bell curve is determined by the parameter pair of delay time t and slope (determined by the sequence length n) of the sigmoid-like transmission function. With increasing delay time t, there is a better statistical decoupling. A growing sequence length n reduces the frequency of switching operations at the output of the functional element with a sigmoid-like transfer function and therefore requires a longer time t. In Fig. 6 in the form of an embodiment in a neuron in stocha stical computing technology, the replacement of the previous arrangement by an inventions to the invention is shown in principle.

Der glockenförmige Verlauf zeichnet sich gegenüber dem bogenförmigen durch zwei deutliche Wendepunkte aus und nähert somit die angestrebte erste Ablei tung der sigmoiden Überführungsfunktion qualitativ besser an, dieses wird im Vergleich der Abb. 7, 8 und 9 deutlich.The bell-shaped course is distinguished from the arched by two distinct turning points and thus better approximates the intended first derivation of the sigmoid transfer function, this becomes clear in the comparison of Figs. 7, 8 and 9.

References

[BRZ93] Brandt, Holger; Riemschneider, Karl-Ragmar; Zeidler, Hans Chri stoph Verfahren und Anordnungen zur Hardwarerealisierung von Back-Propagation-Netzen mittels stochastischer Rechenwerke Uni versität der Bundeswehr Hamburg, Diensterfindung 93/22, Deutsche Patentanmeldung DE-P 44 04 974.9-53 (2/94), 1993
[NgH89] Nguyen, D. D.; Holt, F. B.; Neural Network using stoachstic processing US-Patent 4.972.363 1990 (1989)
[Egu91] Eguchi, H.; Futura, T.; Horiguchi, H.; Oteki, S.; Kitaguchi, T. Neural Network LSI chip with on-chip learning IEEE Int. Joint Conf. on Neural Networks, 453-456, 1991
[Mur89] Murray, Alan F. Pulse Arithmetic in VLSI Neural Networks Reprint in Sanches-Sinecio, Edgar; Lau, Clifford; Artifical neural networks IEEE Press 1992 ISBN 0-87942-289-0 Orig. IEEE Micro Mag., 64- 74, 1989
[MuT94] Murray, A.; Tarassenko. L. A Pulse Stream Approach to Neural VLSI Chapman and Hall, 1994
[RZ94a] Riemschneider, Karl-Ragmar; Zeidler, Hans Christoph Hardwarerea lisierung von Backpropagation-Netzen mittels stochastischer Rechen werke in Reusch, B. (Hrsg.) Fuzzy Logik - Theorie und Praxis, Sprin ger, 15-24, 1994
[RZ94b] Riemschneider, Karl-Ragmar; Zeidler, Hans Christoph Massivpar alleler Ansatz für Backpropagation-Netze mittels stochastischer Re chenwerke in Schmeck, H. (Hrsg.) Architekturen für hochintegrierte Schaltungen GI/ITG-Workshop, Dagstuhl und zugl. Forschungsbe richt 303, Univ. Karlsruhe, Inst. f. ang. Informatik, 23-32, 1994
[Tom88a] Tomlinson, Max Stanford jr. Implementing Neural Networks Diss., Univ. of California, 1988
[Tom88b] Tomlinson, Max Stanford jr. Spike transmission for neural networks US-Patent 4.893.255 1990(1988)
[Tom90] Tomlinson, Max Stanford jr.; Walker, Dennis J.; Sivilotti, A. Mas simo Implementing Neural Networks IEEE Intern. Joint Conf. on Neural Networks II, 545-550, 1990
[Sha91a] Shawe-Taylor, John; Jeavons, Pete; von Daalen, Max; Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317-328, Abingdon Oxfordshire 1991
[Sha91b] Shawe-Taylor, John; Jeavons, P.; von Daalen, Max; Probabilistic Bit Stream Neural Chip: Implementation, Proc. VLSI for Artifical Intel ligence and Neural Networks, (ed. Delgado-Frias, J. G.; Moore, W. R. 1991), Plenum Press, New York 1991[BRZ93] Brandt, Holger; Riemschneider, Karl-Ragmar; Zeidler, Hans Chri stoph Processes and arrangements for hardware implementation of back-propagation networks using stochastic computing units University of the Bundeswehr Hamburg, service invention 93/22, German patent application DE-P 44 04 974.9-53 (2/94), 1993
[NgH89] Nguyen, DD; Holt, FB; Neural Network using stoachstic processing U.S. Patent 4,972,363 1990 (1989)
[Egu91] Eguchi, H .; Futura, T .; Horiguchi, H .; Oteki, S .; Kitaguchi, T. Neural Network LSI chip with on-chip learning IEEE Int. Joint Conf. on Neural Networks, 453-456, 1991
[Mur89] Murray, Alan F. Pulse Arithmetic in VLSI Neural Networks Reprint in Sanches-Sinecio, Edgar; Lau, Clifford; Artifical neural networks IEEE Press 1992 ISBN 0-87942-289-0 Orig. IEEE Micro Mag., 64-74, 1989
[MuT94] Murray, A .; Tarassenko. L. A Pulse Stream Approach to Neural VLSI Chapman and Hall, 1994
[RZ94a] Riemschneider, Karl-Ragmar; Zeidler, Hans Christoph Hardware implementation of back propagation networks using stochastic arithmetic units in Reusch, B. (Ed.) Fuzzy Logic - Theory and Practice, Springer, 15-24, 1994
[RZ94b] Riemschneider, Karl-Ragmar; Zeidler, Hans Christoph Massivpar alleler approach for back propagation networks using stochastic arithmetic works in Schmeck, H. (ed.) Architectures for highly integrated circuits GI / ITG workshop, Dagstuhl and related research report 303, Univ. Karlsruhe, Inst. F. nec Computer Science, 23-32, 1994
[Tom88a] Tomlinson, Max Stanford jr. Implementing Neural Networks Diss., Univ. of California, 1988
[Tom88b] Tomlinson, Max Stanford jr. Spike transmission for neural networks U.S. Patent 4,893,255 1990 (1988)
[Tom90] Tomlinson, Max Stanford Jr.; Walker, Dennis J .; Sivilotti, A. Mas simo Implementing Neural Networks IEEE Intern. Joint Conf. on Neural Networks II, 545-550, 1990
[Sha91a] Shawe-Taylor, John; Jeavons, Pete; von Daalen, Max; Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317-328, Abingdon Oxfordshire 1991
[Sha91b] Shawe-Taylor, John; Jeavons, P .; von Daalen, Max; Probabilistic Bit Stream Neural Chip: Implementation, Proc. VLSI for Artifical Intel ligence and Neural Networks, (ed.Delgado-Frias, JG; Moore, WR 1991), Plenum Press, New York 1991

Illustrations

Die Abbildungen sind durch die Abbildungsunterschriften erläutert. Neben all gemein bekannten Symbolen werden eigene Symbole eingesetzt, die in Abb. 1 erklärt sind.The illustrations are explained by the signatures. In addition to all commonly known symbols, own symbols are used, which are explained in Fig. 1.

Claims

1. A method for realizing a transformer with a bell-shaped characteristic line for use in neural networks, which were implemented in hardware by means of stochastic arithmetic units, characterized in that

a) that a stochastically coded input value is evaluated using a sigmoid-like transmitter,
b) this is followed by the input of a functional element which switches this value to its output after a delay time,
c) there is then a link to the undelayed output value of the sigmoid evaluating transmitter with exclusive-or function,
d) and the result of this link represents the bell-shaped initial value in stochastic coding.

2. The method according to claim 1, characterized in that

a) that there is a different order and arrangement of the functional elements, so that
b) a functional element first delays the stochastically coded input value and
c) only then is the delayed value evaluated using a sigmoid transformer,
d) the undelayed stochastically coded input value is also sigmoidally evaluated with the aid of a further transmitter,
e) both sigmoid-rated transmitter output values are then subject to a link with an exclusive-OR function,
f) and the result of this link represents the bell-shaped initial value in stochastic coding.

3. The method according to claim 1, with a bipolar stochastic coding the values of the network, characterized, that the initial value of the link according to claim 1 (c) with the Probability 0.5 randomly replaced by one of the binary values to the stochastically encoded output generated thereby value of the transformer to only accept values greater than zero.

4. The method according to claim 2 with a bipolar stochastic coding the values of the network, characterized, that the initial value of the link according to claim 2 (e) with the Probability 0.5 randomly replaced by one of the binary values to the stochastically encoded output generated thereby value of the transformer to only accept values greater than zero.

5. Circuit arrangement of a transformer with a bell-shaped characteristic curve for use in neural networks, which were carried out in stochastic computing technology and belong to the backpropagation class, for carrying out the method according to one of claims 1 to 4, characterized in that

a) that the required sigmoid evaluation of the input value is carried out by a functional element,
b) which simultaneously carries out the sigmoid transmission for the work phase in the neurons of the network.

6. Circuit arrangement of a transformer with a bell-shaped characteristic curve for use in neural networks, which were implemented in stochastic computing technology and belong to the radial basis function class (RBF), for carrying out the method according to one of claims 1 to 4, characterized in that

a) that the bell-shaped evaluation on the output side required in the neurons is carried out by a functional element,
b) which follows the steps of the method according to claims 1 and 2 with unipolar stochastic coding of the values of the network
c) and which follows the steps of the method according to claims 3 and 4 in bipolar stochastic coding of the values of the network.

7. Circuit arrangement according to one of claims 5 or 6, characterized in

a) that the required delay of a stochastically coded value is generated by a clocked digital circuit, the clock device:
b) is synchronous with the entire network,
c) is synchronous with parts of the network,
d) is asynchronous to the entire network or
e) is synchronously reduced due to a frequency-reducing behavior of the sigmoid-shaped transmitter compared to the timing of this transmitter.