DE19841820A1

DE19841820A1 - Neuronal networks based on fractal transformal functions; uses assigned coordinates on output level in dendrite tree for specifying trajectory course and target region for neuron axons

Info

Publication number: DE19841820A1
Application number: DE19841820A
Authority: DE
Inventors: Thomas Kromer
Original assignee: Individual
Current assignee: Individual
Priority date: 1998-09-12
Filing date: 1998-09-12
Publication date: 2000-03-23

Abstract

Neurons are assigned coordinates on an output level (2) in a dendrite tree (3) supplied with fractal transforming functions for specifying a trajectory course and a target region for neuron axons. Neurons and their axons (4) are implemented as computer simulations or in a hardware conversion through optoelectronic elements transmitting a light impulse over a fiber optic guide to targeted neurons.

Description

State of the art

Neuronale Netze sind ein wichtiges Mittel zur Datenverarbeitung. Sie bestehen aus 2 oder mehr Schichten von Neuronen, die meist durch entsprechende Computerprogramme simuliert, oder durch spezielle Computerchips in Hardwareform repräsentiert werden. Sie zeichnen sich dadurch aus, daß ein Eingangssignal, welches aus einer unterschiedlichen Aktivität der Neurone der ersten Ebene besteht, die Aktivität der Neurone der zweiten Ebene beeinflusst. Die Art der Beeinflussung ist zunächst nicht genau festgelegt, sondern bildet sich im Verlauf von Lernvorgängen allmählich heraus. Bei diesen Lernvorgängen verstärken sich nach bestimmten Regeln einzelne Nervenverbindungen, andere schwächen sich ab. Nach diesen Lernvorgängen haben sich dann bestimmte Reaktionsmuster herausgebildet, so daß bei bestimmten Eingangssignalen einzelne Neurone der zweiten Schicht stärker aktiv sind als die anderen Neurone dieser Schicht. Die stark aktiven Neurone dienen als Erkenner für das von ihnen favorisierte Eingangsmuster und können dann weitere entsprechende Aktionen auslösen. Bei den Lernvorgängen spielen Mechanismen der Gewichtung von Synapsen, Herausbildung neuronaler Ensembles und neuronaler Karten eine große Rolle.Neural networks are an important means of data processing. she consist of 2 or more layers of neurons, mostly by corresponding ones Computer programs simulated, or by special computer chips in hardware form be represented. They are characterized by the fact that an input signal which there is a different activity of the neurons of the first level, the activity of the Second level neurons affected. The type of influence is initially not exact fixed, but gradually develops in the course of learning processes. With these Learning processes strengthen individual nerve connections according to certain rules, others weaken. After these learning processes there are certain reaction patterns formed so that with certain input signals individual neurons of the second layer are more active than the other neurons in this layer. The highly active neurons serve as Recognizers for the input pattern they favor and can then do more trigger appropriate actions. Mechanisms play a role in the learning processes Weighting of synapses, formation of neural ensembles and neural maps major role.

Criticism of the state of the art

Konventionelle neuronale Netze eignen sich zur Erkennung und Verarbeitung einer begrenzten Zahl von Mustern, an die Leistungsfähigkeit biologischer Netzwerke reichen sie aber bei weitem nicht heran, und dies nicht nur aufgrund der begrenzten Anzahl der zur Verfügung stehenden Neurone. Sie sind nach abgeschlossenem Lernvorgang relativ unflexibel, können kaum mehr für die Erkennung ganz anderer als der trainierten Muster verwendet werden, da sie ihr "Wissen" durch Veränderung der Verdrahtung der einzelnen Neurone erwerben und fixieren, hierdurch das Netzwerk aber in seiner Struktur auf diese eine zu lösende Aufgabe verändert und fixiert wird. Ein neuronales Netz, welches Töne analysiert kann nicht kurze Zeit später dazu benutzt werden, um optische Zeichen zu unterscheiden Neuronale Netze konventionellen Typus sind, wenn sie durch ein Computerprogramm simuliert werden, sehr langsam, die Hardware-Realisierung neuronaler Netze in Form spezieller Prozessoren-chips ist technisch schwierig und aufwendig und birgt insbesondere den oben dargestellten Nachteil, daß dabei die Verbindungsstruktur der Neuronen durch die Hardware fixiert wird.Conventional neural networks are suitable for detection and Processing of a limited number of patterns, based on biological performance But they are far from reaching networks, and not just because of the limited number Number of neurons available. You are at the end of the learning process relatively inflexible, can hardly be used for the detection of completely different patterns than the trained be used as they change their "knowledge" by changing the wiring of each Acquire and fix neurons, thereby structuring the network to this one task to be solved is changed and fixed. A neural network that analyzes sounds cannot be used a short time later to distinguish optical characters Neural networks are of conventional type when simulated by a computer program are, very slowly, the hardware implementation of neural networks in the form of special Processor chips are technically difficult and complex and in particular hides the above disadvantage shown that the connection structure of the neurons through the hardware is fixed.

Biologische neuronale Netze zeigen im Gegensatz zu technischen auch Eigenschaften, die gemeinhin als "holographische" Informationsverarbeitung bezeichnet werden. Bspw. genügen Menschen bereits kleine Anteile eines Bildes um das Ursprungsbild in der Erinnerung zu rekonstruieren. Werden einzelne Hirnareale zerstört im Zuge von Erkrankungen, so ist die Fähigkeit zur Informationsverarbeitung je nach Sitz der Läsion vermindert, aber keineswegs aufgehoben.In contrast to technical ones, biological neural networks also show properties that commonly referred to as "holographic" information processing. E.g. are enough People already have small portions of an image to remember the original image reconstruct. If individual areas of the brain are destroyed in the course of illness, then it is Information processing ability decreased depending on the location of the lesion, but not at all canceled.

Komplexe Begriffe werden nicht durch die Aktivität eines einzelnen Neurons aktiviert, (bspw. eines Neurons für den Begriff "rote Tasse mit Henkel", sondern durch synchrone Aktivität einzelner Neurone, die auf einzelne Untereigenschaften der Objekte ansprechen, im genannten Beispiel könnten dies viele Neurone für die Merkmale "rund, hohl, rot, hochnehmbar, Trinken o.ä." sein. Hierdurch erreichen diese biologischen Netzwerke eine ungeheure Flexibilität.Complex terms are not activated by the activity of a single neuron (e.g. of a neuron for the term "red cup with a handle", but through synchronous activity individual neurons that respond to individual sub-properties of the objects in the above For example, many neurons for the characteristics "round, hollow, red, upliftable, Drink or something like that. These biological networks reach a tremendous amount Flexibility.

Aufgabe der Erfindung nach Anspruch 1 soll sein, die genannten Nachteile bisheriger technischer Realisierungen neuronaler Netze zu vermeiden und neuronale Netze realisierbar zu machen, die sich in den Leistungsmerkmalen biologischen Netzwerken annähern.The object of the invention according to claim 1 should be, the disadvantages mentioned so far avoid technical realizations of neural networks and realizable neural networks make that approach in the performance characteristics of biological networks.

Neuronale Netze nach Anspruch 1 sind aus einer oder mehreren Untereinheiten aufgebaut. Die Untereinheiten arbeiten auf der Grundlage einer in der Makrostruktur vorgegebenen "Verdrahtung" der einzelnen Neurone. Die "Verdrahtung" wird durch die gewählte Abbildungsfunktion festgelegt. Ein einmaliger Arbeitsschritt eines solchen Netzwerkes bewirkt nicht mehr, als die entsprechend der Abbildungsfunktion veränderte, je nach Abbildungsfunktion "verzerrte" Abbildung, Übertragung der Aktivitätsverteilung der ersten Ebene des Netzwerkes auf die nachfolgende. Dieses resultierende Aktivitätsmuster wird als Eingangsmuster der nächsten Untereinheit genommen und wieder im nächsten Schritt entsprechend einer bestimmten Abbildungsfunktion auf die Ausgangsebene der entsprechenden Untereinheit übertragen. Diese Schritte können in weiteren Untereinheiten wiederholt werden, wobei letztlich aber die Aktivität der Ausgangsebene der letzten Untereinheit wieder auf die Eingangsebene der ersten Ebene übertragen wird. Hierdurch wird der Zyklus der Abbildungen mehrfach durchlaufen, iteriert. Diese Netzwerke bilden den Algorithmus zur Erzeugung von Fraktalen in einer räumlichen Struktur nach, indem sie die mathematischen Funktionen dieser fraktalen Algorithmen, die Abbildungsregeln für (meist komplexe) Zahlen sind, in Abbildungsvorschriften für die Neurone eines ein-, zwei-, oder dreidimensionalen Systems von Neuronen übersetzen. In ihrem Aufbau erinnern sie an biologische Netzwerke bspw. im menschlichen Gehirn, in welchem auch mehrere Neuronenschleifen bekannt sind (bspw. im limbischen System) in welchem Signale mehrere Neuronenzentren durchlaufen und das letzte Neuronenzentrum seine Aktivitätsverteilung wieder an das erste Neuronenzentrum weitergibt, also auch eine Iteration mehrerer Abbildungsschritte vorliegt. In konventionellen neuronalen Netzen bilden Neurone ihre Aktivität entsprechend der Stärke der synaptischen Verbindungen auf oft viele, z. T. weit voneinander entfernte Neurone der nächsten Neuronenebene ab. Neurone der neuronalen Netze nach Anspruch 1 bilden ihre Aktivität meist nur auf einen (je nach Abbildungsfunktion auch auf zwei oder mehr) umschriebenen Bereich der nächsten Neuronenebene ab. Streng genommen wird der Bereich der Projektion eines Neurons eindeutig durch sein Einzugsgebiet, welches er mit seinen Dendritenendigungen erreicht, bestimmt. Werden alle Punkte dieses Einzugsgebietes der gewählten Abbildungsfunktion unterworfen, so erhalten wir das Gebiet, welches das Neuron mit seinen Axonendigungen erreichen muß. Durch entsprechende Kombination von Untereinheiten, die mit jeweils unterschiedlichen Abbildungsfunktionen arbeiten, können prinzipiell die wichtigsten Abbildungsfunktionen zur Erzeugung von Fraktalen in eine entsprechende räumliche Struktur eines neuronalen Netzes "übersetzt" werden.Neural networks according to claim 1 are constructed from one or more subunits. The Subunits work on the basis of a given in the macro structure "Wiring" the individual neurons. The "wiring" is chosen by the Mapping function set. A one-time work step of such a network brings about no more than that changed according to the mapping function, depending on Mapping function "distorted" mapping, transfer of the activity distribution of the first Level of the network to the following. This resulting activity pattern is called Input pattern of the next subunit taken and again in the next step according to a certain mapping function to the starting level of the corresponding one Transfer subunit. These steps can be repeated in other subunits, but ultimately the activity of the starting level of the last subunit again on the Entry level of the first level is transmitted. This will make the cycle of images run through several times, iterates. These networks form the algorithm for generating Fractals in a spatial structure according to the mathematical functions of these fractal algorithms, which are mapping rules for (mostly complex) numbers, in Mapping rules for the neurons of a one-, two-, or three-dimensional system of Translate neurons. Their structure is reminiscent of biological networks, for example in the human brain, in which several neuron loops are also known (e.g. in the limbic system) in which signals pass through several neuron centers and the last one Neuron center passes its activity distribution back to the first neuron center, there is also an iteration of several mapping steps. In conventional neural Networks form neurons according to the strength of the synaptic connections often on many, e.g. T. distant neurons from the next neuron level. Neurons of the neural networks according to claim 1 usually form their activity only on one (each according to the mapping function also to two or more) circumscribed areas of the next Neuron level. Strictly speaking, the area of projection of a neuron is clear determined by its catchment area, which it reaches with its dendrite endings. If all points of this catchment area are subjected to the chosen mapping function, so we get the area which the neuron with its axon endings must reach. By appropriate combination of subunits, each with different Mapping functions work, can in principle the most important mapping functions Generation of fractals in a corresponding spatial structure of a neural network "to be translated.

Es erhebt sich die Frage, ob neuronale Netze nach Anspruch 1 tatsächlich Informationsverarbeitung ermöglichen?
Dies kann bejaht und soll an einem einfachen Beispiel erläutert werden. Zwei Neurone seien in der Eingangsebene eines konventionellen neuronalen Netzes aktiv. Das eine Neurone repräsentiere den Begriff "rot", das andere den Begriff "Tasse". Durch Lernvorgänge haben sie beide relativ starke synaptische Verbindungen zu einem Neuron der nächsten neuronalen Ebene entwickelt. Dieses Neuron repräsentiert dann den Begriff "rote Tasse" und kann durch seine Aktivität z. B. eine entsprechende Sprachausgabe steuern. In neuronalen Netzen nach Anspruch 1 werden beide Eingangsneurone ihre Aktivität auf die nächste Ebene projizieren. Im Laufe der Iterationen werden so, von jedem Eingangsneuron ausgehend eine Reihe weiterer Neurone aktiviert. Dies sind entsprechend den Abbildungsverläufen in Fraktalen über die Oberfläche der neuronalen Ebenen verteilt. So wird es im Regelfall einen oder mehrere Bereiche geben, die von beiden Eingangsneuronen aus aktiviert werden. In diesem Bereich kann ein Neuron dann besonders stark aktiviert werden. Dieses Neuron könnte damit analog zum oben angeführten Beispiel, als Repräsentant des Begriffes "rote Tasse" dienen und entsprechende Reaktionen des Systems. z. B. eine entsprechende Sprachausgabe steuern. Letztlich erhalten wir ein funktionell bei beiden Systemen ähnliches Ergebnis. Auf bestimmte Musterkonstellationen in der Eingangsebene werden einzelne Neurone der Ausgangsebene besonders aktiv, sie dienen als "Erkenner" der jeweiligen Musterkonstellationen.The question arises whether neural networks actually enable information processing according to claim 1?
This can be answered in the affirmative and is to be explained using a simple example. Two neurons are said to be active on the entry level of a conventional neural network. One neuron represents the term "red", the other the term "cup". Through learning, they have both developed relatively strong synaptic connections to a neuron at the next neuronal level. This neuron then represents the term "red cup" and can be z. B. control a corresponding voice output. In neural networks according to claim 1, both input neurons will project their activity onto the next level. In the course of the iterations, a number of further neurons are activated, starting from each input neuron. These are distributed over the surface of the neuronal planes in accordance with the course of the images in fractals. As a rule, there will be one or more areas that are activated from both input neurons. A neuron can then be activated particularly strongly in this area. Analogously to the example given above, this neuron could thus serve as a representative of the term "red cup" and corresponding reactions of the system. e.g. B. control a corresponding voice output. Ultimately, we get a functionally similar result in both systems. Individual neurons of the output level become particularly active on certain pattern constellations in the input level, they serve as "recognizers" of the respective pattern constellations.

Achieved advantages

Wie Fraktale zeigen auch die in neuronalen Netzen nach Anspruch 1 erzeugten Aktivitätsmuster Eigenschaften wie Auftreten von Attraktoren, Selbstähnlichkeit, Siegel-Discs, Implementierung von Binärbäumen, Erscheinungen von deterministischem Chaos. Solche Eigenschaften sind auch von biologischen Netzwerken bekannt und werden durch neuronale Netze nach Anspruch 1 zur Informationsverarbeitung nutzbar gemacht. Hinzuweisen ist auch auf die massiv parallele Arbeitsweise der neuronalen Netze nach Anspruch 1. Die Umschaltungen von einer Ebene zur nächsten erfordert wenig Zeit, da jeweils nur Impulse registriert und (eventuell nach Verstärkung) weitergegeben werden müssen. Es müssen keine Berechnungen von Werten durchgeführt oder umfangreiche Programmabläufe durchlaufen werden. Hierdurch ergibt sich eine besondere Schnelligkeit der Informationsverarbeitung in neuronalen Netzen nach Anspruch 1. Like fractals, those in neural networks according to claim 1 also show generated activity patterns properties such as appearance of attractors, self-similarity, Seal discs, implementation of binary trees, appearances of deterministic Chaos. Such properties are also known from biological networks made usable for information processing by neural networks according to claim 1. It should also be noted that the neural networks work in a massively parallel manner Claim 1. The switching from one level to the next requires little time, since each only impulses have to be registered and (possibly after amplification) passed on. It No calculations of values need to be carried out or extensive program sequences be run through. This results in a particular speed Information processing in neural networks according to claim 1.

Die wesentliche Form der Informationsverarbeitung erfolgt, ohne Veränderung der synaptischen Verbindungen. Das neuronale Netz nach Anspruch 1 kann deshalb flexibel für verschiedene Aufgaben bspw. der Mustererkennung benutzt werden.The essential form of information processing takes place without changing the synaptic Links. The neural network according to claim 1 can therefore be flexible for different Tasks such as pattern recognition can be used.

Geringe Unterschiede in den Eingangssignalen führen im Laufe der Iterationen zu deutlich unterscheidbaren Aktivitätsmustern im neuronalen Netz nach Anspruch 1. Hierdurch können sehr ähnliche Eingangssignale besser unterschieden werden, was wiederum Vorteile bei der Mustererkennung bringt.Small differences in the input signals lead to significant in the course of the iterations distinguishable activity patterns in the neural network according to claim 1 very similar input signals can be distinguished better, which in turn has advantages in the Pattern recognition brings.

Geringe Veränderungen der gewählten Abbildungsfunktion führen zu deutlichen Veränderungen der von den einzelnen Neuronen ausgehenden Aktivierungsverläufe. Diese Veränderung der Abbildungsfunktion kann z. B. eine unterschiedliche Parallelverschiebung des Musters in einer Untereinheit sein. Eine solche unterschiedliche Parallelverschiebung läßt sich technisch in optischen oder elektronischen oder in Computern simulierten Untereinheiten leicht verwirklichen (Z.B. durch etwas geänderte Stärke der Ablenkung der Elektronenstrahlen in einer Untereinheit nach Unteranspruch 2 auf dem Weg vom Neuron der Eingangsebene zur Zielregion in der Ausgangsebene). Solche Systeme mit veränderter Abbildungsfunktion bieten wieder völlig neue Möglichkeiten der Zuordnung von Eingangsmustern zu einzelnen Neuronen der Ausgangsebene Durch entsprechende variable Steuerung der Abbildungsfunktion in einzelnen Untereinheiten (Bspw. durch variable Stärke der Ablenkung von Elekronenstrahlen in Untereinheiten nach Unteranspruch 2 oder unterschiedlich starke Ablenkung durch Spiegelsystem in Untereinheiten nach Unteranspruch 3) erhalten wir alleine für unterschiedliche Parallelverschiebungen eines Musters in einer Untereinheit des neuronalen Netzes nach Anspruch 1 eine unendliche Anzahl von Möglichkeiten. Besteht das Gesamtsystem des neuronalen Netzes nach Anspruch 1 z. B. aus zwei Untereinheiten; wobei Untereinheit I die Quadrierung komplexer Zahlen repräsentiert und nachbildet, Untereinheit II die Addition einer komplexen Zahl in seiner Struktur funktionell umsetzt (und damit das Gesamtsystem den Algorithmus zur Erzeugung von Juliamengen, welcher auf der Quadrierung einer komplexen Zahl und anschließender Addition einer konstanten komplexen Zahl in seine neuronale Struktur "übersetzt"), so erhalten wir bei unveränderter Untereinheit I und der oben beschriebenen Möglichkeit in Untereinheit II mit beliebigen unterschiedlichen Parallelverschiebungen als Umsetzung der Addition einer komplexen Zahl zu arbeiten letztlich unendlich viele verschiedene neuronale Systeme mit jeweils eigenen Möglichkeiten der Zuordnung von bestimmten Eingangssignalen zu bestimmten Neuronen der Ausgangsebene des neuronalen Netzes. Hierdurch bieten neuronale Netze nach Anspruch 1 potentiell eine große Kapazität und Flexibilität.Slight changes in the chosen mapping function lead to significant changes the activation processes emanating from the individual neurons. This change in Mapping function can e.g. B. a different parallel displacement of the pattern in one Be subunit. Such a different parallel shift can be technically in easily realize optical or electronic or computer-simulated subunits (E.g. by changing the intensity of the deflection of the electron beams in a subunit according to sub-claim 2 on the way from the neuron of the input level to the target region in the Starting level). Such systems with a modified mapping function again offer completely new ones Possibilities of assigning input patterns to individual neurons at the output level Through appropriate variable control of the mapping function in individual subunits (For example, by varying the intensity of the deflection of electron beams in subunits Subclaim 2 or different levels of distraction by a mirror system in subunits according to sub-claim 3) we get one for different parallel displacements alone Patterns in a subunit of the neural network according to claim 1 an infinite number of opportunities. Is the overall system of the neural network according to claim 1 z. B. from two subunits; where subunit I represents the squaring of complex numbers and, Subunit II functionally replicates the addition of a complex number in its structure implements (and thus the entire system the algorithm for generating July sets, which is based on squaring a complex number and then adding a constant complex number "translated" into its neural structure), so we get at unchanged subunit I and the possibility described above in subunit II with any different parallel displacements as implementation of the addition of a complex number ultimately work with an infinite number of different neural systems each own possibilities of assigning certain input signals to certain ones Initial level neurons of the neural network. As a result, neural networks offer Claim 1 potentially large capacity and flexibility.

Insbesondere Systeme, die in einer Untereinheit die Quadrierung komplexer Zahlen in ihrer neuronalen Struktur umsetzen zeigen einige für die Informationsverarbeitung interessante Eigenschaften. So treffen sich die von einem Punkt z der neuronalen Ebene ausgehende Aktivität mit der von dem am Nullpunkt gespiegelten Punkt -z ausgehenden Aktivität im Punkt z² der Ausgangsebene dieser Untereinheit (da sowohl die Quadrierung einer komplexen Zahl z wie auch ihres am Nullpunkt gespiegelten Negation, der Zahl -z jeweils z² ergibt). So hat in diesen Systemen jedes Neuron n zwei Vorgängerneurone, die beide ihre Aktivität auf dieses Neuron n projizieren. Hierdurch lassen sich in diesen Systemen ausgedehnte Binärbäume abbilden. Letztlich bilden diese Systeme auch dialektisches Denkprinzipien ab: These z und Antithese -z treffen sich in der Synthese z².In particular, systems that implement the squaring of complex numbers in their neural structure in a subunit show some properties that are interesting for information processing. Thus, the activity originating from a point z of the neuronal level meets the activity originating from the point -z reflected at the zero point in point z ^{2 of} the starting level of this subunit (since both the squaring of a complex number z and its negation reflected at the zero point, the number -z results in z ² ). In these systems, each neuron n has two predecessor neurons, both of which project their activity onto this neuron n. In this way, extensive binary trees can be represented in these systems. Ultimately, these systems also depict dialectical principles of thought: thesis z and antithesis -z meet in synthesis z ² .

Embodiment of the invention

Der Aufbau einer solchen Untereinheit, die mit der Quadrierung einer komplexen Zahl als Abbildungsfunktion arbeitet, soll aufgrund seiner herausragenden Bedeutung näher erläutert werden:
Legen wir über jede Ebene eines aus zwei Ebenen bestehenden neuronalen Netzwerkes gedanklich ein kartesisches Koordinatensystem, so daß die Koordinatensysteme parallel liegen, die Gerade durch beide Nullpunkte senkrecht zur Ebene der Koordinatensysteme verläuft und die jeweilige Ordinate und Abszisse parallel verlaufen, so können wir die einzelnen Neurone den entsprechenden Punkten des Koordinatensystems zuordnen. Fassen wir nun diese zwei Ebenen der Koordinatensysteme auf als zwei Darstellungen der komplexen Zahlenebene, so können wir jedem Neuron der ersten Ebene eine komplexe Zahl zuordnen. Diese zugeordnete komplexe Zahl können wir algebraisch oder geometrisch quadrieren. Die komplexe Zahl, die wir als Ergebnis erhalten repräsentiert nun das Zentrum des Bereiches der zweiten Ebene, zu welchem das Ausgangsneuron seine Aktivität weitergibt. Die tatsächliche Ausdehnung des Zielbereiches ergibt sich aus der Ausdehnung des Bereiches, den die Dendritenendigungen auf der ersten Ebene überstreichen.
(Dieser Sachverhalt und eine Zeichnung eines solchen Netzwerkes wird unten anhand Zeichnung 1 näher erläutert).The structure of such a subunit, which works by squaring a complex number as a mapping function, should be explained in more detail because of its outstanding importance:
If we put a Cartesian coordinate system over each level of a neural network consisting of two levels, so that the coordinate systems are parallel, the straight line runs through both zero points perpendicular to the level of the coordinate systems and the respective ordinate and abscissa run parallel, we can do the individual neurons assign to the corresponding points of the coordinate system. If we now take these two levels of the coordinate systems as two representations of the complex number level, we can assign a complex number to each neuron on the first level. We can square this assigned complex number algebraically or geometrically. The complex number that we get as a result now represents the center of the area of the second level to which the output neuron passes on its activity. The actual extent of the target area results from the extent of the area that the dendrite endings cover on the first level.
(This fact and a drawing of such a network is explained in more detail below with reference to drawing 1).

Der Verlauf der Trajektorie, die vom Ausgangspunkt in der ersten Ebene zum Zielpunkt der Ausgangsebene führt ist nicht genau festgelegt. Er spielt für die Funktionsfähigkeit des neuronalen Netzes im Prinzip keine wesentliche Rolle. Die räumlich geometrische Interpretation der entsprechenden Abbildungsfunktion liefert aber Hinweise auf geeignete Trajektorienverläufe, die zur Realisierung der neuronalen Netze nach Anspruch 1 entsprechend der einzelnen Unteransprüche genutzt werden können. Letzlich gibt es nach Poincaré zu jeder Abbildungsfunktion, die diskrete Werte in einem n-dimensionalen Phasenraum liefert, eine Trajektorie, die diese zwei Werte oder Punkte in einem n+1-dimensionalen Phasenraum verbindet. Die Axone der Neurone können also (ob nun virtuell, wie in einem System nach Unteranspruch 5 oder real, wie in einem System nach Unteranspruch 3 z. B. in Form lichtleitender Fasern) funktionell als Trajektorien aufgefasst werden, die vom Eingangswert auf Ebene 1 zum durch die Abbildungsfunktion erreichten Ergebniswert auf Ebene 2 ziehen. The course of the trajectory, from the starting point in the first level to the target point of the Starting level leads is not precisely defined. He plays for the functionality of the neural network in principle no essential role. The spatial geometric interpretation the corresponding mapping function provides information on suitable trajectory profiles, to implement the neural networks according to claim 1 according to the individual Subclaims can be used. Ultimately, according to Poincaré, there is everyone Mapping function that delivers discrete values in an n-dimensional phase space, a Trajectory that these two values or points in an n + 1 dimensional phase space connects. The axons of the neurons can thus (whether virtual, as in a system according to Subclaim 5 or real, as in a system according to subclaim 3 z. B. in the form light-guiding fibers) can be functionally understood as trajectories, based on the input value Drag level 1 to the result value achieved by the mapping function on level 2.

Dabei sollen durchaus Regeln gelten, wie sie für die Weitergabe von neuronaler Aktivität in bisherigen neuronalen Netzen auch gelten. Da es unendlich viele komplexe Zahlen gibt, ein neuronales Netz aber nur aus einer endlichen Anzahl von Neuronen besteht, muß jedes Neuron mit seinem Einzugsbereich in Form der Dendritenendigungen einen gewissen Bereich der komplexen Zahlenebene abdecken, ebenso dann auch wieder den Bereich der zweiten Ebene mit seinen "Axonendigungen", den wir erhalten, wenn wir alle Punkte des Einzugsbereiches der Abbildungsfunktion unterziehen. Somit erhalten wir den Bereich der zweiten Ebene, an welchen das Neuron seine Aktivität vermitteln soll. Dabei spielen Rundungsvorgänge eine Rolle, die durch gegenseitige Überlappung der Einzugsbereiche der Neurone, wie auch ihrer Einwirkungsbereiche beherrscht werden können. So kann eine Aktivität einer Zahl 1,64 einer Zahlengerade durch etwas höhere Aktivität eines Neurons, welches am Punkt 1,6 sitzt und eine etwas geringere Aktivität eines Neurons am Punkt 1,7 dargestellt werden. Nehmen wir an, die gewählte Funktion sei eine Verdoppelung der Ausgangswerte. Die Hauptaktivität wird aufgrund der Überlappung auch der Einwirkungsbereiche der zwei Neurone auf der nächsten Ebene zwischen den Punkten 3,2 und 3,4 liegen. Hierdurch wird die Abbildungsfunktion auch weitgehend korrekt auf Zwischenwerte anwendbar, die bei beschränkter Neuronenzahl zwangsläufig auftreten.Rules should definitely apply, such as those for the transfer of neuronal activity in previous neural networks also apply. Since there are an infinite number of complex numbers, a neural network but only consists of a finite number of neurons, each neuron must with its catchment area in the form of dendrite endings a certain area of cover the complex number level, as well as the area of the second level with its "axon endings" that we get when we get all the points of the catchment area undergo the mapping function. So we get the area of the second level which the neuron should convey its activity. Rounding processes play a role here Role caused by mutual overlap of the catchment areas of the neurons, as well as theirs Areas of influence can be controlled. So an activity of a number 1.64 one Line of numbers through somewhat higher activity of a neuron, which is located at point 1.6 and one slightly less activity of a neuron can be shown at point 1.7. Let's say that selected function is a doubling of the initial values. The main activity is due the overlap of the areas of influence of the two neurons on the next level between points 3.2 and 3.4. This also makes the mapping function largely applicable to intermediate values with a limited number of neurons inevitably occur.

Die oben dargestellte Wirkungsweise eines neuronalen Netzes nach Anspruch 1 lässt sich auf verschiedene Weise realisieren. Die einzelnen Möglichkeiten sind in den Unteransprüchen 2 bis 15 aufgeführt. Die Funktion der einzelnen Elemente, also z. B. der Neurone orientiert sich im wesentlichen an den bekannten Vorbildern bereits verwirklichter neuronaler Netze. Letztlich ahmen alle funktionell biologische Neurone nach. Einzelne Neuronen in neuronalen Netzen nach Anspruch 1 unterscheiden sich in ihrem Aufbau und Funktion zunächst nicht wesentlich von solchen in konventionellen neuronalen Netzen. Sie registrieren über ihre Dendritenausläufer ankommende neuronale Aktivität in ihrem Dendriteneinzugsbereich, bei Erreichen eines gewissen Schwellenwertes beginnen sie selbst, Aktivität abzugeben, die über das Axon und dessen mögliche Kollateralen und über die baumartige Verästelung der Axonendigungen an die Neurone der nächsten Schicht weitergegeben werden. In konventionellen neuronalen Netzen wird großes Gewicht auf die Veränderung der Stärke der einzelnen neuronalen Synapsen, an welchen die Axonendigungen des einen mit den Dendritenendigungen des nächsten Neurons in Kontakt treten, gelegt. Solche Synapsenveränderungen können auch in Kombinationen von neuronalen Netzen nach Unteranspruch 11 mit konventionellen neuronalen Netzen eine Rolle spielen. Da in neuronalen Netzen nach Anspruch 1 relativ häufig zwei Neurone auf ähnliche Regionen projizieren, so daß die Signale in diesem Bereich nicht mehr von den Neuronen der nächsten Schicht differenziert werden können, könnten Veränderungen der Stärke der synaptischen Veränderungen der Neurone in diesem Bereich im Zuge von Lernvorgängen dazu führen, daß die Signale aufgrund kleiner Signaldifferenzen doch differenziert werden könnten, also die zwei sonst nicht unterscheidbaren Signale zweier unterschiedlicher Neurone der Eingangsebene der Untereinheit doch zur Aktivierung unterschiedlicher Neurone im Zielbereich der Ausgangsebene der Untereinheit führen.The above-described mode of operation of a neural network according to claim 1 can be based on realize different ways. The individual options are in subclaims 2 to 15 listed. The function of the individual elements, e.g. B. the neurons are oriented in essential to the well-known models of neural networks already implemented. Ultimately mimic all functional biological neurons. Individual neurons in neural networks According to claim 1, their structure and function do not initially differ significantly of those in conventional neural networks. You register through their Dendrite tails incoming neuronal activity in their dendrite catchment area, at Reaching a certain threshold, they themselves begin to give up activity beyond the axon and its possible collaterals and the tree-like ramifications of the Axon endings are passed on to the neurons of the next layer. In conventional neural networks will place great emphasis on changing the strength of the individual neuronal synapses at which the axon endings of the one with the Contact the next neuron's dendrite endings. Such Synapse changes can also occur in combinations of neural networks Subclaim 11 play a role with conventional neural networks. Because in neural Networks according to claim 1 relatively often project two neurons onto similar regions, so that the signals in this area are no longer from the neurons of the next layer could be differentiated, changes in the strength of the synaptic Changes in the neurons in this area in the course of learning processes lead to the fact that the signals could be differentiated due to small signal differences, i.e. the two otherwise indistinguishable signals of two different neurons at the input level of the Subunit for activating different neurons in the target area of the starting level the subunit.

Dennoch beruht aber der Mechanismus der Informationsverarbeitung in neuronalen Netzen nach Anspruch 1 nicht auf der Veränderung von Synapsengewichtungen wie im wesentlichen in konventionellen neuronalen Netzen, sondern in der besonderen Struktur der makroskopischen Netzarchitektur, der Architektur der Axonverläufe und nicht der Mikroarchitektur der einzelnen synaptischen Verbindungen.Nevertheless, the mechanism of information processing in neural networks is based Claim 1 does not change the synapse weights as essentially in conventional neural networks, but in the special structure of the macroscopic Network architecture, the architecture of the axon courses and not the microarchitecture of the individual synaptic connections.

Further refinements of the invention

In den Unteransprüchen 2-14 sind die Möglichkeiten angegeben, Neurone mit den oben genannten Charakteristika und insbesondere die besondere Zuordnung der Neurone der Eingangsebene der Untereinheiten zu den Zielneuronen der Ausgangsebene, die durch ihre Aktivität beeinflusst werden, mit technischen Mitteln nachzubilden.The possibilities are specified in subclaims 2-14, neurons with the above mentioned characteristics and in particular the special assignment of the neurons of the Input level of the subunits to the target neurons of the output level by their Activity can be influenced using technical means.

Zur Veranschaulichung des Gesagten soll der Verlauf der Axone in einer Untereinheit, die, wie oben näher ausgeführt, die Abbildungsfunktion der Quadrierung einer komplexen Zahl in die Verschaltungsstruktur einer Untereinheit umsetzt, gezeigt werden.To illustrate what has been said, the course of the axons in a subunit, which, like explained in more detail above, the mapping function of squaring a complex number into the Connection structure of a subunit implemented.

Fig. 1 zeigt für einen Ausschnitt der Eingangsebene (untere Ebene, in der Darstellung mit 1 gekennzeichnet) dieser Untereinheit den Verlauf der Axone der Neurone, die die Aktivität in ihrem stilisiert dargestellten Dendriteneinzugsgebiet registrieren und ihre Aktivität über ihr Axon an das Gebiet der Ausgangsebene (Ausgangsebene mit 2 gekennzeichnet) weitergeben, das wir erhalten, wenn wir alle Punkte des Dendriteneinzugsgebietes quadrieren. In der Aufsicht von oben folgen alle diese Axone den logarithmischen Spiralen, die durch den Mittelpunkt ihres Dendriteneinzugsgebietes führen, da ein Punkt z² auf der logarithmischen Spirale durch z (mit z als komplexer Zahl) liegt. Die in Fig. 1 dargestellten Neurone können nach Unteranspruch 3 z. B. aus elektronischen Elementen bestehen, die über Photorezeptoren die von der vorgeschalteten Ebene (oder von extern) z. B. über Lichtfaserleiter auf der Eingangsebene einfallende Lichtmenge registrieren, beim Überschreiten eines bestimmten Schwellenwertes selbst einen Lichtimpuls aussenden, der über das als Lichtfaserleiter ausgeführte Axon die Axonendigung erreicht. Dort wird der Lichtimpuls abgestrahlt und fällt auf das in Fig. 1 für jedes Axon markierte Gebiet, welches bei biologischen Neuronen dem Ausbreitungsgebiet der Axonendigungen entspräche. Dort kann es nun von den Neuronen der nachgeschalteten Untereinheit registriert werden. Fig. 1 of this sub-unit is for a section of the input level (lower level, characterized in the representation by 1) the course of the axons of the neurons that register the activity in their stylized shown Dendriteneinzugsgebiet and its activity over their axon in the area of the exit plane ( Pass the starting level marked with 2 ), which we get if we square all points of the dendrite catchment area. When viewed from above, all these axons follow the logarithmic spirals that lead through the center of their dendrite catchment area, since a point z ² lies on the logarithmic spiral through z (with z as a complex number). The neurons shown in Fig. 1 can z. B. consist of electronic elements, the photoreceptors from the upstream level (or from external) z. B. register the amount of light incident on the input level via optical fiber, itself emit a light pulse when a certain threshold value is exceeded, which reaches the axon ending via the axon designed as an optical fiber. There the light pulse is emitted and falls on the area marked in Fig. 1 for each axon, which corresponds to the propagation area of the axon endings in biological neurons. There it can now be registered by the neurons of the downstream subunit.

Fig. 2 zeigt den schematischen Aufbau eines neuronalen Netzes nach Anspruch 1: Es besteht aus 2 Untereinheiten, in der Zeichnung mit 7 und 8 gekennzeichnet. Beide Untereinheiten bestehen aus 2 Ebenen wobei allen 4 Ebenen gleichartige Koordinatensysteme zugeordnet sein sollen. Ein Signal, welches von extern über eine der zahlreichen Steuerleitungen (bspw. von externen Sensoren) am Punkt z ankommt, wird analog zu dem in Fig. 1 dargestellten Vorgang von dem an der Stelle z befindlichen Neuron über seine Dendritenendigungen registriert und über sein Axon an das ihm entsprechend der Abbildungsfunktion zugeordnete Zielneuron weitergegeben. Fig. 2 shows the schematic structure of a neural network according to claim 1: It consists of 2 subunits, marked 7 and 8 in the drawing. Both sub-units consist of 2 levels, with all 4 levels being assigned the same coordinate systems. A signal which arrives at point z from outside via one of the numerous control lines (for example from external sensors) is registered analogously to the process shown in FIG. 1 by the neuron located at point z via its dendrite endings and via its axon the target neuron assigned to it according to the mapping function.

Es wird dann von diesem unverändert auf die Eingangsebene der zweiten Untereinheit übertragen, welche mit einer anderen Abbildungsfunktion arbeitet. In der Zeichnung ist für die Untereinheit 7 schematisiert als Abbildungsfunktion eine Quadrierung einer komplexen Zahl entsprechend Fig. 1 angenommen, für Untereinheit 8 eine Parallelverschiebung entsprechend der Addition einer konstanten komplexen Zahl. Das auf der Ausgangsebene der zweiten Untereinheit entstehende Aktivitätsmuster wird dann Punkt für Punkt unverändert auf die Eingangsebene der ersten Untereinheit übertragen und löst dort wieder entsprechende Aktivitäten aus. Das Aktivierungsmuster der zweiten Untereinheit kann über entsprechende Signalleitungen (In der Zeichnung mit der Zahl 10 gekennzeichnet) von extern registriert und für weitere Schritte der Informationsverarbeitung genutzt werden.It then transmits it unchanged to the input level of the second subunit, which works with a different mapping function. In the drawing, a squaring of a complex number corresponding to FIG. 1 is assumed for the subunit 7 as a mapping function, for subunit 8 a parallel shift corresponding to the addition of a constant complex number. The activity pattern that arises at the output level of the second subunit is then transferred unchanged point by point to the input level of the first subunit and triggers corresponding activities there again. The activation pattern of the second subunit can be registered externally via corresponding signal lines (marked with the number 10 in the drawing) and used for further steps of information processing.

Fig. 3 zeigt ein neuronales Netz, stark schematisiert, welches entsprechend Unteranspruch 12 arbeitet. Diese Figur soll den oben näher ausgeführten Vorgang demonstrieren, wie zwei unterschiedliche Neurone nach einer gewissen Anzahl von Iterationen zu einer vergleichsweise starken Aktivität einzelner Neurone der neuronalen Ebenen führen können, da die Einzugsbereiche dieser Neurone Aktivität von beiden aktiven Eingangsneuronen (über mehrere Zwischenneurone) erhalten. Fig. 3 shows a neural network, highly schematic, which works according to subclaim 12. This figure is intended to demonstrate the process detailed above, how two different neurons can lead to a comparatively strong activity of individual neurons of the neuronal levels after a certain number of iterations, since the catchment areas of these neurons receive activity from both active input neurons (via several intermediate neurons).

Die Eingangsebene arbeitet mit der Abbildungsfunktion einer Quadrierung komplexer Zahlen (die Neuronenebenen werden als Teil der komplexen Zahlenebene aufgefasst), die zweite Ebene projiziert auf die erste direkt zurück mit der Abbildungsfunktion einer Parallelverschiebung, einer Addition einer konstanten komplexen Zahl (im Beispiel der Zahl 0,5+0,5.i) entsprechend. Die Projektion von der ersten auf die zweite Ebene ist durch durchgezogene Linien, die Projektion von der zweiten auf die erste durch unterbrochene Linien stilisiert dargestellt. Die Aktivität der Neuronen der ersten Ebene z1 (der komplexen Zahl -0,6 + 0,5.i entsprechend) und z2 (entsprechend -1,2 + 0,3.i) führt nach einer Anzahl von Iterationen zu einer starken Aktivierung in dem als Überlappungsbereich gekennzeichneten Bereich der zweiten Ebene. Ein Neuron im Überlappungsbereich könnte als Erkenner für die gleichzeitige Aktivität der Neurone z1 und z2 dienen. Da die von den Neuronen z1 und z2 ausgehenden Aktivitäten erst nach einer unterschiedlichen Anzahl von Iterationen im Überlappungsbereich eintreffen, muß durch entsprechende Schaltungen entweder sichergestellt sein, daß die Neurone z1 und z2 während mehrerer Taktzyklen aktiv bleiben oder daß die Neurone im Überlappungsbereich (prinzipiell dann alle Neurone) auch Aktivitäten, die nach gering unterschiedlichen Taktzyklen eintreffen als Anlaß zu eigener Aktivität nehmen. In den zuletzt näher vorgestellten neuronalen Netzen, die mit dem Julia-algorithmus arbeiten ergeben sich große Variationen der Einzugsbereiche einzelner Neurone, also der Bereiche des neuronalen Netzes, aus welchen sie nach einer bestimmten Anzahl von Taktzyklen aktiviert werden können. Sie hängen ab von der Position des Neurons im neuronalen Netz und der Größe der Dendriten- und Axon -endigungsbereiche.The input level works with the mapping function of squaring complex numbers (the Neuron levels are considered part of the complex number level), the second level projected directly onto the first one with the mapping function of a parallel shift, one Addition of a constant complex number (in the example the number 0.5 + 0.5.i) accordingly. The projection from the first to the second level is through solid lines, the projection from the second to the first by broken lines represented stylized. The activity of the neurons of the first level z1 (the complex number -0.6 + 0.5.i accordingly) and z2 (corresponding to -1.2 + 0.3.i) leads after a number of Iterations to a strong activation in the area marked as overlap Area of the second level. A neuron in the overlap area could act as a recognizer for that serve simultaneous activity of neurons z1 and z2. Since the neurons z1 and z2 outgoing activities only after a different number of iterations in the Arriving overlap area must either be ensured by appropriate circuits be that the neurons z1 and z2 remain active for several clock cycles or that the Neurons in the overlap area (in principle then all neurons) also activities that follow arrive at slightly different clock cycles as an opportunity for their own activity. In the recently presented neural networks that work with the Julia algorithm there are large variations in the catchment areas of individual neurons, i.e. the areas of the neural network, from which it is activated after a certain number of clock cycles can be. They depend on the position of the neuron in the neural network and the Size of the dendrite and axon termination areas.

Besonders ist noch auf den Aufbau räumlicher neuronaler Netze nach Anspruch 1, Unteranspruch 7 hinzuweisen. Bauprinzip der Neurone und die Prinzipien der Verschaltung der Neurone zu externen Sensoren und Steuerelementen entsprechen den bisher vorgestellten Prinzipien. Der Aufbau eines solchen neuronalen Netzes ergibt sich aus Unteranspruch 7. Auch dieses System arbeitet mit der Iteration einer Abbildungsfunktion:
Eine Abbildungsfunktion kann bspw. wie folgt aussehen: Ein Neuron n1 habe die Koordinaten x, y, z in dem dreidimensionalen Koordinatensystem. Die Zielregion eines Neurons n1 erhalten wir, wenn wir den Winkel, den der Vektor vom Nullpunkt zum Neuron n1 mit der x-Achse bildet verdoppelt wird, die Länge des Vektors (der Abstand des Neurons n1 vom Nullpunkt) aber quadriert wird. Anschließend kann zu dem so gefundenen Punkt n2 noch ein beliebiger Vektor c addiert werden (Anlage des Vektors c am Punkt n2). Der dann erreichte Punkt p1 gibt den Bereich an, zu welchem das Ausgangsneuron n1 projizieren soll. (Solcherart sind natürlich noch unzählige weitere Abbildungsfunktionen im Prinzip in neuronalen Netzen nach Anspruch 1 denkbar und technisch realisierbar). Das Neuron am Punkt p1 projiziere seine Aktivität entsprechend der gleichen Abbildungsfunktion weiter. Die Aktivitäten kreisten dann in einem einzigen Neuronenkörper. Die Verbindung nach außen soll dabei über Verbindungen ablaufen, die Signale von externen Sensoren vermitteln oder Aktivitätssignale einzelner Neurone an externe Sensoren oder Steuerungselemente abgeben. Je nach Ausgestaltung des neuronalen Netzes können diese Verbindungen nach außen an allen Neuronen des neuronalen Netzes ausgehen oder eintreffen, es kann aber auch bestimmte Eingangsregionen geben, in welchen die Neurone Signale von externen Sensoren erhalten, wie es dann auch Ausgaberegionen geben kann, in welchen die Neurone auch Signale nach außen abgeben. Da bei entsprechenden Abbildungsfunktionen, nach welchen das neuronale Netz arbeitet, gewährleistet ist, daß Aktivitäten, die von Neuronen der Eingangsregion ausgehen nach einigen Zwischenstationen bei der Ausgaberegion ankommen (und zwischenzeitlich durch Wechselwirkung mit Signalen von anderen Neuronen im Sinne einer Informationsverarbeitung Veränderung erfahren hat, z. B. im Sinne einer Signalintegration), können auch solche aus einem dreidimensionalen Netzwerk bestehenden neuronalen Netze Information verarbeiten. Particular reference should also be made to the construction of spatial neural networks according to claim 1, sub-claim 7. The principle of construction of the neurons and the principles of connecting the neurons to external sensors and control elements correspond to the principles previously presented. The structure of such a neural network results from subclaim 7. This system also works with the iteration of a mapping function:
A mapping function can look like this, for example: A neuron n1 has the coordinates x, y, z in the three-dimensional coordinate system. We get the target region of a neuron n1 if we double the angle that the vector forms from the zero point to the neuron n1 with the x-axis, but the length of the vector (the distance of the neuron n1 from the zero point) is squared. Any vector c can then be added to the point n2 found in this way (creation of the vector c at point n2). The point p1 then reached indicates the area to which the output neuron n1 should project. (Of course, innumerable further mapping functions in this way are conceivable and technically feasible in principle in neural networks according to claim 1). The neuron at point p1 project its activity according to the same mapping function. The activities then circled in a single neuron body. The connection to the outside should take place via connections that transmit signals from external sensors or transmit activity signals of individual neurons to external sensors or control elements. Depending on the design of the neural network, these connections can go out or arrive at all neurons of the neural network, but there can also be certain input regions in which the neurons receive signals from external sensors, as there can also be output regions in which the Neurons also emit signals to the outside. Since with corresponding mapping functions, according to which the neural network works, it is ensured that activities which originate from neurons in the input region arrive at the output region after a few intermediate stations (and have in the meantime undergone changes due to interaction with signals from other neurons in the sense of information processing, e.g. Such as in the sense of signal integration), such neural networks consisting of a three-dimensional network can also process information.

Possibilities of commercial use of the invention

Aufgrund der dargelegten vorteilhaften Eigenschaften der neuronalen Netze nach Anspruch 1 ergeben sich vielfältige Möglichkeiten zum Einsatz dieser Netze zu Aufgaben der Mustererkennung, und in Datenbanken und ähnlichen Aufgabenfeldern sowie zur analogen parallel arbeitenden Umsetzung von Abbildungsfunktionen. Damit sind weitreichende Einsatzmöglichkeiten im Bereich der Informationsverarbeitung gegeben. Due to the advantageous properties of the neural networks according to claim 1 There are various possibilities for using these networks for tasks of Pattern recognition, and in databases and similar fields as well as for analog parallel implementation of mapping functions. So that are far reaching Possible uses in the field of information processing.

Reference list Fig. 1

11

Eingangsebene
Entrance level

22nd

Ausgangsebene (im Koordinatenkreuz der Bereich von -2 < x < 2, -2 < y < 2 markiert).
Aus Gründen der besseren Darstellbarkeit ist nur ein Neuron detaillierter dargestellt:
Initial plane (the range of -2 <x <2, -2 <y <2 marked in the coordinate system).
For reasons of better representation, only one neuron is shown in more detail:

33rd

schematisch dargestellter Dendritenbaum mit kreisförmigem Dendriteneinzugsgebiet
schematically represented dendrite tree with circular dendrite catchment area

44th

Axon dieses Neurons
Axon of this neuron

55

baumförmige Verzweigung der Axonendigungen (schematisch dargestellt)
tree-shaped branching of the axon endings (shown schematically)

66

weitere Neurone nur abstrahiert dargestellt mit Axon und kreisförmig dargestelltem dazugehörenden Dendriteneinzugsgebiet und Ausbreitungsgebiet der Axonendigungen.
other neurons only shown in abstract form with axon and the associated dendrite catchment area and the area of propagation of the axon endings.

Fig. 2

77

Erste Untereinheit (Eingangsebene oben)
First subunit (entrance level above)

88th

Zweite Untereinheit (ebenfalls Eingangsebene oben, Ausgangsebene unten dargestellt)
Second subunit (also input level above, output level shown below)

99

Verbindung der Ausgangsebene der zweiten Untereinheit mit der Eingangsebene der ersten Untereinheit über Axone (z. B. in Form von Lichtfaserleitern)
Connection of the output level of the second subunit to the input level of the first subunit via axons (e.g. in the form of optical fibers)

1010th

Steuerleitungen zu nachgeschalteten Schaltelementen oder Sensoren
Control lines to downstream switching elements or sensors

1111

Verbindung der Neurone der Eingangsebene der ersten Untereinheit mit vorgeschalteten Sensoren oder Steuerelementen.
z Punkt auf der Eingangsebene, an welchem ein Neuron ein über eine Signalleitung ankommendes Signal registriert und weiterleitet.
Connection of the neurons of the input level of the first subunit with upstream sensors or control elements.
z Point on the input level at which a neuron registers and forwards a signal arriving via a signal line.

Fig. 3

1212th

Erste Ebene der Untereinheit
First level of the subunit

1313

Zweite Ebene der Untereinheit.
x = -2, x = +2, y = +2.i, +2: Endpunkte der Achsen des jeweiligen Koordinatensystems der zwei Ebenen.
z1, z2 Zwei Neurone der ersten Ebene, die Aktivität abgeben
Überlappungsbereich: Der Bereich der zweiten Ebene, der sowohl bei der von z1 ausgehenden Aktivierungsfolge, wie auch bei der von z2 ausgehenden Aktivierungsfolge Aktivität erhält.
Second level of the subunit.
x = -2, x = +2, y = + 2.i, +2: end points of the axes of the respective coordinate system of the two planes.
z1, z2 Two first level neurons that emit activity
Overlap area: The area of the second level that receives activity both in the activation sequence originating from z1 and in the activation sequence originating in z2.

Claims

1. Neural networks that make the algorithms for generating fractals usable for information processing. For this purpose, the neural networks according to claim 1 consist of one or more subunits, which in turn consist of two neuron levels, one of which functions as an input level and one as an output level. In each subunit, the activity pattern of the input level is projected onto the output level of this subunit according to a freely selectable mapping function. The resulting activity pattern of the output level of the first subunit is now taken as the input pattern of the second subunit and then generates a new activity pattern on the output level of this second subunit. After any number of passes through such subunits (at least one subunit), the output signal, the resulting activity pattern of the output level of the last subunit, is again projected as an input signal onto the input level of the first subunit.
The individual subunits are constructed in such a way that coordinates are first assigned to the individual neurons of both neuron levels using two identical coordinate systems. The coordinate systems can be any mathematically possible coordinate system which assigns unique location coordinates to the neurons of the neuronal levels. The coordinates of a neuron of the input level of a subunit are now taken as input values and subjected to a simple (or also a combination of several simple mapping functions) mapping function. The values that the mapping function gives as the result values should be the coordinates that identify the location in the output plane of the subunit to which the neuron projects its activity. The neurons of these neural networks should be constructed functionally analogous to biological neurons with a dendrite tree with which incoming neuronal activity can be registered and which characterizes the catchment area of a neuron, a neuron body, essentially located in the center of the catchment area, which is to be determined Regulate the registered activity into corresponding own neuronal activity and pass this on to an axon and its collaterals, ultimately via the branches of the axon endings to other neurons.
The strength of the activity of a neuron in neural networks according to claim 1 can be encoded by the strength of the signal emitted or by the number of signals emitted in a specific time unit or a combination of both methods.
Neural networks according to claim 1 can be realized with different technical means, in particular on an optical or electronic basis.
Dendrite trees correspond in neural networks according to claim 1, depending on the technical implementation, receptors for optical or electronic signals. The neuron bodies are formed by suitable electronic or optical integration and circuit elements which, depending on the input registered by the receptors, produce a signal, e.g. B. can trigger an electronic or optical pulse. This impulse is led via the functional axon to the location of the next neuron layer, which is determined by the imaging function according to which the respective neural network operates. The axon can be represented, for example, by electron beams, by light beams or by optical fibers.
The imaging function is implemented in the structure of the neural network according to claim 1 by appropriate deflection of the electron or light beams or corresponding spatial guidance of the optical fiber.
(The mapping function can also be implemented solely by appropriately guiding these structures corresponding to axons, "built in" in the neural network. The family of axons that can move from the neurons on the input level to the neurons on the output level can, for example, in almost any way twisted, wound around a common axis or pulling in an oblique direction from one plane to the other and thereby fanning out in a suitable manner.It is not important whether this mapping function realized in this way can be expressed directly in a mathematical formula, but that every neuron the input level moves over its axon to a certain area of the output level and thus the activity pattern is mapped to the output level in an approximate point-to-point transmission.) (The mapping function that defines the interconnection of the neural network in this way can, for example, be a parallel shift , a reflection at the zero point or be a straight line, a rotation around the zero point in a certain direction and with a certain extent (in each case based on the coordinate systems specified above, according to which the individual neurons can be assigned unique coordinates to each neuron layer). In particular, it can be the squaring of a complex number if the neurons of the two-dimensional neural levels of the subunits are interpreted as points in the complex number plane, i.e. the coordinates assigned to the neurons are understood as complex numbers, which can then be squared algebraically or geometrically.
A neuron can drive to several target areas that are far apart from one another if the mapping function yields several separate points as a result, for example if the root of a complex number is used as mapping function).
In this way, algorithms used to generate fractals, e.g. As the July sets are used in such neural networks because they are based on the iteration of combined mapping functions (in the case of the July sets on the squaring of a complex number with subsequent addition of a complex number), the result value of each iteration as an input value of next iteration is taken. Otherwise, the neural network is constructed like conventional neural networks, ie there must be a connection to external sensors which generate an input signal in the form of a specific activity distribution on the input layer of the neural network according to claim 1, and a connection of individual or all neural layers of the neural network according to claim 1 to downstream neural networks or switch elements which, based on the activity patterns generated, effect certain actions, influencing electronic or optical switching elements or the like. Often there will also be a connection to an external control unit, which is able to apply an input signal to the neurons of the input layer, as well as to record the state of the neurons of the output layer or of all neuronal layers in order to use them for further regulation and control functions to provide downstream control elements, switches or the like.

2. Neural network according to claim 1, which consists of two levels, which face each other in an evacuated hollow body. The first level consists of cathode elements which can be controlled individually from the outside and which can emit an electron cloud from the outside if correspondingly controlled electronically or optically. The second level is connected as an anode and consists of individual detector elements, which register the arrival of electrons electronically or optically and can report them to the next neuronal layer or subunit. On their way from the cathode to the anode, the electrons are deflected by electrical or magnetic fields which are generated by appropriate electrodes or magnets inside or outside the hollow body surrounding the neural network. These deflecting fields are dimensioned such that a desired mapping function is carried out in a sufficiently approximate manner in this way. So a rotation around the zero point of the coordinate system z. B. are represented by magnetic fields that the electrons after their release on the cathode in addition to their movement in the direction of the detector elements on the anode in rotation around the center of the plane, so that a spiral path results.
In addition, by suitable shaping of the planes, in particular the anode plane, it can be achieved that the acting fields act for different lengths of time on the electrons originating from different areas of the starting plane, so that imaging functions can be represented that could not be realized by simple circular or linear fields .

3. Neural network according to claim 1, in which the described Projection of the activity of a neuron on one, by the chosen one Imaging function specific neuron is realized by optical means, by representing neurons by elements (e.g. light emitting diodes) light signals corresponding to their activity send out, which then via fiber optic or lens and mirror systems be directed to the corresponding target region in the neural network. There this light activity is registered by light-detecting elements and used Further processing provided as a signal.

4. Neural network according to claim 1, in which the entire neural Activity through appropriate computer programs in data processing Machines is simulated.

5. Neural network according to claim 1, in which the neurons of Entry level of the subunit of electronic switching elements are formed (for example, from electronic transistors Elements) that emit electrical impulses as a sign of their activity, the via electrically conductive cables or cable-like structures or Conductor tracks made of suitable electrically conductive materials to the respective target neurons of the starting level of the subunit.

6. Neural network analogous to the neural network according to subclaim 5. which is characterized by the fact that the neurons and the neurons connecting conductor tracks on a semiconductor basis in a corresponding Computer (neuroprocessor) chip can be realized. In this case, too the neurons are similar to those in chips already in use integrated neural network of integrated on the chip Realized transistor units, their connection is made in a suitable form guided conductor tracks made of semiconductor material, which the connections of the Ensure neurons of the neural network according to claim 1.

7. Three-dimensional networks according to claim 1, realized after Subclaim 3 to 6, in which the subunits are not two two-dimensional neuron levels, but from one three-dimensional neuron cluster, a neuron space. Each Neuron can z. B. in a right-angled three-dimensional Coordinate system assigned an x, a y and a z coordinate become. The location to which the neurons project is determined by corresponding mapping rules based on these coordinates be applied. The connections to the neurons whose Catchment area including this location thus found will be realized either by optical fiber according to subclaim 3 or The corresponding process is followed in the form of a computer simulation Subclaim 4 or corresponding to that in subclaims 5 and 6 specified technical means performed. The input and Output areas (with connection to external sensors or signal processing elements) of this neuron space can all Neurons include or only the neurons in limited areas of the entire neuron space.

8. Neural network according to claim 1 executed according to subclaims 2 to 7, in which the mapping function not only by the corresponding Direction of the corresponding neuron "axons" (e.g. in the form of Electron beams) from the neurons of the input level of the subunit to the target neurons at the starting level, but to Partially or entirely by displacement, rotation, tilting or Change in scale of the output level compared to the input level. So can e.g. B. by simple rotation of the two neuron planes against each other from a simple plane-parallel, unchanged projection of the Activity pattern from the entrance level to the exit level, for example parallel electron beams result in a rotation of the output pattern compared to the input pattern, which can be achieved in parallel superimposed levels by influencing the Electron beams in flight from the entrance to the Starting plane in the sense of a rotation around the zero point must be accomplished.

9. Neural network according to claim 1, in which the neuron activity is synchronized by appropriate control lines, so that all Neurons of one level or of the entire network at the same time their Share activity.

10. Neural network according to claim 1, which is not clocked, so that all neurons of the network work independently of the others, their Show activity by sending signals if the corresponding requirements of the necessary activity in the Dendrite catchment area is given. The neurons work in this case asynchronous.

11. Combinations of neural networks according to claim 1, with conventional neural networks to take advantage of both. So performs in the previously presented neural networks according to claim 1 Passing on the activity of an input level neuron Subunit to the output level of the subunit to activate the Neurons or neurons, which topographically correspond to the Mapping function closest to the target point of the starting level lie. However, it can make sense to use appropriate learning processes the functional synaptic connections of another neuron which with its functional dendrites also has this target point achieved, reinforced with the functional axon endings ending there so that this neuron and not the target point next neighbor is activated.

12. Neural network according to claim 1, which is characterized in that that it consists of only two layers of neurons, the first layer using a specific mapping function on the neurons of the project the second layer. Project the second layer neurons using a different mapping function on the first layer back, whereupon the process can be repeated.

13. In the simplest case, a subunit or the entire network also consist of a single layer of neurons if the neurons this layer according to the chosen mapping function on the Neurons at the corresponding target coordinates of the same layer project.

14. The neural network of claim 1, in which potentially all neurons all levels through appropriate signal lines signals from both the external control unit (e.g. from external sensors), as well as signals to external signals Control elements or the external control unit can deliver.

15. Neural network according to claim 1, in which at least one Subunit, possibly in several, after each Mapping of the activity pattern from the input to the output level of the Subunit or after a certain time, the mapping function is changed. This can e.g. B. by changing the distracting fields in Subunits happen according to sub-claim 2, or by change the parameters determining the mapping function in one Computer simulation of the neural network or through changes in position the neural levels of the subunit to each other. The different used mapping functions can in turn after a certain number of changes or after a certain time of be run through so that the subunit with different ones mapping functions that change continuously or step by step, where the mapping functions used can be repeated cyclically. This results in additional possibilities for pattern formation and Neuron assignments in the overall network.