WO1995005640A1 - Reseau neuronal multivalue parallele - Google Patents

Reseau neuronal multivalue parallele Download PDF

Info

Publication number
WO1995005640A1
WO1995005640A1 PCT/JP1994/001341 JP9401341W WO9505640A1 WO 1995005640 A1 WO1995005640 A1 WO 1995005640A1 JP 9401341 W JP9401341 W JP 9401341W WO 9505640 A1 WO9505640 A1 WO 9505640A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
signal
correction
valued
level
Prior art date
Application number
PCT/JP1994/001341
Other languages
English (en)
French (fr)
Inventor
Fumiaki Sugaya
Youtaro Yatsuzuka
Original Assignee
Kokusai Denshin Denwa Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Denshin Denwa Co., Ltd. filed Critical Kokusai Denshin Denwa Co., Ltd.
Priority to US08/406,905 priority Critical patent/US5768476A/en
Priority to JP50685995A priority patent/JP3328935B2/ja
Publication of WO1995005640A1 publication Critical patent/WO1995005640A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Definitions

  • the present invention is applicable to various fields such as large-scale logic circuit, pattern recognition, associative memory, data conversion, and image processing.
  • Multi-networks that are fast and stable with simple learning in large-scale neural networks and large-scale networks Obtaining a force signal is about a parallel multivalued neural network from which it can come.
  • the conventional neural network includes the book, Hideki Aso, "Neural Network Information Processing", and the industrial publications. As shown, there are multi-story (floor) neural networks and interconnected neural networks, etc. .
  • Figure 1 shows the execution of a three-layer neural network 1 with a middle layer as a multi-layer neural network.
  • N input units 4 consisting of N units, middle layers 5, consisting of P units, and 6 output layers, consisting of M units It is composed of
  • the number N of units in the input layer corresponds to the total number of elements of the input signal I of the input terminal 2
  • the number M of units in the output layer M is the number of output terminals. It corresponds to the total number of elements of output signal 0 of 3.
  • each of the units of the intermediate layer 5 is further formed.
  • Each unit (hidden unit) is weighted and output.
  • the sum of the weighted outputs from each unit of the input layer 4 is used as the input, and the threshold value is subtracted and subtracted. After that, it is output via a function with input / output characteristics called a sigmoid function.
  • the output unit corresponding to each output unit is obtained.
  • Tsu door signal the output pin 3 output signal 0 of Baie-click bet Lumpur and through the,, 0 2, ⁇ - 0 M and to you out feed.
  • each unit in each layer weighs each unit output signal in the adjacent layer on the input side. After injuries, the sum of them is obtained as an input, and the threshold value is further deducted from the input, and after the bow I The unit output signal is sent to the adjacent layer on the output layer side via the do function.
  • FIG. 2 shows an example of the configuration of the execution processing in the execution processing mode of the mutual connection neural network 7.
  • 7 and Interview two Tsu door of one layer!, 7 ⁇ , * ⁇ 7 ⁇ , Ri tail shows the case of ..., was Tsu di weighting coefficient between the output signal off Initially input the unit with lead knock connection and the input signal I input via terminals 2, 2M , -2N.
  • Unit connected to the other unit called a hidden unit and a unit connected via a weighting factor to the other unit called a hidden unit. It is composed of:
  • the output unit signal is obtained at the point of equilibrium. And output from terminal 3X, 33M as output signal vector 0.
  • FIG. 3 shows an example of a configuration of a learning process of a three-layer 21 lane network.
  • a method of learning such a multi-layer neural network, for example, as described in the above-mentioned literature, it is possible to use a back-to-back approach. 2.
  • the multi-valued instructor signal T (the multi-valued instructor T Signal element, ⁇ !, ⁇ 2, # *
  • the weight coefficient controller 10 minimizes error power based on the output unity signal of each layer input via the terminal 11 'and the error signal.
  • the new coefficient of the three-layer new network 1 is updated via the terminal 11 through the terminal 11. It is also set up for learning by adaptive control. This adaptive control learning is repeated for all learning input signals.
  • the output signal 1S from the output terminal 3 for the learning input signal is the same as the teacher signal. It becomes.
  • the weighting factor is estimated in advance, and the weight of each binding of the mutual neural network 7 via the terminal 14 is determined. Set as a coefficient.
  • the input signal I may be a factor that gives a minimum value to the input signal I, and an equilibrium state is reached.
  • Different output units that are not intended to be balanced or unbalanced It can be a signal, and you need to use a lot of hidden units to get the desired output signal.
  • a general multi-valued storage pattern signal can be surely converged (a desired multi-valued output signal can be obtained in an equilibrium state). The design method is very helpful and clear.
  • the neural net shown in the parallel neural network learning method of Japanese Patent Application Laid-Open No. 2-107107 In the work 61, two neural networks are connected in parallel as shown in FIG. 5, and each neural network is connected in parallel. Of the first neural network 62 (primary neural network) a fixed number of times Later, the difference between the teacher signal and the output unit signal is corrected by the second neural network 63 (correction neural network). The second universal network 63 is to be used as a new teacher signal for the second teacher network. Similarly, when using two or more neural networks, the nth neural network has n — The difference between the sum of the output signals of all the neural networks up to the first unit and the teacher signal is regarded as the teacher signal.
  • the conditions for detecting the state of convergence at the final network are as follows. To make the output unit signal exactly match that of the teacher. It is very difficult to detect the perfect convergence state because it is very difficult and sometimes falls into the state of local minimum. There are problems that do not come up. Therefore, as described in the embodiment of Japanese Patent Application Laid-Open No. 2-107507, a multi-stage neural network is connected, and in Tsu by the case is Ru Oh drawbacks force s of sequential new was Do Men u La Lumpur nets to Carolina with a ring over click Rere rather must force s Oh Ru Do etc. are.
  • the multi-layer neural network responds to the learning input signal.
  • the initial value of the weighting factor is determined.
  • the number of trainings to reach the converged state for transmitting the desired multi-valued output signal may be immediately and repeatedly repeated.
  • the number becomes too large, or when learning does not converge it immediately drops into the local minimum (local minimum) state. It has some drawbacks, such as the output signal may not be sent.
  • even with a conventional method in which a plurality of neural networks are connected in parallel it is possible to obtain a desired multi-level output signal. Absent .
  • the weight coefficient calculated for the multi-valued storage pattern signal that is desired to be stored is calculated. Even if it is set, there are some drawbacks such as not necessarily sending the desired multi-level output signal in the equilibrium state. In other cases, the equilibrium may not be reached. In order to obtain the desired multi-level output signal even in a dual-network, the number of hidden units must be greatly increased. It is necessary to do this, but there is no established method to design it using a budget. From these shortcomings, it is possible to realize a multi-valued neural network that learns in a short amount of time and sets the weighting factor in a timely manner. It is very difficult.
  • the purpose of the present invention is to solve the above-mentioned problems and to make learning simpler than that of the conventional dual-network. It does not depend on the initial value, it is fast, stable and equilibrium convergence to easily obtain the desired multi-level output signal with respect to the learning input signal.
  • New parallel multi-valued neural network Is to be provided.
  • the parallel multi-valued dual-user network of the present invention Connected to the input in parallel with at least one or more supplemental neural networks to provide the intended learning input.
  • the main neural network trained on the power signal using the multi-valued instructor signal, the multi-valued instructor signal and the learning Multi-level output unit obtained from the main neural network via a multi-level threshold circuit for the input signal
  • the multi-level output unit obtained through the multi-level threshold circuit from the correction network network is used to correct the error with the signal.
  • At least one or more of the supplemental neural networks trained so that they can be compensated using the signal, and the principal and compensation It is also provided with at least a means for performing an additive operation on the multi-value output unit signal from the neural network and transmitting the signal together. And correcting the error in the output unit signal of the main neural network so as to obtain a desired multi-value output signal.
  • the primary neural network and at least one of the primary neural networks The parallel neural network is connected in parallel to the input, and the multi-level primitive teaching is performed in response to the input signal for learning that has been prepared in advance.
  • the main neural network that was trained using the master signal, the multi-level primitive teacher signal and the main neural network At least a part of the error from the multi-level output unit signal obtained from the multi-level output unit signal is determined in accordance with the determined turnover shell IJ.
  • the supplementary neural network which has been sequentially converted and learned as a supplementary teacher signal of the supplementary neural network, and The multi-level output unit corresponding to the converted error in the multi-level output unit signal from the correction neural network.
  • the inverse conversion of the pattern conversion rule is performed, and the evening inverse conversion processing means and the pattern inverse conversion processing are performed.
  • the output signal obtained via the means and the multi-value output unit signal from the main neural network are added together.
  • At least a means for transmitting the additive operation to be transmitted is provided, and the multi-level output unit signal from the main neural network is provided. It is configured so that the error is corrected and the desired multi-level output signal is obtained for the input signal.
  • the above-mentioned multi-valued instructor signal and the very specially prepared multi-valued instructor signal are used.
  • the learning was performed.
  • At least one or more compensating neural networks connected in parallel with the main neural network for input signals The multi-level output unit signal obtained through the multi-level threshold is obtained from the main dual-network network through the multi-level threshold.
  • Each of the multi-level output unit signals is subjected to an additive operation, and the desired multi-level output signal is transmitted. Therefore, the primary and correction neural nets for the learning input signal When learning the network, the addition and subtraction operations are performed via multi-valued threshold circuits.
  • the multi-valued error between the multi-valued primitive teacher signal and the multi-valued output unit signal from the main neural network is corrected by multi-value correction.
  • the first correction neural network is learned as a teacher signal, and the multilevel output of the correction neural network in the first stage is performed.
  • the difference between the multi-value correction teacher signal and the multi-value correction teacher signal is regarded as a new multi-value correction teacher signal.
  • the multi-value output unit The signal must match the multi-level correction teacher signal completely.It must be converged, but the final correction neural net Wa
  • the multi-level correction teacher's signal has a very large number of zero components, a small number of species, and a multi-level threshold process.
  • Fig. 1 shows an example of the configuration of a conventional three-layer neural network execution process
  • Fig. 2 shows an example of a conventional two-way network
  • Fig. 3 shows an example of a configuration of the execution process of a local network.
  • Fig. 3 shows a learning process in a conventional three-layer neural network.
  • Fig. 4 is an example of the configuration of learning
  • Fig. 5 is an example of the learning process of the interconnected neural network by the conventional method
  • Fig. 5 is the conventional technology.
  • FIG. 6 shows the neural network according to the present invention in the first embodiment.
  • Fig. 7 shows an example of the configuration of the execution process of the network, Fig.
  • FIG. 7 shows the input / output characteristics of the multi-valued threshold circuit (for R value), and Fig. 8 shows the execution example.
  • the invention in Example 1 Fig. 9 shows an example of the configuration of the learning process of the neural network of Fig. 9.
  • Fig. 9 shows the configuration of the neural network of the present invention in Example 1.
  • An example of the configuration of the multi-level correction teacher signal generator 24 is shown in FIG. 10.
  • FIG. 10 shows the execution of the neural network of the present invention in the second embodiment.
  • Fig. 11 shows one example of the multi-valued correction teacher signal generator 52 of the neural network of the present invention in the second embodiment.
  • FIG. 12 is a configuration example of the multi-level correction teacher signal generator 53 of the neural network of the present invention in the third embodiment.
  • FIG. 13 is a configuration example of the execution process of the neural network according to the present invention in the fourth embodiment
  • FIG. 14 is a fifth embodiment in the fifth embodiment.
  • the neural net of the present invention Fig. 15 shows an example of the configuration of the learning process of the neural network according to the present invention in Example 6 in Fig. 15.
  • FIG. 16 shows the neural network according to the seventh embodiment of the present invention.
  • Fig. 17 shows an example of the configuration of the learning process of the neural network according to the present invention in the embodiment 7 of the present invention.
  • FIG. 18 shows a configuration example of the execution process of the neural network according to the present invention in the eighth embodiment.
  • the parallel multi-valued neural network of the present invention is designed to modify the weight coefficient of the prepared learning input signal and teacher signal.
  • a learning processing mode for correct learning, and an output signal is transmitted to an input signal using the learned weighting factor.
  • the case where the operation is performed in two modes, the execution processing mode and the execution mode, will be described on the assumption.
  • a multi-layered neural network is used as the first embodiment.
  • the main neural network 16 and the correction neural network 18 are connected in parallel to the input, and a multi-valued instructor
  • An example of a configuration using a signal and a multi-value addition arithmetic operation for correcting a multi-value error will be described.
  • the parallel multi-valued neural network 15 of the present invention learns the weight coefficient for a pre-prepared learning input signal. Learning processing mode for transmitting a multi-valued output signal to an input signal using the learned weighting factor. It works with two modes: Fig. 6 shows an example of the configuration of the execution processing in the execution processing mode using the multi-valued addition operation processing.
  • the parallel multi-valued neural network 15 of the present invention is a terminal 2 for inputting the input signal I for each unit. , 2 • -2 N and multi-level output signal 0 are output for each unit 3:, 3
  • a correction two parallel network 18 connected in parallel to the input, and a main neural network 16 from the main neural network 16.
  • Multi-valued threshold circuits 19 and 19 for multi-valued multi-bit signals and multi-valued threshold circuits 17 and 19 are supported.
  • a multiplication output arithmetic unit 20 for multi-valued output unity signals and an arithmetic and logic unit 20, and a main and correction neural network 16 and It is composed of an operation mode controller 21 for controlling the operation mode 18 and a power supply.
  • the parallel multi-valued dual-user network 15 is set in the execution processing mode by the control from the operation mode control circuit 21. Operate . At this time, the main and supplementary neural networks 16 and 18 are obtained by the learning in the learning processing mode, respectively. The weighting factor has been set.
  • FIG. 7 shows an example of the relationship between the multi-valued input / output of the R value as a multi-valued threshold circuit.
  • the multi-level threshold circuit 17 m the multi-level threshold circuit 17 m
  • the main neural network 16 has the weighting factor obtained by learning, but it does not respond to the learning input signal described above. However, not all output signals do not have the desired multi-level output unit signal, but output signals with multi-level errors.
  • the multi-level output unit signal which is equal to the multi-level error is transmitted to perform the additive performance.
  • a weighting factor is set in the calculator 20 so that it can be learned to correct this error, and the main neural network is used to The multi-level output unit signal having the multi-level error is accurately corrected, and the desired multi-level output signal 0 is transmitted from terminal 3. .
  • the multi-value output yu two Tsu door signal Baie-click door Le of multi-value Threshold Level to have you on the force ⁇ method arithmetic unit 2 0 tio Le de circuits 1 7 (X t, X 2 , •-XM) and multi-valued output of multi-valued threshold circuit 19
  • the element Zi of ZM) is calculated by (Xi + Yi) mod (R).
  • the multi-layered neural network in the learning processing mode in the parallel multi-valued neural network of the present invention 15 Fig. 8 shows the configuration of the learning process using the system.
  • the operation mode controller 21 has a function of switching between the learning processing mode and the execution processing mode.
  • the multi-valued neural network 16 is a multi-valued neural network.
  • the learning input signal from terminal 2 and the multiplication from terminal 8 were prepared. Learning is performed using the value T of the teacher. As before, the output unit signal from the multi-valued primitive teacher signal T to the main neural network 16 at the subtractor 9 is used. When an error signal is obtained, the error signal is input to the weight coefficient controller 22, and the unit output signal of each layer from the terminal 23 ′ is based on the error signal. In order to minimize the error power, the weight coefficient is updated via terminal 23. Repeat the setting of the new weighting factor.
  • the multi-level output unit signal obtained from the main two-way network 16 via the multi-level threshold circuit 17 is provided.
  • the weight coefficient controller 22 detects the number of times of learning and compares it with a specified value, or in the case of real-time processing. To compare with the set value or the multi-level threshold circuit 17 in the correction teacher signal generator 24. Any method such as detecting the magnitude of the multi-value error between the value output unit signal and the multi-valued instructor signal T and comparing it with a specified value. According to the method described above, the learning is completed via the operation mode controller 21.
  • FIG. 9 shows an example of the configuration of the correction teacher signal generator 24, which is a multi-valued threshold from the multi-valued original teacher signal T input from the terminal 8.
  • Multi-valued output unit signal input via circuit 17 is subtracted for each unit, and subtraction operation is performed to output multi-valued error
  • It consists of a calculator 80 and a correction teacher signal storage device 82 which stores the output as a multi-value correction teacher signal TC.
  • the input signal for learning and learning and the multi-value correction teacher signal TC were used via the operation mode controller 21. Start the learning of Larnette Park 18, and use the subtractor 25 to calculate the correction value from the multi-valued correction teacher signal TC.
  • the output unit signal from the input line 18 is subtracted and subtracted, and this is input to the weight coefficient controller 26 as an error signal.
  • the weight coefficient is updated based on the unit output signal of each layer from the element 27 'so that the error power is minimized, and the terminal is updated.
  • the training is repeated until a perfect match between the TC and the multi-level output unit 1 obtained through the multi-level threshold circuit 19 is detected. If this is returned, it can be said that the correction dual-network block 18 has fully converged on the multilevel correction teacher signal TC.
  • the learning is terminated, and the operation mode is switched from the learning mode to the execution processing mode by the operation mode controller 21.
  • the weight coefficient obtained by learning the multi-valued original teacher signal T using the learning input signal is set.
  • a multi-level output unit obtained from the universal network 16 via the multi-level threshold circuit 17 and a multi-level correction Supervisory neural network with the weighting factor obtained by training the teacher signal TC The multi-valued output unit signal obtained via the value threshold circuit 19 is subjected to an additive operation process by an additive operation unit 20.
  • a multilevel output signal 0 identical to the multilevel original teacher signal was obtained, and the main nu It is possible to accurately correct the multi-valued errors caused by the incomplete learning of LaR Network 16.
  • the main dual network 16 learns the multilevel error as a multilevel correction teacher signal, and if it can be completely converged, the main dual network 16 will be converged. For example, there is no multi-level error among the multi-level output unit signals from the main nuclear network. Sending a multi-value output unit signal from 9,0% power to about 95% can be realized with a small number of trainings. If we try to obtain more desired multi-valued output signals by converging more than this, the number of times of learning increases exponentially. It is clear that the number of learning sessions can be significantly reduced as compared with the conventional method. On the other hand, while the multi-valued primitive teacher signal T of the main rune-talk 16 has a nearly random component, the correction is not complete.
  • the multi-level correction teacher signal ⁇ C of network 18 has only a small multi-level error component of about 10%, and the other components are zero.
  • B In contrast to the multi-level correction teacher signal, in which the number of species is small and the frequency of occurrence is biased toward a specific signal pattern, correction correction is not possible. It is easy to completely converge the full network 18 with a small number of trainings. Obey, using the primary and correction neural networks 16 and 18 in which the weighting factors learned as described above are set In the execution process of the column multi-valued neural network 15, the desired multi-valued output signal is output from terminal 3 with respect to the learning input signal. Empowering is easy to achieve.
  • the multi-level original teacher signal and the multi-level correction teacher signal have the same multi-level space, the main and correction manuals are also required. It is only necessary to realize the same neural network as the network, and the same weight coefficient precision and sigmoid function are used. The configuration may be sufficient.
  • Neural network for multi-valued arithmetic processing such as multi-valued threshold circuits, power reduction, and subtraction arithmetic.
  • the operation accuracy in the network is low and good, and the operation scale is small.
  • the multi-level primitive teacher signal is binary
  • the binary threshold circuits are used as the multi-level threshold circuits 17 and 19.
  • the adder 20 is provided by an XOR circuit, and the subtractor 80 in the correction teacher signal generator 24 is also easily realized by the XOR circuit. .
  • the input layer 75 units, the intermediate layer 21 units and the output layer 7 units 3 layers of main and supplementary networks with sockets 16 and 18 respectively, each of which is a network
  • the desired I / O relationship between It is possible to easily learn a binary logic function with less dependence on the initial value and a total learning number of less than 210 times.
  • the execution processing mode it is possible to always obtain the desired multi-valued output signal correctly for the learning input signal. This is achieved by using a conventional three-layer back-propagation learning algorithm, an input layer 75 units and a middle layer 40 units.
  • the neural network 15 of the present invention It is possible to simply and quickly learn the truth table of a multi-valued logical function using the neural network 15 of the present invention. Because of the power that can be achieved, it is easy to implement large-scale multi-valued logic circuits, which are extremely difficult to design in conventional large-scale networking. Can be realized. In addition, in the parallel multivalued neural network 15 of the present invention, a plurality of sets of learned weighting factors are provided, respectively. If these are switched and set, it is possible to easily realize a plurality of large-scale variable-variable multi-valued logic circuits with the same operation delay.
  • the main and amendment neural networks are the same neuro LSI chip. If it is composed of a group, the parallel processing function and the flexible operation processing function of the same node can be effectively used to achieve high speed and large scale.
  • a variable multi-valued logic circuit can be easily realized.
  • the conventional dual network was replaced with the neural network 15 of the present invention, and the students learned easily. It can be used for pattern recognition, associative memory, data compression, data conversion, etc.
  • a parallel multi-valued neural network using a correction teacher signal generator 52 different from the first embodiment is described.
  • Work 83 is shown.
  • the configuration of the learning process in the learning process mode and the operation during the learning process are the same as those in the configuration except that the configuration of the correction teacher signal generator 52 is different. This is the same as Example 1 in Example 8.
  • Example 1 Example 8
  • the configuration of the correction teacher signal generator 52, its configuration in the execution processing mode, and its operation will be described.
  • FIG. 11 shows an example of the configuration of the correction teacher signal generator 52 in the present embodiment, in which the multi-valued teacher signal T input from the terminal 8 is shown.
  • the multi-level output unit signal input via the multi-level threshold circuit 17 is subtracted for each unit, and the multi-level error is calculated.
  • a subtraction calculator 80 that outputs a pre-determined error pattern from among multi-valued errors, and the distance between them is expanded. The output is converted to a notation so that it is output, and other multi-valued errors are output as they are.
  • It consists of a correction teacher signal storage device 82 that stores the output of the pattern conversion processor 81 as a multi-value correction teacher signal TC. 6
  • the law calculator 80 and the correction teacher signal storage device 82 have the same functional configuration as the correction teacher signal generator 24 of the first embodiment in FIG.
  • the generation rate of the error pattern (C 0) with no difference is about 90%. If the maximum weight of the error pattern is less than or equal to the specified value and the value is less than or equal to the value, at the time of ending the learning, the above supervised teacher signal In the subtraction operation unit 80 of the generator 52, the multi-level original teacher signal T ⁇ ⁇ ⁇ ⁇ , the multi-level threshold from the master The multi-level power unit signal obtained via the circuit 17 is subtracted for each volt, and the multi-valued error is calculated. Performs an evening conversion for the error specified in, and extends the distance between the patterns (for example, the distance between the beam and the distance).
  • the operation mode control device is displayed as shown in Fig. 8. 21
  • the correction nucleus using the learning input signal and the multi-value correction teacher signal TC is used.
  • the multi-level correction teacher signal TC was obtained via the multi-level correction teacher signal TC and the multi-level threshold circuit 19 in the matcher 28. If a perfect match with the multi-level output unit signal is detected, the multi-level correction teacher signal TC will be corrected to the neural network. It is assumed that the task 18 has completely converged, and the learning is terminated, and the operation mode is changed from the learning mode to the execution mode by the operation mode controller 21. Mode.
  • the distance between the high frequency of occurrence and the pattern of the error and other error patterns has been greatly expanded.
  • the assignment of learning input signals to multi-valued output unit signals becomes extremely simple, and the number of training lessons can be corrected with fewer training times. It is possible to easily converge the network 18.
  • Figure 10 shows an example of the configuration of the execution process.
  • the specific pattern obtained by the pattern conversion in the generator 52 is converted into a multi-valued threshold by a multi-valued threshold 1 19 Detected from the inside of the signal, converted to the original multi-valued error pattern and output it, and the others are output the other way.
  • the output corresponding to each of the conversion processor 84 and the multi-valued threshold circuit 17 and the pattern reverse conversion processor 84 is added.
  • Additive operator 20 that performs operation and outputs multi-valued output signal 0 to terminal 3, and main and correction neural network
  • the operation mode controller 21 is composed of an operation mode controller 21 for controlling the operation modes of 16 and 18 and is an operation mode controller. 21 When the execution processing mode is set and operated by the control from 1, the main and amended Niranorene V tocks 16 and 18 are used. In each case, the weighting factor obtained in the learning mode is 5X.
  • Correction 2 From the multi-value output unit signal from the L-ral network 18 through the pattern inverse conversion processor 84, the original multi-value is output. The value error pattern is obtained, and the multi-value output unit signal from the main neural network talk 16 is added to the additive operator 20 and the signal. The imperfections in the multivalued output unit signal from the main neural network 16 are due to the fact that each is subjected to an additive operation. It can correct errors caused by various learning. As a result, the parallel multi-valued dual-user network 83 shows that the input signal for learning is completely different from the multi-valued original teacher signal. Same multi-level output signal Ma
  • No. 0 is obtained from Vrfo Na 3.
  • the parallel multi-valued neural network 83 of the present invention should be converged equivalently with a small number of training sessions.
  • the correction neural network 18 was completely completed. This significantly reduces the number of trainings required to converge the data.
  • Embodiment 3 an embodiment using a different notation conversion method from Embodiment 2 of the present invention is shown.
  • the correction teacher signal generator 52 only a specific error pattern in which all the elements with a high frequency of occurrence are 0 is 0.
  • An example of a pattern conversion method in which all elements are converted to a pattern of R-1 is shown.
  • the weight of the multi-valued error pattern increases when the number of times of learning of the main two neural nets 16 is extremely reduced.
  • the number of species increases slightly, and the frequency of occurrence is almost the same as the error pattern i.
  • the distances between the M-dimensional code spaces are mutually different.
  • An example is shown in which a correction teacher signal generator 53 using a pattern conversion method for increasing the distance is introduced.
  • the multi-valued error pattern output from the subtraction calculator 80 of the correction teacher signal generator 52 of the second embodiment is converted.
  • the pattern conversion processor 81 1 and the correction 2 The output to the multi-level output unit signal from the universal network 18
  • the only difference is that the configuration of the turn reverse conversion processor 84 is different, and these patterns are used for the pattern conversion processing and the pattern reverse conversion processing. This is described only.
  • Fig. The following describes the case where an erroneous correction code processor 85 is used in place of the open conversion processor 81. Error correction processor 8
  • the multi-level output signal of the main neural network (16) or more The type k of the binary error pattern based on this is less than the type 2M of the binary teacher signal, and k ⁇ 2M.
  • k kinds of error patterns can be represented by the smallest integer K bits satisfying lo 2 (k) ⁇ K. This K-bit turn is used as an information bit, and it is used for error correction, such as linear code and cyclic code, etc.
  • the minimum c It is possible to create an M-bit code with a mining distance of 3 and to increase the hang distance to 3 or more.
  • the M-bit code word corresponding to the difference pattern is stored as a conversion pattern in the correction teacher in " ⁇ " S and 'I Shiki 82. Good o When the number of binary output cuts 7 is 7 and the number of error patterns in the learning mode is 8, for example, the learning is terminated. Thus, the error pattern before the crying has a Hamming weight of 0 and 1. Therefore, since these error patterns can be completely expressed by using a 3-bit information bit, the 3-bit information code is used.
  • Error Correction Based on Correction Correction Processor 85 has an error correction of at least a minimum nominating distance of 3 with 4 bits of inspection bits. It is sufficient to generate positive signs ⁇ and use them as correction teacher signals. As described above, the case of the binary value has been described. However, the case of the multivalued value is also mutually reciprocal due to the multiple error correction code theory. It can produce mouths with increased separation. In accordance with the error pattern input by these methods, the pattern is converted according to the error pattern, and the corrected teacher signal is written as the corrected teacher signal.
  • R 0 M may be replaced with a code reverse conversion processor that provides a reverse input / output relationship. You just have to prepare.
  • the turn conversion rule is slightly more complicated than that of Embodiment 2, but the distance between the error patterns is larger or smaller. Since the Hamming distance can be mutually expanded, the parallel multi-valued neural network using the correction teacher signal generator 53 is used. It is possible to converge 83 more efficiently and even faster.
  • Example 4 an interconnected neural network that uses a multilevel learning pattern signal to determine the weighting factor was used.
  • the present invention is connected in parallel to the input and uses multi-valued additive arithmetic processing to correct multi-valued errors from multi-valued teacher signals.
  • An example of the configuration of a column multi-valued neural network is described below.
  • the configuration of the execution processing in the execution processing mode of the parallel multi-valued neural network of the present invention is based on the main neural network. 29
  • the parallel multi-valued neural network of Example 1 is used except that an interconnected neural network is used as 9 Since the operation is the same as the configuration in Fig. 6, the configuration and detailed explanation are omitted.
  • FIG.13 An example of the configuration of the learning process in the learning processing mode is shown in Fig.13, which is different from the configuration of Fig.8 in the first embodiment.
  • the configuration of the learning processing in the learning processing mode of the neural network according to the present invention shown in Fig. 13 is an interconnecting neural network.
  • Network power such as the main neural network 29, and multi-layered neural network, the correction neural network
  • the network 18 is arranged in parallel with the input, and the multi-valued storage pattern signal input from terminal 13 is used as the basis.
  • a multi-valued threshold 17 indicates a multi-valued threshold.
  • the output unit signal is obtained, and the corrected teacher signal generator 32 compares it with the multi-valued teacher signal in the multi-valued storage pattern signal and generates a multi-valued error. Find the difference and store it as a multilevel correction teacher signal.
  • the multi-level correction teacher signal generator 32 has the same configuration as the multi-value correction teacher signal generator 24 described above. OK.
  • the correction neural net is obtained from the multi-value correction teacher signal output from the correction teacher signal generator 32 and the input signal for learning.
  • the multilevel correction teacher signal and the correction neural network output 18 output unit signal are used.
  • the subtracter 25 calculates the error signal of each unit and calculates the weight coefficient so that the error power is minimized.
  • the weight factor is corrected by the controller 26, and the updated weight coefficient is set to the correction neural network 18 via the terminal 27.
  • the multi-level output unit signal completely matches the multi-level correction teacher signal, it is determined that the match is true. In this case, it is detected that the convergence has been completed, and the learning is terminated.
  • the operation mode controller 33 Based on their control, the number of hidden units in the main unit network 29 was increased, and again, the main unit network was re-established. Let's learn from the power of 9 and perform the same processing, After reclaiming the issue, the supplementary neural network 18 should be re-learned to complete the convergence. Alternatively, the number of hidden units in the correction neural network 18 may be increased so that they can be learned again and completely converged. .
  • the mutual neural network of the main dual network 29 is connected.
  • Correction neural net where the multilevel error of the multilevel output unit signal at the equilibrium point of the output is regarded as the multilevel correction teacher signal.
  • Learning and fully converging step 18 can be easily achieved for the same reason as in the first embodiment.
  • the main and correction neural networks obtained in such a learning processing mode execute the weight coefficients of the small works 29 and 18 in the execution processing mode.
  • the multi-level output from the main neural network 29 is based on the configuration similar to that shown in Fig. 6 due to the setting and use in the Corrects multi-valued errors contained in the unit signal. Uses the multi-valued output unit signal from the neural network. Correction is performed by the addition operator 20, and the terminal 3 can transmit a multilevel output signal of a complete desire for the learning input signal. Wear .
  • the traditional interconnected neural network requires a large number of hidden units to achieve equilibrium. In many cases, the desired solution cannot be obtained due to the existence of the local minimum, and the desired multi-level output unit signal can be obtained. Such a design is difficult.
  • the interconnected neural network is used. Problem is easily solved Can provide a very effective neural network.
  • the mutual coupling in the case of a binary Hopfield network or a Boltsman machine, an output unit is used. Since the nit signal is binary, the multi-valued threshold circuit is omitted in the configuration of the learning process and the execution process in Fig. 13. In this case, the adder becomes an XOR circuit. In addition, the subtraction operation in the correction teacher signal generator 32 becomes an XOR circuit in the same manner.
  • Embodiment 5 is a parallel two-valued neural network according to the present invention, in which a multi-layer neural network is used as a main two-way neural network.
  • the network consists of a network 16 and an interconnected neural network that performs weight coefficient calculation using multi-valued learning pattern signals. This is an example of a configuration in which parallel input is connected to an input using a correction neural network 37.
  • the configuration of the execution processing in the execution processing mode is the execution processing of the parallel multi-valued neural network 15 shown in FIG. 6 in the first embodiment.
  • the configuration is the same as that of the main network, except that the multi-layered neural network is used as the main neural network 16 and the correction neural network is used.
  • As the network 37 an interconnected neural network is used. Since the operation is the same as that of the first embodiment, the description is omitted.
  • Figure 14 shows an example of the configuration of the learning process in the learning process mode.
  • the learning of the main neural network 16 is started by the control signal from the operation mode control device 38. This Here, the learning of the main neural network 16 is based on the implementation example.
  • the supplementary memory storage signal generator 34 has a multi-valued instructor signal ⁇ and a main two-way network 16 to many more.
  • a multi-level error is calculated from the multi-level output signal obtained via the value threshold circuit 17 and the multi-level error is corrected.
  • the teacher signal is used as a cross-coupling neural network. Compensation consists of the neural network. 37 Compensation of the multi-valued network. As part of the on-line signal.
  • the operation mode controller 38 starts the learning of the correction network 37 based on the control signals from the 38 units, and corrects the correction.
  • the multi-level correction teacher signal and correction in the correction multi-valued storage pattern signal Match the multi-level output unit signal obtained from the neural network 3 through the multi-level threshold circuit to match 2 8 If they match, the learning ends.If they do not match, the number of hidden units in the correction neural network 37 is calculated. Calculate the additional weighting factor and repeat the setting to the correction network. Within the specified number of times-If no match is detected by the match detector 28, the learning of the main 21 network is resumed.
  • the corrected multi-valued storage pattern signal having the multi-valued corrected teacher signal with less multi-valued error is generated by the correction storage pattern generator 32.
  • the weighting factor is calculated again by the weighting factor processor 35, and the calculated weighting factor is set in the correction neural network 37 to be operated.
  • the operation mode controller 38 switches the learning processing mode to the execution processing mode.
  • the correction neural network 37 can be correctly recovered using the multi-value correction teacher signal containing many zero components. It can be easily bundled.
  • the main and correction neural networks that set the weighting factor obtained and learned in this way 1
  • the error included in the multi-level unit output signal of the main neural network 16 can be corrected.
  • the signal is corrected by the additive operator 20 and is obtained from the terminal 3.
  • the multi-valued output signal of the multi-valued neural network of the present invention is always the desired output with respect to the learning input signal.
  • Example 6 Embodiment 6 is a multi-valued neural network according to the present invention, in which the main and correction neural networks 29 and 37 are used.
  • the configuration of the execution processing in the execution processing mode of the parallel multi-valued neural network of the present invention is based on the main and correction neural networks. Talks 29 and 37 are the same as in Example 1 except that the neural network is used.
  • the parallel multi-valued binary unit shown in FIG. 6 is used. -Since the configuration is the same as that of the Ralnet Network 15 and the operation is also the same, the explanation is omitted.
  • Fig. 15 shows the configuration of the learning process in the learning process mode.
  • the operation mode control device 39 is controlled by the multi-valued memory pattern signal including the multi-valued original teacher signal input to the terminal 13 based on the control.
  • the weighting factor processor 30 the main neural network
  • the multi-valued compensation is performed by a match detector 28.
  • Multi-level unit output signal obtained from multi-level threshold 19 from the orthodox teacher signal and the correction neural input network 37 Check the match with the issue and if the match is complete, end the learning. If they do not match, the number of hidden units in the correction neural network 37 will be increased, and the weighting factor will be increased again. The calculation is performed in the processing unit 35, and the same processing is performed. At this time, the number of hidden units of the correction neural network 37 is more than the specified number or the number of repetitions is more than the specified number.
  • the weighting factor obtained by the learning processing is the main and correction two universal network 29, 3 respectively. 7 and configured in the same way as in Fig. 6, the parallel multi-valued neural network of the present invention can be used as a learning input signal.
  • the desired multi-valued output signal can always be sent out from terminal 3.
  • the multi-valued storage pattern is set as the main neural network 29 in the weight coefficient processor 30.
  • the weighting factor is calculated using the input signal, and the interconnected neural network that sets the weighting factor is used.
  • An energy-saving function that directly calculates and sets the weighting factor that minimizes the energy function without using pattern signals. You may use a workflow instead.
  • Multi-valued output obtained through the multi-valued threshold circuit 17 from the universal network 29 The multi-value error in the unit output The difference is slightly greater than when the multi-valued Hara teacher signal is used, but the corrected neural network 18 has a higher level than the 37 With the value output unit signal, it is possible to sufficiently compensate for these errors.
  • terminals 13 are provided with multi-valued original teacher signals and input to the weighted coefficient processor 30. Except that it is not necessary to do so, the operation is almost the same, so the explanation is omitted.
  • Example 7 As Example 7, the parallel multi-valued neural network 40 of the present invention was used, and the main neural network was connected to the input. An example of a configuration in which a circuit and a two-stage correction neural network are connected in parallel is shown.
  • Figure 16 shows the configuration using the main neural network 41 and two compensating neural networks I42 and II43. Shows the configuration of the execution processing in the execution processing mode when it is executed.
  • the main neural network 41 connected in parallel to the input terminal 2, the compensation neural network 14 2, and the compensation network Dual network I 1 4 3, multi-valued threshold circuits 17 and 19, and correction 2 Universal network II 4 3
  • Multi-level output circuits such as multi-level threshold circuits 19 and 44 connected to the correction neural network 42, 43 Shin Are added to each other by an add-on calculator 45, and further connected to the respective outputs and the main neural network 41.
  • the multi-level output unit signal from the multi-level threshold circuit 17 is subjected to an additive operation by the add-on operator 20 to perform an additive operation.
  • the present invention corrects each of the multi-valued errors from the main neural network 41 and the correction neural network I, and corrects the present invention.
  • the parallel multi-valued neural network 40 has a multi-valued output signal 0, which is always connected to the learning input signal via the terminal 3 via the terminal 3. Sends the desired multi-level output signal.
  • Fig. 17 shows an example of a configuration of the learning processing in the learning processing mode of the parallel multivalued neural network 40 of the present invention. Show. The following is an example using a multi-layer neural network.
  • the learning of the main neural network 41 is first started by the control signal from the operation mode controller 46. The operation is the same as that of the main neural network 16 in the first embodiment.
  • the multi-level original teacher signal T and the multi-level threshold circuit 17 in the correction teacher signal I generator 47 are used.
  • a multi-level error is determined from the value output unit signal, and this error is stored as a multi-level correction teacher signal I.
  • the corrective teacher signal I generator 47 may have the same configuration as the corrective teacher signal generator 24 as shown in FIG.
  • the control signal from the operation mode control device 46 is used to start the learning of the correction neural network I42.
  • the multi-level correction teacher signal I was read from the correction teacher signal I generator 47, and based on the error signal obtained by the subtractor 25, The weighting factor of the correction neural network I42 is corrected in the weighting factor controller 26.
  • the correction teacher signal II generator 48 Upon completion of the prescribed learning, the correction teacher signal II generator 48 generates the multi-value correction teacher signal I and the correction neural network I. 4 Multi-level error is obtained from the multi-level output unit signal of the multi-level threshold circuit 19 connected to 2 and the multi-level error is calculated. It is memorized as the correction teacher signal II.
  • the correction teacher signal II generator 48 may have the same configuration as the correction teacher signal I generator 47.
  • the operation mode controller 46 starts learning of the correction neural network II 43 based on the control signals from the power source.
  • the multi-level correction teacher signal II is read from the correction teacher signal II generator 48, and the weight coefficient is calculated based on the error signal from the subtractor 49.
  • the weight coefficient of the correction neural network II is corrected by the controller 50.
  • the multi-level correction teacher signal II from the correction teacher signal II generator 48 and the correction neural network were used. It matches that the multi-level output unit signal obtained from the I 1 4 3 through the multi-level threshold circuit 44 exactly matches the multi-level output unit signal.
  • the detection is performed by the judgment device 28, the learning is terminated.
  • the operation mode controller 46 is composed of a main neural network 41, a correction neural network 142, and a correction neural network.
  • each multi-valued instructor is Since it was not necessary to completely converge the signal and the multilevel correction teacher signal I, it was necessary to greatly reduce the number of training sessions and increase the number of middle classes. Or you can reduce the number of hidden units.
  • the final stage correction neural network 43 also has a multi-level correction teacher's scholar who has little multi-value error and has almost zero components. From the fact that the students are trained using No. II, it is easy to transmit the multi-level output unit signal that easily converges and matches the multi-level correction teacher signal II. Wear .
  • each of the weight coefficients obtained by such a learning is shown.
  • the main neural network 41, the compensating neural network 14 2, the compensating neural network I 1 4 3 By setting and operating the correction, the correction neural network I can be obtained via the multi-valued threshold circuit 19. Corrects multi-level errors in the multi-level output unit signal that has been obtained. Neutral Network II?
  • the multi-level output unit signal obtained through the multi-level threshold circuit 44 is used to correct the multi-level output unit signal by the addition operator 45, and then, Multi-levels in multi-level output unit signal obtained from main neural network 41 via multi-level threshold circuit 17 Is added to the output of the adder 4 5 Then, the correction is made by the additive arithmetic unit 20 and the desired multi-valued output signal is always transmitted from the terminal 3 in response to the learning input signal. Not * s>.
  • the main neural network 41, the correction neural network I42, and the II43 are both multi-layer neural networks. As shown in Example 4 and 6, all interconnects or multi-layer dual neural networks were used. It is also possible to have a configuration in which a network and an interconnecting neural network are combined. Further, in this embodiment, an example using two correction neural networks is shown, but the correction neural network is used. The work was further added in parallel, and the students were trained in order, and the multi-level correction teacher's message at the last correction network was added. The signal and its multi-level output unit signal may be configured to ensure complete convergence so that they are perfectly matched. With such a configuration, the main neural network and the correction neural network other than the final stage are more likely to be arranged. Learning can be completed in a small number of times, and it is necessary to repeat the learning frequently in real time in a neural network. Is very effective.
  • Example 8 in order to realize a faster convergence in learning than in Example 7, an error was detected in the correction teacher signal generator.
  • An example using the difference pattern conversion is shown below.
  • the main neural network 41 and the two-stage correction neural network 42, 43 are reversed in pattern.
  • the figure shows an example of the configuration of a parallel multivalued neural network 86 connected in parallel via 8, 90 and additive operators 87, 89.
  • Figure 8 shows.
  • the configuration of the learning processing in the learning processing mode of the parallel multi-valued neural network 86 of the present invention is based on the teaching teacher signal I. Except for the internal configuration of the generator 47 and the correction instructor isII generator 48, all are the same as in Fig. 17.
  • the control signal from the operation mode control device 46 starts the learning of the soil network 41. The operation is the same as that of the main network 41 of the seventh embodiment.
  • the error of the multi-level output from the multi-level output unit signal from T and the multi-level threshold circuit 17 is k, and the complement of Example 2 or 3 is added.
  • the orthonormal teacher signal generators 52 and 53 are subjected to pattern conversion for the specified wrong notation, and the multi-level correction teacher I is stored in the correction teacher signal I generator 47.
  • the control signal from the operation mode control device 46 is used to start the learning of the correction neutral net work I 42.
  • Value correction teacher signal I is from correction teacher signal I generator 4 ⁇
  • the weighting factor controller 26 corrects the correction neural network based on the error signal.
  • the weighting factor of I42 is corrected.
  • the correction teacher signal II generator 48 Upon completion of the prescribed learning, the correction teacher signal II generator 48 outputs the multi-value correction teacher signal I and the correction neural network I.
  • a multi-level output unit signal obtained through the multi-level threshold circuit 19 was used to determine the multi-level error from the multi-level output unit signal.
  • 2 or 3 teacher signal generators 5 2, 5 3 Usually specified error patterns are converted to multi-value correction
  • the corrected teacher signal II is stored as the teacher signal II in the generator 48.
  • a different conversion shell U is used between the correction teacher signal I generator 47 and the correction teacher signal II generator 48. You may.
  • the learning process of the amendment neural network I 43 is the same as that in Fig. 17, and the explanation is omitted.
  • Fig. 18 shows the configuration of the execution processing in the execution processing mode of the parallel multi-valued neural network 86.
  • the main neural network 41 connected in parallel to the input terminal 2, the compensating neural network I 42, and the compensating network Dual network I 1 4 3, multi-valued threshold circuits 17 and 19, and correction neural network I 1 4 3
  • the conversion processors 88 and 90 and the operation mode controller 46 are included.
  • the weighting factor obtained in the learning processing mode is the primary neural network 41, respectively. Positive New Set and operate the Rural Network I 42 and the Correction Neural Network II 43.
  • the multi-valued threshold circuit 4 4 connected to the correction neural network II 4 3 4 4
  • the correction teacher signal II generator 48 When a pattern converted from the multi-level output unit signal is detected in the correction teacher signal II generator 48, it is detected.
  • the inverted inverse conversion is output, and the corresponding multi-level output unit signals from the multi-level threshold circuit 19 are respectively associated with the multi-level output unit signals.
  • the output is calculated by the addition D / A method by the addition calculator 89. Further, the respective outputs were input to the pattern reverse conversion processor 88, and were converted in the correction teacher signal I generator 47.
  • the output When the pattern is detected, the output is performed without performing the reverse conversion process, and the output is connected to the multi-value output main neural network 41.
  • the multi-level output unit signal from the multi-level threshold circuit 17 is added and the addition operation is performed by the addition operator 87.
  • each of the multi-level errors of the main network 41 and the correction network 104 is corrected.
  • the difference is corrected, and the multi-level output signal of the parallel multi-valued neural network 86 of the present invention is set to 0 as the multi-level output signal 0.
  • the desired multi-level output signal is transmitted via the terminal 3.
  • the main and supplementary neural networks 14 1 and 4 2 will be different.
  • To the multilevel original teacher signal and the multilevel correction teacher signal I Use the multilevel correction teacher signals I and II, which do not have the necessary power S for complete convergence and are easily separated from each other and are easily separated from each other From this, it is possible to greatly reduce the number of training sessions and the number of intermediate layers or intermediate units (hidden units).
  • the main neural network and the correction neural network other than the last stage are in an unusual state. Learning can be completed in a small number of times in parallel, and it is necessary to repeat the learning frequently in real time in a parallel multi-valued neural network. It is very effective in the network.
  • the supplementary neural network supplemented with a no-turn conversion in the neural network
  • Parallel multi-valued learning that can be trained using orthodox teacher signals If it is a universal network, you can use a neural network other than the multi-layer neural network described above.
  • the present invention is also applicable when a neural network that does not use a teacher signal is applied as the main neural network. It is within the scope of the rights.
  • Example 18 a multilayer neural network or an interconnected neural network is assumed. As explained, it is a neural network that can be trained using a multi-valued teacher signal as a supplemental neural network. If it is a network, you may use a different network than the above.
  • the parallel multi-valued neural network of the present invention has a small number of main neural networks with respect to input. At least one or more correction neural networks are connected in parallel to the input, and each is trained sequentially.
  • a multi-level output unit signal obtained from each of the main and correction neural networks via a multi-level threshold circuit It is easy to transmit the desired multi-valued output signal to the learning input signal by performing the addition operation on.
  • the correction neural network when the correction neural network is to be sequentially learned. Based on the error (difference), a multi-valued correction teacher signal is generated with a small number of types and also separated from each other, and this is used to correct the correction. -By learning the local network, The flux speed can be greatly improved, and the desired multi-level output signal can be easily transmitted in response to the learning input signal.
  • a parallel neural network that uses a very small number of learning cycles and a weighting factor with low operation accuracy to achieve fast and reliable parallel neural networks It is possible to converge the work equivalently and to send out the desired output signal, and to enlarge the hard disk or the operation scale. The width can be reduced.
  • a human intelligence system that can be designed and realized freely between the two, requires rapid learning up to now, and requires complete convergence. It can be widely applied to systems such as search systems, data conversion, data compression, multi-valued image processing, and communication systems. It has a very wide range of effects.
  • the weight coefficients of the learned weight coefficients are provided in multiple sets, and the weight coefficients of the parallel multi-valued neural network of the present invention are cut off.
  • a programmable large-scale variable-valued logic circuit with a certain delay can be easily realized, and the situation can be improved.
  • a new large-scale multi-valued logic circuit can be realized on the same hard disk by learning and refining in a short time.
  • the parallel multi-valued neural network of the present invention is provided with the same plurality of neuro LSI chips having a low internal operation accuracy. Highly parallel processing function and flexibility due to the configuration

Description

明 細 書
並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク
産 業 上 の 利 用 分 野
本 発 明 は 、 大 規 模 論 理 回 路 、 パ タ ー ン 認 識 、 連 想 メ モ リ 、 デ ー タ 変 換 及 び 画 像 処 理 な ど の 分 野 に 適 用 可 能 な 二 ユ ー ラ ル ネ ッ ト ワ ー ク や 、 大 規 模 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク に お い て 簡 単 な 学 習 に よ り 高 速 か つ 安 定 に 所 望 の 多 値 出 力 信 号 を 得 る こ と が 出 来 る 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク に 関 す る も の で あ る 。
従 来 の 技 術
従 来 の ニ ュ ー ラ ル ネ ヅ ト ワ ー ク に は 、 文 献 麻 生 英 樹 著 、 「 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 情 報 処 理 」 、 産 業 図 書 出 版 な ど に 示 さ れ て い る よ う に 、 多 層 （ 階 層 ） ニ ュ ー ラ ル ネ ッ ト ワ ー ク や 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク な ど が あ る 。
図 1 は 、 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と し て 、 1 層 の 中 間 層 を 持 っ た 3 層 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 の 実 行 処 理 モ ー ド で の 実 行 処 理 の 一構 成 例 を 示 す 。 N 個 の ュ ニ ッ ト カ ら な る 入 力 層 4 、 P 個 の ュ ニ ヅ ト カ ら な る 中 間 層 5 及 び M 個 の ュ ニ ッ ト カゝ ら な る 出 力 層 6 カゝ ら 構 成 さ れ る 。 入 力 層 の ュ ニ ッ ト 数 N は 入 力 端 子 2 の 入 力 信 号 I の エ レ メ ン ト 総 数 に 対 応 し 、 出 力 層 の ユ ニ ッ ト 数 M は 出 力 端 子 3 の 出 力 信 号 0 の エ レ メ ン ト 総 数 に 対 応 し て い る 。
多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク へ の 入 力 信 号 I は 、 I ： 、 1 2 、 · · I N の 入 力 信 号 エ レ メ ン ト を 持 っ た べ ク ト ル か ら 構 成 さ れ 、 入 力 端 子 2 を 介 し て そ れ ぞ れ 対 応 し た 入 力 層 4 の ュ ニ ッ ト に 入 力 さ れ た 後 、 更 に 中 間 層 5 の 各 ユ ニ ッ ト （ 隠 れ ユ ニ ッ ト ） に そ れ ぞ れ 重 み 付 け さ れ 出 力 さ れ る 。 中 間 層 5 で は 、 入 力 層 4 の 各 ユ ニ ッ ト か ら の 重 み 付 け さ れ た 出 力 の 総 和 を 入 力 と し 、 ス レ シ ョ ル ド 値 を 差 し 引 い た 後 、 シ グ モ イ ド 関 数 と 呼 ば れ る 入 出 力 特 性 を 持 っ た 関 数 を 介 し て 出 力 さ れ る 。 出 力 層 6 に お い て も 中 間 層 5 と 同 様 な 入 出 力 処 理 が 行 わ れ た 後 、 各 出 力 ュ ニ ッ 卜 か ら そ れ ぞ れ 対 応 し た 出 力 ュ ニ ッ ト 信 号 を 出 力 端 子 3 を 介 し て ベ ク ト ル の 出 力 信 号 0 , 、 0 2 、 · - 0 M と し て 送 出 す る 。 3 層 以 上 の 多 層 の 際 に も 、 各 層 に お け る そ れ そ れ の ュ ニ ッ 卜 は 、 入 力 側 の 隣 接 層 の 各 ュ ニ ッ ト 出 力 信 号 に 重 み 付 け を し た 後 、 そ れ ら の 総 和 を 入 力 と し て 得 、 更 に そ の 入 力 力 > ら ス レ シ ョ ル ド 値 を 差 し 弓 I レ、 た 後 、 シ グ モ イ ド 関 数 を 介 し 出 力 層 側 の 隣 接 層 に ュ ニ ッ ト 出 力 信 号 を 送 出 す る 。
図 2 は 、 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 7 の 実 行 処 理 モ ー ド で の 実 行 処 理 の 一 構 成 例 を 示 す 。 1 層 の ュ ニ ッ ト と し て 7 ! 、 7 Μ 、 * · 7 Ν 、 · · の 場 合 を 示 し て お り 、 出 力 信 号 と の 間 で 重 み 係 数 を 持 っ た フ ィ ー ド ノ ッ ク 結 合 を 有 し て レヽ る ユ ニ ッ ト と 、 端 子 2 、 2 M 、 · - 2 N を 介 し て 入 力 さ れ た 入 力 信 号 I を 初 期 入 力 と し て 接 続 さ れ た ュ ニ ッ ト と 、 隠 れ ュ ニ ッ ト と 呼 ば れ る 他 ュ ニ ッ ト と 重 み 係 数 を 介 し て 接 続 さ れ た ュ ニ ッ 卜 と カゝ ら 構 成 さ れ て い る 。 平 衡 状 態 と な っ た 時 点 で 出 力 ュ ニ ッ ト 信 号 が 得 ら れ 、 端 子 3 X 、 3 3 M か ら 出 力 信 号 べ ク ト ル 0 と し て 送 出 さ れ る
次 に 、 こ れ ら の 従 来 の 二 一 ラ ル ネ ヅ ト ヮ ー ク の 学 習 処 理 モ ー ド に お け る 重 み 係 の 学 習 処 理 の 構 成 に つ い て 説 明 す る 。 図 3 は 、 3 層 二 一 ラ ル ネ ッ ト ヮ ー ク の 学 習 処 理 の一構 成 例 を 示 す 。 こ よ う な 多 層 ニ ュ ー ラ レ ネ ッ ト ワ ー ク の 学 習 方 法 と し て 、 例 え ば 、 前 記 文 献 に も 記 載 さ れ て い る よ う に バ ヅ ク 対減のズ、れは力ュるレ 2. プ 口 パ ゲ ー シ ョ ン • ァ ル ゴ リ ズ ム 力 s あ る 。 本 ァ ル ゴ リ ム を 用 い た 学 習 過 程 で は 、 重 み 係 数 を 初 期 設 定 し た 後 卞 め 用 意 さ れ た 多 値 原 教 師 信 号 T ( 多 値 原 教 師 信 号 ェ メ ン 卜 , Τ ！ , Τ 2 、 # *
T M ) と 、 入 力 層 4 に 端 子 を 介 し て 入 力 さ れ た 予 め 用 意 さ れ た 学 習 用 入 力 信 号 に す る 出 力 層 6 か ら の 出 力 ュ ニ ッ ト 信 号 と の 誤 差 信 号 を 算 回 路 9 を 介 し て 求 め 、 重 み 係 数 制 御 器 1 0 に 入 力 す 。 重 み 係 数 制 御 器 1 0 は 、 端 子 1 1 ' を 介 し て 入 力 さ た 各 層 の 出 力 ュ ニ ッ ト 信 号 と 誤 差 信 号 と を 基 に 誤 差 電 を 最 小 に す る よ う に 各 層 間 の 重 み 係 数 の 修 正 値 を 求 め 端 子 1 1 を 介 し て 3 層 ニ ュ — ラ ル ネ ッ ト ワ ー ク 1 の 各 み 係 数 を 新 た に 設 し 、 適 応 制 御 に よ る 学 習 を お こ な つ も の で あ る 。 こ の 適 応 制 御 の 学 習 を す ベ て の 学 習 用 入 力 信 号 に 対 し て 繰 り 返 す 。 学 習 過 程 に 於 て 完 全 に 収 束 す る と 、 学 習 用 入 力 信 号 に 対 す る 出 力 端 子 3 か ら の 出 力 ュ ッ 卜 1S 号 が 教 師 信 号 と 同 一 と な る 。 し か し な が ら 、 誤 電 力 を 極 小 に す る 所 （ ロ ー カ ル ミ ニ マ ム ) に 一旦 落 ち 込 む と 、 学 習 が 進 ま ず 最 小 と な ら な い こ と 、 多 値 化 さ れ た 誤 差 信 号 を 重 み 係 数 の 更 新 に 利 用 し て も 収 束 を 速 め る こ と が 出 来 な レヽ こ と な ど の 問 題 力 s あ る 。 特 に 、 入 力 ユ ニ ッ ト 数 の 多 い 3 層 あ る い は 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク に お い て 一 般 の 多 値 教 師 信 号 に 対 し て 確 実 に 収 束 さ せ る 設 計 手 法 は 明 ら か に な つ て お ら ず 、 重 み 係 数 の 初 期 値 を 変 更 し た り 、 隠 れ ュ ニ ッ ト （ 中 間 ュ ニ ッ ト ） 数 を 増 や す な ど の 試 行 錯 誤 を 行 っ て い る
4 は 、 相 互 糸 ^ 合 二 ユ ー ラ ル ネ ッ 卜 ワ ー ク 7 に お け る
¾53
白 処 理 の一構 成 例 で あ る 。 相 互 結 合 ニ ュ 一 ラ ル ネ ッ 卜 ヮ 一 ク 7 の 学 習 制 御 で は 、 前 記 文 献 に れ て い る よ う に 相 互 結 合 ニ ュ 一 ラ ル ネ ヅ 卜 ワ ー ク に 多 値 の 記 憶 パ 夕 一 ン 信 号 を δし < せ 、 ネ ッ ト ワ ー ク の 安 定 な 平 衡 状 態 に お い て 出 力 ュ ニ ヅ ト カ ¾ ら の 出 力 ュ ニ ヅ ト 信 号 が 所 望 の 出 力 ュ ニ ッ ト 信 号 に な る よ う に 、 結 合 の 重 み 付 け を 設 定 す る 必 要 が あ る 。 こ の 為 、 重 み 係 数 処 理 器 1 2 に お い て 、 m ナ 1 3 1 、 1 3 2 、 * * 丄 3 u を 介 し て 入 力 さ れ た 記 憶 さ せ た い 記 憶 パ タ ー ン 信 号 S を 持 つ た 相 互 結 合 ニ ュ ー ラ ル ネ ヅ 卜 ワ ー ク 7 が 平 衡 点 に 達 す る よ う に ェ ネ ル ギ 一 関 数 を 最 小 と す る 重 み 係 数 を 予 め rr 輙 し 、 そ れ を 端 子 1 4 を 介 し て 、 相 互 合 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 7 の そ れ ぞ れ の 結 合 の 重 み 係 数 と し て 設 定 す る 。 重 み 係数 の 設 定 値 に よ っ て は 、 入 力 信 号 I に 対 し て 極 小 値 を 与 え る 係 数 と な つ て い る こ と も あ り 、 平 衡 状 態 に 達 し な い 場 合 や 平 衡 状 態 に な つ て も 意 図 し て い な い 異 な つ た 出 力 ュ ニ ッ ト 信 号 と な る 場 合 が あ り 、 所 望 の 出 力 信 号 を 得 る た め に は 多 く の 隠 れ ユ ニ ッ ト を 使 用 す る 必 要 が あ る 。 ま た 、 一 般 の 多 値 の 記 憶 パ タ ー ン 信 号 で は 確 実 に 収 束 さ せ る （ 平 衡 状 態 で 所 望 の 多 値 出 力 信 号 が 得 ら れ る ） の た め の 設 計 手 法 が 明 ら 力 に な っ て レヽ な レヽ 。
ま た 、 特 開 平 2 — 1 0 0 7 5 7 の 並 列 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 学 習 方 式 に お い て 示 さ れ て い る ニ ュ ー ラ ル ネ ッ ト ワ ー ク 6 1 で は 、 図 5 に 示 す よ う に 2 個 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 並 列 に 接 続 し 、 各 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク を 順 次 学 習 さ せ る 際 、 第 1 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク 6 2 ( 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク ） を 一 定 回 数 学 習 さ せ た 後 、 そ の 教 師 信 号 と 出 力 ュ ニ ッ ト 信 号 と の 誤 差 を 第 2 の ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 6 3 ( 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク ） の 新 た な 教 師 信 号 と し て 用 い て 第 2 の 二 ユ ー ラ ル ネ ッ ト ワ ー ク 6 3 を 学 習 さ せ て レ、 る 。 2 個 以 上 の ニ ュ 一 ラ ル ネ ッ ト ワ ー ク を 用 レヽ る 場 合 に も 、 同 様 に し て 、 n 個 目 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク で は 、 n — 1 個 目 ま で の 全 て の ニ ュ ー ラ ル ネ ヅ ト ワ ー ク の 出 力 ュ ニ ッ ト 信 号 の 和 と 教 師 信 号 と の 誤 差 を そ の 教 師 信 号 と し て 学 習 さ せ 、 学 習 用 入 力 信 号 に 対 し て そ れ ぞ れ の ニ ュ ー ラ ル ネ ッ ト ヮ ー ク の 出 力 ユ ニ ッ ト 信 号 の 和 を と り 、 出 力 信 号 を 得 て い る こ の 学 習 方 法 で は 、 最 終 段 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク に お い て 、 そ の 収 束 状 態 を 検 出 す る 条 件 と し て 出 力 ュ ニ ッ ト 信 号 を 正 確 に そ の 教 師 信 号 に 完 全 に 一 致 さ せ る こ と は 非 常 に 困 難 で あ る こ と 、 ロ ー カ ル ミ ニ マ ム の 状 態 に 陥 る こ と も あ り 完 全 な 収 束 状 態 を 検 出 す る こ と が 簡 単 に は 出 来 な い な ど の 問 題 が あ る 。 従 っ て 、 特 開 平 2 — 1 0 0 7 5 7 の 実 施 例 で 説 明 さ れ て い る が ご と く 多 段 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 接 続 し 、 場 合 に よ っ て は 順 次 新 た な ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 付 カロ し て レヽ く 必 要 力 s あ る な ど の 欠 点 力 s あ る 。 ま た 、 中 段 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク に お い て も 局 部 極 小 状 態 の 時 、 学 習 の 結 果 が 変 化 し な い な ど の 理 由 か ら 学 習 を 止 め て お り 、 学 習 回 数 が 不 必 要 に 多 く な つ て し ま う な ど の 欠 点 も あ る 。 ま た 、 多 値 論 理 な ど を 行 わ せ る こ と は 出 来 な い 。
発 明 が 解 決 し ょ う と す る 課 題
従 来 の 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 の 学 習 処 理 に お い て 、 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク が 学 習 用 入 力 信 号 に 対 応 し た 所 望 の 多 値 出 力 信 号 を 送 出 す る よ う 多 値 教 師 信 号 を 用 い て 重 み 係 数 を 学 習 す る 際 に 、 重 み 係 数 の 初 期 値 の 設 定 に よ っ て は 、 所 望 の 多 値 出力 信 号 を 送 出 す る 収 束 し た 状 態 に な る ま で の 学 習 回 数 即 ち 学 習 繰 り 返 し 回 数 が 非 常 に 多 く な る 場 合 や 、 学 習 し て も 収 束 し な い 状 態 即 ち ロ ー カ ル ミ ニ マ ム （ 局 部 極 小 ） の 状 態 に 落 ち 込 み 所 望 の 多 値 出 力 信 号 が 送 出 さ れ な い 場 合 が あ る な ど の 欠 点 を 有 し て い る 。 ま た 、 従 来 の 複 数 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 並 列 に 接 続 し た 方 法 で も 、 所 望 の 多 値 出 力 信 号 を 得 る こ と が 出 来 な い 。 特 に 、 入 出 力 層 の ュ ニ ッ ト 数 が 少 な く な る と 学 習 に よ る 収 束 が 非 常 に 困 難 と な り 、 所 望 の 多 値 出 力 信 号 を 送 出 す る 多 値 二 ユ ー ラ ル ネ ッ ト ワ ー ク を 自 由 に 設 計 す る 方 法 が 確 立 さ れ て い な い 。 ま た 、 収 束 し や す く す る た め に 中 間 ユ ニ ッ ト ( 隠 れ ュ ニ ヅ ト ） 数 を 大 幅 に 増 や す 方 法 や 新 た に 並 列 に ル ネ ッ ト ワ ー ク を 付 加 す る 方 法 が あ る が 、 当 然 の こ と な が ら そ れ ぞ れ の 演 算 増 し 、 非 常 に 大 き レヽ ハ 一 ド ゥ エ ァ 能 力 あ る レヽ は コ ン ピ ュ 一 タ 能 力 が 要 求 さ れ る 。 而 、 収 束 し や す く な る も の の 初 期 値 依 存 性 の 為 に 必 ず し も 収 束 は 補 償 さ れ な い な ど の 欠 点 を 有 し て い る 。
方 、 相 互 結 合 二 ユ ー ラ ル ネ ッ ト ワ ー ク で は 、 記 憶 さ せ た い 多 値 記 憶 パ タ ー ン 信 号 に 対 し て 計 算 さ れ た 重 み 係 数 を 設 定 し て も 、 必 ず し も 平 衡 状 態 に お い て 所 望 の 多 値 出 力 信 号 を 送 出 す る と は 限 ら な い な ど の 欠 点 が あ る 。 ま た 、 平 衡 状 態 に 達 し な い 場 合 も あ る 。 相 互 結 合 二 ユ ー ラ ル ネ ッ 卜 ワ ー ク に お い て も 所 望 の 多 値 出 力 信 号 を 得 る た め に は 、 隠 れ ュ ニ ヅ ト Ιχ を 大 幅 に 増 や す こ と が 必 要 で あ る が 、 取 小 ュ 二 ッ 卜 を 用 い て 確 実 に 設 計 す る 方 法 が 確 立 さ れ て い な い 。 こ れ ら の 欠 点 か ら 、 短 い 実 時 間 で 学 習 し 重 み 係 数 を 適 時 設 定 す る 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 実 現 す る こ と ち 非 常 に 困 難 で あ る 。
本 発 明 の 目 的 は 、 上 記 の 問 題 を 解 決. し 、 従 来 方 式 の 二 ュ 一 ラ ル ネ ッ ト ワ ー ク な ど に 比 べ て 、 簡 単 な 学 習 に よ り 初 期 値 依 存 性 が 無 く 高 速 且 つ 安 定 に 等 価 的 に 収 束 さ せ 、 学 習 用 入 力 信 号 に 対 し て 所 望 の 多 値 出 力 信 号 を 容 易 に 得 る こ と が で き る 新 た な 並 列 多 値 ニ ュ 一 ラ ル ネ ッ 卜 ワ ー ク を 提 供 す る こ と に あ る 。
発 明 の 開 示
上 記 の 問 題 点 を 解 決 す る た め に 、 本 発 明 の 並 列 多 値 二 ユ ー ラ ル ネ ッ ト ワ ー ク に ぉ レヽ て 、 主 ニ ュ ー ラ ル ネ ヅ ト ヮ ー ク と 少 な く と も 1 つ 以 上 の 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク と を 入 力 に 対 し て 並 列 接 続 し 、 予 め 用 意 さ れ た 学 習 用 入 力 信 号 に 対 し て 多 値 原 教 師 信 号 を 用 い て 学 習 さ せ た 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 、 該 多 値 原 教 師 信 号 と 該 学 習 用 入 力 信 号 に 対 し て 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 と の 誤 差 を 該 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 力ゝ ら 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 を 用 い て 補 正 で き る よ う 学 習 さ せ た 少 な く と も 1 つ 以 上 の 該 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 、 該 主 及 び 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク か ら の 該 多 値 出 力 ュ ニ ッ ト 信 号 を 互 い に 加 法 演 算 し 送 出 す る 手 段 と を 少 な く と も 具 備 し 、 該 主 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク の 該 出 力 ュ ニ ッ ト 信 号 内 の 該 誤 差 を 補 正 し 所 望 の 多 値 出 力 信 号 が 得 ら れ る よ う 構 成 す る 。
本 発 明 の 他 の 並 列 多 値 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク に お い て は 、 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 少 な く と も 1 つ の 該 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク と を 入 力 に 対 し て 並 列 接 続 し 、 予 め 用 意 さ れ た 該 学 習 用 入 力 信 号 に 対 し て 多 値 原 教 師 信 号 を 用 い て 学 習 さ せ た 該 主 ニ ュ ー ラ ル ネ ヅ ト ヮ ー ク と 、 該 多 値 原 教 師 信 号 と 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら 得 ら れ た 該 多 値 出 力 ュ ニ ッ ト 信 号 と の 誤 差 の 内 少 な く と も 一 部 を 予 め 決 め ら れ た ノヽ ' タ ー ン 変 換 貝 IJ に 従 っ て 変 換 し 該 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク の 補 正 教 師 信 号 と し て 順 次 学 習 さ せ た 該 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク と 、 該 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 力 ら の 多 値 出 力 ュ ニ ッ ト 信 号 に 於 て 該 変 換 さ れ た 誤 差 に 対 応 し た 該 多 値 出 力 ュ ニ ッ ト 信 号 に 対 し て は 該 パ タ ー ン 変 換 則 の 逆 変 換 を 行 う ノ、' 夕 ー ン 逆 変 換 処 理 手 段 と 、 該 パ タ ー ン 逆 変 換 処 理 手 段 を 介 し て 得 ら れ た 出 力 信 号 と 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と を 互 い に 加 法 演 算 し 送 出 す る 加 法 演 算 手 段 と を 少 な く と も 具 備 し 、 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら の 該 多 値 出 力 ュ ニ ッ ト 信 号 内 の 誤 差 を 補 正 し 、 入 力 信 号 に 対 し て 所 望 の 多 値 出 力 信 号 が 得 ら れ る よ う 構 成 す る 。
本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 実 行 処 理 に お い て 、 上 記 の ご と く 予 め 用 意 さ れ た 多 値 原 教 師 信 号 と 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 用 入 力 信 号 に 対 応 し た 多 値 出 力 ュ ニ ッ ト 信 号 と の 誤 差 を 補 正 す る た め に 、 学 習 用 入 力 信 号 に 対 し て 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 並 列 接 続 さ れ た 少 な く と も 1 つ 以 上 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ヅ ト 信 号 を 、 主 二 ユ ー ラ ル ネ ッ ト ワ ー ク 力 ら 多 値 ス レ シ ョ ル ド を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ヅ ト 信 号 に そ れ ぞ れ 加 法 演 算 し 、 所 望 の 多 値 出 力 信 号 を 送 出 す る よ う 構 成 さ れ て い る 。 従 つ て 、 学 習 用 入 力 信 号 に 対 し て 主 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 学 習 さ せ る 際 、 多 値 ス レ シ ョ ル ド 回 路 を 介 し 加 法 及 び 減 法 演 算 処 理 を 行 う こ と か ら 、 最 終 段 の 補 正 二 ユ ー ラ ル ネ ヅ ト ワ ー ク の 収 束 状 態 を 正 確 に 判 断 し 学 習 さ せ る こ と が で き 、 所 望 の 多 値 出 力 信 号 が 得 ら れ る と 共 に 、 学 習 回 数 や 中 間 ュ ニ ッ 卜 （ 隠 れ ュ ニ ヅ 卜 ） 数 あ る い は 中 間 層 数 を 大 幅 に 削 減 出 来 る 。
更 に 、 多 値 原 教 師 信 号 と 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と の 多'値 の 誤 差 を 、 多 値 補 正 教 師 信 号 と し て 第 1 の 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク を 学 習 さ せ 、 前 段 の 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク の 多 値 出 力 ュ ニ ッ ト 信 号 と そ の 多 値 補 正 教 師 信 号 と の 多 値 の 誤 差 を 新 た な 多 値 補 正 教 師 信 号 と し て 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク を 順 次 学 習 さ せ て い る が 、 最 終 段 の 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク の 学 習 過 程 に お い て 、 そ の 多 値 出 力 ュ ニ ッ ト 信 号 が そ の 多 値 補 正 教 師 信 号 と 完 全 に 一 致 す る よ ぅ 収 束 さ せ る 必 要 が あ る が 、 最 終 段 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 多 値 補 正 教 師 信 号 は ゼ ロ 成 分 が 非 常 に 多 く 、 そ の 種 類 も 少 な い こ と 、 而 も 多 値 ス レ シ ョ ル ド 処 理 を 行 う こ と 力 ら な ど 力 ら 、 少 な い 学 習 回 数 あ る い は 少 な い 隠 れ ュ ニ ッ ト 数 の 条 件 下 で も 最 終 段 の 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク の 収 束 が 簡 単 に 得 ら れ る 。 ま た 、 中 段 の 補 正 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク に お い て も 、 前 段 よ り 多 値 の 誤 差 を 減 少 さ せ る 範 囲 内 で 学 習 さ せ れ ば 良 く 、 学 習 回 数 や 隠 れ ュ ニ ッ 卜 数 を 大 幅 に 減 す こ と が 出 来 る 。 更 に 、 最 終 段 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク が 規 定 の 学 習 回 数 以 内 で 収 束 し ° τ 7^ io ^ ^ 2 ^ - Έί "\ % m i <^ ^ ^ ^ ^ - ^ ^ 71 ^ ^ ii i¾ f } a if ^ 、 一 4
^ ( ^ - ^ - ^ ^f ^ ^ ^ ϊ ^ ^ ii ^ ^ o m m ^ ^ { 2 9- ^ m str 2} ii a ¾ ¾ ?i a ^ ^ ¾ ¾
2i ° 2 § ¾ ¾ ¾ マ ^ ¾： ¾ 驃 灘 ^ ^ ¾ ¾ — 4
^ ^ ^ - ^ - ^ ^ Q て っ ^ ¾ } ^ 疆 CD > ^^^g}^Y¾t ^#i¾¾ ^ ^ ^l ^ ^ C Y D > 2) ^ マ ^ ii驊 飄 ^ ^ 達 、 ' - B Ci ¾ 愿 -エ 筆， 、 i ^? 鼻に ¾ 甲 目 ¾i G> — ^ 4 、 ^ 一 扉 ^ ^ 、 ； コ 2 § ：？ コ ^ 晶 ^ ^ ( ^ - ^ - ^ u m Co ^ u ^ ^ ^ ^ ^ m ^ ^ ^ - — て - H ^ 耶 0 ½ ¾ 本 、 丰
° * 4 ¾ι 甲 目 ¾ 一 ώ 4
^ 一 て - 職 ^ fp ；？ -2 ς ¾ 寛 龔 觀 驪 s
^ ^ ^ ^ 1 ^ ^ ^ 2ί m ^ > m ^ ^ m m iit
X ^ ^ 21 ^ - 、 — て ^ 来 ¾ Ώ ^ - ύ
M ^ — て - 環 } ^ 3^ Q) ½ ¾ 本 > *コ 09 B ¾| ¾ 丁 '
。 ^ 来 : $ m Sir ¾
2 . > ^ ^ ^ ^ o \ ^ Co ^ ^ Έ o ^ - ^
Λ ^ 1Γ ^ - ^ - © ¾ φ ^ $ ^ ¾ ¾ ^ Π ^ Ιί ¾ ^ Μ - て W H O) 、 ^ 回 晶 ^ ^ — 厶 ^ ( ^ - ^ - ω ϋ! 、 s 、 ^ ^ ii ¾ 4 - て 05 、 ： P1 ^ if 、
lP£lOIP6d£ODd 0f9S0/S6O . 図 面 の 簡 単 な 説 明
図 1 は 従 来 方 式 に よ る 3 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 実 行 処 理 の一構 成 例 、 図 2 は 従 来 方 式 に よ る 相 互 結 合 二 ユ ー ラ ル ネ ヅ ト ワ ー ク の 実 行 処 理 の 一構 成 例 、 図 3 は 従 来 方 式 に よ る 3 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク に お け る 学 習 処 理 の 一構 成 例 、 図 4 は 従 来 方 式 に よ る 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 処 理 の一構 成 例 、 図 5 は 従 来 技 術 に よ る 2 つ の ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い た 実 行 処 理 の 基 本 構 成 、 図 6 は 実 施 例 1 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 実 行 処 理 の一構 成 例 、 図 7 は 多 値 ス レ シ ョ ル ド 回 路 の 入 出 力 特 性 （ R 値 の 場 合 ） 、 図 8 は 実 施 例 1 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 処 理 の一構 成 例 、 図 9 は 実 施 例 1 に お け る 本 発 明 の ニ ュ 一 ラ ル ネ ッ ト ワ ー ク の 多 値 補 正 教 師 信 号 生 成 器 2 4 の一 構 成 例 、 図 1 0 は 実 施 例 2 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ヅ ト ワ ー ク の 実 行 処 理 の一構 成 例 、 図 1 1 は 実 施 例 2 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 多 値 補 正 教 師 信 号 生 成 器 5 2 の 一 構 成 例 、 図 1 2 は 実 施 例 3 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 多 値 補 正 教 師 信 号 生 成 器 5 3 の一構 成 例 、 図 1 3 は 実 施 例 4 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク の 実 行 処 理 の 一 構 成 例 、 図 1 4 は 実 施 例 5 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ヮ 一 ク の 学 習 処 理 の 一構 成 例 、 図 1 5 は 実 施 例 6 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 処 理 の 一構 成 例 、 図 1 6 は 実 施 例 7 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ヮ ー ク の 実 行 処 理 の一構 成 例 、 図 1 7 は 実 施 例 7 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 処 理 の一構 成 例 、 図 1 8 は 実 施 例 8 に お け る 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 実 行 処 理 の一構 成 例 で あ る 。
発 明 を 実 施 す る た め の 最 良 の 形 態 以 下 に 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 実 施 例 1 一 8 を あ げ 、 そ の 構 成 及 び そ の 動 作 に つ い て 、 詳 細 に 説 明 す る 。 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ 卜 ヮ ー ク は 、 予 め 準 備 さ れ た 学 習 用 入 力 信 号 と 教 師 信 号 に 対 し て 重 み 係 数 を 修 正 し 学 習 さ せ る た め の 学 習 処 理 モ ー ド と 、 学 習 さ れ た 重 み 係 数 を 用 い て 入 力 信 号 に 対 し て 出 力 信 号 を 送 出 さ せ る 実 行 処 理 モ ー ド と の 2 つ の モ ー ド で 動 作 さ せ る 場 合 を 前 提 に 説 明 す る 。
実 施 例 1
実 施 例 1 と し て の 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 5 に お レヽ て 、 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 力 ら な る 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 と 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 と を 入 力 に 対 し て 並 列 接 続 し 、 多 値 原 教 師 信 号 と 多 値 の 誤 差 の 補 正 の 為 の 多 値 加 法 演 算 処 理 と を 用 い た 一 構 成 例 を 示 す 。 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 5 は 、 予 め 準 備 さ れ た 学 習 用 入 力 信 号 に 対 し て 重 み 係 数 を 学 習 さ せ る た め の 学 習 処 理 モ ー ド と 、 学 習 さ れ た 重 み 係 数 を 用 い て 入 力 信 号 に 対 し て 多 値 出 力 信 号 を 送 出 す る 実 行 処 理 モ ー ド と の 2 つ の モ ー ド の も と に 動 作 す る 。 実 行 処 理 モ 一 ド に お け る 実 行 処 理 の 構 成 と し て 、 多 値 加 法 演 算 処 理 を 用 い た 一構 成 例 を 図 6 に 示 す 。 本 発 明 の 並 列 多 値 ニ ュ 一 ラ ル ネ ヅ ト ワ ー ク 1 5 は 、 入 力 信 号 I を ュ ニ ヅ ト 毎 に 入 力 す る 端 子 2 ！ 、 2 • - 2 N と 多 値 出 力 信 号 0 と し て ュ ニ ッ 卜 毎 に 出 力 す る 端 子 3 ： 、 3
2 \ * • · 3 M と を 有 し 、 主 ニ ュ ー ラ ル ネ ヅ 卜 ヮ 一 ク 1
6 と 、 入 力 に 対 し て 並 列 接 続 さ れ た 補 正 二 ユ ー ラ ル ネ ッ ト ヮ ー ク 1 8 と 、 主 ニ ュ 一 ラ ル ネ ッ ト ヮ ー ク 1 6 か ら の 出 力 ュ ニ ッ ト 信 号 を 多 値 化 す る 多 値 ス レ シ H ル ド、 回 路 1 7 と 、 補 正 二 ユ ー ラ レ ネ ト ワ ー ク 1 8 か ら の 出 カ ュ ニ ッ ト 信 号 を 多 値 化 す る 多 値 ス レ シ ョ ル ド 回 路 1 9 と 、 多 値 ス レ シ ョ ル ド 回 路 1 7 及 び 1 9 か ら の そ れ ぞ れ 対 応 し た 多 値 出 力 ュ ニ ッ ト 信 号 を 加 法 演 算 処 理 す る 力 Π 法 演 算 器 2 0 と 、 主 及 び 補 正 ニ ュ 一 ラ ル ネ ッ ト ヮ ー ク 1 6 及 び 1 8 の 動 作 モ ー ド を 制 御 す る た め の 動 作 モ ー ド 制 御 器 2 1 と カゝ ら 構 成 さ れ る 。
並 列 多 値 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 5 は 、 動 作 モ ー ド 制 御 回 路 2 1 か ら の 制 御 に よ り 実 行 処 理 モ ー ド に 設 定 さ れ 動 作 す る 。 こ の 時 、 主 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 6 及 び 1 8 は そ れ ぞ れ 学 習 処 理 モ ー ド に お け る 学 習 に よ り 得 ら れ た 重 み 係 数 が 設 定 さ れ て い る 。 端 子 2 , 、 2 2 、 2 N を 介 し て そ れ ぞ れ 並 列 接 続 さ れ た 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら な る 主 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 6 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 に 入 力 さ れ た 入 力 信 号 I に 対 し て 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 カゝ ら 出 力 さ れ る 出 力 ユ ニ ッ ト 信 号 を 、 多 値 ス レ シ ョ ル ド 回 路 1 7 , 、 1 7 2 、 · ' 1 7 Μ 及 び 1 9 , 、 1 9 2 、 · ' 1 9 Μ に よ り 多 値 化 し て 多 値 出 力 ユ ニ ッ ト 信 号 と し て 、 加 法 演 算 器 2 0 に そ れ ぞ れ 入 力 す る 。 こ こ で 、 多 値 ス レ シ ョ ル ド 回 路 と し て R 値 の 多 値 化 入 出 力 の 関 係 の 一 例 を 図 7 に 示 す 。 加 法 演 算 器 2 0 で は 、 多 値 ス レ シ ョ ル ド 回 路 1 7 m
( m = l 、 · · · Μ ) 力 ら の 多 値 出 力 ユ ニ ッ ト 信 号 X m と 多 値 ス レ シ ョ ル ド 回 路 1 9 m か ら の 多 値 出 力 ュ ニ ッ ト 信 号 Y m と を 加 法 演 算 （ X m + Y m ) m o d ( R ) に よ つ て 処 理 し て 、 端 子 3 , 、 3 2 、 · · 3 M か ら 並 列 多 値 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 5 の R 値 の 多 値 出 力 信 号 0 と し て 出 力 す る 。 主 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 1 6 に は 学 習 に よ り 得 ら れ た 重 み 係 数 を 設 定 し て い る が 、 前 記 学 習 用 入 力 信 号 に 対 し て 必 ず し も 全 て は 所 望 の 多 値 出 力 ュ ニ ッ ト 信 号 を 与 え ず 、 多 値 の 誤 差 を 持 っ た 信 号 を 出 力 す る 。 一 方 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 で は 、 こ の 多 値 の 誤 差 に 等 し い 多 値 出 力 ュ ニ ッ ト 信 号 を 送 出 し て 加 法 演 算 器 2 0 に て こ の 誤 差 を 補 正 で き る よ う 学 習 さ せ た 重 み 係 数 が 設 定 さ れ て お り 、 主 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 力ゝ ら の 多 値 の 誤 差 を 持 っ た 多 値 出 力 ュ ニ ッ ト 信 号 が 正 確 に 補 正 さ れ 、 所 望 の 多 値 出 力 信 号 0 が 端 子 3 か ら 送 出 さ れ る 。 こ こ で 、 力 Π 法 演 算 器 2 0 に お い て 多 値 ス レ シ ョ ル ド 回 路 1 7 の 多 値 出 力 ユ ニ ッ ト 信 号 ベ ク ト ル を （ X t 、 X 2 、 • - X M ) 及 び 多 値 ス レ シ ョ ル ド 回 路 1 9 の 多 値 出 力 ュ ニ ッ ト 信 号 ベ ク ト ル を （ Y ! 、 Y 2 、 · * Y M ) と す る と 、 加 法 演 算 器 2 0 の 多 値 出 力 ベ ク ト ル 、 1 、 、 Z 2 、 • · Z M ) の エ レ メ ン ト Z i は （ X i + Y i ) m o d ( R ) に よ り 計 算 さ れ る 。
次 に 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ヮ 一 ク 1 5 に お け る 学 習 処 理 モ ー ド で の 多 層 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク を 用 い た 学 習 処 理 の 構 成 を 図 8 に 示 す 。 動 作 モ ー ド 制 御 器 2 1 は 、 学 習 処 理 モ ー ド と 実 行 処 理 モ ー ド と の 切 り 替 え を 行 う 機 能 を 有 し て い る 。 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 5 の 学 習 処 理 モ ー ド で は 、 ま ず 、 主 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 6 と し て の 多 層 ニ ュ ー ラ ル ネ ッ ト ヮ 一 ク の 重 み 係 数 初 期 値 の 設 定 と 学 習 開 始 及 び 終 了 の 制 御 と を 行 い 、 次 に 、 多 値 補 正 教 師 信 号 の 生 成 と 補 正 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 8 の 重 み 係 数 初 期 値 の 設 定 と 学 習 開 始 の 制 御 と を 行 い 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 処 理 が 終 了 す る と 学 習 処 理 モ ー ド を 実 行 処 理 モ ー ド に 切 り 替 え る 。
主 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 6 の 学 習 過 程 で は 、 端 子 2 か ら の 予 め 用 意 さ れ た 学 習 用 入 力 信 号 と 端 子 8 か ら の 多 値 原 教 師 信 号 T と を 用 い 学 習 を 行 う 。 従 来 と 同 様 に 、 減 算 器 9 に お い て 多 値 原 教 師 信 号 T か ら 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 力 ら の 出 力 ュ ニ ッ 卜 信 号 を 差 し 弓 I き 、 誤 差 信 号 を 求 め 重 み 係 数 制 御 器 2 2 に 入 力 し 、 端 子 2 3 ' か ら の 各 層 の ュ ニ ッ ト 出 力 信 号 と を 基 に そ の 誤 差 電 力 が 最 小 と な る よ う 重 み 係 数 の 更 新 を 行 い 端 子 2 3 を 介 し て 新 た な 重 み 係 数 の 設 定 を 繰 り 返 す 。 こ こ で 、 主 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 6 力 ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ヅ ト 信 号 が 多 値 原 教 師 信 号 T と 完 全 に 一 致 す る ま で 重 み 係 数 の 学 習 を 行 う こ と は 、 多 値 ス レ シ ョ ル ド 回 路 を 通 さ な い 場 合 に 比 ベ 収 束 し や す く な る も の の 、 従 来 技 術 に お い て も 明 ら か に し た よ う に 完 全 な 収 束 は 困 難 で あ る 。 従 っ て 、 重 み 係 数 制 御 器 2 2 に て 、 学 習 回 数 を 検 出 し 規 定 値 と 比 較 す る 方 法 、 実 時 間 処 理 の 場 合 な ど で は タ イ マ を 用 い 設 定 値 と 比 較 す る 方 法 、 あ る い は 補 正 教 師 信 号 生 成 器 2 4 内 に お い て 多 値 ス レ シ ョ ル ド 回 路 1 7 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と 多 値 原 教 師 信 号 T と の 多 値 の 誤 差 の 大 き さ を 検 出 し 規 定 値 と 比 較 す る 方 法 な ど の い ず れ か の 方 法 に よ り 、 動 作 モ ー ド 制 御 器 2 1 を 介 し て 学 習 を 終 了 さ せ る 。
そ の 後 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 の 学 習 が 終 了 し た 時 点 で の 多 値 原 教 師 信 号 T と 学 習 用 入 力 信 号 に 対 応 し た 多 値 出 力 ュ ニ ッ ト 信 号 と の 多 値 の 誤 差 を 、 補 正 教 師 信 号 生 成 器 2 4 内 に お い て 減 法 演 算 処 理 に よ り 求 め 、 こ れ を 多 値 補 正 教 師 信 号 T C と し て 記 憶 さ せ る 。 図 9 は 補 正 教 師 信 号 生 成 器 2 4 の 一構 成 例 で あ り 、 端 子 8 か ら 入 力 さ れ た 多 値 原 教 師 信 号 T か ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 入 力 さ れ た 多 値 出 力 ュ ニ ッ ト 信 号 を ュ ニ ッ ト 毎 に 減 法 演 算 し 、 多 値 の 誤 差 を 出 力 す る 減 法 演 算 器 8 0 と 、 そ の 出 力 を 多 値 補 正 教 師 信 号 T C と し て 記 憶 す る 補 正 教 師 信 号 記 憶 器 8 2 と か ら 構 成 さ れ る 。 減 法 演 算 器 8 0 は 値 原 教 師 信 号 T 1 ( i = 1 、 · · · 、 M ) と 多 値 出 力 ュ ニ ッ ト 信 号 X i と の 間 で 、 （ R + T i — X i in o d ( R ) な る 減 法 換 算 し 出 力 す る 。
上 記 動 作 が 完 了 す る と 、 動 作 モ 一 ド 制 御 器 2 1 を 介 し て 、 刖 記 学 習 用 入 力 信 号 と 多 値 補 正 教 師 信 号 T C と を 用 い た 補 正 二 Λ — ラ ル ネ ッ ト ヮ ー ク 1 8 の 学 習 を 開 始 さ せ 、 減 算 器 2 5 に て 多 値 補 正 教 師 信 号 T C か ら 補 正 ニ ュ ー ラ ル ネ ッ 卜 ヮ ー ク 1 8 か ら の 出 力 ュ ニ ッ ト 信 号 を 差 し 引 き 、 こ れ を 誤 差 信 号 と し て 重 み 係 数 制 御 器 2 6 に 入 力 し
、 m 子 2 7 ' か ら の 各 層 の ュ ニ 卜 出 力 信 号 と を 基 に そ の 誤 差 電 力 が 最 小 と な る よ う 重 み 係 数 の 更 新 を 行 い 端 子
2 7 を 介 し て 新 た な 重 み 係 数 の 設 定 を 繰 り 返 す 。 こ の 学 習 過 程 で は 、 一致 判 定 器 2 8 に お い て 多 値 補 正 教 師 信 号
T C と 多 値 ス レ シ ョ ル ド 回 路 1 9 を 介 し て 得 ら れ た 多 値 出 力 ュ 二 ッ 卜 1§ 号 と の 完 全 な 一致 を 検 出 す る ま で 学 習 を 繰 り 返 し す れ ば 、 多 値 補 正 教 師 信 号 T C に 対 し て 補 正 二 ュ 一 ラ ル ネ ッ ト ヮ 一 ク 1 8 が 完 全 に 収 束 し て い る と み な し 学 習 を 終 了 さ せ 、 動 作 モ 一 ド 制 御 器 2 1 に よ り 学 習 モ 一 ド か ら 実 行 処 理 モ ー ド へ 切 り 替 え る 。
行 処理 モ ー ド で は 、 学 習 用 入 力 信 号 を 用 い て 多 値 原 教 師 信 号 T に 対 し て 学 習 さ せ て 得 ら れ た 重 み 係 数 を 設 定 し た 主 二 ユ ー ラ ル ネ ヅ 卜 ワ ー ク 1 6 か ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 得 ら れ た 多 値 出 カ ュ ニ ッ ト 号 と 、 多 値 補 正 教 師 信 号 T C に 対 し て 学 習 さ せ て 得 ら れ た 重 み 係 数 を 設 定 し た 補 正 ニ ュ 一 ラ ル ネ ッ ト ヮ ー ク 1 8 か ら 多 値 ス レ シ ョ ル ド 回 路 1 9 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ト 信 号 と を 加 法 演 算 器 2 0 に て 加 法 演 算 処 理 す る こ と に よ り 、 少 な く と も 学 習 用 入 力 信 号 に 対 し て は 完 全 に 多 値 原 教 師 信 号 と 同 一 の 多 値 出 力 信 号 0 が 得 ら れ 、 主 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク 1 6 の 不 完 全 な 学 習 に よ り 生 じ た 多 値 の 誤 差 を 正 確 に 補 正 す る こ と が 出 る 。
本 実 施 例 の 並 列 多 値 ニ ュ 一 ラ ル ネ ッ 卜 ヮ 一 ク 1 5 に お い て 、 上 δし 説 明 の ご と く 補 正 二 ェ 一 ラ ル ネ ッ 卜 ヮ 一 ク 1
8 が 多 値 の 誤 差 を 多 値 補 正 教 師 信 号 と し て 学 習 し 、 完 全 に 収 束 で き れ ば 、 主 二 ュ 一 ラ ル ネ ッ ト ヮ ー ク 1 6 は 収 束 し な く て も よ く 、 例 え ば 、 主 ニ ュ 一 ラ レ ネ ヅ 卜 ヮ ー ク か ら の 多 値 出 力 ユ ニ ッ ト 信 号 の 内 、 多 値 の 誤 差 を 持 た な い 多 値 出 カ ュ ニ ッ ト 信 号 を 9 , 0 % 力 ら 9 5 % 程 度 送 出 さ せ る こ と は 僅 か の 学 習 回 数 で 実 現 で き る 。 こ れ 以 上 に 収 束 さ せ 、 よ り 多 く の 所 望 の 多 値 出 力 信 号 を 得 よ う と す れ ば 指 数 関 数 的 に 学 習 回 数 が 増 加 す る こ と カゝ ら も 、 従 来 方 式 に 比 ベ て 学 習 回 数 を 大 幅 に 削 減 で き る こ と が 明 ら か で あ る 。 一方 、 主 ル ネ ッ ト ヮ ー ク 1 6 の 多 値 原 教 師 信 号 T が ほ ぼ ラ ン ダ ム な 成 分 を 持 つ て い る の に 対 し て 、 補 正 二 ュ 一 フ ル ネ ッ 卜 ワ ー ク 1 8 の 多 値 補 正 教 師 信 号 Τ C は 1 0 % 程 度 の 僅 か な 多 値 の 誤 差 成 分 し か 持 た ず 、 そ の 他 の 成 分 は ゼ ロ と な る 。 こ の よ う に 種 類 が 少 な く 而 も 発 生 頻 度 が 特 定 の 信 号 パ タ 一 ン に 片 寄 っ た 多 値 補 正 教 師 信 号 に 対 し て 、 補 正 二 ュ 一 フ ル ネ ッ 卜 ヮ ー ク 1 8 を 僅 か の 学 習 回 数 で 完 全 に 収 束 さ せ る こ と は 簡 単 で あ る 。 従 つ て 、 上 記 の よ う に 学 習 さ せ た 重 み 係 数 が 設 定 さ れ た 主 及 び 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 1 6 及 び 1 8 を 用 い た 並 列 多 値 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 1 5 の 実 行 処 理 で 、 学 習 用 入 力 信 号 に 対 し て 所 望 の 多 値 出 力 信 号 を 端 子 3 か ら 出 力 さ せ る こ と は 簡 単 に 実 現 で き る 。 ま た 、 多 値 原 教 師 信 号 と 多 値 補 正 教 師 信 号 と も 同 一 の 多 値 空 間 を 有 し て い る こ と 力ゝ ら 、 主 及 び 補 正 ニ ュ ー ラ ル ネ ヅ 卜 ワ ー ク と も 同 一 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク で 実 現 す れ ば 良 く 、 同 じ 重 み 係 数 精 度 ゃ シ グ モ イ ド 関 数 を 用 い た 構 成 で よ い 。
学 習 に お い て 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 を 完 全 に 収 束 さ せ る 必 要 が な い た め 、 中 間 層 や 隠 れ ュ ニ ッ ト 数 を 削 減 で き 、 ま た 、 多 値 ス レ シ ョ ル ド 回 路 や 力 Π 法 及 び 減 法 演 算 な ど に よ る 多 値 演 算 処 理 を 行 う た め に ニ ュ ー ラ ル ネ ッ ト ワ ー ク 内 の 演 算 精 度 も 低 く て 良 く 、 演 算 規 模 も 小 さ く な る 。 特 に 、 多 値 原 教 師 信 号 が 2 値 の 場 合 に は 、 多 値 ス レ シ ョ ル ド 回 路 1 7 、 1 9 と し て 2 値 ス レ シ ョ ル ド 回 路 を 用 い 、 加 法 演 算 器 2 0 は X O R 回 路 で 与 え ら れ 、 補 正 教 師 信 号 生 成 器 2 4 内 の 減 法 演 算 器 8 0 も X O R 回 路 で 簡 単 に 実 現 さ れ る 。 例 え ば 、 コ ン ピ ュ ー タ シ ミ ュ レ 一 シ ヨ ン に よ る と 、 入 力 層 7 5 ユ ニ ッ ト 、 中 間 層 2 1 ュ ニ ッ ト 及 び 出 力 層 7 ュ ニ ッ ト を 持 っ た 3 層 の 主 及 び 補 正 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 6 、 1 8 を そ れ ぞ れ ノ、 ッ ク プ ロ パ ゲ ー シ ョ ン · 学 習 ア ル ゴ リ ズ ム を 用 い て 構 成 し た 場 合 、 7 5 ビ ッ ト の 入 力 信 号 （ 入 力 変 数 ） と 7 ビ ッ ト の 多 値 出 力 信 号 （ 出 力 変 数 ） と の 間 で 所 望 の 入 出 力 関 係 を 与 え る 2 値 論 理 関 数 を 、 初 期 値 の 依 存 性 も 非 常 に 小 さ く 全 学 習 回 数 が 2 1 0 回 以 内 で 簡 単 に 学 習 さ せ る こ と が で き 、 実 行 処 理 モ ー ド で は 、 学 習 用 入 力 信 号 に 対 し て 常 に 所 望 の 多 値 出 力 信 号 を 正 し く 得 る こ と が 出 来 る 。 こ れ を 、 従 来 型 の 3 層 の バ ッ ク プ ロ パ ゲ ー シ ョ ン 学 習 ア ル ゴ リ ズ ム に よ る 入 力 層 7 5 ユ ニ ッ ト 、 中 間 層 4 0 ユ ニ ッ ト 及 び 出 力 層 7 ュ ニ ヅ ト を 持 っ た 同 規 模 の 単 一 の 3 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク で 実 現 し た 場 合 、 同 様 の 2 値 論 理 関 数 の 設 計 に お い て 、 2 万 回 以 上 の 学 習 を 繰 り 返 し て も 収 束 せ ず 、 初 期 値 依 存 性 が 大 き く 所 望 の 入 出 力 関 係 を 与 え る こ と が 出 来 な い 。 入 力 層 及 び 出 力 層 の ュ ニ ッ 卜 数 を 更 に 増 や す と 所 望 の 出 力 を 得 る た め の 学 習 回 数 と 必 要 な 演 算 精 度 の 差 は 一 段 と 拡 大 す る 。
多 値 論 理 関 数 の 真 理 値 表 を 本 発 明 の ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 5 を 用 い て 簡 単 に 而 も 短 時 間 で 学 習 さ せ る こ と が で き る こ と 力 ら 、 従 来 の 大 規 模 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク で は 極 め て 設 計 が 困 難 な 大 規 模 多 値 論 理 回 路 も 容 易 に 実 現 で き る 。 ま た 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 5 に お い て 複 数 組 の 学 習 し た 重 み 係 数 を そ れ ぞ れ 用 意 し 、 こ れ ら を 切 り 替 え て 設 定 す れ ば 、 同 一 の 演 算 遅 延 で 複 数 個 の 大 規 模 可 変 多 値 論 理 回 路 を 容 易 に 実 現 で き る 。 ま た 、 状 況 に 応 じ て 短 時 間 で 学 習 仕 直 す こ と も 可 能 な こ と か ら 、 同 一 構 成 上 に 新 た な 入 出 力 関 係 を 与 え る 大 規 模 多 値 論 理 回 路 も 容 易 に 実 現 出 来 る 。 特 に 、 主 及 び 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク を 同 一 の ニ ュ ー ロ L S I チ ヅ プ で 構 成 す れ ば 、 同 一 ノヽ ー ド ウ エ ア の 並 列 処 理 機 能 と 柔 軟 な 演 算 処 理 機 能 の 効 果 的 な 利 用 に よ り 、 高 速 大 規 模 可 変 多 値 論 理 回 路 を 簡 単 に 実 現 で き る 。 ま た 、 従 来 の 二 ユ ー ラ ル ネ ッ ト ヮ ー ク を 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 5 で 置 き 換 え 、 簡 単 に 学 習 を さ せ 、 パ タ ー ン 認 識 、 連 想 メ モ リ 、 デ ー タ 圧 縮 、 デ ー タ 変 換 な ど に 用 レヽ る こ と も 出 来 る
実 施 例 2
本 発 明 の 第 2 の 実 施 例 と し て 、 実 施 例 1 と 異 な っ た 補 正 教 師 信 号 生 成 器 5 2 を 用 い た 並 列 多 値 ニ ュ ー ラ フレ ネ ヅ ト ワ ー ク 8 3 を 示 す 。 学 習 処 理 モ 一 ド で の 学 習 処 理 の 構 成 及 び 学 習 過 程 で の 動 作 は 、 補 正 教 師 信 号 生 成 器 5 2 の 構 成 が 異 な る 以 外 は 図 8 の 実 施 例 1 と 同 じ で あ る 。 こ こ で は 、 補 正 教 師 信 号 生 成 器 5 2 の 構 成 と 実 行 処 理 モ ー ド で の 構 成 と そ の 動 作 の み 説 明 す る
図 1 1 は 本 実 施 例 に お け る 補 正 教 師 信 号 生 成 器 5 2 の 一構 成 例 で あ り 、 端 子 8 か ら 入 力 さ れ た 多 値 原 教 師 信 号 T か ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 入 力 さ れ た 多 値 出 力 ュ 二 ッ ト 信 号 を ュ ニ ッ ト 毎 に 減 法 演 算 し 多 値 の 誤 差 を 出 力 す る 減 法 演 算 器 8 0 と 、 多 値 の 誤 差 の 中 か ら 予 め 指 定 さ れ た 誤 差 パ タ ー ン を 検 出 し 、 そ れ と の 距 離 が 拡 大 さ れ る よ う ノ タ ー ン 変 換 し て 出 力 し 、 そ の 他 の 多 値 の 誤 差 は そ の ま ま 出 力 す る ノ、' タ ー ン 変 換 処 理 器 8 1 と 、 パ タ ー ン 変 換 処 理 器 8 1 の 出 力 を 多 値 補 正 教 師 信 号 T C と し て 記 憶 す る 補 正 教 師 信 号 記 憶 器 8 2 と か ら 構 成 さ れ る 記、出たパとし 6
法 演 算 器 8 0 及 び 補 正 教 師 信 号 記 憶 器 8 2 は 、 図 9 の 施 例 1 の 補 正 教 師 信 号 生 成 器 2 4 と 同 じ 機 能 構 成 で あ る
一 ュ 一 ラ ル ネ V ト ワ ー ク 1 6 の 学 習 の 際 に 、 多 値 の
0 が な く 全 エ レ メ ン ト が 0 ( 0 、 0 • 、 0 ) 即 ち 差 の 無 い 誤 差 パ タ ー ン （ C 0 ) の 発 生 率 力 9 0 % 程 度 な る か 、 あ る い は 誤 差 パ 夕 ー ン の 最 大 重 み が 定 め ら れ 値 以 下 と な る と 、 学 習 を 終 了 さ せ る し の 時 点 で 、 上 の 補 正 教 師信 号 生 成 器 5 2 の 減 法 演 舁 器 8 0 に お い て 多 値 原 教 師 信 号 T カ> ら 、 主 —■ ュ ラ ゾレ ネ ッ ト ワ ー ク か ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 得 ら れ た 多 値 力 ュ 二 ヅ ト 信 号 を そ れ ぞ れ ュ V ト 毎 に 減 法 演 算 処 、 多 値 の 誤 差 を 求 め 、 一 部 の 指 定 さ れ た 誤 差 に 対 し て 夕 一 ン 変 換 を 行 な い 、 互 い の パ タ — ン の 距 離 （ 例 え ば Λ ミ ン グ 距 離 や リ 一距 離 ） を 拡 大 し 、 そ れ ら を 補 正 師 信 号 T C と し て 記 憶 さ せ る 。 即 ち 、 発 生 頻 度 の 最 も い C 0 を 全 エ レ メ ン 卜 が 最 大 値 R - 1 を 持 つ 誤 差 パ 夕 ン ( c 1 ) に A 夕 ー ン 変 換 し 、 他 の 誤 差 パ タ ー ン の 種 は 多 値 原 教 師 信 号 の R " 個 の ノヽ' タ 一 ン 数 に 比 べ て 大 幅 に 削 減 さ れ て お り 、 而 も 重 み の 小 さ い パ タ ー ン （ 0 の ェ レ メ ン 卜 を 数 多 く 持 つ た ノ、' タ 一 ン ） で と 力 ら 、 こ れ ら を そ の ま ま 多 値 補 正 教 師 信 号 と し て 用 い る 。 特 に 、 原 教 師 信 号 が 2 値 の 場 合 に は 、 多 値 ス レ シ ョ ル ド 回 路 7 、 1 9 と し て 2 値 ス レ シ ョ ル ド 回 路 を 用 レ、 、 力 13 法 演 2 0 及 び 減 法 演 算 器 8 0 ¾ X 0 R 回 路 で そ れ ぞ れ 簡 単 に 実 現 さ れ る 。 こ の 時 の ノ タ ー ン 変 換 と し て は C O パ タ ー ン （ 0 、 0 、 · · · 、 0 ) の 補 数 で C 1 パ タ ー ン ( 1 、 1 、 · · · 、 1 ) を 実 現 す れ ば 良 い 。
補 正 教 師 信 号 生 成 器 5 2 に お い て 多 値 補 正 教 師 信 号 T C の 生 成 が 完 了 す る と 、 図 8 に 示 す よ う に 動 作 モ ー ド 制 御 器 2 1 を 介 し て 、 重 み 係 数 の 初 期 設 定 の 後 、 前 記 学 習 用 入 力 信 号 と 多 値 補 正 教 師 信 号 T C と を 用 い て 補 正 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク 1 8 の 学 習 を 開 始 さ せ る 。 こ の 学 習 過 程 で は 、 一 致 判 定 器 2 8 に お い て 多 値 補 正 教 師 信 号 T C と 多 値 ス レ シ ョ ル ド 回 路 1 9 を 介 し て 得 ら れ た 多 値 出 力 ユ ニ ッ ト 信 号 と の 完 全 な 一 致 が 検 出 さ れ る と 、 多 値 補 正 教 師 信 号 T C に 対 し て 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 8 が 完 全 に 収 束 し た と み な し 学 習 を 終 了 さ せ 、 動 作 モ ー ド 制 御 器 2 1 に よ り 学 習 処 理 モ ー ド か ら 実 行 処 理 モ ー ド へ 切 り 替 え る 。 多 値 補 正 教 師 信 号 に お い て 発 生 頻 度 の 高 ぃ ノ、' タ ー ン と 他 の 誤 差 パ タ ー ン と の 距 離 が 大 き く 拡 大 さ れ て お り 、 学 習 用 入 力 信 号 の 多 値 出 力 ュ ニ ッ ト 信 号 へ の 割 付 が 非 常 に 簡 単 と な り 、 一 段 と 少 な い 学 習 回 数 で 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 を 容 易 に 収 束 さ せ る こ と が で き る 。
次 に 、 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 8 3 の 実 行 処 理 モ ー ド に お け る 実 行 処 理 を 説 明 す る 。 実 行 処 理 の 一 構 成 例 を 図 1 0 に 示 す 。 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 と 、 並 列 接 続 さ れ た 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 と 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 8 か ら の 出 力 ュ ニ ッ ト ί 号 を そ れ ぞ れ 多 値 化 す る 多 値 ス レ シ ョ レ ド 回 路 1 7 , 1 9 と 、 補 正 教 師 信 号 生 成 器 5 2 に お い て パ タ 一 ン 変 換 さ れ 得 ら れ た 特 定 パ タ ー ン を 多 値 ス レ シ ョ ル ド 1 9 力ゝ ら の 多 値 出 カ ュ ニ 卜 1S 号 内 か ら 検 出 し 、 こ れ を 元 の 多 値 誤 差 パ 夕 ー ン に パ 夕 一 ン 逆 変 換 し て 出 力 し 、 そ の 他 は そ の 力 す る パ 夕 一 ン 逆 変 換 処 理 器 8 4 と 、 多 値 ス レ シ 3 ル ド 回 路 1 7 及 び パ タ ー ン 逆 変 換 処 理 器 8 4 か ら の そ れ ぞ れ 対 応 し た 出 力 を 加 法 演 算 し 、 端 子 3 に 多 値 出 力 信 号 0 と し て 出 力 す る 加 法 演 算 器 2 0 と 、 主 及 び 補 正 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク
1 6 及 び 1 8 の 動 作 モ ー ド を 制 御 す る た め の 動 作 モ ー ド 制 御 器 2 1 と か ら 構 成 さ れ ο し し で 、 動 作 モ ー ド 制 御 器 2 1 か ら の 制 御 に よ り 実 行 処 理 モ 一 ド が 設 定 さ れ 動 作 す る 際 、 主 及 び 補 正 ニ 一 ラ ノレ ネ V ト ヮ 一 ク 1 6 及 び 1 8 で は そ れ ぞ れ 学 習 モ ー ド で 得 ら れ た 重 み 係 数 が 5X 疋 れ る 。
補 正 二 ： L 一 ラ ル ネ ヅ ト ワ ー ク 1 8 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 か ら パ タ ー ン 逆 変 換 処 理 器 8 4 を 介 し て 元 の 多 値 誤 差 パ タ 一 ン が 得 ら れ 、 加 法 演 算 器 2 0 に て 主 ニ ュ ー ラ レ ネ ッ 卜 ヮ ー ク 1 6 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と そ れ ぞ れ 加 法 演 算 処 理 さ れ る こ と 力ゝ ら 、 主 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 6 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 内 の 不 完 全 な 学 習 に よ り 生 じ た 誤 差 が 補 正 で き る 。 こ れ に よ り 、 並 列 多 値 二 ユ ー ラ ル ネ ッ 卜 ワ ー ク 8 3 に お レヽ て 学 習 用 入 力 信 号 に 対 し て は 完 全 に 多 値 原 教 師 信 号 と 同 一 の 多 値 出 力 信 マ
号 0 が Vrfo ナ 3 か ら 得 ら れ る 。
上 記 の 説 明 の ご と く 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 8 3 は 少 な い 学 習 回 数 で 等 価 的 に 収 束 さ せ る こ と が で さ 、 誤 差 パ タ ー ン の 変 換 を 施 し た 補 正 教 師 信 号 を 用 い る こ と に よ り 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 1 8 を 完 全 に 収 束 さ せ る た め の 学 習 回 数 を 大 幅 に 削 減 出 来 る 。 実 施 例 3
実 施 例 3 と し て 、 本 発 明 に 関 す る 実 施 例 2 と は 異 な る ノ タ ー ン 変 換 方 式 を 用 い た 実 施 例 を 示 す 。 実 施 例 2 で は 補 正 教 師 信 号 生 成 器 5 2 に お い て 、 発 生 頻 度 が 高 い 全 ェ レ メ ン ト が 0 の 特 定 の 誤 差 パ タ ー ン だ け を 全 エ レ メ ン ト が R - 1 の パ タ ー ン に 変 換 す る パ タ 一 ン 変 換 方 式 に つ い て 一 具 体 例 を 示 し た 。 こ こ ，で は 、 主 二 ユ ー ラ ル ネ ッ ト ヮ 一 ク 1 6 の 学 習 回 数 を 極 端 に 少 な く し た 場 合 に 多 値 誤 差 パ タ 一 ン の 重 み が 増 え 種 類 が 若 干 増 加 し 、 而 も 発 生 頻 度 も ほ ぼ 同 じ 状 態 と な る 誤 差 パ タ ー ン iこ 対 し て 、 M 次 元 符 号 空 間 で 相 互 に 距 離 を 離 す 為 の パ タ 一 ン 変 換 方 式 を 用 い た 補 正 教 師 信 号 生 成 器 5 3 を 導 入 し た 実 施 例 を 示 す 。
実 施 例 3 は 、 実 施 例 2 の 補 正 教 師 信 号 生 成 器 5 2 の 減 法 演 算 器 8 0 か ら 出 力 さ れ る 多 値 の 誤 差 パ 夕 ー ン を 変 換 処 理 す る パ タ ー ン 変 換 処 理 器 8 1 及 び 補 正 二 ユ ー ラ ル ネ ッ 卜 ヮ 一 ク 1 8 カ> ら の 多 値 出 力 ュ 二 ヅ ト 信 号 に 対 す る パ タ ー ン 逆 変 換 処 理 器 8 4 の 構 成 の み が 異 な る こ と 力ゝ ら 、 こ れ ら の パ タ ー ン 変 換 処 理 及 び パ タ 一 ン 逆 変 換 処 理 に つ い て の み 記 述 す る 。 こ こ で は 、 図•1 2 に 示 す よ う に ノ、' タ ー ン 変 換 処 理 器 8 1 の 代 わ り に 誤 り 訂 正 符 号 処 理 器 8 5 を 用 い た 場 合 に つ い て 説 明 す る 。 誤 り 訂 正 符 号 処 理 器 8
5 は 各 誤 差 パ タ 一 ン に 対 し て 誤 り 訂 正 符 号 変 換 処 理 を 用 い て 距 離 の 拡 大 さ れ た パ タ ー ン を 出 力 し 、 補 正 教 師 信 号 DQ 'I ¾ 8 2 に 書 き 込 む 。 ま た 、 パ タ ー ン 逆 変 換 処 理 器 8 4 の 代 わ に り 訂 正 符 号 処 理 器 8 5 と 逆 の 入 出 力 関 係 を 与 え る 新 た な パ タ ー ン 逆 変 換 器 を R 0 M を 用 い て 構 成 す る 。 こ れ に よ り 補 正 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 8 カ ら の 多 値 出 カ ュ ニ ッ ト 信 亏 を パ タ ー ン 逆 変 換 し 元 の 多 値 の 誤 差 に 戻 す こ と が 出 来 る
2 値 の 誤 り 訂 正 符 号 処 理 方 式 に つ い て 具 体 例 を あ げ 説 明 す る 。 刖 述 し た 通 り 極 端 に 少 な い 学 習 回 数 に お い て も 、 主 ニ ュ 一 ラ ル ネ ッ ト ヮ 一 ク 1 6 カゝ ら の 多 値 出 力 ヱ ニ ッ ト 信 号 を 基 に し た 2 値 の 誤 差 パ タ ー ン の 種 類 k は 2 値 教 師 信 号 の 種 類 2 M に 比 べ て 少 な く 、 k < < 2 M で あ る 。 こ の 時 、 l o 2 ( k ) ≤ K を 満 た す 最 小 の 整 数 K の ビ ッ 卜 数 で k 種 類 の 誤 差 パ タ ー ン を 表 す こ と 力 s で き る 。 こ の K ビ ッ 卜 ノ\° タ ー ン を 情 報 ビ ッ 卜 と し 、 誤 り 訂 正 号 理 咖 で 用 レ、 ら れ て い る 線 形 符 号 や 巡 回 符 号 等 の 誤 り 訂 正 符 号 処 理 器 8 5 を 用 い て 単一誤 り 以 上 の 訂 正 能 力 を 持 つ た M - K ビ ッ 卜 の 検 査 ビ ッ ト を 生 成 す れ ば 、 最 小 ハ ミ ン グ 距 離 が 3 の M ビ ッ ト 符 号 語 を 作 成 す る こ と 力 s で き 、 ハ ン グ 距 離 を 3 以 上 に 拡 大 で き る で 、 そ れ ぞ れ の 誤 差 パ タ ー ン に 対 応 さ せ た M ビ ッ 卜 符 号 語 を 変 換 パ タ ー ン と し て 補 正 教 師 in "^" Sし 'I思 器 8 2 へ 記 憶 さ せ れ ば よ い o 2 値 の 出 力 ュ 二 ッ 卜 数 Μ が 7 の 時 、 学 習 モ ー ド に お い て 例 え ば 誤 差 パ タ 一 ン の 数 が 8 個 と な る と 学 習 を 終 了 さ せ る と 、 変 ί哭 前 の 誤 差 パ タ 一 ン は ハ ミ ン グ 重 み が 0 及 び 1 の パ タ ー ン と な る 。 し た が っ て れ ら の 誤 差 パ タ ー ン は 3 ビ ヅ ト の 情 報 ビ ヅ 卜 を 用 い れ ば 全 て 表 せ る こ と か ら 、 3 ビ ヅ 卜 の 情 報 符 号 を 基 に し た 誤 り 訂 正 符 号 処 理 器 8 5 に よ り 4 ビ 卜 の 検 査 ビ ッ 卜 を 持 つ た 少 な く と も 最 小 ノヽ ミ ン グ 距 離 が 3 の 誤 り 訂 正 符 ΠΡ を 生 成 し 、 こ れ ら を 補 正 教 師 信 号 と す れ ば よ い 。 以上 、 2 値 の 場 合 に つ い て 説 明 し た が 、 多 値 の 場 合 に つ い て も 同 様 に 多 元 の 誤 り 訂 正 符 号 理 論 に よ り 相 互 に リ 一距 離 が 拡 大 さ れ た 口口 を 生 成 す る こ と が で き る 。 こ れ ら の 方 法 に よ り 入 力 さ れ た 誤 差 パ タ ー ン に 応 じ て パ タ ー ン 変 換 し 補 正 教 師 信 号 と し て 補 正 教 師 信 号 記 'I思 ¾ 8 2 に 記 憶 さ せ れ ば よ レヽ 。 ま た 、 ノヽ' 夕 一 ン 逆 変 換 処 理 器 8 4 の 代 わ り と し て は 、 逆 の 入 出 力 関 係 を 与 え る 符 号 逆 変 換 処 理 器 と し て R 0 M を 用 意 す れ ば よ い 。
本 実 施 例 は 、 実 施 例 2 に 比 較 し て ノ、' タ ー ン 変 換 則 が 若 干 複 雑 に な る が 、 誤 差 パ タ ー ン 間 の リ ー 距 離 あ る い は ハ ミ ン グ 距 離 を 相 互 に 拡 大 で き る こ と か ら 、 補 正 教 師 信 号 生 成 器 5 3 を 用 い た 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 8 3 を 等 価 的 に 更 に 高 速 に 収 束 さ せ る こ と が で き る 。
実 施 例 4
実 施 例 4 と し て 、 多 値 学 習 パ タ ー ン 信 号 を 用 い て 重 み 係 数 を 求 め る 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い た 主 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 2 9 と 、 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い た 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 と を 入 力 に 対 し て 並 列 に 接 続 し 、 多 値 教 師 信 号 か ら の 多 値 の 誤 差 の 補 正 の 為 の 多 値 加 法 演 算 処 理 を 用 い た 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 一構 成 例 を あ げ 説 明 す る 。 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク の 実 行 処 理 モ ー ド で の 実 行 処 理 の 構 成 は 、 主 ニ ュ ー ラ ル ネ ッ ト ヮ — ク 2 9 と し て 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い る 他 は 実 施 例 1 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 5 の 図 6 の 構 成 と 同 じ で 、 動 作 も 同 様 で あ る の で 構 成 と 詳 細 説 明 を 省 略 す る 。
学 習 処 理 モ ー ド で の 学 習 処 理 の 一構 成 例 を 図 1 3 に 示 す が 、 実 施 例 1 の 図 8 の 構 成 と は 異 な る 。 尚 、 以 下 の 説 明 で は 、 同 一 構 成 部 分 に つ い て は 同 一 番 号 を 付 し 、 説 明 の 重 複 を 省 く 。 図 1 3 の 本 発 明 の ニ ュ ー ラ ル ネ ッ ト ヮ ー ク の 学 習 処 理 モ ー ド で の 学 習 処 理 の 構 成 と し て は 、 相 互 結 合 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 力、 ら な る 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 2 9 と 、 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら な る 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 と を 入 力 に 対 し て 並 列 に 配 置 し 、 端 子 1 3 カゝ ら 入 力 さ れ る 多 値 記 憶 パ タ ー ン 信 号 を も と に 主 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 2 9 の 重 み 係 数 を 計 算 す る た め の 重 み 係 数 処 理 器 3 0 と 、 多 値 記 憶 パ タ ー ン 信 号 の 一 部 を 学 習 用 入 力 信 号 に 対 応 し た 多 値 原 教 師 信 号 と し て 、 こ の 多 値 原 教 師 信 号 と 主 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 2 9 力 ら 多 値 ス レ シ ョ ル ド 1 7 を 介 し て 得 ら れ た 多 u ^ Ύ ·= て fsl ^ 暴 ー v 2暴 W} ^ ^ 1 o 2 ^ i ^ 重 ： P « 重 0) 6 S — ^ ^ — て - ^ S ^ tl ^ - ^ ί — T ^ 互 目 4
° ^
Y 21 Z £ ^ w ^ 31瞬 ^ ^ — 0) ¾ ¾ ,、 一 I- HI si q ^ ^ m つ ί (-丫 o ε S ϊ ^ 凝 ^ 重 ε T 士 ^ 暴 一 ^ ゝ( I- 311} 0)
Q? 4- fF? * ¾ « 重 21 U ^ ' つ Ιϊ ¾
^ — a Λ ^ 一 て - ^ ?i互 ¾ ¾ 6 2 | 、、 ^
^ 一 て 、 、 ¾ ^ 本 筆 ^ ^
^ ε ε n tii ίι¾ >ι 一 ¾ て n fji o ζτ ^ λ ^ i ^ - て - ^ ? 互 目 4 ¾ ¾ ^ 旗 ^ 凝 ^ « 重 、 膝 臊 丄 ¾ i ^ ^ 晶 ^ 、 ^ 8 s t ¾ [I* ¾ 一 0) Q? ¾t 9
4- m m — ： ^ ^ MI i¾ HI ¾ 1} ^ ^ 暴 4 Λ -r - 9- ¾ α Q) 6 T ¾ 回 Λ( E く、 1
Wt 6 τ 剁 回 Λ( Ε く、 掛 ^ 2 ^ 1} ¾ ^ II M
^ - ΤΓ CD S I ^ ^ 一 "Τ - 3Ϊ ϋ ^ 9 S §麒 ί悲 凝 ^ « 重 2 η 凝 ^ 重 ς 9" ：？ 屮 瞢
¾ a ^ CD 、 Ζ ^ 富 、 Q? ¾ ^ II
藝 j ^ — ΤΓ 0： ^ CD ^ m 31 m ^ 2 ^ $ 晶
^ ¾ 凝 ¾^ « 重 09 8 ΐ ^ - ^ sj f、、 ( - で - HI ¾ ¾
¾ ^ i} iH§ ^？ ^ \ U-丫 ¾ 晶 ^ v ^ Z
•i- 暴 m HI ¾ G) Q? 9 - 21ェ っ ^ Hi Si 1} ¾ 著 ^ ω 、 09 ^ ¾ m a> ai て ^ Φ掛
0 S0/S6 OAV る と 計 算 さ れ 、 主 ニ ュ 一 ラ ル ネ ッ 卜 ワ ー ク 2 9 に 端 子 3
1 を 介 し て 設 定 さ れ る 。 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 2 9 か ら の 出 力 ュ ニ ヅ ト 信 号 が 平 衡 状 態 に 達 す る と 、 多 値 ス レ シ ョ ル ド 1 7 に て 多 値 出 力 ュ ニ ッ ト 信 号 を 得 、 補 正 教 師 信 号 生 成 器 3 2 に て 多 値 記 憶 パ タ ー ン 信 号 内 の 多 値 教 師 信 号 と 比 較 し 多 値 の 誤 差 を 求 め 、 そ れ を 多 値 補 正 教 師 信 号 と し て 記 憶 さ せ る 。 こ こ で は 、 省 略 す る が 、 多 値 補 正 教 師 信 号 生 成 器 3 2 と し て 、 前 述 の 多 値 補 正 教 師 信 号 生 成 器 2 4 と 同 一 の 構 成 で よ い 。
次 に 、 補 正 教 師 信 号 生 成 器 3 2 か ら 出 力 さ れ た 多 値 補 正 教 師 信 号 と 学 習 用 入 力 信 号 と か ら 補 正 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク 1 8 を 学 習 さ せ る た め に 、 多 値 補 正 教 師 信 号 と 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 8 の 出 力 ュ ニ ヅ 卜 信 号 と か ら 減 算 器 2 5 に て そ れ ぞ れ の ュ ニ ッ ト の 誤 差 信 号 を 求 め 、 こ の 誤 差 電 力 を 最 小 と す る よ う 重 み 係 数 を 重 み 係 数 制 御 器 2 6 に て 修 正 し 、 更 新 さ れ た 重 み 係 数 を 補 正 ニ ュ 一 ラ ル ネ ヅ ト ワ ー ク 1 8 に 端 子 2 7 を 介 し て 設 定 す る 。 こ の 学 習 過 程 に お い て 、 多 値 出 力 ュ ニ ヅ 卜 信 号 が 多 値 補 正 教 師 信 号 と 完 全 に 一致 す る と 、 こ れ を一致 判 疋 器 ^ 。 に て 検 出 し 、 完 全 に 収 束 し た と み な し 学 習 を 終 了 さ せ る 。 規 定 の 学 習 回 数 以 内 で 一 致 し な い 場 合 は 、 補 正 す べ き 多 値 の 誤 差 が 多 す ぎ る と 見 な し 、 動 作 モ 一 ド 制 御 器 3 3 か ら の 制 御 の も と に 主 ニ ュ 一 フ ノレ ネ ッ ト ワ ー ク 2 9 の 隠 れ ュ ニ ヅ ト 数 を 増 や し 、 再 度 、 主 ユ エ 一 ラ レ ネ ッ ト ヮ 一 ク 2 9 力 ら 学 習 さ せ 同 様 な 処 理 に よ り 、 多 値 補 正 教 師 信 号 を 求 め 直 し た 後 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 を 再 度 学 習 さ せ 完 全 に 収 束 さ せ る 。 あ る い は 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 の 隠 れ ュ ニ ヅ ト 数 を 増 や し 再 度 学 習 さ せ て 完 全 に 収 束 さ せ て も よ い 。
上 記 の 説 明 の ご と く 、 学 習 処 理 モ ー ド に お い て 、 主 二 ュ 一 ラ ル ネ ヅ ト ワ ー ク 2 9 の 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 平 衡 点 に お け る 多 値 出 力 ュ ニ ッ ト 信 号 の 多 値 の 誤 差 を 多 値 補 正 教 師 信 号 と し た 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 8 を 学 習 さ せ 完 全 に 収 束 さ せ る こ と が 、 実 施 例 1 と 同 様 の 理 由 で 簡 単 に 出 来 る 。 こ の よ う な 学 習 処 理 モ ー ド で 得 ら れ た 主 及 び 補 正 ニ ュ ー ラ ル ネ ヅ 小 ワ ー ク 2 9 及 び 1 8 の 重 み 係 数 を 実 行 処 理 モ ー ド に お い て 設 定 し 用 い る こ と に よ り 、 図 6 と 同 様 な 構 成 の 基 に 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 2 9 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 に 含 ま れ る 多 値 の 誤 差 を 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 8 力ゝ ら の 多 値 出 力 ュ ニ ッ ト 信 号 を 用 い て 加 法 演 算 器 2 0 に て 補 正 し 、 端 子 3 か ら 学 習 用 入 力 信 号 に 対 す る 完 全 な 所 望 の 多 値 出 力 信 号 を 送 出 す る こ と が で き る 。
従 来 の 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク で は 、 平 衡 状 態 を 得 る に は 多 く の 隠 れ ュ ニ ッ ト 数 を 用 い る 必 要 が あ る が 、 ロ ー カ ル ミ ニ マ ム の 存 在 に よ り 所 望 の 解 が 得 ら れ な い 場 合 が 多 く 、 任 意 の 所 望 の 多 値 出 力 ユ ニ ッ ト 信 号 を 得 る よ う 設 計 す る こ と は 困 難 で あ る 。 し カゝ し 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク で は 上 記 説 明 の ご と く 、 相 互 結 合 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク の 問 題 点 を 簡 単 に 解 決 で き る 非 常 に 有 効 的 な ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク を 提 供 で き る 。 尚 、 相 互 結 合 の 一 例 と し て 、 2 値 の ホ ッ プ フ ィ ー ル ド · ネ ッ ト ワ ー ク や ボ ル ツ マ ン · マ シ ン の 場 合 に は 、 出 力 ユ ニ ッ ト 信 号 は 2 値 と な る こ と 力 ら 、 図 1 3 の 学 習 処 理 及 び 実 行 処 理 の 構 成 に お い て 多 値 ス レ シ ョ ル ド 回 路 を 省 略 し て も よ く 、 加 法 演 算 器 は X O R 回 路 と な る 。 ま た 、 補 正 教 師 信 号 生 成 器 3 2 内 の 減 法 演 算 も 同 様 に X O R 回 路 と な る 。
実 施 例 5
実 施 例 5 は 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク と し て 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク に よ る 主 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 6 と 、 多 値 学 習 パ タ ー ン 信 号 に よ る 重 み 係 数 計 算 を 行 う 相 互 結 合 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク か ら な る 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 3 7 と を 用 い 入 力 に 対 し て 並 列 接 続 し た一構 成 例 で あ る 。
実 行 処 理 モ ー ド で の 実 行 処 理 の 構 成 は 、 実 施 例 1 に お け る 図 6 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 5 の 実 行 処 理 の 構 成 と 同 一 で あ る が 、 主 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 6 と し て 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 、 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 3 7 と し て 、 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い て い る 。 動 作 は 実 施 例 1 と 同 様 で あ る の で 説 明 を 省 略 す る 。
学 習 処 理 モ ー ド で の 学 習 処 理 の 一構 成 例 を 図 1 4 に 示 す 。 ま ず 、 動 作 モ ー ド 制 御 器 3 8 力ゝ ら の 制 御 信 号 に よ り 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 の 学 習 を 開 始 さ せ る 。 こ こ で 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 の 学 習 は 、 実 施 例
1 の 図 8 の 主 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 6 の 学 習 と 同 様 で あ る 。 学 習 終 了 後 、 補 正 記 憶 パ 夕 一 ン 信 号 生 成 器 3 4 は 、 多 値 原 教 師 信 号 τ と 主 二 ユ ー ラ ル ネ ッ ト ワ ー ク 1 6 カゝ ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 得 ら れ た 多 値 ュ 二 ヅ 卜 出 力 信 号 と か ら 多 値 の 誤 差 を 求 め 、 こ の 誤 差 を 多 値 補 正 教 師 信 号 と し 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら な る 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 3 7 の 補 正 多 値 学 習 パ 夕 一 ン 信 号 の 一 部 と し て 記 憶 さ せ る 。
次 に 、 動 作 モ ー ド 制 御 器 3 8 カゝ ら の 制 御 信 号 に よ り 補 正 二 ュ 一 ラ ル ネ ッ ト ワ ー ク 3 7 の 学 習 を 開 始 さ せ 、 補 正 多 値 nL 'I思 パ タ ー ン 信 号 を 補 正 記 憶 パ タ ー ン 1§ 号 生 成 器 3
4 か み だ し 、 重 み 係 数 処 理 器 3 5 に 於 て 、 相 _a 結 合
— ェ 一 ル ネ ッ ト ワ ー ク の 重 み 係 数 を 計 算 し 、 $而 子 3 6 を 介 し て 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 3 7 に ΒΧ 疋 し 動 作 さ せ る 。 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 3 7 が 平 衡 状 態 に な る と 、 補 正 多 値 記 憶 パ タ ー ン 信 号 内 の 多 値 補 正 教 師 信 号 と 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 3 Ί か ら 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ヅ ト 信 号 と を 一 致 判 2 8 に て 比 較 し 、 一 致 す れ ば、 学 習 を 終 了 す る 致 し な け れ ば 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 3 7 の 隠 れ ュ 二 ッ ト 数 を 増 や し 再 度 重 み 係 数 を 計 算 し 補 正 ニ ュ ル ネ ッ ト ワ ー ク 3 7 へ の 設 定 を 繰 り 返 す 。 規 定 の 回 数 以 内 に — 致 判 定 器 2 8 に て 一 致 が 検 出 さ れ な い 場 合 に は 、 主 二 一 ラ ル ネ ヅ ト ワ ー ク 1 6 の 学 習 を 再 度 開 始 し て 、 多 値 の 誤 差 の 少 な い 多 値 補 正 教 師 信 号 を 持 つ 補 正 多 値 記 憶 パ タ ー ン 信 号 を 補 正 記 憶 パ タ ー ン 生 成 器 3 2 で 生 成 し 、 再 度 重 み 係 数 処 理 器 3 5 に て 重 み 係 数 を 計 算 し 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 3 7 に 設 定 し 動 作 さ せ る 。 多 値 補 正 教 師 信 号 と 多 値 出 力 ュ ニ ッ ト 信 号 と が ー 致 し た こ と が 一 致 判 定 器 2 8 に お い て 検 出 さ れ る ま で 、 上 記 の 学 習 過 程 を 繰 り 返 す 。 学 習 処 理 が 終 了 す る と 、 動 作 モ ー ド 制 御 器 3 8 に よ り 学 習 処 理 モ ー ド を 実 行 処 理 モ ー ド に 切 り 替 え る 。
こ の よ う に 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 の 多 層 二 ユ ー ラ ル ネ ヅ ト ワ ー ク の 学 習 回 数 あ る い は 誤 差 量 に 基 づ き 学 習 を 制 御 す る と 共 に 、 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 3 7 の 相 互 結 合 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク の 隠 れ ュ ニ ッ 卜 数 を 調 整 す る こ と に よ り 、 ゼ ロ 成 分 が 多 い 多 値 補 正 教 師 信 号 を 用 い て 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 3 7 を 正 し く 収 束 さ せ る こ と が 簡 単 に で き る 。
実 行 処 理 モ ー ド で は 、 こ の よ う に し て 学 習 し 得 ら れ た 重 み 係 数 を 設 定 し た 主 及 び 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 1 6 、 3 7 を 用 レヽ る こ と に よ り 、 主 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 6 の 多 値 ュ ニ ヅ ト 出 力 信 号 に 含 ま れ る 誤 差 は 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 3 7 か ら の 多 値 ュ ニ ッ 卜 出 力 信 号 を 用 い て 加 法 演 算 器 2 0 に て 補 正 さ れ 、 端 子 3 か ら 得 ら れ る 本 発 明 の 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 多 値 出 力 信 号 は 学 習 用 入 力 信 号 に 対 し て 常 に 所 望 の 出 力 と な る 。 実 施 例 6 実 施 例 6 は 、 本 発 明 の 多 値 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク に お い て 、 主 及 び 補 正 ニ ュ 一 ラ ル ネ ヅ ト ワ ー ク 2 9 、 3 7 と も 多 値 記 憶 パ 夕 一 ン 信 号 に よ り 重 み 係 数 を 計 算 す る 相 互 結 合 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク を 用 い た 一 構 成 例 で あ る o 本 発 明 の 並 列 多 値 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク の 実 行 処 理 モ ー ド で の 実 行 処 理 の 構 成 は 、 主 及 び 補 正 ニ ュ ー ラ ル ネ ヅ 卜 ヮ ー ク 2 9 、 3 7 と も 相 互 結 合 ニ ュ ー ラ リレ ネ ッ 卜 ヮ ー ク を 用 い る 他 は 実 施 例 1 と 同 じ で 、 図 6 の 並 列 多 値 二 ユ ー ラ ル ネ ッ 卜 ヮ 一 ク 1 5 と 同 様 な 構 成 と な り 、 動 作 も 同 様 で あ る の で 説 明 を 省 略 す る 。
習 処 理 モ 一 ド で の 学 習 処 理 の 構 成 を 図 1 5 に 示 す 。 動 作 モ 一 ド 制 御 器 3 9 の 制 御 の も と に 端 子 1 3 に 入 力 さ れ た 多 値 原 教 師 信 号 を 含 ん，だ 多 値 記 憶 パ タ ー ン 信 号 か ら 重 み 係 数 処 理 器 3 0 に お い て 主 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク
2 9 の 重 み 係 数 を 5ト し 端 子 3 1 を 介 し て 設 定 す る 。 実 施 例 2 の 図 9 と 同 様 に 動 作 さ せ 、 補 L sし fe パ タ ー ン 信 号 生 成 器 3 4 に て 、 多 値 記 憶 パ タ ー ン 信 号 の 一部 か ら な る 多 値 原 教 師 信 号 と の 多 値 の 誤 差 を 求 め 、 こ の 誤 差 を 多 値 補 正 教 師 信 号 と し て 持 つ 補 正 記 憶 パ タ ー ン を 生 成 し SG '¾> さ せ る 。 そ の 後 、 補 正 二 ユ ー ラ ル ネ ッ 卜 ヮ ー ク 3 7 を 学 習 さ せ る 為 に 、 重 み 係 数 処 理 器 3 5 に 補 正 多 値 記 憶 パ タ 一 ン 信 号 を 入 力 し 、 重 み 係 数 を 計 算 し 補 正 ユ エ 一 ラ ル ネ ッ 卜 ヮ ー ク 3 7 に 端 子 3 6 を 介 し て 設 定 し 動 作 さ せ る 。 実 施 例 3 の 図 1 4 と 同 様 に 補 正 ニ ュ — ラ ル ネ ッ ト ワ ー ク
3 7 が 平 衡 状 態 に 達 す る と 、 一 致 判 定 器 2 8 に て 多 値 補 正 教 師 信 号 と 補 正 ニ ュ ー ラ ル 不 ヅ ト ワ ー ク 3 7 か ら 多 値 ス レ シ ョ ル ド 1 9 を 介 し て 得 ら れ た 多 値 ュ ニ ッ ト 出 力 信 号 と の 一 致 を 調 べ 、 完 全 に 一 致 し て い れ ば 学 習 を 終 了 す る 。 ま た 、 一 致 し な け れ ば 、 補 正 ニ ュ ー ラ ル ネ ヅ ト ヮ ー ク 3 7 の 隠 れ ュ ニ ヅ ト 数 を 増 や し 、 再 度 重 み 係 数 を 重 み 係 数 処 理 器 3 5 に お い て 計 算 し な お し 、 同 様 の 処 理 を 実 施 す る 。 こ の 時 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 3 7 の 隠 れ ュ ニ ッ ト 数 が 規 定 の 数 以 上 あ る い は 繰 り 返 し 回 数 が 規 定 以 上 に な る と 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 3 7 力 s 収 束 し な レ、 と み な し 、 再 度 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 2 9 の 隠 れ ュ ニ ッ ト 数 を 増 や し 、 上 記 の 学 習 処 理 を 実 施 さ せ る 。
実 行 処 理 モ ー ド で は 、 学 習 処 理 に よ り 得 ら れ た 重 み 係 数 を そ れ ぞ れ 主 及 び 補 正 二 ユ ー ラ ル ネ ヅ ト ワ ー ク 2 9 、 3 7 に 設 定 し 、 図 6 と 同 様 に 構 成 す る こ と に よ り 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ. ト ヮ ー ク は 学 習 用 入 力 信 号 に 対 し て 常 に 所 望 の 多 値 出 力 信 号 を 端 子 3 か ら 送 出 す る こ と が 出 来 る
ま た 、 こ れ ま で の 実 施 例 で は 主 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 2 9 と し て 、 重 み 係 数 処 理 器 3 0 に お い て 多 値 記 憶 パ タ ー ン 信 号 を 用 い て 重 み 係 数 を 求 め 、 こ れ を 設 定 し た 相 互 結 合 ニ ュ 一 ラ ル ネ ヅ ト ワ ー ク を 使 用 し て い る が 、 多 値 記 憶 パ タ 一 ン 信 号 を 使 わ ず に エ ネ ル ギ 一 関 数 を 最 小 化 す る 重 み 係 数 を 直 接 計 算 し 設 定 し た 相 互 結 合 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク を 代 わ り に 用 レヽ て も よ い 。 こ の 場 合 は 、 主 二 ユ ー ラ ル ネ ヅ ト ワ ー ク 2 9 力 ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 得 ら れ る 多 値 出 力 ュ ニ ヅ ト 出 力 内 の 多 値 の 誤 差 は 多 値 原 教 師 信 号 を 用 い た 場 合 に 比 べ 若 干 増 え る が 、 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 1 8 あ る レヽ は 3 7 か ら の 多 値 出 力 ュ ニ ヅ ト 信 号 で 十 分 に こ れ ら 誤 差 を 補 正 す る こ と が 出 来 る 。 学 習 処 理 モ ー ド で の 学 習 処 理 の 構 成 と し て は 、 端 子 1 3 に 多 値 原 教 師 信 号 を 用 意 し 、 重 み 係 数 処 理 器 3 0 に 入 力 す る 必 要 は な い こ と 以 外 は 同 様 で 、 動 作 も 殆 ど 同 じ た め 説 明 を 省 略 す る 。
実 施 例 7
実 施 例 7 と し て 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 0 に お レヽ て 、 入 力 に 対 し て 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 2 段 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と を 並 列 接 続 し た 一構 成 例 を 示 す 。 図 1 6 は 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 及 び 2 個 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 4 2 及 び I I 4 3 を 用 い て 構 成 し た 際 の 実 行 処 理 モ ー ド に お け る 実 行 処 理 の 構 成 を 示 す 。 入 力 端 子 2 に 並 列 接 続 さ れ た 主 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 4 1 と 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 4 2 と 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 1 4 3 と 、 多 値 ス レ シ ョ ル ド 回 路 1 7 、 1 9 と 、 補 正 二 ユ ー ラ ル ネ ッ ト ワ ー ク I I 4 3 力 ら の 出 力 ュ ニ ッ ト 信 号 を 多 値 化 す る 多 値 ス レ シ ョ ル ド 回 路 4 4 と 、 加 法 演 算 器 2 0 、 4 5 と 、 動 作 モ ー ド 制 御 器 4 6 と か ら な る 。 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 2 、 4 3 に 接 続 さ れ た 多 値 ス レ シ ョ ル ド 回 路 1 9 及 び 4 4 力 ら の 多 値 出 力 ュ ニ ッ ト 信 号 を そ れ ぞ れ 加 法 演 算 器 4 5 で 加 法 演 算 し て 、 更 に そ れ ぞ れ の 出 力 と 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 に 接 続 さ れ た 多 値 ス レ シ ョ ル ド 回 路 1 7 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と を 加 法 演 算 器 2 0 に よ り 加 法 演 算 す る こ と に よ り 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 及 び 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク I か ら の 多 値 の 誤 差 を そ れ ぞ れ 補 正 し 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 4 0 の 多 値 出 力 信 号 0 と し て 端 子 3 を 介 し て 学 習 用 入 力 信 号 に 対 し て 常 に 所 望 の 多 値 出 力 信 号 を 送 出 さ せ る 。
次 に 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 0 の 学 習 処 理 モ ー ド に お け る 学 習 処 理 の 一構 成 例 を 図 1 7 に 示 す 。 全 て 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 レヽ た 例 を あ げ 説 明 す る 。 動 作 モ ー ド 制 御 器 4 6 か ら の 制 御 信 号 に よ り 、 ま ず 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 の 学 習 を 開 始 さ せ る 。 動 作 は 実 施 例 1 の 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 6 と 同 じ で あ る 。 学 習 が 終 了 す る と 補 正 教 師 信 号 I 生 成 器 4 7 に お い て 多 値 原 教 師 信 号 T と 多 値 ス レ シ ョ ル ド 回 路 1 7 力ゝ ら の 多 値 出 力 ュ ニ ッ ト 信 号 と か ら 多 値 の 誤 差 を 求 め 、 こ の 誤 差 を 多 値 補 正 教 師 信 号 I と し て 記 憶 さ せ る 。 補 正 教 師 信 号 I 生 成 器 4 7 は 補 正 教 師 信 号 生 成 器 2 4 と 図 9 に 示 す よ う に 同 一 の 構 成 で 良 い 。
次 に 、 動 作 モ ー ド 制 御 器 4 6 か ら の 制 御 信 号 に よ り 、 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク I 4 2 の 学 習 を 開 始 さ せ る 。 多 値 補 正 教 師 信 号 I が 補 正 教 師 信 号 I 生 成 器 4 7 か ら 読 み だ さ れ 、 減 算 器 2 5 に て 得 ら れ た 誤 差 信 号 を 基 に 重 み 係 数 制 御器 2 6 に お い て 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 4 2 の 重 み 係 数 が 修 正 さ れ る 。 規 定 の 学 習 が 終 了 す る と 、 補 正 教 師 信 号 I I 生 成 器 4 8 に て 多 値 補 正 教 師 信 号 I と 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 4 2 に 接 続 さ れ た 多 値 ス レ シ ョ ル ド 回 路 1 9 の 多 値 出 力 ュ ニ ヅ 卜 信 号 と か ら 多 値 の 誤 差 を 求 め 、 こ の 誤 差 を 多 値 補 正 教 師 信 号 I I と し て 記 憶 さ せ る 。 補 正 教 師 信 号 I I 生 成 器 4 8 は 補 正 教 師 信 号 I 生 成 器 4 7 と 同 一 の 構 成 で よ い 。
次 に 、 動 作 モ ー ド 制 御 器 4 6 力ゝ ら の 制 御 信 号 に よ り 、 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク I I 4 3 の 学 習 が 開 始 さ れ る と 、 多 値 補 正 教 師 信 号 I I が 補 正 教 師 信 号 I I 生成 器 4 8 か ら 読 み だ さ れ 、 減 算 器 4 9 か ら の 誤 差 信 号 を 基 に 重 み 係 数 制 御 器 5 0 に て 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I I の 重 み 係 数 が 修 正 さ れ る 。 こ の 学 習 過 程 に お い て 、 補 正 教 師 信 号 I I 生 成 器 4 8 か ら の 多 値 補 正 教 師 信 号 I I と 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 1 4 3 力 ら 多 値 ス レ シ ョ ル ド 回 路 4 4 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ヅ ト 信 号 と が 完 全 に 一 致 す る こ と を 一 致 判 定 器 2 8 に て 検 出 す る と 学 習 を 終 了 さ せ る 。 一 致 し な い 場 合 は 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I の 学 習 を 再 開 し 、 多 値 補 正 教 師 信 号 I の 中 に 含 ま れ て い る 多 値 の 誤 差 を 削 減 し た 後 、 再 度 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I I の 学 習 を や り 直 せ ば 完 全 に 収 束 さ せ る こ と 力 s で き る 。 ま た 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 の 学 習 を や り 直 し そ の 誤 差 を 減 少 さ せ て 、 前 記 処 理 を 行 っ て も よ レ、 。 動 作 モ ー ド 制 御 器 4 6 は 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 4 2 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I I 4 3 の 順 序 で 順 次 学 習 を 行 う よ う に 制 御 し て お り 、 上 記 の 説 明 の ご と く 最 終 段 の 補 正 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク I 1 4 3 を 除 く 主 お よ び 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 4 1 、 4 2 で は 、 そ れ ぞ れ の 多 値 原 教 師 信 号 お よ び 多 値 補 正 教 師 信 号 I に 対 し て 完 全 に 収 束 さ せ る 必 要 が な い た め 、 大 幅 に 学 習 回 数 の 削 減 や 中 間 層 数 あ る い は 隠 れ ユ ニ ッ ト 数 の 削 減 が 出 来 る 。 ま た 、 最 終 段 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 3 も 多 値 の 誤 差 が 少 な く 殆 ど ゼ ロ の 成 分 を 持 っ た 多 値 補 正 教 師 信 号 I I を 用 い て 学 習 さ せ る こ と か ら 、 簡 単 に 収 束 し 多 値 補 正 教 師 信 号 I I と 一 致 し た 多 値 出 力 ュ ニ ッ ト 信 号 を 送 出 で き る 。
並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 0 の 実 行 処 理 モ ー ド で は 、 こ の よ う な 学 習 に よ り 得 ら れ た 重 み 係 数 を そ れ ぞ れ 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 4 2 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 1 4 3 に 設 定 し 、 動 作 さ せ る こ と に よ り 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 力 ら 多 値 ス レ シ ョ ル ド 回 路 1 9 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 内 の 多 値 の 誤 差 を 補 正 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク I I ？ ^ ら 多 値 ス レ シ ョ ル ド 回 路 4 4 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 で 加 法 演 算 器 4 5 に て 補 正 し 、 そ の 後 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 か ら 多 値 ス レ シ ョ ル ド 回 路 1 7 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 内 の 多 値 の 誤 差 を 加 法 演 算 器 4 5 の 出 力 で 加 法 演 算 器 2 0 に て 補 正 し 、 学 習 用 入 力 信 号 に 対 し て 常 に 所 望 の 多 値 出 力 信 号 を 端 子 3 か ら 送 出 す る こ と が 出 未 *s> 。
本 実 施 例 で は 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 、 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク I 4 2 及 び I I 4 3 を 共 に 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と し た が 、 実 施 例 4 力 ら 6 に お い て 示 し た よ う に 、 全 て 相 互 結 合 あ る い は 多 層 二 ユ ー ラ ル ネ ッ ト ワ ー ク と 相 互 結 合 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク と を 組 み 合 わ せ た 構 成 も 可 能 で あ る 。 ま た 、 本 実 施 例 で は 、 2 つ の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い た 例 に つ い て 示 し た が 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 更 に 並 列 に 付 加 し 、 順 次 学 習 さ せ 、 最 終 段 の 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク に お い て そ の 多 値 補 正 教 師 信 号 と そ の 多 値 出 力 ュ ニ ッ 卜 信 号 が 完 全 に 一 致 す る よ う 確 実 に 収 束 さ せ る 構 成 に し て も よ レヽ 。 こ の よ う な 構 成 に す る こ と に よ り 、 主 ニ ュ 一 ラ ル ネ ッ ト ワ ー ク と 最 終 段 以外 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク は よ り 少 な い 回 数 で 学 習 を 終 え る こ と が 出 来 、 実 時 間 で 学 習 を 頻 繁 に 繰 り 返 す こ と が 必 要 な ニ ュ ー ラ ル ネ ッ ト ワ ー ク で は 非 常 に 有 効 で あ る 。
本 実 施 例 は 、 処 理 が 実 施 例 1 に 比 較 し 若 干 複 雑 に な る が 、 主 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 設 計 の 自 由 度 を 増 す こ と が で き 、 入 力 層 、 中 間 層 あ る い は 出 力 層 に お い て 多 く の ュ ニ ヅ ト 数 を 持 っ た 従 来 で は 高 速 で 安 定 な 収 束 が で き な い 大 規 模 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク で 実 現 出 来 る 。 施 例 8
実 施 例 8 と し て 、 実 施 例 7 よ り 学 習 に お い て 更 に 高 速 の 収 束 を 実 現 す る た め に 、 補 正 教 師 信 号 生 成 器 に お い て 誤 差 パ 夕 ー ン 変 換 を 用 い た 実 施 例 を 示 す 。 入 力 に 対 し て 主 ニ ュ 一 ラ レ ネ ッ ト ワ ー ク 4 1 と 2 段 の 補 正 ニ ュ ー ラ ル ネ ッ 卜 ヮ ー ク 4 2 、 4 3 と を 、 パ タ ー ン 逆 変 換 処 理 器 8
8 、 9 0 と 加 法 演 算 器 8 7 、 8 9 と を 介 し て 並 列 接 続 し た 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 8 6 の 一 構 成 例 を 図 8 に 示 す 。
本 発 明 の 並 列 多 値 ニ ュ 一 ラ ル ネ ッ 卜 ワ ー ク 8 6 の 学 習 処 理 モ ー ド に お け る 学 習 処 理 の 構 成 は 、 補 正 教 師 信 号 I 生 成 器 4 7 及 び 補 正 教 師 is I I 生 成 器 4 8 の 内 部 構 成 を 除 い て 全 て 図 1 7 と 同 様 で あ る 。 動 作 モ ー ド 制 御 器 4 6 か ら の 制 御 信 号 に よ り 、 ま ず 土 ニ ュ 一 ラ ル ネ ッ ト ヮ ー ク 4 1 の 学 習 を 開 始 さ せ る 。 動 作 は 実 施 例 7 の 主 ニ ュ ー ル ネ ッ 卜 ワ ー ク 4 1 と 同 じ で あ る 。 学 習 が 終 了 す る と 補 正 教 師 信 号 I 生 成 器 4 7 に お い て 、 多 値 原 教 師 信 号
T と 多 値 ス レ シ ョ ル ド 回 路 1 7 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と か ら 多 値 の 誤 差 を k め 、 実 施 例 2 あ る い は 3 の 補 正 教 師 信 号 生 成 器 5 2 、 5 3 の ご と く 予 め 指 定 さ れ た 誤 ノ タ ー ン に 対 し て パ タ ー ン 変 換 を 施 し 、 多 値補 正 教 師 号 I と し て 補 正 教 師 信 号 I 生 成 器 4 7 に 記 憶 さ せ る 。 次 に 、 動 作 モ ー ド 制 御 器 4 6 か ら の 制 御 信 号 に よ り 、 補 正 ニ ュ 一 ラ ル ネ ッ 卜 ヮ 一 ク I 4 2 の 学 習 を 開 始 さ せ る 多 値 補 正 教 師 信 号 I が 補 正 教 師 信 号 I 生 成 器 4 Ί か ら 読 み だ さ れ 、 減 算 器 2 5 に て 得 ら れ た 誤 差 信 号 を 基 に 重 み 係 数 制 御 器 2 6 に お い て 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 4 2 の 重 み 係 数 が 修 正 さ れ る 。 規 定 の 学 習 が 終 了 す る と 、 補 正 教 師 信 号 I I 生 成 器 4 8 に て 多 値 補 正 教 師 信 号 I と 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク I 4 2 3 ^ ら 多 値 ス レ シ ヨ リレ ド 回 路 1 9 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 と か ら 多 値 の 誤 差 を 求 め 、 実 施 例 2 あ る い は 3 の 教 師 信 号 生 成 器 5 2 、 5 3 の ご と く 予 め 指 定 さ れ た 誤 差 パ タ ー ン を パ タ ー ン 変 換 し て 多 値 補 正 教 師 信 号 I I と し て 補 正 教 師 信 号 I I 生 成 器 4 8 に 記 憶 さ せ る 。 こ こ で 、 補 正 教 師 信 号 I 生 成 器 4 7 及 び 補 正 教 師 信 号 I I 生 成 器 4 8 と の 間 で 異 な っ た ノ タ ー ン 変 換 貝 U を 使 用 し て も よ い 。
補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I I 4 3 の 学 習 処 理 は 図 1 7 と 同 様 で あ る こ と 力 > ら 説 明 を 省 略 す る 。
並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 8 6 の 実 行 処 理 モ ー ド に お け る 実 行 処 理 の 構 成 を 図 1 8 に 示 す 。 入 力 端 子 2 に 並 列 接 続 さ れ た 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 と 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 4 2 と 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 1 4 3 と 、 多 値 ス レ シ ョ ル ド 回 路 1 7 、 1 9 と 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 1 4 3 力 ら の 出 力 ュ ニ ヅ ト 信 号 を 多 値 ィヒ す る 多 値 ス レ シ ョ ル ド 回 路 4 4 と 、 加 法 演 算 器 8 7 、 8 9 と 、 パ タ ー ン 逆 変 換 処 理 器 8 8 、 9 0 と 、 動 作 モ ー ド 制 御 器 4 6 と カゝ ら な る 。 実 行 処 理 モ ー ド で は 、 学 習 処 理 モ ー ド に お い て 得 ら れ た 重 み 係 数 を そ れ ぞ れ 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 、 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク I 4 2 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I I 4 3 に 設 定 し 、 動 作 さ せ る 。
パ タ ー ン 逆 変 換 処 理 器 9 0 で は 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I I 4 3 に 接 続 さ れ た 多 値 ス レ シ ョ ル ド 回 路 4 4 力ゝ ら の 多 値 出 力 ュ ニ ッ 卜 信 号 に 対 し て 、 補 正 教 師 信 号 I I 生 成 器 4 8 内 で 変 換 処 理 さ れ た パ タ ー ン が 検 出 さ れ る と ノ タ ー ン 逆 変 換 し 出 力 さ れ 、 多 値 ス レ シ ョ ル ド 回 路 1 9 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と そ れ ぞ れ 対 応 し た ェ レ メ ン ト 毎 に 加 法 演 算 器 8 9 で 力 D 法 演 算 し て 出 力 す る 。 更 に 、 そ れ ぞ れ の 出 力 を パ タ ー ン 逆 変 換 処 理 器 8 8 に 入 力 し て 、 補 正 教 師 信 号 I 生 成 器 4 7 内 で 変 換 処 理 さ れ た パ タ ー ン を 検 出 し ノ、' タ ー ン 逆 変 換 処 理 を 行 な い 出 力 し 、 多 値 出 力 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 に 接 続 さ れ た 多 値 ス レ シ ョ ル ド 回 路 1 7 か ら の 多 値 出 力 ュ ニ ッ ト 信 号 と 加 法 演 算 器 8 7 に よ り 加 法 演 算 す る 。 こ れ に よ り 主 ニ ュ — ラ ル ネ ッ ト ワ ー ク 4 1 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク 1 4 2 力ゝ ら の そ れ ぞ れ の 多 値 の 誤 差 を 補 正 し 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 8 6 の 多 値 出 力 信 号 0 と し て 学 習 用 入 力 信 号 に 対 し て 常 に 所 望 の 多 値 出 力 信 号 を 端 子 3 を 介 し て 送 出 さ せ る 。
主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 4 1 、 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク 1 4 2 、 補 正 ニ ュ ー ラ ル ネ ヅ 卜 ワ ー ク I 1 4 3 の 順 序 で 順 次 学 習 を 行 う 際 、 上 記 の 説 明 の ご と く 主 お よ び 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 1 4 1 、 4 2 で は 、 そ れ ぞ れ の 多 値 原 教 師 信 号 お よ び 多 値 補 正 教 師 信 号 I に 対 し て 完 全 に 収 束 さ せ る 必 要 力 S な く 、 ま た 、 互 レヽ に 距 離 が 離 れ た 収 束 し や す い 多 値 補 正 教 師 信 号 I 及 び I I を 用 い る こ と か ら 学 習 回 数 の 大 幅 な 削 減 や 中 間 層 数 あ る い は 中 間 ュ ニ ッ ト （ 隠 れ ュ ニ ヅ ト ） 数 の 大 幅 な 削 減 が 可 能 と な る
。 ま た 、 最 終 段 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク I 1 4 3 で は 、 多 値 の 誤 差 パ タ ー ン の 種 類 が 非 常 に 少 な く 、 更 に 学 習 し や す い パ タ ー ン に 変 換 さ れ た 多 値 補 正 教 師 信 号 I I を 用 い て 学 習 さ せ る こ と か ら 、 非 常 に 簡 単 に 収 束 し 多 値 補 正 教 師 信 号 I I と 一 致 し た 多 値 出 力 ュ ニ ッ ト 信 号 を 多 値 ス レ シ ョ ル ド 回 路 4 4 力 ら 容 易 に 送 出 で き る 。
本 実 施 例 で は 、 実 施 例 7 と 同 様 に 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 最 終 段 以 外 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク は 非 常 に 少 な い 回 数 で 学 習 を 終 え る こ と が で き 、 実 時 間 で 学 習 を 頻 繁 に 繰 り 返 す こ と が 必 要 な 並 列 多 値 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク で は 非 常 に 有 効 で あ る 。
ま た 、 本 実 施 例 は 、 処 理 が 実 施 例 7 に 比 較 し 若 干 複 雑 に な る が 、 主 及 び 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 設 計 の 自 由 度 を 増 す こ と が で き る 。 そ の 結 果 、 入 力 層 、 中 間 層 あ る い は 出 力 層 に お い て 多 く の ュ ニ ッ ト 数 を 持 っ た 従 来 で は 高 速 で 確 実 な 収 束 が で き な い 大 規 模 多 値 二 ユ ー ラ ル ネ ッ ト ワ ー ク を 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク で 実 現 で き る 。
以 上 の 実 施 例 2 、 3 及 び 8 に お い て 示 し た ご と く 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク に 於 て ノヽ' タ ー ン 変 換 を 伴 っ た 補 正 教 師 信 号 を 用 い て 学 習 さ せ る こ と が で き る 並 列 多 値 二 ユ ー ラ ル ネ ッ ト ワ ー ク で あ れ ば 、 上 記 の 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 以 外 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い て も よ レヽ 。 ま た 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と し て は 教 師 信 号 を 用 い な い ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 適 用 し た 場 合 も 本 願 発 明 の 権 利 範 囲 内 で あ る 。
以 上 の 実 施 例 1 一 8 に お い て 、 多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク あ る い は 相 互 結 合 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 前 提 に 説 明 し た が 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と し て 多 値 教 師 信 号 を 用 い て 学 習 さ せ る こ と が で き る ニ ュ ー ラ ル ネ ッ ト ワ ー ク で あ れ ば 、 上 記 以 外 の ニ ュ ー ラ ル ネ ッ ト ヮ ー ク を 用 い て も 良 い 。
産 業 上 の 利 用 可 能 性
以 上 述 べ た よ う に 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク は 、 入 力 に 対 し て 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 少 な く と も 1 つ 以 上 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と を 入 力 に 対 し て 並 列 に 接 続 し 、 そ れ ぞ れ を 順 次 学 習 さ せ 、 そ れ ぞ れ の 主 及 び 補 正 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク か ら 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 を 加 法 演 算 す る こ と に よ り 、 学 習 用 入 力 信 号 に 対 し て 所 望 の 多 値 出 力 信 号 を 送 出 さ せ る こ と が 簡 単 に 出 来 る 。
更 に 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ 卜 ワ ー ク に お い て 、 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 順 次 学 習 さ せ る 際 に 、 誤 差 （ 差 分 ） を 基 に 少 な い 種 類 で 而 も 互 い に 距 離 が 離 れ た 多 値 補 正 教 師 信 号 を 生 成 し 、 こ れ を 用 い て 補 正 二 ユ ー ラ ル ネ ッ ト ワ ー ク を 学 習 さ せ る こ と に よ り 、 そ の 収 束 速 度 を 大 幅 に 改 善 で き 、 学 習 用 入 力 信 号 に 対 し て 所 望 の 多 値 出 力 信 号 を 容 易 に 送 出 さ せ る こ と が で き る 。
従 っ て 、 従 来 方 式 に よ る ニ ュ ー ラ ル ネ ッ ト ワ ー ク に 比 ベ て 、 一 段 と 少 な い 中 間 層 ュ ニ ッ ト あ る い は 隠 れ ュ ニ ヅ ト を 用 い 、 且 つ 非 常 に 少 な い 学 習 回 数 と 低 い 演 算 精 度 を 持 っ た 重 み 係 数 と で 高 速 か つ 確 実 に 並 列 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 等 価 的 に 収 束 さ せ 所 望 の 出 力 信 号 を 送 出 す る こ と が で き 、 そ の ハ ー ド ゥ ヱ ァ 規 模 あ る い は 演 算 規 模 を 大 幅 に 削 減 で き る 。
本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い る こ と に よ り 、 実 現 が 困 難 な 大 規 模 な 多 値 論 理 回 路 な ど を 短 時 間 で 自 由 に 設 計 し 実 現 す る こ と や 、 こ れ ま で 迅 速 な 学 習 が 必 要 で 、 且 つ 完 全 な 収 束が 要 求 さ れ る 人 口 知 能 シ ス テ ム や 検 索 シ ス テ ム 、 デ ー タ 変 換 、 デ ー タ 圧 縮 、 多 値 画 像 処 理 さ ら に は 通 信 シ ス テ ム な ど へ の 幅 広 い 応 用 が で き る な ど の 非 常 に 幅 広 い 効 果 を 有 し て い る 。
ま た 、 学 習 し た 重 み 係 数 を そ れ ぞ れ 複 数 組 用 意 し 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 重 み 係 数 を 切 り 替 え 設 定 す れ ば 、 一 定 遅 延 を 持 っ た プ ロ グ ラ マ ブ ル な 大 規 模 可 変 多 値 論 理 回 路 も 容 易 に 実 現 で き 、 ま た 、 状 況 に 応 じ て 短 時 間 で 学 習 仕 直 す こ と に よ り 同 一 ハ ー ド ゥ エ ァ 上 に 新 た な 大 規 模 多 値 論 理 回 路 も 実 現 出 来 る 。 特 に 、 本 発 明 の 並 列 多 値 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク を 低 い 内 部 演 算 精 度 を 持 っ た 同 一 の 複 数 の ニ ュ ー ロ L S I チ ヅ プ を 用 い て 構 成 す る こ と に よ り 、 並 列 処 理 機 能 と 柔 軟 性 に 富 ん
° 2
^ ^ ^ ^ ^ ^i ^ ^ ^ - ^ ^ 一 て - 製 ^ ^ ^ m i m i ^ <^ - ^ ^ 一 て - m ^ ^ 、 * ¾ 音 ^ o? s w富 ^ s驟 扉 ^ ?· lP£lO/P6diflDd 0^950/56 OAV

Claims

請 求 の 範 囲
( 1 ) 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 少 な く と も 1 っ 以 上 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と を 入 力 に 対 し て 並 列 接 続 し 、 予 め 用 意 さ れ た 学 習 用 入 力 信 号 に 対 し て 多 値 原 教 師 信 号 を 用 い て 学 習 さ せ た 該 主 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク と 、 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 出 力 ユ ニ ッ ト 信 号 を 多 値 化 し 多 値 出 力 ュ ニ ッ ト 信 号 を 出 力 す る 多 値 ス レ シ ョ ル ド 回 路 と 、 該 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 出 力 ュ ニ ッ ト 信 号 を 多 値 化 し 多 値 出 力 ュニ ッ 卜 信 号 を 出 力 す る 多 値 ス レ シ ョ ル ド 回 路 と 、 該 学 習 用 入 力 信 号 に 対 す る 該 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら 該 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 該 多 値 出 力 ュ ニ ッ ト 信 号 と 多 値 原 教 師 信 号 と の 多 値 の 誤 差 を 、 該 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら 該 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 該 多 値 出 力 ュ ニ ッ ト 信 号 を 用 い て 補 正 で き る よ う 学 習 さ せ た 少 な く と も 1 つ 以 上 の 該 補 正 ニ ュ ー ラ ル ネ ヅ 卜 ワ ー ク と 、 主 及 び 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク 力ゝ ら 該 多 値 ス レ シ ョ ル ド を 介 し て 得 ら れ た 該 多 値 出 力 ュ ニ ヅ ト 信 号 を そ れ ぞ れ 加 法 演 算 し 送 出 す る 手 段 と を 少 な く と も 具 備 し 、 該 主 ニ ユ ー ラ ル ネ ッ ト ワ ー ク 力 ら 該 多 値 ス レ シ ョ ル ド を 介 し て 得 ら れ た 該 多 値 出 力 ュ ニ ッ 卜 信 号 内 の 該 誤 差 を 補 正 し て 所 望 の 多 値 出 力 信 号 が 得 ら れ る よ う 構 成 し た 並 列 多 値 二 ユ ー ラ ル ネ ヅ ト ワ ー ク 。
( 2 ) 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク と 少 な く と も 1 っ 以 上 の 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク と を 入 力 に 対 し て 並 列 接 続 し 、 予 め 用 意 さ れ た 学 習 用 入 力 信 号 に 対 し て 多 値 原 教 師 ία を 用 い て 学 習 さ せ た 該 主 ニ ュ ー ラ ル ネ ヅ ト ヮ 一 ク と 、 該 主 ニ ュ 一 ラ ル ネ ヅ ト ヮ ー ク の 出 力 ュ ニ ッ ト 信 号 を 多 値 化 し 多 値 出 力 ュ ニ ヅ ト 信 を 出 力 す る 多 値 ス レ シ ョ ル ド 回 路 と 、 該 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 出 力 ュ 二 ッ ト 信 号 を 多 値 化 し 多 値 出 力 ュ ニ ヅ ト 信 号 を 出 力 す る 多 値 ス レ シ ョ ル ド 回 路 と 、 該 多 値 原 教 師 信 号 と 該 学 習 用 入 力 信 号 に 対 す る 該 主 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク か ら 該 多 値 ス レ シ ョ ル F 回 路 を 介 し て 得 ら れ た 該 多 値 出 为 ェ ニ ッ 卜 信 号 と の 多 値 の 誤 差 を 求 め 、 少 な く と も 一 部 の 誤 差 の パ 夕 一 ン を 予 め 決 め ら れ た パ タ ー ン に 変 換 し た 誤 差 を 補 正 教 師 信 号 と し 学 習 さ せ た 該 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ 一 ク と 、 該 補 正 二 ユ ー ラ ル ネ ッ ト ヮ — ク か ら 該 多 値 ス レ シ 3 ル ド 回 路 を 介 し て 得 ら れ た 該 多 値 出 力 ュ ニ ッ 卜 信 号 を 基 に 変 換 さ れ た ノ、' 夕 一 ン を 逆 変 換 し 元 の 多 値 の 誤 差 に 戻 し 、 主 二 ユ ー ラ ル ネ ッ 卜 ワ ー ク か ら 該 多 値 ス レ シ ョ レ ド 回 路 を 介 し て 得 ら れ た 該 多 値 出 力 ュ ニ ッ ト 信 号 と 加 法 演 算 し 送 出 す る 手 段 と を 少 な く と も 具 備 し 、 該 主 二 ユ ー ラ ル ネ V 卜 ワ ー ク か ら 該 多 値 ス レ シ ョ ル ド を 介 し て 得 ら れ た 該 多 値 出 力 ュ ニ ッ ト 信 号 内 の 該 誤 差 を 補 正 し て 所 望 の 多 値 出 力 信 号 が 得 ら れ る よ う 構 成 し た 並 列 多 値 二 ユ ー ラ ル ネ V h ワ ー ク
( 3 ) 請 求 の 範 囲 2 に 記 載 の 並 列 多 値 ニ ュ ー ラ ル ネ ッ 卜 ヮ 一 ク に お い て 、 該 誤 差 を 誤 り 訂 正 符 号 処 理 を 用 い て 変 換 し 補 正 教 師 信 号 と す る こ と を 特 徴 と し た 並 列 多 値 二 ユ ー ラ ル ネ ッ ト ワ ー ク 。
( 4 ) 請 求 の 範 囲 1 、 2 及 び 3 に 記 載 の 並 列 多 値 ニ ュ 一 ラ ル ネ ヅ ト ワ ー ク に お い て 、 最 終 段 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 の 際 に 、 該 補 正 ニ ュ ー ラ ル ネ ッ ト ヮ ー ク か ら 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 が そ の 多 値 補 正 教 師 信 号 と 完 全 に 一 致 し な い 場 合 、 該 最 終 段 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 隠 れ ュ ニ ッ ト 数 を 増 や し 再 度 学 習 さ せ 該 多 値 出 力 ュ ^ ッ 卜 信 号 と 該 多 値 補 正 教 師 信 号 と を 完 全 に 一 致 さ せ る こ と を 特 徵 と し た 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 。
( 5 ) 請 求 の 範 囲 1 、 2 、 3 及 び 4 に 記 載 の 多 値 ニ ュ 一 ラ ル ネ ヅ 卜 ワ ー ク に お い て 、 最 終 段 補 正 ニ ュ ー ラ ル ネ ヅ ト ワ ー ク の 学 習 の 際 に 、 該 補 正 ニ ュ ー ラ ル ネ ヅ ト ヮ ー ク カゝ ら 多 値 ス レ シ ョ ル ド 回 路 を 介 し て 得 ら れ た 多 値 出 力 ュ ニ ッ ト 信 号 が そ の 多 値 補 正 教 師 信 号 と 完 全 に 一 致 し な い 場 合 、 主 ニ ュ ー ラ ル ネ ッ ト ワ ー ク あ る い は 前 段 の 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 学 習 回 数 や 隠 れ ュ ニ ッ ト 数 を 増 や し そ れ ぞ れ 再 度 学 習 し な お し 、 該 最 終 段 補 正 ニ ュ ー ラ ル ネ ッ ト ワ ー ク か ら の 該 多 値 出 力 ュ ニ ッ ト 信 号 を 完 全 に 該 多 値 補 正 教 師 信 号 に 一 致 さ せ る こ と を 特 徴 と し た 並 列 多 値 ニ ュ ー ラ ル ネ ッ ト ワ ー ク 。
PCT/JP1994/001341 1993-08-13 1994-08-12 Reseau neuronal multivalue parallele WO1995005640A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US08/406,905 US5768476A (en) 1993-08-13 1994-08-12 Parallel multi-value neural networks
JP50685995A JP3328935B2 (ja) 1993-08-13 1994-08-12 並列多値ニューラルネットワーク

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP22048493 1993-08-13
JP5/220484 1993-08-13
JP6442894 1994-03-09
JP6/64428 1994-03-09

Publications (1)

Publication Number Publication Date
WO1995005640A1 true WO1995005640A1 (fr) 1995-02-23

Family

ID=26405539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1994/001341 WO1995005640A1 (fr) 1993-08-13 1994-08-12 Reseau neuronal multivalue parallele

Country Status (3)

Country Link
US (1) US5768476A (ja)
JP (1) JP3328935B2 (ja)
WO (1) WO1995005640A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6789226B2 (en) 2000-06-08 2004-09-07 Nec Corporation Decoder and method of decoding block codes
US7024612B2 (en) 2000-09-29 2006-04-04 Nec Corporation Correlation matrix learning method and apparatus, and storage medium therefor

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50005798D1 (de) * 1999-06-23 2004-04-29 Siemens Ag Anordnung und verfahren sowie computerprogramm-erzeugnis und computerlesbares speichermedium zur rechnergestützten kompensation eines ungleichgewichtszustands eines technischen systems
AU7757200A (en) * 1999-08-09 2001-03-05 Preeth Kumar Patil Discrete computer system
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
EP1298581A1 (fr) * 2001-09-27 2003-04-02 C.S.E.M. Centre Suisse D'electronique Et De Microtechnique Sa Procédé et dispositif pour calculer les valeurs des neurones d'un réseau neuronal
US7010513B2 (en) * 2003-04-14 2006-03-07 Tamura Raymond M Software engine for multiple, parallel processing with neural networks
US7814038B1 (en) 2007-12-06 2010-10-12 Dominic John Repici Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks
US8874498B2 (en) 2011-09-16 2014-10-28 International Business Machines Corporation Unsupervised, supervised, and reinforced learning via spiking computation
US8738554B2 (en) 2011-09-16 2014-05-27 International Business Machines Corporation Event-driven universal neural network circuit
US8799199B2 (en) 2011-12-14 2014-08-05 International Business Machines Corporation Universal, online learning in multi-modal perception-action semilattices
US8626684B2 (en) 2011-12-14 2014-01-07 International Business Machines Corporation Multi-modal neural network for universal, online learning
US9584259B2 (en) * 2013-06-19 2017-02-28 Mitsubishi Electric Research Laboratories, Inc. Quaternary block-coded high-dimensional modulation for coherent optical communications
US10453476B1 (en) * 2016-07-21 2019-10-22 Oben, Inc. Split-model architecture for DNN-based small corpus voice conversion
US11769040B2 (en) 2018-09-10 2023-09-26 Nvidia Corp. Scalable multi-die deep learning system
US11270197B2 (en) 2019-03-12 2022-03-08 Nvidia Corp. Efficient neural network accelerator dataflows
WO2022246309A2 (en) * 2021-05-21 2022-11-24 Mayo Foundation For Medical Education And Research Analyzing and selecting predictive electrocardiogram features

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02178759A (ja) * 1988-12-28 1990-07-11 Sharp Corp 神経回路網

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3659089A (en) * 1970-12-23 1972-04-25 Ibm Error detecting and correcting system and method
US3798606A (en) * 1971-12-17 1974-03-19 Ibm Bit partitioned monolithic circuit computer system
JPS592057B2 (ja) * 1979-02-07 1984-01-17 株式会社日立製作所 エラ−訂正・検出方式
US5227993A (en) * 1986-03-04 1993-07-13 Omron Tateisi Electronics Co. Multivalued ALU
US5053974A (en) * 1987-03-31 1991-10-01 Texas Instruments Incorporated Closeness code and method
US4949293A (en) * 1987-09-25 1990-08-14 Kabushiki Kaisha Toshiba Method and apparatus for computing residue with respect to arbitrary modulus
US5095443A (en) * 1988-10-07 1992-03-10 Ricoh Company, Ltd. Plural neural network system having a successive approximation learning method
JP2517410B2 (ja) * 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
US5253328A (en) * 1989-11-17 1993-10-12 Microelectronics & Computer Technology Corp. Neural-network content-addressable memory
US5329611A (en) * 1990-05-22 1994-07-12 International Business Machines Corp. Scalable flow virtual learning neurocomputer
US5216750A (en) * 1990-06-07 1993-06-01 Texas Instruments Incorporated Computation system and method using hamming distance
US5309525A (en) * 1990-06-14 1994-05-03 Canon Kabushiki Kaisha Image processing apparatus using neural network
US5295227A (en) * 1991-07-09 1994-03-15 Fujitsu Limited Neural network learning system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02178759A (ja) * 1988-12-28 1990-07-11 Sharp Corp 神経回路網

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6789226B2 (en) 2000-06-08 2004-09-07 Nec Corporation Decoder and method of decoding block codes
US7024612B2 (en) 2000-09-29 2006-04-04 Nec Corporation Correlation matrix learning method and apparatus, and storage medium therefor

Also Published As

Publication number Publication date
JP3328935B2 (ja) 2002-09-30
US5768476A (en) 1998-06-16

Similar Documents

Publication Publication Date Title
WO1995005640A1 (fr) Reseau neuronal multivalue parallele
US9361577B2 (en) Processing device and computation device
CN112836811A (zh) 神经形态设备及包括其的神经形态系统
Yamada et al. Dynamical integration of language and behavior in a recurrent neural network for human–robot interaction
JPH03250244A (ja) 情報処理装置
JP6970058B2 (ja) 演算装置
US20200286553A1 (en) In-memory computation device with inter-page and intra-page data circuits
WO2017177442A1 (zh) 支持离散数据表示的人工神经网络正向运算装置和方法
CN112749795A (zh) 堆叠神经形态器件和神经形态计算系统
CN112152619A (zh) 模数转换器和包括该模数转换器的神经形态计算设备
Ku et al. A study of the Lamarckian evolution of recurrent neural networks
CN111291274A (zh) 一种物品推荐方法、装置、设备及计算机可读存储介质
JP2019095860A (ja) ニューラルネットワーク装置および演算装置
US5347613A (en) MOS multi-layer neural network including a plurality of hidden layers interposed between synapse groups for performing pattern recognition
Feng et al. Further results on robust stability of bidirectional associative memory neural networks with norm-bounded uncertainties
KR930009065B1 (ko) 다층신경회로망 및 그 회로설계방법
JPH0520294A (ja) ニユーラルネツトワーク型情報処理装置
Jabr et al. Modify bidirectional associative memory (MBAM)
Vinod et al. Growing nonuniform feedforward networks for continuous mappings
JPH04237388A (ja) ニューロプロセッサ
JPH07121494A (ja) 並列ニューラルネットワーク
Lu et al. Hybrid BP-GA for multilayer feedforward neural networks
US20220237452A1 (en) Neural network device, information processing device, and computer program product
JPH11120158A (ja) 階層型ニューラルネットワークの学習方法
JPH0243665A (ja) ニューラルネットワーク装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 08406905

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase