DE4309957C1

DE4309957C1 - Television signal recognition system

Info

Publication number: DE4309957C1
Application number: DE4309957A
Authority: DE
Inventors: Klaus Dr Ing Schulze
Original assignee: MEDIA CONTROL MUSIK MEDIEN
Current assignee: MEDIA CONTROL GMBH MEDIEN-ANALYSEN, 76530 BADEN-BA
Priority date: 1993-03-26
Filing date: 1993-03-26
Publication date: 1994-07-14
Anticipated expiration: 2013-03-27

Abstract

The signal recognition system provides a brightness signal for a number of pixels at given points within each full-frame image, the brightness signals being subtracted from one another in a defined order and the polarity of each obtd. difference is represented as a digital bit, all the bits together providing a test bit sequence. This is repeated for a number of successive full-frame images. Each received signal is subjected to the same process to provide a reference bit sequence for each full-frame image, an identification indicated when an acceptable number of test bit sequences and reference bit sequences are in agreement.

Description

Die Erfindung bezieht sich auf ein Verfahren zum Wiederer kennen von unikaten Bildsignalen, insbesondere von Fernseh bildern und eine Vorrichtung zur Durchführung des Verfahrens. Für verschiedene Zwecke wie z. B. statistische Auswertungen, Abrechnungen, etc. ist es wünschenswert, festzustellen, ob ein bestimmtes Bild oder eine bestimmte Bildfolge in einer Sendung vorhanden ist. Beispielsweise möchten Auftrag geber von Werbespots im Fernsehen überprüfen, ob und wann der Werbespot von einem Fernsehsender abgestrahlt wurde und auch, ob er in voller Länge abgestrahlt wurde oder gekürzt wurde. Ähnliches gilt für Spielfilme und sonstige Fernsehsendungen. Bisher wurde dies entweder von Personen überprüft, die das vollständige Programm überwachten und entsprechende Aufzeichnungen machten oder dadurch, daß das vollständige Programm auf Videorecordern aufgezeichnet wurde und anschließend die Abstrahlung bestimmter Sendungen darauf überprüft wurde. Diese Methoden sind sehr personal aufwendig und aufgrund menschlichen Versagens, Unaufmerk samkeit, etc. nicht zuverlässig genug.The invention relates to a method for restoring know from unique image signals, especially from television pictures and an apparatus for performing the method. For various purposes such as B. statistical evaluations, Bills, etc. it is desirable to determine whether a certain picture or a certain picture sequence in a shipment exists. For example, you want order Advertisers of TV commercials check whether and when the commercial was broadcast by a television station and also whether it was broadcast in full length or was cut. The same applies to feature films and others Television programs. So far this has been done either by people checked who monitored the full program and made corresponding records or by the full program recorded on VCRs and then the broadcast of certain programs has been checked for this. These methods are very personal complex and due to human error, neglect samkeit, etc. not reliable enough.

Eine ähnliche Problematik stellt sich auch bei der Überwach ung von Sprach- und Musiksendungen, wo dieses Problem in der EP 0 296 588 A2 dadurch gelöst wird, daß von den zu untersuchenden Tonsignalen jeweils Hüllkurven gebildet und diese Hüllkurven auf einen engen, niedrigen Frequenz bereich bandbegrenzt werden. Zeitliche Ausschnitte werden nach Digitalisierung in einem Speicher als "Masken" gespei chert. Bei der Überwachung von Sendungen werden dann die bandbegrenzten Hüllkurvensignale der zu untersuchenden Tonsignale in gleichlangen Abschnitten in einem zweiten Speicher zwischengespeichert. Innerhalb des Zeitraumes zwischen dem Eintreffen zweier aufeinanderfolgender zu untersuchender Signale wird dann der Inhalt des Zwischen speichers mit allen Masken des ersten Speichers verglichen, wobei bei einem vorgegebenen Grad der Übereinstimmung ein Erkennungssignal erzeugt wird.A similar problem also arises with surveillance voice and music broadcasts where this problem in EP 0 296 588 A2 is solved in that of the investigating sound signals each formed envelopes and these envelopes to a tight, low frequency band-limited range. Time clippings will be stored in a memory as "masks" after digitization chert. When monitoring shipments, the band-limited envelope signals of those to be examined Sound signals in equally long sections in a second Cached memory. Within the period between the arrival of two consecutive then examining signals becomes the content of the intermediate memory compared with all masks of the first memory, being at a given degree of agreement Detection signal is generated.

Eine naheliegende Lösung für die Überwachung von Fernseh sendungen wäre es, mit diesem aus der EP 0 296 588 bekannten Verfahren, die Tonsignale der Fernsehfilme, Werbespots, etc. auszuwerten. Dies führt aber nicht zu dem gewünschten Erfolg, da beispielsweise manche Werbespots, bei gleicher Bildfolge, regional mit anderem Text oder anderer Musik abgestrahlt werden.An obvious solution for television surveillance it would be broadcasts with this known from EP 0 296 588 Procedures, the sound signals of television films, commercials, etc. to evaluate. However, this does not lead to the desired one Success, as for example some commercials, with the same Sequence of images, regionally with different text or music be emitted.

Somit ist es erforderlich, das Bild oder die Bildfolge selbst auszuwerten und zu überprüfen, ob eine abgestrahlte Bildfolge mit einer Referenzbildfolge übereinstimmt.Thus it is necessary to use the picture or the picture sequence evaluate yourself and check whether a radiated Image sequence matches a reference image sequence.

Die DE-OS 24 14 809 zeigt einen Mustererkenner, bei dem das Bild in Mikrobereiche, d. h. eine Anzahl n von Pixeln aufgeteilt wird. Zur Komprimierung der Information werden Helligkeitsänderungsvektoren bezüglich der Mikrobereiche bestimmt. Für eine Mustererkennung ist zusätzlich ein Vergleicher zum Vergleichen mit mehreren voreingestellten Einheitsvektoren vorgesehen. Ein Vergleicherentscheider vergleicht den erzeugten Eigenschaftscode für jeden Mikrobereich mit einem gespeicherten Eigenschaftscode und erzeugt bei entsprechender Übereinstimmung ein Ausgangs signal.DE-OS 24 14 809 shows a pattern recognizer in which the image into micro areas, d. H. a number n of pixels is divided. To compress the information Brightness change vectors with respect to the micro-areas certainly. For a pattern recognition there is also an Comparator for comparing with several preset ones Unit vectors provided. A comparator decision maker compares the generated property code for everyone Micro area with a stored property code and generates an output if there is a corresponding match signal.

Verfahren zur Bilderkennung werden in verschiedenen Bereichen der Technik angewandt, beispielsweise bei der industriellen Fertigung, um festzustellen, ob ein bestimmter Gegenstand in einer bestimmten Ausrichtung auf einem Förderband trans portiert wird, vgl. DE-A1-39 13 620, DE-A1-34 34 624, DE-A1 41 23 713, DE A1 40 34 742, DE-C2-30 01 588 oder DE-OS 24 26 803. All diese bekannten Verfahren untersuchen einzelne Bilder aber keine Bildfolgen. Wollte man mit diesen Verfahren Bildfolgen von Fernsehbildern von einer Wiederholfrequenz von 25 Vollbildern pro Sekunde anwenden, so würde der Aufwand unvertretbar ansteigen.Methods of image recognition are used in different areas applied in technology, for example in industrial Manufacturing to determine if a particular item trans in a certain orientation on a conveyor belt is ported, cf. DE-A1-39 13 620, DE-A1-34 34 624, DE-A1 41 23 713, DE A1 40 34 742, DE-C2-30 01 588 or DE-OS 24 26 803. All of these known methods are investigated by individuals Images but no sequences of images. You wanted with these procedures Sequences of television pictures from a repetition frequency of 25 frames per second would apply the effort increase unacceptably.

Aus der DE-C2-34 15 685 ist es bekannt, einen Szenenwechsel bei der Film- und Videoproduktion dadurch automatisch zu erkennen, daß eine Szene daraufhin überwacht wird, ob Änder ungen der Bildsignale auftreten, die auf ein sich innerhalb der Szene bewegendes Objekt zurückzuführen sind. Das Problem wird dort so gelöst, daß mittlere Helligkeitswerte eines Bildes gebildet und mit den mittleren Helligkeitswerten eines unmittelbar darauf folgenden Bildes laufend verglichen werden, wobei durch Bewegungen verursachte Helligkeitsänder ungen durch nachgeschaltete Filter eliminiert werden, derart, daß n diskrete Differenzwerte auf einen einzelnen Szenen wechselimpuls untersucht werden. Die aus dem Vergleich gewonnenen Ergebnisse werden dann automatisch bewertet und ausgegeben. Für die Wiedererkennung von als Unikate vorliegenden Referenz-Bildfolgen ist dieses Verfahren nicht geeignet, zumal gerade bei Werbesendungen über relativ lange Zeiträume von einigen Sekunden auch unbewegte Stand bilder gesendet werden und Szenenwechsel für das Wieder erkennen ganz bestimmter (unikater) Bildfolgen nicht aus sagekräftig sind.From DE-C2-34 15 685 it is known to change the scene this automatically increases in film and video production recognize that a scene is being monitored for changes The image signals occur which are on an inside object that moves the scene. The problem is solved there so that average brightness values of a Image and with the average brightness values of a picture immediately following it is continuously compared with brightness changes caused by movements are eliminated by downstream filters, such that n discrete difference values on a single scene alternating impulse to be examined. The one from the comparison The results obtained are then automatically evaluated and spent. For the recognition of unique pieces This method is not available for existing reference image sequences suitable, especially for commercials over relative long periods of a few seconds even stationary Pictures will be sent and scene changes for replay do not recognize very specific (unique) image sequences are significant.

Aus der GB-PS 1 603 940 ist ein Kamera-Überwachungssystem bekannt, das automatisch feststellt, ob sich im Kamerabereich befindliche Objekte bewegen. Hierzu werden Helligkeitswerte von mindestens zwei unterschiedlichen Bereichen der Szene abgetastet, in elektrische Signale umgewandelt und mit entsprechenden Werten einer nachfolgenden Abtastung ver glichen. Ändern sich die Helligkeitswerte an identischen Bildbereichen innerhalb kurz aufeinanderfolgender Zeitinter valle, so ist dies ein sicheres Zeichen für ein sich bewe gendes Objekt im Kamerabereich. Der gleiche Grundgedanke wird ebenfalls bei einem Überwachungssystem gemäß der GB-PS 12 79 451 angewandt. Für die Zwecke der vorliegenden Erfin dung ist dieses Verfahren ebenfalls nicht anwendbar, da länger dauernde Standbilder nicht erkannt werden können und da Helligkeitswechsel in aufeinanderfolgenden Bildern nicht genug Informationen enthalten, um als Unikat vorliegen de Bildfolgen einwandfrei wiedererkennen zu können.GB-PS 1 603 940 is a camera surveillance system known, which automatically determines whether there is in the camera area move objects. For this purpose, brightness values from at least two different areas of the scene sampled, converted into electrical signals and with corresponding values of a subsequent scan ver like. The brightness values change at identical ones Image areas within a short time interval valle, this is a sure sign of moving object in the camera area. The same basic idea is also used in a surveillance system according to GB-PS 12 79 451 applied. For the purposes of this invention This method is also not applicable because Still pictures that last longer cannot be recognized and there is a change in brightness in successive images does not contain enough information to be unique to be able to recognize image sequences perfectly.

Aufgabe der Erfindung ist es daher, ein Verfahren und eine Schaltungsanordnung der eingangs genannten Art zu finden, das mit hoher Sicherheit das Wiedererkennen von Bildern oder Bildfolgen gestattet. Ein weiteres Ziel der Erfindung liegt darin, das Verfahren weitestgehend in Echtzeit durch zuführen und auch zu überwachen, ob eine von vielen Bild folgen aktuell abgestrahlt wird. Dabei soll der technische Aufwand möglichst gering sein, was bedingt, die Datenmenge möglichst zu reduzieren, was wiederum Voraussetzung dafür ist, das Verfahren weitestgehend in Echtzeit ablaufen zu lassen.The object of the invention is therefore a method and To find circuit arrangement of the type mentioned at the outset, that with high certainty the recognition of pictures or sequences of images allowed. Another object of the invention is to go through the process largely in real time feed and also monitor whether one of many picture follow is currently being broadcast. The technical Effort should be as low as possible, which requires the amount of data to reduce as much as possible, which in turn is a prerequisite for this is to run the procedure largely in real time to let.

Diese Aufgabe wird durch die im Patentanspruch 1 angegebenen Merkmale gelöst. Vorteilhafte Ausgestaltung und Weiterbildun gen der Erfindung sind den Unteransprüchen zu entnehmen.This object is achieved by the specified in claim 1 Features resolved. Advantageous design and training gene of the invention can be found in the subclaims.

Für die Erkennung eines unikaten Bildes ist es mit Sicherheit ausreichend, alle Bildpunkte eines ausgestrahlten Bildes mit allen Bildpunkten eines Referenzbildes zu vergleichen. Dies würde jedoch zu einer zu vergleichenden Datenmenge führen, die in einer Echtzeitverarbeitung nicht mehr zu bewältigen wäre. Ein Vollbild einer Fernsehabstrahlung mit beispielsweise 620 Spalten und 512 Zeilen enthält 317.440 Pixel. Würde man hierbei die Luminanzwerte (Helligkeitswerte) auswerten und die Farbinformation unberücksichtigt lassen und mit einer Amplitudenauflösung der Luminanzwerte von 8 Bit arbeiten, was 256 Graustufen entspricht, so hätte man pro Vollbild eine Datenmenge von rund 317 Kbyte pro Bild. Bei 25 Vollbildern pro Sekunde entspräche dies einem zu verarbeitenden Datenfluß von rund 8 Mbyte pro Sekunde. Ein praktikabler und weitestgehend in Echtzeit arbeitender Ansatz zur Erkennung unikater Bildsignale muß also versuchen, mit Teilmengen dieses großen Datenumfanges auszukommen. Theoretisch genügt schon ein einzelnes Bildelement (Pixel) um bei störungsfreier Übertragung das gesuchte Bild wieder zu finden. Dabei wird man allerdings eine große Anzahl anderer Bilder identifizieren, die zufällig in diesem einen Pixel mit dem gesuchten Bild übereinstimmen (Falscherken nung). Ein Problem besteht also darin, eine möglichst geringe aber doch ausreichende Zahl von Bildmerkmalen zu definieren, die das Maß der Falscherkennung auf ein für den jeweiligen Anwendungszweck vertretbares Maß reduzieren.It is certainly for the recognition of a unique image sufficient, all pixels of a broadcast image to be compared with all pixels of a reference image. However, this would result in a volume of data to be compared lead to that in real-time processing no longer would be able to cope. A full screen of a television broadcast with, for example, 620 columns and 512 rows, contains 317,440 Pixel. Would the luminance values (brightness values) evaluate and ignore the color information and with an amplitude resolution of the luminance values of 8 bits work, which corresponds to 256 shades of gray you need around 317 Kbytes of data per frame Picture. At 25 frames per second, this would correspond to one data flow to be processed of around 8 Mbytes per second. A workable and largely real-time one Approach to recognizing unique image signals must therefore try manage with subsets of this large amount of data. In theory, a single picture element (pixel) is sufficient to get the image you are looking for with interference-free transmission to find. However, one becomes a large number identify other images that happen to be in this one Match pixels with the searched image (wrong recognition tion). So one problem is one that is as small as possible but to define a sufficient number of image features which the measure of misrecognition to one for each Reduce the application to an acceptable level.

Bei der Erfindung werden die Luminanzwerte (Helligkeitswerte) verschiedener Pixel erfaßt. Ein einziges Pixel ist wegen des immer vorhandenen Rauschens für einen Vergleich aber nicht geeignet. Wird beispielsweise der Luminanzbereich von 0 V bis 1 V mit 8 Bit digitalisiert codiert, so reprä sentiert eine Quantisierungsstufe der Digitalisierung einen Spannungsbereich von ca. 4 mV. Bei einem betrieblichen Störabstand von 40 dB bezogen auf einen 700 mV Weißwert beträgt die effektive Störamplitude 7 mV und ist damit doppelt so hoch wie eine Quantisierungsstufe. Der Luminanz wert eines Pixels schwankt somit zufällig um mehrere Quanti sierungsstufen. Beim Vergleich zweier entsprechender Pixel müßte man ein mehrere Stufen umfassendes Toleranzfenster zugrundelegen. Zusätzlich sprechen gegen die Verwendung eines einzelnen Pixels als Vergleichsmerkmal folgende Gründe: Bei der Bildspeicherung, -übertragung und der -erfassung kann es je nach verwendetem Verfahren zu zeitlichen Ungenau igkeiten kommen, die sich in einer zufälligen Positionsänder ung des Pixels, bezogen auf die Spalten oder Zeilen des Bildes, bemerkbar machen. Diese zeitliche Ungenauigkeit kann im Bereich von einigen Nanosekunden liegen. Es würden dann Pixel miteinander verglichen, die in Wirklichkeit keinen Bezug zueinander haben.In the invention, the luminance values (brightness values) different pixels detected. A single pixel is due of the always present noise for a comparison, however not suitable. For example, the luminance range digitized from 0 V to 1 V with 8 bits, so repr a quantization level of digitization Voltage range of approx. 4 mV. With an operational S / N ratio of 40 dB based on a 700 mV white value the effective interference amplitude is 7 mV and is therefore twice as high as a quantization level. The luminance the value of a pixel thus fluctuates randomly by several quanti levels. When comparing two corresponding pixels one would have to have a tolerance window spanning several levels underlying. In addition, speak against the use of a single pixel as a comparison feature the following reasons: In image storage, transmission and acquisition Depending on the method used, the timing may be inaccurate ices come up that change in a random position of the pixel, based on the columns or rows of the Picture. This inaccuracy in time can be in the range of a few nanoseconds. It would then compared pixels with each other, which in reality have no relation to each other.

Um diese Schwierigkeiten zu umgehen, werden bei der Erfindung sogenannte Cluster gebildet, die aus mehreren Pixeln beste hen. Dabei wird der mittlere Luminanzwert der Pixel eines Clusters oder die Summe der Luminanzwerte der Pixel eines Clusters bestimmt. Vorzugsweise sind die Cluster aus einem räumlich zusammenhängenden Bereich des Bildes entnommen und wiederum hier vorzugsweise aus einem quadratischen Bereich.To avoid these difficulties, the invention so-called clusters formed, which consist of several pixels hen. The mean luminance value of the pixels becomes one Clusters or the sum of the luminance values of the pixels one Clusters determined. The clusters are preferably made of one spatially connected area of the image and again preferably from a square Area.

Für die Auswahl der Größe der Cluster bei der Erfindung waren folgende Überlegungen maßgeblich: Statistische Messun gen an tausenden von Bildern haben gezeigt, daß der von der Norm vorgesehene Spektralbereich für Videosignale von 5 Mhz bei weitem nicht ausgenutzt wird. Demnach bestehen Bilder im Mittel überwiegend aus tieffrequenten Informatio nen, was auch aus dem Bildinhalt verständlich wird, wo typische Objekte mit bestimmter Mindestausdehnung dargestellt werden. Es zeigte sich allerdings auch, daß es keine bevor zugte Objektgröße gibt, sondern einen gleitenden Übergang von feinster Struktur zu groben, homogenen Flächen. Meßtech nisch kann man diese Bildeigenschaften durch die Erfassung der zeitlich gemittelten Varianz bzw. der Standardabweichung eines Zeilenclusters beschreiben. Ein völlig homogenes Gebiet konstanter Luminanz würde die Varianz 0 aufweisen; ein für den gesamten Bildinhalt repräsentatives Cluster hätte die größtmögliche Varianz.For the selection of the size of the clusters in the invention The following considerations were decisive: Statistical measurement Many thousands of pictures have shown that that of the spectral range for video signals from 5 MHz is far from being exploited. Accordingly exist Images on average predominantly from low-frequency information what can also be understood from the picture content, where Typical objects with a certain minimum extent are shown become. However, it also turned out that there was none before object size, but a smooth transition from the finest structure to coarse, homogeneous surfaces. Measuring tech These image properties can be niche by capturing them the time-averaged variance or standard deviation describe a row cluster. A completely homogeneous Area of constant luminance would have the variance 0; a cluster representative of the entire image content would have the greatest possible variance.

Fig. 1 zeigt die Standardabweichung eines Spielfilms (Wer bung) in Abhängigkeit von der Clustergröße und zum anderen die gleiche Messung an bandbegrenztem Rauschen (6 Mhz) als Videosignal. Für die Wahl der Clustergröße gibt es nach diesen Messungen keine eindeutigen, scharf abgrenzbaren Kriterien. Sie sollte gerade so groß sein, daß die genannten Zeitprobleme unterdrückt und der Einfluß des Rauschens gemindert wird. Sie sollten aber nicht so groß sein, daß relevante Bilddetails durch die Mittelwertbildung nicht mehr erkannt werden. Als vernünftiger Kompromiß wird bei einem bevorzugtem Ausführungsbeispiel der Erfindung eine Clustergröße von 5×5 Pixeln, angeordnet im Quadrat, gewählt. Diese Wahl ist zunächst jedoch nur als erste Näherung an ein relatives Optimum anzusehen und kann in gewissen Größen geändert werden. Bei dieser Clustergröße wird der Störabstand im günstigsten Fall um den Faktor 5 entsprechend 14 dB durch Mittelung verbessert. Fig. 1 shows the standard deviation of a feature film (advertising) depending on the cluster size and on the other hand the same measurement of band-limited noise (6 Mhz) as a video signal. According to these measurements, there are no clear, clearly defined criteria for the choice of cluster size. It should be just large enough that the time problems mentioned are suppressed and the influence of noise is reduced. However, they should not be so large that relevant image details are no longer recognized by averaging. In a preferred embodiment of the invention, a cluster size of 5 × 5 pixels, arranged in a square, is chosen as a reasonable compromise. However, this choice is initially only to be seen as a first approximation of a relative optimum and can be changed in certain sizes. With this cluster size, the signal-to-noise ratio is at best improved by a factor of 5, corresponding to 14 dB, by averaging.

Bei der Erfindung werden mehrere Mittelwerte solcher Cluster miteinander "verglichen". Es stellen sich die Fragen, wie viele Cluster verwendet werden, wie diese in Form von "Masken" auf dem Bild verteilt werden und wie sie zu ver gleichen sind. Aufgrund der in Echtzeit zu verarbeitenden Datenmenge, der heutigen Arbeitsgeschwindigkeit von Hardware- Bausteinen und den Genauigkeitsanforderungen an die Bilder kennung kommt die Erfindung zu der Erkenntnis, daß es aus reicht, aus jedem Vollbild von 40 ms Dauer ein Merkmal von 10 Bit abzuleiten. Hierzu schlägt die Erfindung in einem Ausführungsbeispiel vor, 10 Cluster pro Vollbild zu verwenden und die mittlere Luminanz von in einer vor gegebenen Reihenfolge "benachbarter" Cluster miteinander zu vergleichen. Der Vergleich besteht hier in einer Differenzbildung der Luminanzwerte. Aus dieser Differenz wird dann das mathematische Vorzeichen (Signumfunktion) digital codiert. Mit anderen Worten wird bei dem Vergleich nur untersucht, welcher von zwei miteinander zu vergleichen den Clustern heller ist, d. h. einen größeren mittleren Luminanzwert hat. Um auch den Fall zu erfassen, daß zwei "benachbarte" Cluster innerhalb der bei der Digitalisierung auftretenden Quantisierung gleiche Helligkeitswerte haben, wird der Vergleich wie folgt durchgeführt:In the invention, several averages of such clusters "compared" with each other. The questions are how Many clusters are used, like this in the form of "Masks" are distributed in the picture and how to ver are the same. Due to the to be processed in real time Amount of data, today's working speed of hardware Building blocks and the accuracy requirements for the images The invention comes to the realization that it is known is enough, one feature from each full frame of 40 ms duration derived from 10 bits. To this end, the invention proposes in an embodiment, 10 clusters per frame to use and the mean luminance of in a pre given order of "neighboring" clusters to compare. The comparison here is one Difference formation of the luminance values. From this difference then the mathematical sign (signum function) digitally encoded. In other words, the comparison just examined which of two to compare the clusters are lighter, d. H. a bigger middle one Has luminance value. To include the case that two "neighboring" clusters within the digitization occurring quantization have the same brightness values, the comparison is carried out as follows:

Cluster (n) < Cluster (n + 1) = 1
Cluster (n) < = Cluster (n + 1) = 0.Cluster (n) <cluster (n + 1) = 1
Cluster (n) <= cluster (n + 1) = 0.

Zusätzlich kann für den Vergleich noch eine Hysterese vorgesehen sein, dergestalt, daß die erste Bedingung "Cluster (n) < Cluster (n + 1)" nur dann als erfüllt angesehen wird, wenn die Differenz der Luminanzwerte der beiden zu vergleichenden Cluster größer als ein vorgegebener Schwellwert ist, während für alle anderen Fälle die zweite Bedingung "Cluster (n) < = Cluster (n + 1)" als erfüllt angesehen wird. Der Schwellwert kann beispielsweise zwei Digitalisierungsstufen betragen.A hysteresis can also be used for the comparison be provided such that the first condition "Cluster (n) <cluster (n + 1)" only then fulfilled is considered when the difference in the luminance values of the two clusters to be compared larger than a given one Threshold is the second for all other cases Condition "Cluster (n) <= Cluster (n + 1)" as fulfilled is seen. The threshold can be two, for example Digitization levels are.

Bei zehn Clustern je Bild ergeben sich somit zehn Diffe renzen, die sich nach der entsprechenden Vorzeichencodierung als 10 Bit darstellen lassen. Bei diesem Vergleich wird der zehnte Cluster eines Vollbildes mit dem ersten Cluster des nächsten Vollbildes verglichen. Es wäre aber auch mög lich, den zehnten Cluster eines Vollbildes mit dem ersten Cluster desselben Vollbildes zu vergleichen. Diese Vorzei chencodierung (Signumfunktion) hat nicht nur den Vorteil einer enormen Datenreduktion, sondern auch, daß der Code unempfindlich gegenüber Pegelschwankungen der Luminanzwerte ist.With ten clusters per image, there are ten differences limit, which is based on the corresponding sign coding display as 10 bits. In this comparison the tenth cluster of a full screen with the first cluster of the next frame compared. But it would also be possible Lich, the tenth cluster of a full screen with the first Compare clusters of the same frame. This lead Chen coding (signum function) not only has the advantage an enormous data reduction, but also that the code insensitive to level fluctuations in the luminance values is.

Die Lage der Cluster und die Reihenfolge ihrer Abfrage ergibt sich indirekt aus dem Überlegungen zur Clustergröße. Während bei der Clusterbildung möglichst korrelierte Bild elemente, d. h. Pixel mit innerer Bindung der Bildbereiche zu einem Cluster zusammengefaßt wurden, müssen für die Lage der Cluster und die Reihenfolge ihrer Abfrage die einzelnen Cluster zur Verbesserung des Informationsgehaltes möglichst unabhängige Bildbereiche repräsentieren. Ihre Abfragereihenfolge wird daher so gewählt, daß sich im Mittel eine möglichst große Sprungweite ergibt. Der Abfrageweg wird dann maximal. Die Cluster können statistisch im Bild angeordnet werden und sind vorzugsweise möglichst gleich über den gesamten Bildbereich verteilt.The location of the clusters and the order in which they were queried arises indirectly from the cluster size considerations. While the picture is most correlated during cluster formation elements, d. H. Pixels with inner binding of the image areas have been combined into a cluster for the Location of the clusters and the order of their query individual clusters to improve the information content represent image areas that are as independent as possible. Your Query order is therefore chosen so that the average results in the largest possible jump distance. The query path then becomes maximum. The clusters can be statistically in the picture are arranged and are preferably the same as possible distributed over the entire image area.

Da pro Vollbild nur eine sehr kleine Anzahl, bei 10 Clustern pro Vollbild also nur 10 Bit verwendet werden, um ein Bild zu identifizieren, ist die Wahrscheinlichkeit einer Falsch erkennung noch recht hoch. Mit 10 Bit ließen sich theoretisch nur 2¹⁰ = 1024 verschiedene Bilder identifizieren. Jedes nur denkbare Bild ließe sich dann eindeutig einer Klasse von 1024 möglichen Bildern zuordnen. Für die Wiedererkennung unikater Bildsignale ist damit aber ein Merkmalsvektor von 10 Bit zu kurz. Since only a very small number is used per frame, ie only 10 bits for 10 clusters per frame, to identify an image, the probability of false detection is still quite high. With 10 bits, only 2 ¹⁰ = 1024 different images could theoretically be identified. Every conceivable picture could then be clearly assigned to a class of 1024 possible pictures. However, a feature vector of 10 bits is too short for the recognition of unique image signals.

Die Erfindung schlägt daher weiter vor, einen längeren Merkmalsvektor zu bilden, durch entsprechendes Abtasten mehrerer aufeinanderfolgender Bilder. In einem Ausfüh rungsbeispiel der Erfindung werden 51 aufeinanderfolgende Bilder ausgewertet, was bei 40 ms pro Vollbild dann einer Bildfolge von 2,04 Sekunden entspricht. Man erhält dann bei 51 Bildern à 10 Bit einen Merkmalsvektor von 510 Bit.The invention therefore further proposes a longer one Form feature vector by scanning accordingly several successive images. In one execution Example of the invention are 51 consecutive Images evaluated, which at 40 ms per frame then one Image sequence of 2.04 seconds corresponds. You then get with 51 images of 10 bits each, a feature vector of 510 bits.

Bei der beschriebenen Form des Datenformates mit 51 Bildern erhält man sehr gute Erkennungsergebnisse mit Übereinstimmun gen von über 90%. Gelegentliche zufällige Übereinstimmungen mit anderen Bildfolgen weisen einen Grad von höchstens 75% auf. Bei einer Erkennungsschwelle von ca. 85% betrug die Erkennungsrate in Laborversuchen mit einem Gerät nach der Erfindung 100% bei 0% Falscherkennungen. Dies galt für Bildsequenzen mit starkem szenischen Wechsel.With the described format of the data format with 51 pictures you get very good recognition results with agreement gen over 90%. Occasional random matches with other image sequences have a degree of at most 75% on. With a detection threshold of approx. 85% the detection rate in laboratory tests with a device of the invention 100% with 0% false detections. This was true for image sequences with strong scenic changes.

Unterscheiden sich die Bilder innerhalb einer Sequenz nicht, beispielsweise wenn mehrere oder alle aufeinanderfolgende Bilder gleich sind, was bei Standbildern der Fall ist, ist der Informationsgehalt des Merkmalsvektors von 510 Bit zu gering und es kommt zu Falscherkennungen. Der Merk malsvektor von 510 Bit ist ja dann streng periodisch aufge baut mit einer Periodizität von 10 Bit.If the images do not differ within a sequence, for example if several or all consecutive Images are the same, which is the case with still images, is the information content of the feature vector of 510 Bit too low and false detections occur. The note The malsvector of 510 bits is strictly periodic builds with a periodicity of 10 bits.

Nach einer Weiterbildung der Erfindung läßt sich der Infor mationsgehalt jedoch deutlich steigern, indem aufeinander folgenden Bildern unterschiedliche Merkmale entnommen werden. Nach diesem Ausführungsbeispiel der Erfindung wird also abwechselnd mit zwei "Masken" für die Anordnung der Cluster gearbeitet. Selbstverständlich liegt es auch im Rahmen der Erfindung mit mehr als zwei solcher Masken zu arbeiten, die dann zyklisch angewandt werden. Dadurch wird selbst bei Standbildern der Informationsgehalt entsprechend der Anzahl der möglichen Masken verdoppelt oder vervielfacht. Die Clusteranordnungen sind dabei möglichst so zu wählen, daß sie untereinander nicht zu Korrelationen führen, die Clusteranordnungen also orthogonal zueinander sind, d. h. die Anordnungen der Cluster der beiden Masken sind um 90° gegeneinander gedreht.After a development of the invention, the Infor Mation content, however, increase significantly by one another The following pictures show different characteristics. According to this embodiment of the invention alternating with two "masks" for the arrangement of the clusters worked. Of course it is also within the framework the invention to work with more than two such masks, which are then applied cyclically. This will itself in the case of still images, the information content corresponds to the The number of possible masks doubled or multiplied. The cluster arrangements should be chosen as possible that they do not lead to correlations with each other that Cluster arrangements are thus orthogonal to one another, i.e. H. the clusters of the two masks are arranged at 90 ° rotated against each other.

Bei der Erzeugung des Testmusters und beim Vorgang der Bilderkennung wird also beispielsweise mit zwei Masken gearbeitet, beim ersten Bild mit Maske 1, beim zweiten Bild mit Maske 2, usw., d. h. bei ungeradzahligen Bildern mit Maske 1, bei geradzahligen Bildern mit Maske 2. Beim Korrelationsprozeß, d. h. beim Vergleich der gespeicherten Merkmalsvektoren mit den aktuellen Merkmalvektoren, ergibt sich das Problem, daß es bei dem zu vergleichenden Bild unbekannt ist, mit welcher der beiden Masken das entsprech ende Testmuster codiert wurde. Zur Lösung dieses Problems wird daher jedes Testbild mit beiden möglichen Cluster anordnungen (Masken) codiert und es werden zwei unterschied liche, zueinander orthogonale Testsequenzen erzeugt und gespeichert. Die Abtastung des laufenden Programmes erfolgt aber nur mit einer Sequenz, so daß auch nur ein laufender Merkmalsvektor gebildet wird. Dieser muß dann auch nicht mit beiden gespeicherten, zueinander orthogonalen Test- Merkmalsvektoren verglichen werden. Die Korrelation erfolgt vielmehr nur mit dem gespeicherten Merkmalsvektor, der mit der gleichen Clusteranordnung (Maske) beginnt, wie das laufende Programm. Wenn beispielsweise grundsätzlich bei allen Testmustern das erste, also ungerade Bild mit der Maske 1 codiert wird, dann wird es nur mit dem Muster des laufenden Programmes korreliert, das zur Zeit ebenfalls mit Maske 1 beim ersten Bild beginnt.When creating the test pattern and during the image recognition process, two masks are used, for example, the first image with mask 1 , the second image with mask 2 , etc., ie with odd-numbered images with mask 1 , with even-numbered images with mask 2 . In the correlation process, ie when comparing the stored feature vectors with the current feature vectors, the problem arises that it is unknown in the picture to be compared with which of the two masks the corresponding test pattern was encoded. To solve this problem, each test pattern is therefore coded with both possible cluster arrangements (masks) and two different test sequences which are orthogonal to one another are generated and stored. However, the running program is scanned with only one sequence, so that only one running feature vector is formed. This then does not have to be compared with both stored test feature vectors that are orthogonal to one another. Rather, the correlation only takes place with the stored feature vector, which begins with the same cluster arrangement (mask) as the running program. If, for example, the first, that is to say odd, image is coded with mask 1 in all test patterns, then it is only correlated with the pattern of the running program, which currently also begins with mask 1 in the first image.

Durch diese orthogonalen Anordnungen von zwei Masken steigt der Korrelationsaufwand nicht, es muß nur sichergestellt sein, daß das jeweils "richtige" Testmuster zur Verfügung steht. Da bei der Abtastung des aktuellen Bildes bekannt ist, mit welcher der beiden Masken die Abtastung begonnen wurde, ist eine eindeutige Zuordnung möglich, so daß dann bei der Korrelation auf denjenigen gespeicherten Merkmals vektor zugegriffen werden kann, der mit derselben Maske beginnt. This orthogonal arrangement of two masks increases not the correlation effort, it just has to be ensured be that the "correct" test pattern is available stands. Known when scanning the current image is with which of the two masks the scanning started a clear assignment is possible, so that then in the correlation on the stored feature Vector can be accessed using the same mask begins.

Eine Modifikation der Erfindung sieht vor, daß bei gleich langem Merkmalsvektor für eine Bildsequenz das Verhältnis von Cluster pro Bild und Anzahl der aufeinanderfolgenden Bildern verändert werden kann. Beschränkt man beispielsweise den Merkmalsvektor auf 510 Bit, so können in einem Extremfall 510 Bit pro Vollbild verwendet werden, so daß also nur noch ein Vollbild verglichen wird. Im anderen Extremfall können 510 Vollbilder mit je nur einem Cluster verglichen werden. Dazwischen sind eine Vielzahl von anderen Kombi nationen möglich. Anders ausgedrückt kann man grundsätzlich von 510 vorzeichencodierten Clusterdifferenzen sprechen, die bedarfsgemäß gleichmäßig über eine entsprechende Anzahl von Bildern verteilt werden können. Man kann auch noch weiter verallgemeinern indem grundsätzlich bei jeder Test mustergewinnung von jedem Bild eine Vielzahl von Cluster differenzen codiert wird und es wird jedem Referenzmuster ein Schlüsselwort mitgegeben, das angibt, mit welcher Teilmenge des Testmusters korreliert werden soll. Auf diese Weise lassen sich bildgenaue z. B. auf ein Senderlogo abge stellte und szenenorientierte Referenzmuster erzeugen.A modification of the invention provides that at the same long feature vector for an image sequence the ratio of clusters per image and number of consecutive Images can be changed. One limits, for example the feature vector to 510 bits, so in an extreme case 510 bits per frame are used, so that only another frame is compared. In the other extreme case can compare 510 frames with only one cluster each become. In between are a variety of other station wagons nations possible. In other words, you can basically speak of 510 sign-coded cluster differences, which, as required, evenly over a corresponding number of images can be distributed. You can also generalize further by basically every test pattern collection from each image a variety of clusters Differences is encoded and it will be any reference pattern provided a keyword that indicates which one Subset of the test pattern is to be correlated. To this Ways can be z. B. abge on a transmitter logo and create scene-oriented reference patterns.

Im folgenden wird die Erfindung anhand eines Ausführungs beispieles im Zusammenhang mit der Zeichnung ausführlicher erläutert. Es zeigtThe invention based on an embodiment example in connection with the drawing in more detail explained. It shows

Fig. 1 Ein Diagramm der Standardabweichung eines Spielfilms in Abhängigkeit von der Clustergröße (Anzahl der Pixel); Fig. 1 is a graph of the standard deviation of a motion picture in response to the cluster size (number of pixels);

Fig. 2 eine schematische Darstellung der Anordnung der Cluster mit zwei zueinander orthogonalen Masken und das sich hieraus ergebende Referenzmuster; Figure 2 is a schematic representation of the arrangement of the clusters with two mutually orthogonal masks and the resultant reference pattern.

Fig. 3 eine schematische Darstellung zur Erläuterung des Korrelationsvorganges bei Verwendung von zwei alternierend wirksamen Masken (Anordnung der Cluster). Fig. 3 is a schematic representation to explain the correlation process when using two alternating masks (arrangement of the clusters).

Fig. 4 ein Diagramm der Korrelationsergebnisse bei "richtiger" und "falscher" Korrelation des laufenden Programmes mit den unterschiedlichen Testmustern; Fig. 4 is a diagram of the correlation results in "true" and "false" Correlation of the running program with the different test patterns;

Fig. 5 ein Blockschaltbild eines Gerätes zur Signalvor verarbeitung für die Erkennung unikater Bild signale nach einer ersten Variante der Erfindung; Fig. 5 is a block diagram of a device for signal preprocessing for the detection of unique image signals according to a first variant of the invention;

Fig. 6 ein ähnliches Blockschaltbild für eine zweite Variante nach der Erfindung; Fig. 6 is a similar block diagram for a second variant of the invention;

Fig. 7 ein vereinfachtes Blockschaltbild eines Gerätes zur Durchführung der Korrelation; und Fig. 7 is a simplified block diagram of an apparatus for performing the correlation; and

Fig. 8 ein detaillierteres Blockschaltbild eines Gerätes zur Durchführung der Korrelation nach einem Aus führungsbeispiel der Erfindung. Fig. 8 is a more detailed block diagram of a device for performing the correlation according to an exemplary embodiment of the invention.

Fig. 1 macht deutlich, daß die Standardabweichung von Bildfolgen (hier eines Werbefilmes) mit der Clustergröße ansteigt (Clustergröße = Anzahl der Pixel pro Cluster), so daß es keine eindeutigen, scharf abgrenzbaren Kriterien für die Clustergröße gibt, vielmehr steht es dem Fachmann frei, aufgrund anderer, oben genannter Kriterien, die Clus tergröße auszuwählen. Ein dabei zu beachtendes Kriterium liegt im Rauschen des Videosignales, das ab einer Cluster größe von etwa 8 Pixel im wesentlichen konstant bleibt. Fig. 1 makes it clear that the standard deviation of image sequences (here an advertising film) increases with the cluster size (cluster size = number of pixels per cluster), so that there are no clear, sharply delimitable criteria for the cluster size, rather the person skilled in the art is free to do so , choose the cluster size based on other criteria mentioned above. A criterion to be observed is the noise of the video signal, which remains essentially constant from a cluster size of about 8 pixels.

Fig. 2a zeigt schematisch die Anordnung von zehn Clustern 1-10 bzw. deren Verteilung über die Oberfläche eines Bildes. Durch die Pfeile ist die jeweilige "Reihenfolge" gekennzeich net, in der die Cluster abgefragt werden, also als (zeitlich) "benachbart" angesehen werden. Zwischen jeweils benachbarten Clustern wird das Vorzeichen der Differenz der Luminanzwerte der Cluster gebildet, also beispielsweise zwischen Cluster 1 und Cluster 2, zwischen Cluster 2 und Cluster 3 usw. bis zwischen Cluster 9 und Cluster 10. Der letzte Cluster (hier Cluster 10) eines Vollbildes wird dann mit dem ersten Cluster (Cluster 1) des nächsten Vollbildes verglichen oder bei einer Variante der Erfindung mit dem ersten Cluster desselben Vollbildes. Die in Fig. 2a dargestellte Anordnung und Reihenfolge der Cluster bildet eine erste "Maske". Fig. 2a shows schematically the arrangement of ten clusters 1-10 or their distribution over the surface of an image. The arrows indicate the respective "order" in which the clusters are queried, that is to say they are viewed as (temporally) "adjacent". The sign of the difference in the luminance values of the clusters is formed between adjacent clusters, that is, for example, between cluster 1 and cluster 2 , between cluster 2 and cluster 3 , and so on, between cluster 9 and cluster 10 . The last cluster (here cluster 10 ) of a frame is then compared with the first cluster (cluster 1 ) of the next frame or, in a variant of the invention, with the first cluster of the same frame. The arrangement and sequence of the clusters shown in FIG. 2a forms a first "mask".

Fig. 2b zeigt eine entsprechende zweite Maske, die gegenüber der ersten Maske der Fig. 2a um 90 Grad gedreht ist, zu dieser also orthogonal ist. FIG. 2b shows a corresponding second mask which is rotated by 90 degrees with respect to the first mask of FIG. 2a, that is to say is orthogonal to the latter.

Bei der Auswahl "benachbarter" Cluster ist darauf zu achten, daß sie räumlich auf dem Bild einen großen Abstand zueinander haben, damit "benachbarte" Cluster möglichst voneinander unabhängige Bildbereiche repräsentieren. Die Reihenfolge ist daher so festzulegen, daß die räumlichen Abstände "benachbarter" Cluster im Mittelwert möglichst groß sind.When selecting "neighboring" clusters, care must be taken that they are spatially far apart in the picture have, so that "neighboring" clusters as possible from each other represent independent image areas. The chronological order is therefore to be determined so that the spatial distances "neighboring" clusters are as large as possible on average.

Fig. 2c zeigt, wie ein Muster (Merkmalsvektor) durch alternierendes Umschalten zwischen den beiden Masken nach Fig. 2a und Fig. 2b erzeugt wird. Jeweils ein Vollbild wird mit der ersten Maske nach Fig. 2a abgetastet, das nächste Vollbild mit der Maske nach Fig. 2b, usw. Im gewählten Ausführungsbeispiel mit einer Sequenz von 51 Vollbildern pro Merkmalsvektor ergibt sich dann das schematisch in Fig. 2c gezeigte Muster, wobei jedes Vollbild 10 Bit des Musters einnimmt. Fig. 2c shows how a pattern (feature vector) by alternately switching between the two masks of FIG. 2a and FIG. 2b is produced. Each frame is scanned with the first mask according to FIG. 2a, the next frame with the mask according to FIG. 2b, etc. In the selected embodiment with a sequence of 51 frames per feature vector, the pattern shown schematically in FIG. 2c is obtained, each frame occupying 10 bits of the pattern.

Wie schon oben erwähnt, besteht jeder Cluster aus mehreren Pixeln, die hier beispielsweise in einem Rechteck von 5×5 Pixel angeordnet sind. Die Pixel jedes Clusters sollen möglichst nahe beieinander liegen, um so vom Bildinhalt her möglichst miteinander zu korrelieren, d. h. hinsichtlich ihres Luminanzwertes eine innere Bindung zueinander haben.As mentioned above, each cluster consists of several Pixels that are here, for example, in a rectangle of 5 × 5 pixels are arranged. The pixels of each cluster should as close as possible to each other, so the content of the picture correlate with each other as far as possible, d. H. regarding of their luminance value have an inner bond to one another.

Fig. 3 zeigt schematisch den Vorgang der Korrelation eines Referenzmuster aus einem laufenden Programm mit gespeicherten Testmustern. Zur Erzeugung des Testmusters wird jede Bild folge (hier 51 Bilder) mit beiden Masken nach Fig. 2a und Fig. 2b abgetastet. Die mit Maske 1 beginnende Abtastung bildet einen ersten Merkmalsvektor, der in einem Testspeicher 1 abgespeichert ist. Die mit Maske 2 beginnende Abtastung bildet einen zweiten Merkmalsvektor, der in einem Test speicher 2 abgespeichert wird. Die beiden Merkmalsvektoren sind also zueinander orthogonal. Das laufende Programm (Referenzmuster) wird in einer vorgegebenen und damit bekannten Maskenfolge abgetastet, d. h. entweder beginnend mit Maske 1 oder Maske 2. Wird das Referenzmuster ent sprechend Fig. 2c beginnend mit Maske 1 erzeugt, so muß der Vergleich mit dem im Testspeicher 1 abgelegten ersten Merkmalsvektor erfolgen. Beginnt die Abtastung dagegen mit der Maske 2 gemäß Fig. 2b so erfolgt der Vergleich mit dem im Testspeicher 2 abgelegten Merkmalsvektor. Fig. 3 shows schematically the operation of the correlation of a reference pattern of a running program with stored test patterns. In order to generate the test pattern each image sequence (here 51 images) with two masks of FIG. 2a and sampled. 2b. The scanning beginning with mask 1 forms a first feature vector, which is stored in a test memory 1 . The scanning beginning with mask 2 forms a second feature vector, which is stored in a test memory 2 . The two feature vectors are thus orthogonal to one another. The running program (reference pattern) is scanned in a predetermined and thus known mask sequence, ie either starting with mask 1 or mask 2 . If the reference pattern corresponding to FIG. 2c is generated starting with mask 1 , then the comparison must be made with the first feature vector stored in test memory 1 . If, on the other hand, the scanning begins with mask 2 according to FIG. 2b, the comparison is made with the feature vector stored in test memory 2 .

Da jeweils nach jedem Vollbild die Maske gewechselt wird und nach jedem Vollbild ein Vergleich zwischen dem Testmuster und dem Referenzmuster stattfindet, wird der Vergleich immer abwechselnd mit dem im Testspeicher 1 bzw. dem im Testspeicher 2 abgelegten Merkmalsvektor erfolgen. Pro Referenzmuster muß aber trotzdem jeweils nur ein Vergleich durchgeführt werden.Since the mask is changed after each frame and a comparison between the test pattern and the reference pattern takes place after each frame, the comparison will always take place alternately with the feature vector stored in test memory 1 or in test memory 2 . However, only one comparison must be carried out for each reference sample.

Fig. 4 zeigt den Unterschied zwischen einem Vergleich mit dem "richtigen" und einen mit dem "falschen" Testmuster. Bei einem falschen Testmuster würde also der Vergleich im Ergebnis um ein Bild versetzt erfolgen, was wegen der Orthogonalität beider Anordnungen keine Übereinstimmung ergäbe. Die obere Kurve zeigt das für Übereinstimmung typische Maximum. Die Korrelation deutet sich also schon einige Bilder vorher an, erreicht das Maximum und fällt dann in ähnlicher Weise wieder ab. Durch die orthogonalen Anordnungen der beiden Masken steigt der Korrelationsaufwand nicht. Figure 4 shows the difference between a comparison with the "right" and one with the "wrong" test pattern. In the case of an incorrect test pattern, the comparison would result in an offset of one image, which would not correspond due to the orthogonality of the two arrangements. The upper curve shows the maximum typical for agreement. The correlation is thus already indicated a few pictures beforehand, reaches the maximum and then drops again in a similar way. The correlation effort does not increase due to the orthogonal arrangement of the two masks.

Fig. 5 zeigt ein Blockschaltbild eines Gerätes für die Signalvorverarbeitung. Das übliche Videosignal eines Fernsehers wird einem Videoeingang 11 zugeführt. Dieses Signal entspricht der CCIR-Norm und ist vom Typ BAS mit einer exakt auf 0 Volt geklemmten Schwarzschulter. Die Bildamplitude beträgt 0,7 V. Die Sync-Amplitude -0,3 V. Somit ist dem Videoeingang 11 ein handelsübliches Gerät vorgeschaltet, das den Farbträger beseitigt und die Schwarzschulter auf 0 Volt festklemmt. Aus diesem Videosignal wird in einem ersten Baustein 12 eine Taktaufbereitung vorgenommen. Derartige Bausteine sind im Handel erhältlich und extrahieren aus dem Videosignal folgende Synchronsignale: Austastimpuls BL, Zeilensynchronimpuls H, Halbbildsynchronim puls V und einen Vollbildimpuls FR. Fig. 5 shows a block diagram of an apparatus for signal preprocessing. The usual video signal from a television is fed to a video input 11 . This signal complies with the CCIR standard and is of the BAS type with a black shoulder clamped exactly to 0 volts. The image amplitude is 0.7 V. The sync amplitude is -0.3 V. Thus, a video device 11 is connected upstream of the video input 11 , which removes the ink carrier and clamps the porch to 0 volts. A clock processing is carried out from this video signal in a first module 12 . Such modules are commercially available and extract the following synchronizing signals from the video signal: blanking pulse BL, line synchronizing pulse H, field synchronizing pulse V and a frame pulse FR.

Mit Hilfe dieser Signale werden in einem als Steuerzentrale bezeichneten Block 13 ein Spalten- und ein Zeilenzähler gespeist, mit Hilfe derer Ausgangssignale jedes Pixel eines Fernsehbildes nach Spalte und Zeile eindeutig identifiziert werden kann. Mittels eines als Codierfeld bezeichneten Blockes 14 werden die einzelnen Cluster, d. h. die zu den einzelnen Clustern zu rechnenden Pixel definiert, so daß dann mit Hilfe der in der Steuerzentrale 13 vorhandenen Zeilen- und Spaltenzähler die jeweiligen "Adressen" der auszuwählenden Pixel bestimmt sind. Die Steuerzentrale 13 steuert Halbleiterschalter 15 ₁, 15 ₂ . . . 15 _n+2 an, wobei n die Anzahl der abzutastenden Cluster pro Vollbild ist. Es sind also zwei Halbleiterschalter mehr vorgesehen als Cluster pro Vollbild abgetastet werden. Jeder Halbleiter schalter ist mit einem Integrator 16 ₁, 16 ₂ . . . 16 _n+2 verbunden, derart, daß bei geschlossenem Halbleiterschalter 15 der Videoeingang auf den Eingang des zugeordneten Integrators 16 durchgeschaltet wird. Wird durch die Steuerzentrale festgestellt, daß eines zu einem Cluster i gehörendes Pixel am Videoeingang anliegt, so wird der entsprechende Schalter durch ein Signal I_i geschlossen und die zu diesem Pixel gehörende Helligkeitsinformation (Luminanzwert) wird dem zugeordneten Integrierer 16 _i zugeführt. Auf diese Weise liefert der Ausgang des Integrators nach Ablauf eines Vollbildes die Summenluminanz aller zum Cluster i gehörenden Pixelwerte. Die Ausgänge jeweils zweier nacheinander zu bewertender Cluster werden einem Komparator 17 zugeführt, der an seinem Ausgang eine logische 1 ausgibt, wenn der Luminanzwert des Clusters i größer ist als der des Clusters (i+1). Sind alle für einen Vollbildzyklus definierten Cluster erfaßt und verglichen, speichert ein Taktimpuls Cl alle Ausgangswerte der Komparatoren 17 in Datenspeichern 18 und stellt deren Bits als Teil-Merkmalsvektor (für ein Vollbild) einer Korrelationseinrichtung zur Verfügung. Jeder solche Teil- Merkmalsvektor enthält die Daten eines Vollbildes.With the aid of these signals, a column and a row counter are fed in a block 13 referred to as a control center, with the aid of which output signals of each pixel of a television picture by column and row can be uniquely identified. The individual clusters, ie the pixels to be calculated for the individual clusters, are defined by means of a block 14 designated as a coding field, so that the respective "addresses" of the pixels to be selected are then determined with the aid of the row and column counters present in the control center 13 . The control center 13 controls semiconductor switches 15 ₁ , 15 ₂ . . . 15 _{n + 2} , where n is the number of clusters to be scanned per frame. So there are two more semiconductor switches than clusters are scanned per frame. Each semiconductor switch is with an integrator 16 ₁ , 16 _2nd . . 16 _{n + 2} connected, such that when the semiconductor switch 15 is closed, the video input is switched through to the input of the associated integrator 16 . If the control center determines that a pixel belonging to a cluster i is present at the video input, the corresponding switch is closed by a signal I _i and the brightness information (luminance value) belonging to this pixel is supplied to the associated integrator 16 _i . In this way, the output of the integrator supplies the total luminance of all pixel values belonging to cluster i after a frame has elapsed. The outputs of two clusters to be evaluated one after the other are fed to a comparator 17 , which outputs a logical 1 at its output if the luminance value of the cluster i is greater than that of the cluster (i + 1). Once all the clusters defined for a frame cycle have been recorded and compared, a clock pulse C1 stores all the output values of the comparators 17 in data memories 18 and makes their bits available to a correlation device as a partial feature vector (for a frame). Each such partial feature vector contains the data of one frame.

Da jedem Vollbild n Cluster (z. B. n = 10) entnommen werden, die n-te Differenz jedoch durch Vergleich mit dem ersten Cluster des nächsten Bildes zustandekommt, müssen n + 2 Halbleiterschalter und Integratoren vorhanden sein. Einer der beiden Integratoren 16 _n+1 oder 16 _n+2 speichert die Information des n-ten Clusters des vorhergehenden Bildes; der andere Integrator 16 _n+2 oder 16 _n+1 nimmt die Information des letzten Clusters des aktuellen Bildes auf und speichert sie für den Vergleich beim nächstfolgenden Bild. Für diese beiden Integratoren gilt eine besondere Regelung. Sie werden für jedes zweite Vollbild abwechselnd aktiviert. Nach Ablauf eines Bildes und vor Beginn des neuen Vollbildes werden alle Integratoren bis auf einen gelöscht, d. h. auf 0 zurückgesetzt. Im einfachsten Fall besteht ein Integrator aus einem RC-Glied, dessen Kondensator durch einen Reset- Impuls und einen elektronischen Schalter bzw. einen FET-Transistor entladen wird.Since n clusters (e.g. n = 10) are taken from each frame, but the nth difference is obtained by comparison with the first cluster of the next image, n + 2 semiconductor switches and integrators must be present. One of the two integrators 16 _{n + 1} or 16 _{n + 2} stores the information of the nth cluster of the previous image; the other integrator 16 _{n + 2} or 16 _{n + 1} takes the information from the last cluster of the current image and stores it for comparison with the next image. A special regulation applies to these two integrators. They are activated alternately for every second full screen. After an image has expired and before the start of the new full image, all but one integrators are deleted, ie reset to 0. In the simplest case, an integrator consists of an RC element, the capacitor of which is discharged by a reset pulse and an electronic switch or an FET transistor.

Zusätzlich stellt die Steuerzentrale 13 noch ein Signal zur Verfügung, das als "Vollbild-Flag" der Korrelationsein richtung die Gültigkeit der in den Speichern 18 gespeicherten Werte anzeigt. Zur Speicherung dieses Flags ist ein weiterer Speicher 19 vorgesehen.In addition, the control center 13 also provides a signal which indicates the validity of the values stored in the memories 18 as the "full-screen flag" of the correlation device. A further memory 19 is provided for storing this flag.

Alternativ könnte vorgesehen sein, nur n + 1 Halbleiterschal ter und n + 1 Integratoren vorzusehen und die Information des n-ten Clusters abwechseln bei jedem Vollbild in den Integrator n oder den Integrator n + 1 einzuschreiben. Die Ansteuerung der entsprechenden Schalter 15 _n und 15 _n+1 würde zusätzlich zu den Adreßsignalen aus der Steuerzentrale 13 über einen Umschalter erfolgen, der durch einen bis zwei zählenden Binärzähler oder beispielsweise ein Flip-Flop angesteuert wird. Entsprechend müßte der letzte Komparator 17 _n, der den Vergleich zwischen dem ersten Cluster des aktuellen Vollbildes mit dem n-ten Cluster des vorhergehenden Vollbildes durchführt, zwischen diesen beiden Komparatoren umgeschaltet werden und auch der entsprechende Komparator 17 _n der den Vergleich zwischen dem n-ten Cluster und dem (n-1)-ten Cluster durchführt.Alternatively, provision could be made to provide only n + 1 semiconductor switches and n + 1 integrators and to alternately write the information of the nth cluster into the integrator n or the integrator n + 1 with each frame. The corresponding switches 15 _n and 15 _{n + 1} would be activated in addition to the address signals from the control center 13 via a changeover switch which is controlled by one or two binary counters or, for example, a flip-flop. Correspondingly, the last comparator 17 _n , which carries out the comparison between the first cluster of the current frame with the nth cluster of the previous frame, would have to be switched between these two comparators and also the corresponding comparator 17 _n, which would perform the comparison between the nth Cluster and the (n-1) th cluster.

Noch eine weitere Variante der Erfindung besteht darin, daß der Vergleich nur innerhalb eines Vollbildes in der Weise zyklisch erfolgt, daß der n-te Cluster mit dem ersten Cluster desselben Vollbildes verglichen wird.Yet another variant of the invention consists in that the comparison is only within one frame in the Cyclically that the nth cluster with the first Cluster of the same frame is compared.

Fig. 6 zeigt eine zweite Variante für die Signalvorverar beitung. Der Videoeingang 11, die Taktaufbereitung 12 und das Codierfeld 14 haben im Prinzip die gleiche Funktion wie im Ausführungsbeispiel die Fig. 5. Ähnliches gilt für die Steuerzentrale 13, die hier aber zusätzlich die Funktion als Adreßgenerator für einen RAM-Speicher (Random Access Memory) übernimmt. Die Taktaufbereitung 12 erzeugt dieselben Synchronsignale wie im Ausführungsbeispiel der Fig. 5 und führt diese der Steuerzentrale zu. Dort wird ein Bildpunkt takt (Pixeltakt ca. 12-14 Mhz) erzeugt, der einen Analog/Digitalwandler 20 veranlaßt, ca. alle 70 ns einen aktuellen Luminanzwert des Videosignales in ein 8-Bit-Wort umzuwandeln. Gleichzeitig erzeugt die Steuerzentrale 13 aus den Werten der Zeilen- und Spaltenzähler eine RAM-Adresse, unter der der aktuell gewandelte Luminanzwert kumulierend gespeichert wird. Hierzu wird einer arithmetisch-logischen Einheit (ALU) 21 zum einen der bisherige Speicherinhalt und zum anderen das Ergebnis des AD-Wandlers 20 zugeführt und der Ausgang, d. h. die Summe mit gleichem Takt unter der gleichen Adresse in einen der beiden RAM-Speicher 22 oder 23 abgespeichert. Jedem Cluster entspricht dabei eine Speicherzelle. Bei den Speichern handelt es sich um sogenannte Dual-Port-RAMs, die an ihrem anderen Port asynchron wieder ausgelesen werden können. Fig. 6 shows a second variant for the signal preprocessing. The video input 11 , the clock processing 12 and the coding field 14 basically have the same function as in the exemplary embodiment shown in FIG. 5. The same applies to the control center 13 , which here, however, additionally functions as an address generator for a RAM memory (random access memory). takes over. The clock processor 12 generates the same synchronization signals as in the exemplary embodiment in FIG. 5 and feeds them to the control center. A pixel clock (pixel clock approx. 12-14 MHz) is generated there, which causes an analog / digital converter 20 to convert a current luminance value of the video signal into an 8-bit word approximately every 70 ns. At the same time, the control center 13 generates a RAM address from the values of the row and column counters, under which the currently converted luminance value is stored cumulatively. For this purpose, an arithmetic-logic unit (ALU) 21 is supplied on the one hand with the previous memory content and on the other hand with the result of the AD converter 20 and the output, that is to say the sum with the same clock, at the same address in one of the two RAM memories 22 or 23 saved. One memory cell corresponds to each cluster. The memories are so-called dual-port RAMs, which can be read out asynchronously at their other port.

Ein Mikroprozessor 24 liest aus dem RAM 22 oder 23 die kumulierten Luminanzwerte aus, bildet die Differenzwerte zwischen "benachbarten" Clustern und gibt deren Vorzeichen an einen weiteren Speicher 25, der hier mit Ausgabelatch bezeichnet ist, weiter. An den Ausgängen dieses Ausgabelatch 25 stehen dann die gleichen Bits als Bild-Merkmalsvektor an, wie an den Speicherplätzen 18 ₁-18 _n im Ausführungsbei spiel der Fig. 5.A microprocessor 24 reads out the accumulated luminance values from the RAM 22 or 23 , forms the difference values between "neighboring" clusters and forwards their sign to a further memory 25 , which is designated here as an output latch. The same bits as image feature vectors are then present at the outputs of this output latch 25 as at the memory locations 18 ₁ - 18 _n in the exemplary embodiment in FIG. 5.

Auch hier ist wie im Ausführungsbeispiel der Fig. 5 ein "Vollbildflag" vorgesehen, das aus einem Speicher 19 abzulesen ist.Here too, as in the exemplary embodiment in FIG. 5, a “full image flag” is provided, which can be read from a memory 19 .

Im Ausführungsbeispiel der Fig. 6 werden zwei identische Speicher 22 und 23 verwendet, wobei immer in einen Speicher das aktuelle Bild eingelesen wird, während das andere verar beitet wird. Die Umschaltung erfolgt über die Steuerzentrale 13 durch entsprechende Ansteuerungen der Eingänge für Lesen (Rd), Schreiben (Wr) und Takt (Cl).In the exemplary embodiment in FIG. 6, two identical memories 22 and 23 are used, the current image always being read into one memory while the other is being processed. The switchover takes place via the control center 13 by correspondingly controlling the inputs for reading (Rd), writing (Wr) and clock (Cl).

In einer praktischen Ausführungsform können die beiden Speicher 22 und 23 natürlich in einen integrierten Schalt kreis zusammengefaßt sein, ebenso wie auch die Funktion des Mikroprozessors 24 und der Steuerzentrale mit Adreß generator 13.In a practical embodiment, the two memories 22 and 23 can of course be combined in an integrated circuit, as can the function of the microprocessor 24 and the control center with address generator 13 .

Das Codierfeld 14, das auch hier die Zuordnung der Pixel (Spalten- und Zeilenadresse) zu den einzelnen Clustern vornimmt, ist in einem Programmspeicher zu dem Mikroprozessor untergebracht. In Fig. 6 sind lediglich Funktionsblöcke zum besseren Verständnis getrennt gezeichnet. The coding field 14 , which here also assigns the pixels (column and row address) to the individual clusters, is accommodated in a program memory for the microprocessor. In Fig. 6, only functional blocks are drawn separately for better understanding.

Fig. 7 zeigt ein stark vereinfachtes Blockschaltbild einer Korrelationseinrichtung. Eine Signalvorverarbeitung 26 entsprechend den Ausführungsbeispielen der Fig. 5 oder 6 liefert jeweils bei Beendigung der Abtastung eines Vollbildes einen Teil-Merkmalsvektor, der beim hier beschriebenen Ausführungsbeispiel eine Länge von 10 Bit hat. Jeweils 51 aufeinanderfolgende Vollbilder ergeben einen Merkmalsvektor von 510 Bit. In einer "Lernphase" werden von Testmustern (ausgewählte Bildfolgen) entsprechende Merkmalsvektoren erzeugt und in einem Speicher 28 abge speichert. Dies ist durch die gestrichelte Linie zwischen der Signalvorverarbeitung 26 und dem Speicher 28 angedeutet, sowie durch einen Schalter 70, der in der "Lernphase" geschlossen ist. Der Speicher enthält eine Anzahl m Merk malsvektoren. Fig. 7 is a highly simplified block diagram shows a correlation means. A signal preprocessing 26 in accordance with the exemplary embodiments of FIGS. 5 or 6 supplies a partial feature vector which, in the exemplary embodiment described here, has a length of 10 bits when the scanning of a frame is completed. 51 successive frames each result in a feature vector of 510 bits. In a "learning phase", corresponding feature vectors are generated from test patterns (selected image sequences) and stored in a memory 28 . This is indicated by the dashed line between the signal preprocessing 26 and the memory 28 and by a switch 70 which is closed in the "learning phase". The memory contains a number of m feature vectors.

Während des normalen Betriebes erzeugt die Signalvorverar beitung 26 ebenfalls alle 40 ms einen Teilmerkmalsvektor von 10 Bit Länge. Die Teilmerkmalsvektoren werden in ein Register 29 eingeschrieben, das insgesamt eine Anzahl n (beispielsweise 51) Teilbildvektoren enthält. Nach jedem Vollbild wird der letzte Teilbildvektor neu eingeschrieben und der erste Teilbildvektor gelöscht. Damit wird der Merkmalsvektor (mit einer Länge von 510 Bit) also laufend aktualisiert. Diese Aktualisierung erfolgt durch eine Steuerung 27, die von dem Speicher 19 der Fig. 5 oder 6 ein Signal für die Beendigung der Abtastung eines Vollbildes erhält. Sobald ein Teil-Merkmalsvektor für ein neues Vollbild in das Register eingeschrieben ist, ruft die Steuerung 27 aus dem Speicher 28 nacheinander alle dort gespeicherten Merkmalsvektoren ab und schreibt diese zeitlich nacheinander, in ein Register 30. Die beiden Register 29 und 30 sind mit einem Vergleicher 31 verbunden, der die Registerinhalte vergleicht und bei einem vorgegebenen Grad der Übereinstimmung (z. B. 85 bis 95%) ein Signal "erkannt" an die Steuerung 27 abgibt. Innerhalb der 40 ms, die bis zum Eintreffen des nächsten Teil-Merkmalsvektors des letzten Vollbildes verstreichen, vergleicht der Vergleicher alle vollständigen Merkmalsvektoren (Anzahl m) die im Speicher 28 abgespeichert sind.During normal operation, the signal preprocessing 26 also generates a partial feature vector of 10 bits in length every 40 ms. The partial feature vectors are written into a register 29 which contains a total of n (for example 51) partial image vectors. After each frame, the last field vector is rewritten and the first field vector is deleted. The feature vector (with a length of 510 bits) is thus continuously updated. This update is carried out by a controller 27 which receives a signal for the completion of the scanning of a frame from the memory 19 of FIG. 5 or 6. As soon as a partial feature vector for a new frame has been written into the register, the controller 27 sequentially calls up all the feature vectors stored there from the memory 28 and writes them one after the other into a register 30 . The two registers 29 and 30 are connected to a comparator 31 , which compares the register contents and, given a predetermined degree of correspondence (for example 85 to 95%), outputs a signal “recognized” to the controller 27 . Within the 40 ms that elapse until the next partial feature vector of the last full image arrives, the comparator compares all the complete feature vectors (number m) that are stored in the memory 28 .

Werden die Registerinhalte der Register 29 und 30 als "übereinstimmend" erkannt, so kann die Steuerung 27 das weitere Auslesen von Merkmalsvektoren aus dem Speicher 28 abbrechen. Zusätzlich registriert die Steuerung 27 die Adresse desjenigen Merkmalsvektors im Speicher 28, bei dem Übereinstimmung auftrat und gibt ein entsprechendes Signal an eine nicht dargestellte Zentraleinheit ab.If the register contents of the registers 29 and 30 are recognized as "matching", the controller 27 can abort the further reading out of feature vectors from the memory 28 . In addition, the controller 27 registers the address of the feature vector in the memory 28 in which a match occurred and emits a corresponding signal to a central unit (not shown).

Fig. 8 zeigt ein Prinzipschaltbild einer Korrelationsschal tung. Diese Korrelationsschaltung entspricht im wesentlichen der der EP 0 296 588, wo sie zur Wiedererkennung von Ton signalen verwendet wird. Durch entsprechende Aufbereitung der Bildinformation mit den Ausführungsbeispielen der Fig. 1 bis 6 kann diese Schaltung auch für die Wiedererkennung von Bildsignalen verwendet werden. Die Ausgänge der Speicher 18 ₁-18 Index n (Fig. 5) oder des Ausgabespeichers 25 (Fig. 6) werden über einen nicht dargestellten Parallel-Serien-Wandler als serielles Signal D₁ N auf eine Leitung 37 gegeben, und zwar unter Steuerung eines Taktsignales Φ das von einem nicht dargestellten Taktgeber auf einer Leitung 38 ankommt. Die seriell ankommenden Signale D_IN werden zunächst in ein Schieberegister 39 eingeschrieben, wobei dieses Schieberegister vom Takt Φ (Leitung 38) in Verbindung mit einem Gatter 40 gesteuert wird. Von diesem Schieberegi ster 39 gelangen die Signale D_IN byteweise (8 Bit Länge) über einen Bustreiber 41 zu einem Speicher 42, der hier als RAM-Speicher mit zwei K×8 Bit ausgelegt ist. Nach einer nicht dargestellten Variante ist es auch möglich, die an den Ausgängen der Speicher 18 bzw. 25 in paralleler Form vorliegenden Signale parallel in den Speicher 42 zu übernehmen, was durch das Vollbild-Flag des Speichers 19 gespeichert werden kann. Fig. 8 shows a schematic diagram of a correlation circuit. This correlation circuit corresponds essentially to that of EP 0 296 588, where it is used for the recognition of sound signals. By appropriately processing the image information using the exemplary embodiments in FIGS. 1 to 6, this circuit can also be used for the recognition of image signals. The outputs of the memories 18 ₁ - 18 index n ( FIG. 5) or of the output memory 25 ( FIG. 6) are given to a line 37 as a serial signal D ₁ N via a parallel-to-series converter, not shown, and under control a clock signal Φ which arrives on a line 38 from a clock generator, not shown. The serially arriving signals D _IN are first written into a shift register 39 , this shift register being controlled by the clock Φ (line 38 ) in connection with a gate 40 . From this shift register 39 , the signals D _IN arrive in bytes (8 bits in length) via a bus driver 41 to a memory 42 , which is designed here as RAM memory with two K × 8 bits. According to a variant that is not shown, it is also possible to transfer the signals present in parallel at the outputs of the memories 18 and 25 in parallel into the memory 42 , which can be saved by the full-screen flag of the memory 19 .

Eine Zählerkette mit hintereinander geschalteten Zählern 43, 44 und 45 erhält über ein UND-GATTER 46 das Taktsignal Φ und bestimmt über seine Ausgänge die Adressen des Speichers 42, unter denen die vom Bustreiber 41 ankommenden Signale abgespeichert werden. Hierzu wird der Takt Φ im Zähler 43 zunächst durch 8 geteilt und als Byteadresse an die Adreßleitungen A0 bis A10 des Speichers 42 gelegt.A chain of counters with counters 43 , 44 and 45 connected in series receives the clock signal Φ via an AND gate 46 and determines via its outputs the addresses of the memory 42 , under which the signals arriving from the bus driver 41 are stored. For this purpose, the clock Φ in the counter 43 is first divided by 8 and placed as a byte address on the address lines A0 to A10 of the memory 42 .

Der 1/0-Übergang bestimmter Adreßleitungen steuert zwei mit negativen Flanken getriggerte JK-Flip-Flops 46 bzw. 47, welche wichtige Steuerfunktionen übernehmen. Bei einer Länge der Merkmalsvektoren von 512 Bit wird bei einem 1/0-Übergang der Adreßleitung A5 das erste Flip-Flop 46 getriggert, wenn ein Merkmalsvektor vollständig gespeichert ist. Dieses Flip-Flop wird zu Beginn einer "Lernphase" durch eine Taste 48 ("Lern-Startausführung") und zwei Gatter 49 und 50 gesetzt (Ausgang Q = 1; Q quer = 0) und kippt dann beim 1/0-Übergang der Adreßleitung A5 zurück und löscht die Zähler 43, 44 und 45. Es können dann weitere Merkmalsvektoren geladen werden, indem die beiden Zähler 44 und 45 über hier nicht gezeigte Leitungen auf eine Startadresse gesetzt werden. Nach jeweils weiteren 512 Takten wird wiederum über das Flip-Flop 46 der Vorgang gestoppt. Die mit "Maskenende" bezeichnete Leitung 51, die mit der Adreßleitung A5 verbunden ist, signalisiert einer hier nicht gezeigten Zentraleinheit das Ende des Einschreibevorganges einer Maske bzw. eines Merkmalsvektors, wodurch der Takt Φ unterbrochen wird.The 1/0 transition of certain address lines controls two JK flip-flops 46 and 47 triggered with negative edges, which take over important control functions. With a length of the feature vectors of 512 bits, the first flip-flop 46 is triggered in the event of a 1/0 transition of the address line A5 if a feature vector is completely stored. This flip-flop is set at the beginning of a "learning phase" by a button 48 ("learning start execution") and two gates 49 and 50 (output Q = 1; Q transverse = 0) and then toggles at the 1/0 transition Address line A5 back and clears the counters 43 , 44 and 45 . Additional feature vectors can then be loaded by setting the two counters 44 and 45 to a start address via lines not shown here. After a further 512 cycles, the process is stopped again via the flip-flop 46 . The line 51 labeled "mask end", which is connected to the address line A5, signals to a central unit (not shown here) the end of the write-in process for a mask or a feature vector, as a result of which the clock pulse Φ is interrupted.

Wenn alle Merkmalsvektoren in den Speicher 42 eingelesen sind, wird ein Umschalter 70 in die dargestellte Stellung "K" für Korrelieren umgeschaltet. Gleichzeitig wird der Takt Φ erhöht. Es werden dann die von den Signalvorverar beitungen der Fig. 5 oder 6 ankommenden, auszuwertenden Signale des laufenden Programmes über eine Torschaltung 52 in nachfolgend näher beschriebener Weise in einen Speicher 53 eingelesen, und zwar wiederum mit derselben Taktrate, mit der die im Zwischenspeicher 42 abgespeicherten Test- Merkmalsvektoren getaktet wurden. Während des Vergleichsvor ganges werden nacheinander alle im Speicher 42 abgelegten Merkmalsvektoren mit dem 512 (bzw. 510) Bit des Speichers 53 verglichen, indem über zu diesen Speichern gehörende Zählerketten 43, 44, 45 zu Speicher 42; Zähler 54 und 55 zu Speicher 53, diese Zähler adreßrichtig ausgelesen werden. Der Zähler 43 ist nur "einkanalig" belegt und enthält die letzten 512 Bit des an der Leitung 37 anliegenden Signales D_IN. Der Speicher 42 gibt seine Daten über einen Multiplexer 56, der eine Parallel-Serienwandlung durchführt, an einen Eingang des Vergleichers ab, der hier als Exklusiv-Oder- Gatter 56 ausgeführt ist. Dem anderen Eingang dieses Exklusiv-Oder-Gatters 56 werden die Ausgangssignale des Speichers 53 zugeführt. Bei Übereinstimmung seiner beiden Eingangssignale (also 0 und 0 oder 1 und 1) erscheint am Ausgang des Exklusiv-Oder-Gatters 56 eine "1", welche über ein Gatter 57 einer Zählerkette aus den zwei 4-Bit-Zählern 58 und 59 zugeführt wird. Jede Übereinstimmung der Signale aus den beiden Speichern 42 und 53 erhöht also den Zählerstand der Zählerkette 58, 59 um eine 1.When all the feature vectors have been read into the memory 42 , a changeover switch 70 is switched to the "K" position shown for correlating. At the same time, the clock Φ is increased. It will then be of the Signalvorverar beitungen of FIG. 5 or 6 incoming signals to be evaluated for the current program via a gate circuit 52 in greater detail below-described manner is read into a memory 53, again with the same clock rate at which the data stored in buffer 42 Test feature vectors were clocked. During the comparison process, all feature vectors stored in the memory 42 are successively compared with the 512 (or 510) bit of the memory 53 , by using counter chains 43 , 44 , 45 belonging to these memories to memory 42 ; Counters 54 and 55 to memory 53 , these counters are read out with the correct address. The counter 43 is only "single-channel" and contains the last 512 bits of the signal D _IN on line 37 . The memory 42 outputs its data via a multiplexer 56 , which carries out a parallel-serial conversion, to an input of the comparator, which is designed here as an exclusive-OR gate 56 . The other input of this exclusive-OR gate 56 is supplied with the output signals of the memory 53 . If its two input signals (ie 0 and 0 or 1 and 1) match, a "1" appears at the output of the exclusive-OR gate 56 , which is fed via a gate 57 to a counter chain from the two 4-bit counters 58 and 59 . Each match of the signals from the two memories 42 and 53 thus increases the counter reading of the counter chain 58 , 59 by a 1.

Nach dem Vergleich jeweils eines Merkmalsvektors (512 Bit) wird durch ein Triggersignal (Adreßleitung A5) für das Flip-Flop 56 (Leitung "Maskenende") der Zählerstand der Zähler 58, 59 im D-Register 60, 61 übernommen und die Zähler 58, 59 anschließend gelöscht. Die D-Register 60, 61 geben ihre Daten an einen nicht-dargestellten Rechner weiter, was ebenfalls über das Signal auf der Leitung "Maskenende" (Leitung 62) gesteuert wird.After the comparison of one feature vector (512 bit), the counter reading of the counters 58 , 59 in the D register 60 , 61 is taken over by a trigger signal (address line A5) for the flip-flop 56 (line "mask end") and the counters 58 , 59 then deleted. The D registers 60 , 61 forward their data to a computer (not shown), which is also controlled via the signal on the "mask end" line (line 62 ).

Bei vollständiger Übereinstimmung von Referenz-Merkmalsvektor und Test-Merkmalsvektor kann der Zählerstand der Zähler 58, 59 den Wert 512 enthalten. Wegen der fast immer vorhandenen Abtastfehler wird der Zählerstand in der Regler niedriger sein. Die Praxis zeigt, daß bei guter Signalauf bereitung etwa 85-95% des maximalen Zählerstandes bei Koinzidenz erreicht wird (ein Zählerstand von 256 ist der Erwartungswert bei nicht-korrelierten Signalen). Wenn alle Merkmalsvektoren des Speichers 42 mit den aktuell im Speicher 53 gespeicherten 512 Bit verglichen sind, wird dies - je nach Anzahl der Merkmalsvektoren - auf einem der Ausgänge der Zähler 44 bzw. 45 erkannt und über eine Leitung 63 dem Flip-Flop 47 gemeldet, welches umschaltet und dafür sorgt, daß ein Taktimpuls für die Zählerkette 43, 44, 45 unterdrückt wird, während die Zählerkette 54, 55 des Speichers 53 weiterschaltet und über einen Impuls auf der Leitung 64 (Ausgang des Flip-Flop 47) das Tor 52 für einen Taktimpuls öffnet und damit einen Abtastwert des Signales D_IN auf der Leitung 37 in den Speicher 53 einschreibt. Dabei schaltet die Zählerkette 54, 55 auch um einen Takt weiter, so daß zwischen den Adressen der beiden Speicher sich eine bei Vergleich jedes vollständigen Merkmalsvektor eine um eine 1 vergrößernde Differenz ergibt. Damit ist der Speicher 53 relativ zum Speicher 42 wie ein Schieberegister organisiert, welches nach einem Durchlaufen bzw. Vergleichen aller Merkmalsvektoren des Speichers 42 um einen Schritt weiter schaltet.If the reference feature vector and the test feature vector completely match, the count of the counters 58 , 59 can contain the value 512 . Due to the almost always present sampling errors, the counter reading in the controller will be lower. Practice shows that with good signal preparation, about 85-95% of the maximum counter reading is achieved with coincidence (a counter reading of 256 is the expected value for non-correlated signals). If all the feature vectors of the memory 42 are compared with the 512 bits currently stored in the memory 53 , this is recognized on one of the outputs of the counters 44 and 45 , depending on the number of feature vectors, and reported to the flip-flop 47 via a line 63 . which switches and ensures that a clock pulse for the counter chain 43 , 44 , 45 is suppressed, while the counter chain 54 , 55 of the memory 53 switches on and via a pulse on line 64 (output of the flip-flop 47 ) the gate 52 for opens a clock pulse and thus writes a sample of the signal D _IN on the line 37 in the memory 53 . In this case, the counter chain 54 , 55 also advances by one clock pulse, so that a difference increasing by a 1 results when comparing each complete feature vector between the addresses of the two memories. The memory 53 is thus organized relative to the memory 42 like a shift register which, after having run through or compared all the feature vectors of the memory 42 , switches one step further.

Sobald das ein Durchlaufen aller Merkmalsvektoren anzeigende Signal auf der Leitung 63 verschwindet, wird das Flip-Flop 47 über das nächste Taktsignal Φ, welches über Gatter 64, 65 und 66 zu dessen Rücksetzeingang R gelangt, wieder rückgesetzt, wodurch das Gatter 46, welches die Taktimpulse zu der Zählerkette 43, 44, 45 läßt, wieder freigegeben wird. Kurz zusammengefaßt werden also innerhalb von 40 ms, d. h. der Zeitdauer zum Abtasten eines Vollbildes des Videosignales alle gespeicherten Merkmalsvektoren zu je 512 Bit verglichen. Das Flip-Flop 46 überwacht dabei den einzelnen Merkmalsvektor (512 Bit), während das Flip-Flop 47 die Gesamtzahl aller gespeicherten Merkmalsvektoren überwacht. Je nach Anzahl der im Speicher 42 gespeicherten Merkmalsvektoren ist der Takteingang (Leitung 63) des Flip-Flop 47 mit einem anderen Ausgang der Zählerkette 44, 45 verbunden.As soon as the signal indicating that all the feature vectors have passed through disappears on the line 63 , the flip-flop 47 is reset again via the next clock signal gelangt, which reaches its reset input R via gates 64 , 65 and 66 , as a result of which the gate 46 , which the Clock pulses to the counter chain 43 , 44 , 45 can be released again. To summarize briefly, all stored feature vectors of 512 bits each are therefore compared within 40 ms, ie the time period for sampling a full frame of the video signal. The flip-flop 46 monitors the individual feature vector (512 bits), while the flip-flop 47 monitors the total number of all stored feature vectors. Depending on the number of feature vectors stored in the memory 42 , the clock input (line 63 ) of the flip-flop 47 is connected to another output of the counter chain 44 , 45 .

Im beschriebenen Ausführungsbeispiel wird der Vergleich seriell mit einem Exklusiv-Oder-Gatter 56 durchgeführt. Da die Taktfrequenz für den Vergleich mit der Anzahl der gespeicherten Merkmalsvektoren steigt, ist die Anzahl der Merkmalsvektoren durch die maximale Arbeitsfrequenz der digitalen Bausteine begrenzt. Es ist daher prinzipiell auch möglich, mehrere parallel arbeitende Vergleiche einzusetzen, sei es, daß der Vergleich byteweise (8 Bit) durchgeführt wird, sei es auch, daß im Extremfall alle 512 Bits parallel in 512 parallelen EX-OR-Gattern verglichen würden. Letzteres ist allerdings relativ aufwendig, da Speicher mit 512 Ausgängen benötigt würden.In the exemplary embodiment described, the comparison is carried out in series with an exclusive-OR gate 56 . Since the clock frequency for the comparison increases with the number of stored feature vectors, the number of feature vectors is limited by the maximum operating frequency of the digital modules. In principle, it is therefore also possible to use several comparisons operating in parallel, be it that the comparison is carried out byte-by-byte (8 bits) or, in the extreme case, that all 512 bits are compared in parallel in 512 parallel EX-OR gates. The latter is, however, relatively complex since memory with 512 outputs would be required.

Weiterhin ist es prinzipiell auch möglich, mehrkanalig zu arbeiten, dergestalt, daß zwei oder mehrere Sender überwacht werden. Hierzu könnte man entweder den Speicher 53 vergrößern und derart organisieren, daß zwei verschiedene Eingangssignale D_IN parallel bzw. zeitlich verschachtelt eingelesen und verglichen werden oder daß statt des einen Speichers 53 pro Kanal ein eigener entsprechender Speicher vorgesehen ist.Furthermore, it is also possible in principle to work in a multi-channel manner in such a way that two or more transmitters are monitored. For this purpose, one could either enlarge the memory 53 and organize it in such a way that two different input signals D _{IN are} read in parallel or nested in time and compared, or that instead of the one memory 53 a dedicated memory is provided per channel.

Schließlich ist es auch möglich, den Speicher 42 als Datenbank zu organisieren und über einen Suchalgorithmus zu untersuchen, ob der im Speicher 53 vorhandene "Datensatz" in der "Datenbank" des Speichers 42 vorhanden ist. Der Suchalgorithmus kann dabei auch so aufgebaut sein, daß nicht nur nach "identischen" Datensätzen, sondern nach "ähnlichen" Datensätzen (Datensatz = ein Merkmalsvektor) gesucht wird.Finally, it is also possible to organize the memory 42 as a database and to use a search algorithm to investigate whether the "data record" in the memory 53 is present in the "database" of the memory 42 . The search algorithm can also be constructed in such a way that it searches not only for "identical" data sets, but also for "similar" data sets (data set = a feature vector).

Da es bei der Wiedererkennung von Bildern bzw. Bildfolgen nicht nur darauf ankommt, ob eine der zu überwachenden Bildfolgen gespielt wurde, sondern auch darauf, welche von diesen, kann gleichzeitig mit dem Korrelationsergebnis der Zählerkette 58, 59 der Zählerstand der Zählerkette 43, 44, 45 abgefragt und in die nicht dargestellte Zentraleinheit eingegeben werden. Damit ist es möglich, den aktuell erkannten Merkmalsvektor (Bildfolge) zu identifizieren und dieses Identifikationsergebnis zusammen mit Datum und Uhrzeit und ggf. auch den überwachten Sendekanal zu speichern oder auszugeben.Since the recognition of images or image sequences depends not only on whether one of the image sequences to be monitored has been played, but also which of these, the counter reading of the counter chain 43 , 44 , can be used simultaneously with the correlation result of the counter chain 58 , 59 . 45 queried and entered into the central unit, not shown. This makes it possible to identify the currently recognized feature vector (image sequence) and to save or output this identification result together with the date and time and possibly also the monitored transmission channel.

Zu den Speichern 42 und 53 ist noch anzumerken, daß die mit WE/quer bzw. OE/quer bezeichneten Eingänge Steuereingänge sind, wobei der Eingang WE/quer ein negierter "write enable"-Eingang ist, der das Einschreiben in den Speicher steuert, während der Eingang OE/quer ein negierter "output-enable"-Eingang ist, der das Auslesen von Daten aus dem Speicher steuert. Durch die diesen Eingängen vorgeschalteten Gatter wird die Verbindung mit dem Taktsignal Φ und dem Signal auf der Leitung 64 bezüglich des Speichers 53 bzw. durch die Stellung des Schalters 70 und das die Übertragung eines Bytes (8 Bit) aus dem Speicher 42 identifizierende Signal des Zählers 43 für den Speicher 42 überwacht, daß die beiden Speicher 42 und 53 nur zu den jeweils richtigen Zeitpunkten ausgelesen bzw. eingeschrieben werden können. Die übrigen in der Zeichnung dargestellten, jedoch in der Beschreibung nicht ausdrücklich erwähnten Gatter bzw. deren externe Beschaltungen dienen ebenfalls der richtigen Funktion der Ablaufsteuerung, wobei deren Funktion dem Fachmann ohne weiteres ersichtlich ist, bzw. sich beim Aufbau der dargestellten Schaltung von selbst einstellt.Regarding memories 42 and 53 , it should also be noted that the inputs labeled WE / quer or OE / quer are control inputs, the WE / quer input being a negated "write enable" input which controls the writing into the memory, while the OE / quer input is a negated "output-enable" input that controls the reading of data from the memory. The gates connected upstream of these inputs establish the connection with the clock signal Signal and the signal on line 64 with respect to the memory 53 or through the position of the switch 70 and the signal of the counter identifying the transfer of a byte (8 bits) from the memory 42 43 for the memory 42 monitors that the two memories 42 and 53 can only be read or written at the correct times. The other gates shown in the drawing, but not explicitly mentioned in the description, or their external circuits also serve the correct function of the sequence control, the function of which is readily apparent to the person skilled in the art, or occurs automatically when the circuit shown is constructed.

Claims

1. Method for recognizing unique image signals, characterized by the following steps:

a) A first brightness signal is determined in each case from brightness values of a number n of pixels at a plurality of predetermined positions in each frame,
b) these first brightness signals from positions which follow one another in a predetermined sequence are subtracted from one another,
c) the signs of these differences are digitized as 1 bit (signum function),
d) the digitized signals are stored as a test bit sequence (feature vector),
e) steps a) to d) are repeated for a number m (z. B. 51) successive frames,
f) image signals to be examined are processed in the same way (steps a) to e)) to generate a reference bit sequence (reference feature vector)
g) each test bit sequence is compared with all reference bit sequences and if a predetermined measure of correspondence is exceeded, a signal for "image sequence" is generated again.

2. The method according to claim 1, characterized in that that in step a) spatially contiguous pixels of an image form a cluster whose brightness signal is determined.

3. The method according to claim 2, characterized in that that the pixels of each cluster in the form of a square immediately adjacent pixels are arranged.

4. The method according to claim 3, characterized in that each cluster contains 5 × 5 pixels.

5. The method according to any one of claims 2 to 4, characterized characterized that the brightness values (Luminance values) of all pixels of a cluster to the Brightness signal can be summed up.

6. The method according to any one of claims 2 to 4, characterized characterized in that the arithmetic mean of Brightness values of all pixels in a cluster Brightness signal forms.

7. The method according to any one of claims 1 to 6, characterized characterized that subtracting the Hellig speed signals from in a predetermined order neighboring places and digitizing the Sign of these differences in one work step is carried out by means of a comparator.

8. The method according to any one of claims 2 to 7, characterized characterized that the clusters statistically over the Area of the full screen are distributed.

9. The method according to claim 8, characterized in that the order in which the brightness signals neighboring clusters subtracted from each other or be compared with each other so it is determined that the mean of the spatial distances of the in neighboring clusters in this order Takes maximum value.

10. The method according to claim 9, characterized in that the last cluster in order with the compared the first cluster of the next frame becomes.

11. The method according to claim 9, characterized in that that the last cluster in order with the first cluster of the next full frame is compared.

12. The method according to any one of claims 8 to 11, characterized characterized in that at least two of each other different cluster arrangements (masks) are provided and that successive frames with cyclically alternating cluster arrangement (masks) be scanned.

13. The method according to claim 12, characterized in that that when using two cluster arrangements (masks) but to peel them off one another are rotated 90 degrees to each other.

14. The method according to claim 12 or 13, characterized characterized that each test pattern with all cyclic cluster sequences (masks) are scanned, that each reference picture sequence only with a cyclic Cluster sequence (mask) is scanned and that each reference bit sequence determined in this way only with one selected of the different test pattern sequences is correlated.

15. The method according to any one of claims 1 to 14, characterized characterized that the comparison of each test bit sequence with all reference bit sequences then every time when a frame is scanned.

16. Device for carrying out the method according to one of claims 1 to 15, characterized by:

a clock processing circuit ( 12 ) which generates at least one line clock signal and one column clock signal from a video signal,
- a coding field ( 14 ) which designates predetermined pixels of the image contained in the video signal,
- A control device ( 13 ) which is connected to the clock processing circuit ( 12 ) and the coding field ( 14 ) and at least one summer ( 21 ; 16 ₁ - 16 _{n + 2} ), so that luminance values of the video signal by the Coding field ( 14 ) agreed beforehand and the pixels identified by the line clock signal and the column clock signal are added up in groups which are combined into clusters,
- A comparison device ( 24 ; 17 ₁ - 17 _n ) in which the sum signals of the individual clusters are compared with sum signals of other predetermined clusters and a digital signal is generated in the form of a bit per comparison, which indicates which of the two clusters compared has a larger luminance value Has,
- A memory ( 25 ; 18 ₁ , 18 _n ) in which the comparison results are stored and
- A correlating device ( Fig. 7), in which the content of the memory ( 25 ; 18 ₁ ... 18 _n ) with patterns stored in a further memory ( 30 ; 42 ) patterns are continuously correlated in a predetermined clock sequence.

17. The apparatus according to claim 16, characterized in that the summers are integrators ( 16 ₁ - 16 _{n + 2} ) which are acted upon by the control device ( 13 ) controlled switch ( 15 ₁ - 15 _{n + 2} ) with the video signal.

18. The apparatus according to claim 16, characterized in that the summer is an arithmetic / logical arithmetic unit ( 21 ), one input of which via an analog / digital converter ( 20 ) is a digitized video signal and the other input of which is in a buffer ( 22 , 23 ) buffered value is supplied and the output of which is connected to the buffer ( 22 , 23 ).

19. The apparatus according to claim 17, characterized in that the outputs of the integrators ( 16 ₁ - 16 _{n + 2} ) are each connected in pairs to a comparator ( 17 ₁ - 17 _n ) which compares the summed luminance signals in the assigned integrators and depending on this comparison outputs a signal to the memory ( 18 ₁ - 18 _n ).

20. The apparatus according to claim 19, characterized in that an input of the comparators ( 17 ₁ - 17 _n ) is additionally added a predetermined threshold.

21. The apparatus according to claim 18, characterized in that the sum signals stored in the intermediate memories ( 22 , 23 ) for the individual clusters are compared with one another under the control of a microprocessor ( 24 ) in a predetermined sequence and the comparison result is stored in the memory ( 25 ) .