DE4123916A1

DE4123916A1 - Identifying and classifying surface qualities and defects of object - using video camera to store reflected images arising from sequential exposure to light from distributed sources

Info

Publication number: DE4123916A1
Application number: DE4123916A
Authority: DE
Inventors: Reinhard Malz
Original assignee: Individual
Current assignee: Individual
Priority date: 1990-07-19
Filing date: 1991-07-19
Publication date: 1992-01-23
Anticipated expiration: 2011-07-20
Also published as: DE4123916C2

Abstract

The surface to be detected is illuminated from several sources (2,3) in different places. The sources illuminate the surface in sequence. The diffusely returned or reflected light at each point in the time sequence is recorded as space-time images by means of a video camera (7) with an image memory (9). The object is surrounded by an illuminating canopy whose surface light source arrangement is freely programmable w.r.t. angle and intensity stages. A further programmable light source (3) with a collimating optic (5) enables all points of a flat object surface to fulfil the reflection angle condition for the pupil of the camera lens. USE/ADVANTAGE - Characteristics and defects of surface such as edges, textures, nicks, colour spots, mat section, waves, cracks of objects such as metal pieces, ceramic discs, metal sheets, semiconductor chips, hybrid components, SMD's and their circuits, seals. Rapid detection and classification.

Description

Technical field

Die Erfindung betrifft ein Verfahren zum beleuchtungsdynamischen Erkennen und Klassifizieren von Oberflächenmerkmalen und -defekten eines Objektes gemäß dem Oberbegriff des Anspruchs 1 und Vorrichtung hierzu.The invention relates to a method for lighting dynamic detection and Classification of surface features and defects of an object according to the preamble of claim 1 and device therefor.

State of the art

In dem Aufsatz von R. Malz: Der Einsatz schneller Beleuchtungsoperationen für die robuste Merkmalsextraktion und Segmentierung in der industriellen Objekterkennung und Qualitätsprüfung, Informatik-Fachberichte "Mustererkennung 1988", DAGM-Symposion 1988, Springer-Verlag, Seite 270 bis 276, wurde eine Beleuchtungsanordnung vorgeschlagen, die aus vier Beleuchtungsmodulen besteht:
einem Auflichtmodul zur schattfreien Ausleuchtung diffus streuender Objekte, realisiert mit einer Punktlichtquelle, die über einen Teilerspiegel in den Beobachtungsstrahlengang der CCD-Matrixkamera eingespielt ist, einem Streiflichtmodul zur Aufhellung von Kanten und diffus streuenden Oberflächenfehlern, realisiert durch eine oder mehrere Ringlampen, einem Durchlichtmodul zur Aufhellung der Innenflächen und Ränder von Objektdurchbrüchen, und einem Reflexionslichtmodul zur gleichmäßigen, reflektorischen Hellfeld-Beleuchtung von ebenen oder schwach gekrümmten Oberflächen, bestehend aus einem Beleuchtungsarray mit Fresnel-Linse und einem Teilerspiegel.In the essay by R. Malz: The use of fast lighting operations for robust feature extraction and segmentation in industrial object recognition and quality inspection, IT reports "Pattern recognition 1988", DAGM symposium 1988, Springer-Verlag, pages 270 to 276, became a lighting arrangement proposed, which consists of four lighting modules:
a reflected light module for shadow-free illumination of diffusely scattering objects, realized with a point light source that is fed into the observation beam path of the CCD matrix camera via a splitter mirror, a grazing light module for brightening edges and diffusely scattering surface defects, realized by one or more ring lamps, a transmitted light module for brightening the inner surfaces and edges of object openings, and a reflection light module for uniform, reflective bright-field illumination of flat or slightly curved surfaces, consisting of an illumination array with Fresnel lens and a divider mirror.

Im gleichen Aufsatz wurde ein weiteres Beleuchtungssystem vorgeschlagen, das mit Hilfe eines zweidimensional abgelenkten und in seiner Intensität elektrisch modulierten Halbleiterlasers während der Belichtungszeit eines einzelnen Kamerabildes beliebig positionierbare Punkt- Cluster-, Linien- und Flächenlichtquellen erzeugt, die mit jedem Bildwechsel verändert werden können.In the same essay, another lighting system was proposed, the with the help of a two-dimensionally deflected and electric in intensity modulated semiconductor laser during the exposure time of a single Camera image of point, cluster, line and area light sources that can be positioned as required generated that can be changed with every image change.

Merkmale mit anisotropen Streu- und Reflektionseigenschaften, wie Kanten oder Kratzer, liefern nur dann einen maximalen Bildkontrast, wenn sie aus einem kleinen Raumsektor beleuchtet und betrachtet werden, der sich je nach Orientierung der Merkmale ändert. Des weiteren muß beleuchtungstechnisch der gesamte Raumwinkel verfügbar sein, weil ansonsten nicht sämtliche Merkmale oder Fehler optimal beleuchtet werden können.Features with anisotropic scatter and reflection properties, such as edges or Scratches only deliver maximum image contrast if they come from a small one Space sector to be illuminated and viewed, depending on the orientation of the characteristics changes. Furthermore, the entire lighting technology Solid angles are available because otherwise not all features or errors can be optimally illuminated.

Beide genannten Beleuchtungssysteme genügend daher noch nicht den Anforderungen, die an ein Inspektionssystem gestellt werden, das mit hohen Taktraten an ständig wechselnden Objekttypen und Objektorientierungen unterschiedliche Fehlertypen mit maximalem Kontrast detektieren und klassifizieren soll.Both of the lighting systems mentioned therefore do not yet meet the requirements, which are placed on an inspection system that operates at high clock rates constantly changing object types and object orientations different error types Detect and classify with maximum contrast.

Object of the invention

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der genannten Gattung zu schaffen, mit der bei Objekten, wie Metallteilen, Keramikscheiben, Blechen, Halbleiter-Chips, Hybridbausteinen, SMD-Schaltungen, Dichtungen etc. Merkmale und Defekte der Oberfläche, wie Kanten, Texturen, Knicke, Farbflecke, matte Stellen, Welligkeiten, Risse u. a. m., mit hoher Zuverlässigkeit und Geschwindigkeit detektiert und klassifiziert werden können.The invention has for its object a method and an apparatus to create the type mentioned, with which objects, such as metal parts, Ceramic discs, sheets, semiconductor chips, hybrid components, SMD circuits, Seals etc. Features and defects of the surface, such as edges, textures, Kinks, color stains, matt areas, ripples, cracks and the like. a. m., with high Reliability and speed can be detected and classified.

Presentation of the invention and its advantages

Die Lösung der Aufgabe besteht in den Merkmalen des Anspruchs 1. Weitere Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen; eine erfindungsgemäße Vorrichtung in Anspruch 6 gekennzeichnet.The solution to the problem consists in the features of claim 1. Further Embodiments of the method according to the invention are in the subclaims; a device according to the invention characterized in claim 6.

Das erfindungsgemäße Verfahren weist den Vorteil auf, daß mit diesem Merkmale und Defekte der Oberfläche eines Objektes, wie Kanten, Texturen, Knicke, Farbflecke, matte Stellen, Welligkeiten, Risse u. a. m., mit maximal möglichem Signal-Rauschverhältnis bzw. mit maximalem Kontrast detektiert und unabhängig von der jeweiligen Bildumgebung pixelweise, d. h. für jeden Oberflächenpunkt getrennt, klassifiziert werden können, weil die erhaltene Information jeweils in der zeitlichen Grauwertsequenz enthalten ist. Durch die vollständige Bereitstellung aller Beleuchtungswinkel wird in vorteilhafter Weise erreicht, daß die Merkmale mit Optimalfiltern bzw. Matched-Filtern extrahiert werden können. The method according to the invention has the advantage that with these features and defects of the surface of an object, such as edges, textures, kinks, Color stains, matt areas, ripples, cracks and the like. a. m., with the maximum possible signal-to-noise ratio or detected with maximum contrast and independently pixel by pixel from the respective image environment, d. H. separate for each surface point, can be classified because the information received in each case temporal gray scale sequence is included. Through full deployment All lighting angles are achieved in an advantageous manner that the features can be extracted with optimal filters or matched filters.

Bei ring-, sektor- oder ringsektorförmigen Verteilungen der Beleuchtungsfunktionen und wenn als Merkmalsanalyse eine Fourier- oder ähnliche Transformation verwendet wird, wird vorteilhaft eine rotationsinvarante Klassifizierung der Merkmale erhalten. Mit einem Auswerteprogramm kann dann das Ergebnis der DFT-Operation graphisch dargestellt werden und die unterschiedlichen Fehlerklassen in π-periodische (D₁<D₂) oder 2π-periodische (D₁<D₂) oder nichtperiodische mit geringen Änderungen in der Grauwertsequenz (großes D₀, kleines D₁+D₂) oder durchgehende dunkle (alle Spektralwerte gering) Grauwertsequenzen unterschieden werden.With ring, sector or ring sector-shaped distributions of the lighting functions and if as a feature analysis a Fourier or similar transformation is used, a rotation-invariable classification of the features is advantageous receive. The result of the DFT operation can then be evaluated using an evaluation program are shown graphically and the different error classes in π-periodic (D₁ <D₂) or 2π-periodic (D₁ <D₂) or non-periodic with small changes in the gray value sequence (large D₀, small D₁ + D₂) or continuous dark (all spectral values low) gray value sequences distinguished will.

Streut die Oberfläche isotrop, dann sind zur rotationsinvaranten Klassifizierung gerichteter Merkmale kreissymmetrische Beleuchtungssequenzen (Fig. 2) zweckmäßig. Ist jedoch die Oberflächenstruktur, zum Beispiel durch gerichtete Bearbeitung, wie Schleifen, nicht mehr rotationssymmetrisch, dann kann zur optimalen Signaltrennung von Oberflächen und gesuchtem Merkmal der Einsatz von elliptischen Beleuchtungsfunktionen vorteilhaft sein. Dabei muß die Strukturorientierung zur Ausrichtung der Ellipsen-Hauptachsen bekannt sein, was vorher mit Testbeleuchtungsfunktionen bestimmt werden kann.If the surface scatters isotropically, circularly symmetrical lighting sequences ( FIG. 2) are useful for the rotation-invariant classification of directed features. However, if the surface structure is no longer rotationally symmetrical, for example due to directional processing, such as grinding, then the use of elliptical lighting functions can be advantageous for optimal signal separation of surfaces and the sought-after feature. The structure orientation for the alignment of the main ellipse axes must be known, which can be determined beforehand with test lighting functions.

In vorteilhafter Weise können die einzelnen Lichtquellen innerhalb des Beleuchtungshimmels, (der vorzugsweise kugelförmig ist und auf dem sich beliebige Punkt-, Linien- oder Flächenlichtquellen befinden können), durch Farblichtquellen ersetzt sein, vorzugsweise durch drei Farblichtquellen grün, rot und blau. Auf diese Weise kann der Aufwand der Bildaufnahme mindestens um den Faktor 3 reduziert werden, weil ein Farbbild einer Sequenz von mindestens drei Graubildern entspricht.Advantageously, the individual light sources within the lighting sky, (which is preferably spherical and on which any Point, line or area light sources), by colored light sources be replaced, preferably by three colored light sources green, red and blue. On in this way, the effort of image acquisition can be at least a factor of 3 be reduced because a color image of a sequence of at least three gray images corresponds.

Zur Durchführung des Verfahrens wird vorteilhafterweise der Nullpunkt des Beleuchtungskoordinatensystems in diejenige Punktlichtquelle gelegt, die über die als Spiegel gedachte Objektebene in die Kameraquelle abgebildet wird und damit zum Hellfeld führt. Kleinere Verkippungen der Objektebene können durch eine relative Translation der Beleuchtungskonfiguration mit geringem Aufwand korrigiert werden, da die Beleuchtungsanordnung kartesisch und damit translationsinvariant ist.To carry out the method, the zero point of the Illumination coordinate system placed in the point light source that over the object plane intended as a mirror is mapped into the camera source and thus leads to the bright field. Smaller tilting of the object level can be caused by a relative translation of the lighting configuration with little effort be corrected, since the lighting arrangement is Cartesian and therefore invariant in translation is.

Zum Verständnis des Verfahrens ist die Betrachtung der verallgemeinerten Beleuchtungs-Bildmatrix I(x,y,ξ,ϕ) hilfreich, die den Zusammenhang zwischen der Leuchtdichtematrix L(ξ,ϕ) und der Bildmatrix B(x,y) beschreibt und die gesamte fotometrische Information über das Objekt enthält, die mit der erfinderischen Vorrichtung überhaupt gewonnen werden kann. Das Beleuchtungsarray erlaubt es, den 4-dimensionalen Beleuchtungs-Bildraum I(x,y,ξ,ϕ) in einer diskreten Form I(x,y,i,j) zu erzeugen. Lichtpunkt für Lichtpunkt wird angesteuert und das jeweils entstehende Bild in den Bildspeicher abgelegt. Mit einer Benutzeroberfläche können verschiedene Projektionen oder Schnittebenen dieses 4-dimensionalen Datenraums betrachtet werden.To understand the procedure, consider the generalized Illumination image matrix I (x, y, ξ, ϕ) helpful, the relationship between the Luminance matrix L (ξ, ϕ) and the image matrix B (x, y) describes and the whole Contains photometric information about the object using the inventive device can be won at all. The lighting array allows the 4-dimensional lighting image space I (x, y, ξ, ϕ) in a discrete form To generate I (x, y, i, j). Light point for light point is controlled and that in each case the resulting image is stored in the image memory. With a user interface can use different projections or cutting planes of this 4-dimensional Data room are considered.

Für die pixelweise Untersuchung der Objektoberfläche eines Objektes spielt die lokale, d. h. für feste x- und y-Koordinaten gewonnene Streu-, Reflektions- und Schattencharakteristik eine entscheidende Rolle. Ein matter Fleck, der die Streukeule verbreitert, hat eine gleichmäßige Streucharakteristik ohne bevorzugte Richtung (isotrope Streucharakteristik). Punkte eines richtungsabhängigen Oberflächenmerkmals zeichnen sich durch eine anisotrope Streucharakteristik aus und unterscheiden sich von solchen mit isotroper Streucharakteristik. Beispielsweise streut ein Oberflächenpunkt, der zu einem gerichteten Oberflächenmerkmal gehört (Kratzer oder Kante) vornehmlich das Licht in die Videokamera, das senkrecht zu seiner Orientierung eintrifft. Ein Punkt, der die Neigung der reflektierenden Oberfläche verändert, bevorzugt Streulicht aus einem bestimmten Sektor der Leuchtdichtematrix. Bei einem Fehlerpunkt mit verkippter spiegelnder Oberfläche erzeugt ein einziger Lichtpunkt des Beleuchtungshimmels einen hellen Grauwert in der Videokamera.For the pixel-by-pixel examination of the object surface of an object, the local, d. H. for fixed x and y coordinates scatter, reflection and Shadow characteristics play a crucial role. A matte stain that the scattering lobe widened, has a uniform spreading characteristic with no preferred Direction (isotropic scatter characteristic). Points of a directional Surface features are characterized by an anisotropic scattering characteristic and differ from those with isotropic scattering characteristics. For example scatters a surface point that leads to a directional surface feature belongs (scratches or edge) mainly the light in the Video camera that arrives perpendicular to its orientation. A point that the Inclination of the reflective surface changes, preferably scattered light from one specific sector of the luminance matrix. In the event of a fault point with tilted reflecting surface creates a single point of light in the lighting sky a light gray value in the video camera.

Durch das erfindungsgemäße Verfahren können nun Bilder mit möglichst geringer Redundanz und maximalem Aussagewert erzeugt werden. Dabei eignen sich im einfachsten Fall Hellfeld- und Dunkelfeldbeleuchtung als Konzepte zur Extraktion der Oberflächenmerkmale, wobei diejenige Beleuchtungsfunktion gewählt wird, die einen Maximalkontrast für die Fehlerquelle liefert. Ein optimales Beleuchtungsfilter wird erhalten, indem die Streucharakteristik als Beleuchtungsfunktion aufgefaßt wird. So ist beispielsweise die Hellfeldbeleuchtung mit einer Punktquelle ein Optimalfilter für einen idealspiegelnden Oberflächenpunkt, bei dem das Grauwerteergebnis einer Kamera maximal ausfällt, bei jeder anderen Oberflächenstruktur hingegen absinkt. Bei Oberflächenpunkten mit stark anisotrop streuenden Eigenschaften, wie Kratzer oder Kanten, die in der Regel mit verschiedenen Orientierungen auftreten, wird aus einer Richtung senkrecht zur Orientierung des Objektmerkmals beleuchtet, so daß das Helligkeitssignal in der Kamera deutlich stärker ist, als bei einer Beleuchtung aus anderen Richtungen. Wegen der Richtungsabhängigkeit der Streucharakteristik ist somit ein optimales Beleuchtungsfilter nur in der Lage, anisotrop steuernde Merkmale in einer bestimmten Richtung zu detektieren. Deshalb werden in diesem Fall Beleuchtungssequenzen aus einer Vielzahl von Raumwinkeln eingesetzt. Dazu wird die Leuchtdichtematrix in Sektoren aufgeteilt, die nacheinander angesteuert werden. Dadurch werden rotationsinvariante bzw. von der Orientierung des Objektes unabhängige Ergebnisse erhalten, weil zwischen verschiedenen Arten von Streucharakteristiken unterschieden werden kann.By means of the method according to the invention, images can now be obtained with as small Redundancy and maximum information value can be generated. Are suitable in simplest case brightfield and darkfield lighting as concepts for extraction the surface features, the lighting function being selected, which provides a maximum contrast for the source of the error. An optimal lighting filter is obtained by using the scattering characteristic as the lighting function is conceived. For example, the bright field lighting with a Point source an optimal filter for an ideal reflecting surface point, at which the gray value result of one camera turns out to be maximum for every other Surface structure, however, drops. With surface points with strong anisotropically scattering properties, such as scratches or edges, as a rule occur with different orientations, becomes vertical from one direction illuminated for orientation of the object feature, so that the brightness signal in the camera is significantly stronger than when illuminated from other directions. Because of the directional dependence of the scattering characteristic, this is an optimal one Illumination filter only capable of anisotropically controlling features in one certain direction to detect. Therefore, in this case, lighting sequences used from a variety of solid angles. For this, the Luminance matrix divided into sectors that are controlled one after the other. This makes rotation invariant or of the orientation of the object get independent results because between different types of Spreading characteristics can be distinguished.

Wird als Vorrichtung zur Bildung des kuppelförmigen Beleuchtungshimmels ein Hohlspiegel, insbesondere Parabolspiegel, verwendet, so besitzt dieser den Vorteil, daß aufgrund der Abbildungsgesetze die vom Parabolspiegel mehr oder weniger horizontal reflektierten Lichtstrahlen, wie für eine ortsunabhängige Streuung gefordert, in Richtung zum Brennpunkt und zum Objekt parallel oder mehr oder weniger parallel verlaufen, so daß der virtuelle Abstand der diffus beleuchtenden Lichtquellen vom Objekt sehr groß ist und in erster Näherung als praktisch unendlich gelten kann. Das mehr oder weniger vertikal auf das Objekt einfallende Strahlenbündel ist hingegen konvergeht, so daß die Lichtquellen über die als spiegelnde Ebene gedachte Objektoberfläche in die Ebene der Kamerapupille abgebildet werden. Damit können (wie beim eigens dafür realisierten Reflektions-Lichtmodul) spiegelnde Oberflächen gleichmäßig im Hellfeld beleuchtet werden. Zu dieser speziellen Anpassung kann der virtuelle Abstand der Lichtquellen variiert werden: Der Abstand der unteren Lichtquellen, wie LED-Arrays, vom Parabolspiegel ist entscheidend für die Strahlenformation, die auf das Objekt im Brennpunkt auftritt, ob es sich also um konvergentes, divergentes oder paralleles Licht handelt, weshalb der Abstand vorteilhaft variabel ist. Der geometrische Ort der Punktlichtquelle, die im Brennpunkt paralleles Licht erzeugt, ist ein Paraboloid oder ähnlich geformt. Konvergentes bzw. divergentes Licht wird dann im Brennpunkt erzeugt, wenn sich die Lichtquelle unterhalb bzw. oberhalb des geometrischen Ortes befindet; paralleles Licht zum Brennpunkt wird erzeugt, wenn die Lichtquelle sich auf diesem geometrischen Ort befindet.Used as a device to form the dome-shaped lighting sky Concave mirror, in particular parabolic mirror, used, this has the Advantage that due to the mapping laws the parabolic mirror more or less horizontally reflected light rays, as for a location-independent Scattering required, in the direction of the focal point and the object parallel or run more or less parallel, so that the virtual distance of the diffusely illuminating Light sources from the object is very large and as a first approximation can apply practically infinitely. The more or less vertically on the object incident rays have faded away, however, so that the light sources over the object surface thought of as a reflecting plane into the plane of the camera pupil be mapped. This allows (as with the reflection light module that was specifically designed for this purpose) reflecting surfaces are evenly illuminated in the bright field. The virtual distance between the light sources can be used for this special adjustment can be varied: The distance of the lower light sources, such as LED arrays, from the parabolic mirror is crucial for the radiation formation that affects the object in the Focus occurs whether it is convergent, divergent or parallel Light acts, which is why the distance is advantageously variable. The geometrical place The point light source that produces parallel light at the focal point is a paraboloid or shaped similarly. Then convergent or divergent light becomes the focus generated when the light source is below or above the geometric Location; parallel light to the focal point is generated when the Light source is on this geometric location.

Ein weiterer Vorteil besteht darin, daß die Vorrichtung äußerst kompakt ist. Der Hohlspiegel kann des weiteren vorzugsweise einstückig aus transparentem Glas oder Kunststoff ohne Aussparung bestehen und in seinem obersten Bereich unverspiegelt sein zur Bildung einer Durchtrittsöffnung für das der reflektorischen Beleuchtung dienende Licht der Beleuchtungseinrichtung.Another advantage is that the device is extremely compact. The Concave mirror can also preferably be made in one piece from transparent glass or plastic without a recess and in its uppermost area be non-mirrored to form a passage for that of the reflective Lighting serving light of the lighting device.

Brief description of the drawing

Es zeigtIt shows

Fig. 1 einen schematischen Querschnitt durch eine Beleuchtungsvorrichtung zur Durchführung des erfindungsgemäßen Verfahrens an einem Beleuchtungshimmel in Form einer Halbkugel und Fig. 1 shows a schematic cross section through an illumination device for performing the method according to the invention on an illumination sky in the form of a hemisphere and

Fig. 2 eine Draufsicht auf den Beleuchtungshimmel zur Darstellung der verschiedenen anwählbaren Sektoren, in denen sich jeweils eine oder eine Mehrzahl von Lichtquellen befinden können Fig. 2 is a plan view of the lighting sky to illustrate the various selectable sectors, in each of which one or a plurality of light sources can be located

Fig. 3 einen Algorithmus eines Flußdiagramms für Pixel-Klassifikation mit (N+2) Beleuchtungen Fig. 3 is an algorithm of a flow chart for pixel classification with (N + 2) Lighting

Fig. 4 einen schematischen Querschnitt durch eine Beleuchtungsvorrichtung bestehend aus einem zweidimensional gekrümmten Beleuchtungshimmel mit einer Beleuchtungsanordnung und Fig. 4 is a schematic cross section through a lighting device consisting of a two-dimensionally curved lighting sky with a lighting arrangement and

Fig. 5 eine weitere Beleuchtungsvorrichtung mit zweidimensional gekrümmt Beleuchtungshimmel und einer gestalterisch abweichenden Beleuchtungsanordnung und Objektzuführung. Fig. 5 shows another illumination device having two-dimensionally curved lighting sky and a creatively different illumination arrangement and object delivery.

Implementation of the invention

Über eine Basis 8 (Fig. 1) wölbt sich ein halbkugelförmiger Beleuchtungshimmel, in welchem eine Vielzahl von Lichtquellen 2 angeordnet sind, vorzugsweise in verschiedene Sektoren s_m,n gemäß der Fig. 2 aufgeteilt, wobei die Lichtquellen in ihrer Intensität einzeln freiprogrammierbar sind. Des weiteren befindet sich im Beleuchtungshimmel ein Beleuchtungsmodul, welches eine Mehrzahl von Lichtquellen 4 aufweist, die vorzugsweise als kartesisches Array angeordnet sind. Vor dem Beleuchtungsmodul 3 befindet sich eine Optik 5, die das von einer einzigen oder von wenigen Lichtquellen 4 ausgesandte Licht dergestalt bündelt, daß es zur gleichmäßigen Hellfeldausleuchtung ebener, reflektierender Oberflächen 1 geeignet ist. Das Beleuchtungsmodul 3 dient insbesondere für die Welligkeit- und Knickprüfung an reflektierenden Oberflächen und somit zur Klassifizierung von Oberflächenneigungen. Die Lichtquellen 2 dienen zur diffusen Beleuchtung.A hemispherical lighting sky, in which a multiplicity of light sources 2 are arranged, is preferably arched over a base 8 ( FIG. 1), preferably divided into different sectors s _{m, n} according to FIG. 2, the intensity of the light sources being individually programmable. Furthermore, there is a lighting module in the lighting sky, which has a plurality of light sources 4 , which are preferably arranged as a Cartesian array. In front of the lighting module 3 there is an optical system 5 which bundles the light emitted by a single or a few light sources 4 in such a way that it is suitable for uniform bright field illumination of flat, reflecting surfaces 1 . The lighting module 3 is used in particular for ripple and kink testing on reflective surfaces and thus for the classification of surface inclinations. The light sources 2 are used for diffuse lighting.

Das von den Lichtquellen 2 und 4 auf das Objekt 1 geworfene und von diesem gestreute und reflektierte Licht wird von einem Objektiv 6 einer Videokamera aufgefangen und auf eine CCD-Matrix der Videokamera geleitet; die CCD-Matrix 7 ist an eine Bildspeichereinrichtung 9 angeschlossen, welche die Graubildfolgen speichert. Nach Abspeichern einer bestimmten, vorgebbaren Anzahl von Bildern bzw. Farbbildern innerhalb einer Bildspeichereinrichtung 9 der Videokamera werden die Bildinhalte bezüglich der Beleuchtungskoordinaten einer Fouriertransformation, vorzugsweise eine 2D-Fouriertransformation, unterworfen, um Betrag und Phase der Beleuchtungswinkelabhängigkeit des einzelnen Bildpunktes zu bestimmen.The light thrown by the light sources 2 and 4 onto the object 1 and scattered and reflected by it is collected by a lens 6 of a video camera and directed to a CCD matrix of the video camera; the CCD matrix 7 is connected to an image storage device 9 which stores the gray image sequences. After a specific, predeterminable number of images or color images have been stored within an image storage device 9 of the video camera, the image contents are subjected to a Fourier transformation, preferably a 2D Fourier transformation, with regard to the illumination coordinates, in order to determine the amount and phase of the illumination angle dependency of the individual image point.

Diese Klassifikationsmethode baut auf den prinzipiellen Eigenheiten der Grauwertsequenz auf, die bei Durchlaufen der sektoriellen Beleuchtungen erhalten werden. Die Grauwertsequenz wird als endlicher Ausschnitt einer periodischen, zeit- und wertdiskreten Funktion angesehen, die in ihre Basiskomponenten zerlegt werden kann; Betrag und Phase der Komponenten werden durch diskrete Fouriertransformation (DFT) der Anzahl N Grauwerte der Sequenz erhalten.This classification method builds on the basic characteristics of the gray value sequence that get when going through the sectoral lights will. The gray value sequence is used as a finite section of a periodic, time and value discrete function viewed in its basic components can be disassembled; The amount and phase of the components are discrete Fourier transform (DFT) of the number N gray values of the sequence obtained.

Die Sektorzahl N soll dabei für die Fouriertransformation eine Potenz von 2 sein und hängt gemäß dem Abtasttheorem von der Periode der kompliziertesten relevanten Streucharakteristik ab:The sector number N should be a power of 2 for the Fourier transformation and depends on the period of the most complex relevant according to the sampling theorem Scattering characteristics from:

N 2x 2π/T_min N 2x 2π / T _min

Hat man es mit π-periodischen Phänomenen zu tun, muß mit mindestens vier Sektoren beleuchtet werden. Für N=4 können somit beispielsweise die Grauwertsequenzen durch Beleuchtung aus vier Raumsektoren gewonnen und anschließend einer Fouriertransformation unterzogen werden. Die Ergebnisse dieses Vorgangs für drei Fehlerklassen sind nachfolgend dargestellt und lassen sich wie folgt beschreiben:If you are dealing with π-periodic phenomena, you must have at least four Sectors are illuminated. For N = 4, for example Gray value sequences obtained by lighting from four room sectors and are then subjected to a Fourier transformation. The results this process for three error classes are shown below and leave describe themselves as follows:

(A) The gray value sequence of a scratch is π-periodic (2 maxima), because the light from 2 lighting sectors perpendicular to its orientation is scattered into the camera. The range of amounts points a large 2nd component, the phase of the 2nd component gives ø₂ the orientation direction of the feature.
(B) The grayscale sequence of a point is 2π-periodic because it is the light scattered into the camera from a specific lighting sector. The Amount spectrum has a large 1st component.
(C) An isotropically scattering object material (mirror, stain) has a constant Grayscale sequence. Its range of amounts consists of only one Direct component, which is a measure of the scattering intensity.

Nachfolgend ist eine Spektralanalyse dreier exemplarischer Grauwertsequenzen gezeigt, wobei die horizontale Koordinate den azimutalen Beleuchtungswinkel beschreibt. The following is a spectral analysis of three exemplary gray value sequences shown, the horizontal coordinate the azimuthal illumination angle describes.

Mit Hilfe der Fouriertransformation kann nun ein Oberflächenpunkt bzw. ein Pixel des Bildes der Videokamera klassifiziert werden, wobei nachfolgend ein erfindungsgemäßer möglicher Algorithmus in Form eines Flußdiagramms für die schnelle hierarchische Klassifizierung in beispielsweise vier idealisierte Fehlerklassen, wie Spiegel, Punkt, Kratzer und Fleck, gezeigt sind. Ein unversehrter Punkt der Oberfläche (Spiegel-Punkt) kann sofort ausgesondert werden, indem Hell- und Dunkelfeldbild mit in Betracht gezogen werden. In diesem Fall ist die Klassifikation ohne die Fouriertransformation beendet. With the help of the Fourier transformation, a surface point or a pixel can now be created the image of the video camera can be classified, with a possible algorithm according to the invention in the form of a flow chart for the rapid hierarchical classification into, for example, four idealized error classes, such as mirror, dot, scratch and stain are shown. An intact one Point of the surface (mirror point) can be sorted out immediately by Light and dark field images can be taken into account. In this case it is Classification ended without the Fourier transform.

Gemäß der Fig. 4 wölbt sich über einer Ebene 35 oder Basis ein Beleuchtungshimmel, der vorzugsweise ein innenverspiegelter Parabolspiegel 11 oder ein innenverspiegelter Spiegel mit etwa paraboloidischer Form ist oder ähnlich zweidimensional gekrümmt ist und der, vorzugsweise im obersten Bereich der Wölbung, eine Öffnung 12 zum Lichtdurchtritt besitzt; diese Öffnung kann auch aus einem unverspiegelten, transparenten Materialfeld des Spiegels bestehen. According to FIG. 4, a lighting sky arches over a plane 35 or base, which is preferably an internally mirrored parabolic mirror 11 or an internally mirrored mirror with an approximately paraboloidal shape or is similarly two-dimensionally curved and which, preferably in the uppermost region of the curvature, has an opening 12 for Has light passage; this opening can also consist of an unmirrored, transparent material field of the mirror.

Für weniger genaue Merkmalsextraktionen kann der Beleuchtungshimmel halbkugelförmig, für beste Merkmalsextraktionen angepaßt zweidimensional gekrümmt sein.The lighting sky can be used for less precise feature extraction hemispherical, two-dimensional adapted for best feature extraction be curved.

Unterhalb der Öffnung 12 des Spiegels 11 befindet sich auf einem transparenten Träger 13 ein zu analysierendes Objekt 10.Below the opening 12 of the mirror 11 there is an object 10 to be analyzed on a transparent support 13 .

Unterhalb des Trägers 13 befindet sich auf der Ebene 35 eine Beleuchtungseinrichtung 14, die aus einer Mehrzahl von kartesischen Lichtquellenfeldern 15, 15′, 15′′ besteht, wobei jedes Lichtquellenfeld eine Mehrzahl von einzelnen Lichtquellen 17, 17′ aufweist. Die Lichtquellenfelder 15, 15′, 15′′ sind vorzugsweise LED-Arrays, deren einzelne Lichtquellen 17, 17′ einzeln oder in Gruppen sequentiell ansteuerbar sind. Direkt oberhalb der Lichtquellenfelder 15, 15′, 15′′ kann ein dieselben abdeckender Diffusor angeordnet sein, der ein Tiefpass ist und dazu dient, daß die Lichtquellen ortskontinuierlich sind, um das Abtasttheorem zu erfüllen.Below the carrier 13 is on the level 35 an illumination device 14 , which consists of a plurality of Cartesian light source fields 15, 15 ', 15'' , each light source field having a plurality of individual light sources 17, 17' . The light source fields 15, 15 ', 15'' are preferably LED arrays, the individual light sources 17, 17' can be controlled individually or in groups sequentially. Directly above the light source fields 15, 15 ', 15'' , a diffuser covering the same can be arranged, which is a low pass and serves to ensure that the light sources are continuous in order to fulfill the scanning theorem.

Die Beleuchtungseinrichtung oberhalb des Spiegels 11 und der Öffnung 12 besteht aus wenigstens einer Reflexions-Lichtquelle 23 und ist vorzugsweise ebenfalls ein LED-Array, der eine Optik 25 zur reflektorischen Beleuchtung des Objektes (10) aus einem begrenzten Raumwinkel vorgeschaltet ist und vor der sich ebenfalls ein Diffusor 24 befinden kann. Die im Strahlengang der von der Beleuchtungseinrichtung 23 ausgesandten Lichtstrahlen 32 befindliche Optik ist beispielsweise eine Kollimationslinse 25, auf die ein Teilerspiegel 20 folgt. Seitlich des Teilerspiegels ist eine Videokamera 21 mit Bildspeichereinrichtung angeordnet, die eine Optik-Blenden-Einrichtung 22 aufweisen kann. Die Beleuchtungseinrichtung 23 und die Videokamera 21 sind dergestalt aufeinander abgestimmt, daß die Konvergenz des Lichtbündels 32 gleich der Konvergenz des Beobachtungslichtbündels 32′ ist.The lighting device above the mirror 11 and the opening 12 consists of at least one reflection light source 23 and is preferably also an LED array, which is preceded by an optics 25 for the reflective illumination of the object ( 10 ) from a limited solid angle and in front of which likewise a diffuser 24 may be located. The optics located in the beam path of the light beams 32 emitted by the illuminating device 23 are, for example, a collimation lens 25 , which is followed by a splitter mirror 20 . A video camera 21 with an image storage device is arranged to the side of the divider mirror and can have an optical aperture device 22 . The lighting device 23 and the video camera 21 are matched to one another in such a way that the convergence of the light bundle 32 is equal to the convergence of the observation light bundle 32 ' .

Die Beleuchtungseinrichtung 23 dient der mehr oder weniger vertikalen Beleuchtung flacher, reflektierender Objekte, wobei das Lichtstrahlenbündel 32 durch die Kollimationslinse 25 und nach Passieren des Teilerspiegels 20 sowie der Öffnung 12 innerhalb des Spiegels 11 als konvergentes Lichtbündel auf das Objekt 10 auftritt, von dort reflektiert und durch den Teilerspiegel 20 auf die Videokamera 21 geworfen wird. Die Beleuchtungseinrichtung 23 arbeitet analog der in Fig. 1 beschriebenen Beleuchtungseinrichtung 3.The lighting device 23 is used for more or less vertical illumination of flat, reflecting objects, the light beam 32 occurring through the collimation lens 25 and after passing through the splitter mirror 20 and the opening 12 within the mirror 11 as a convergent light beam onto the object 10 , reflecting from there and is thrown onto the video camera 21 by the splitter mirror 20 . The lighting device 23 works analogously to the lighting device 3 described in FIG. 1.

Von den einzelnen Lichtquellen 17, 17′ der Lichtquellenfelder 15, 15′, 15′′ werden Lichtbündel 19 zum Spiegel 11 gesandt, die von dort als parallele Lichtbündel 19′ auf das Objekt 10 fallen, welches sich im Brennpunkt oder ungefähr im Brennpunkt des Spiegels 11 befindet. Diese mehr oder weniger horizontal einfallenden Lichtbündel 19′ werden gestreut und durch den Teilerspiegel 20 auf die Videokamera 21 gelenkt. Von oben hingegen trifft auf das Objekt 10 konvergentes Licht ein, so daß die erfindungsgemäße Vorrichtung die theoretischen Voraussetzungen für das gleichzeitige Vorhandensein von horizontalen, parallelen Beleuchtungs-Lichtstrahlen und von vertikalen, konvergenten Beleuchtungs-Lichtstrahlen gleichermaßen erfüllt.From the individual light sources 17, 17 'of the light source fields 15, 15', 15 '' light bundles 19 are sent to the mirror 11 , which fall from there as a parallel light bundle 19 ' onto the object 10 , which is at the focal point or approximately at the focal point of the mirror 11 is located. This more or less horizontally incident light bundle 19 ' are scattered and directed by the splitter mirror 20 onto the video camera 21 . Conversely, convergent light strikes the object 10 from above, so that the device according to the invention fulfills the theoretical requirements for the simultaneous presence of horizontal, parallel illuminating light beams and vertical, convergent illuminating light beams.

Alternativ kann statt dem Kamerastrahlengang der Beleuchtungsstrahlengang abgeknickt verlaufen; alternativ zur Linse kann auch ein Spiegel zur Kollimation vorhanden sein. Ebenso können die in Hellfeld gebrachten Objektoberflächen sphärisch gekrümmt sein, wenn die Kollimationsoptik entsprechend angepaßt ist.Alternatively, the illuminating beam path can be bent instead of the camera beam path run; as an alternative to the lens, a mirror can also be used for collimation be. Likewise, the object surfaces brought into bright field can be spherically curved if the collimation optics are adapted accordingly.

Fig. 5 zeigt eine abgewandelte Beleuchtungseinrichtung 26, bestehend aus einer Mehrzahl von kartesischen Lichtquellenfelder 28, 28′, die wie die Lichtquellenfelder der Fig. 4 aufgebaut sein können. Die Lichtquellenfelder 28, 28′ sind ebenfalls mit einem Diffusor 30 abgedeckt. Die Beleuchtungseinrichtung 26 sowie der Diffusor 30 weisen mittig je eine Aussparung 29 bzw. 31 auf, durch die ein Objektträger 33 mit dem zu detektierenden Objekt 10 in vertikaler Richtung verschoben werden kann. Durch eine einfache Höhen- und Seitenverstellbarkeit kann somit das Objekt 10 bezüglich des Brennpunktes des Spiegels 11 vertikal und gegebenenfalls auch horizontal korrigiert werden. Ansonsten entspricht die Ausgestaltung des Spiegels 11 sowie der Beleuchtungseinrichtung 23 und der Videokamera 21 derjenigen der Fig. 1. Fig. 5 shows a modified lighting device 26 , consisting of a plurality of Cartesian light source fields 28, 28 ' , which can be constructed like the light source fields of FIG. 4. The light source fields 28, 28 ' are also covered with a diffuser 30 . The lighting device 26 and the diffuser 30 each have a recess 29 or 31 in the center, through which a slide 33 with the object 10 to be detected can be displaced in the vertical direction. The object 10 can thus be corrected vertically and optionally also horizontally with respect to the focal point of the mirror 11 by simple height and side adjustability. Otherwise, the configuration of the mirror 11 as well as the lighting device 23 and the video camera 21 corresponds to that of FIG. 1.

Die Größe und Anzahl der optimal erforderlichen Sektoren hängt von der Objektfunktion mit der niedrigsten Halbwertsbreite ab. Die geeignete Sektorzahl kann gefunden werden, indem das Verhältnis zwischen Merkmalssignal und Oberflächensignal über der Zahl der Sektoren aufgetragen wird. Dabei zeigt sich nach einem steilen Anstieg meist eine rasche Sättigung; bereits mit 3 bis 8 Bildern lassen sich leistungsfähige Fehlererkennungen realisieren, die gegenüber statisch beleuchteten Einzelbildern von wesentlichem Vorteil sind.The size and number of optimally required sectors depends on the object function with the lowest half-width. The appropriate number of sectors can can be found by the relationship between feature signal and Surface signal is plotted against the number of sectors. It shows after a steep climb mostly rapid saturation; already with 3 to 8 pictures powerful error detections can be realized, compared to statically illuminated single images are of great advantage.

Liste der BezugszeichenList of reference numbers

1 Objekt
2 Lichtquellen
3 Beleuchtungsmodul
4 Lichtquellen
5 Optik
6 Objektiv
7 CCD-Matrix
8 Objektebene
9 Bildspeichereinrichtung der Video-Kamera
10 Objekt
11 Spiegel
12 Öffnung
13 transparenter Träger
14 Beleuchtungseinrichtung
15, 15′, 15′′ ebene Lichtquellenfelder
16 Bewegungsdoppelpfeil
17, 17′ einzelne Lichtquellen
18 Diffusor
19 Lichtbündel einer einzelnen Lichtquelle zum Spiegel
19′ vom Spiegel reflektiertes Lichtbündel einer einzelnen Lichtquelle
20 Teilerspiegel
21 Videokamera mit Bildspeichereinrichtung
22 Optik-Blenden-Einrichtung
23 Beleuchtungseinrichtung
24 Diffusor
25 Optik, z. B. Kollimationslinse
26 Beleuchtungseinrichtung
27 Bewegungsdoppelpfeil
28, 28′ ebene Lichtquellenfelder
29, 31 Aussparungen
30 Diffusor
32 Lichtbündel
32′ Beobachtungslichtbündel
33 Objektträger
34 Bewegungsdoppelpfeile
35 Ebene 1 object
2 light sources
3 lighting module
4 light sources
5 optics
6 lens
7 CCD matrix
8 object level
9 Image storage device of the video camera
10 object
11 mirrors
12 opening
13 transparent support
14 lighting device
15, 15 ', 15'' flat light source fields
16 double movement arrow
17, 17 ' individual light sources
18 diffuser
19 light beams from a single light source to the mirror
19 ' reflected from the mirror light bundle of a single light source
20 divider mirrors
21 video camera with image storage device
22 Optical aperture device
23 lighting device
24 diffuser
25 optics, e.g. B. collimation lens
26 lighting device
27 double movement arrow
28, 28 ′ flat light source fields
29, 31 recesses
30 diffuser
32 light beams
32 ′ observation light bundle
33 slides
34 double movement arrows
35 level

Claims

1. Method for the dynamic detection and classification of surface features and defects of an object ( 1 ), the surface to be detected being illuminated by means of a plurality of illumination sources ( 2, 3 ) which have different positions in space and the illumination sources sequentially illuminate the object and the light which is diffusely reflected or reflected from the surface at any time is recorded by means of a video camera ( 7 ) which has an image storage device ( 9 ) as spatio-temporally different images, characterized in that the object ( 1 ) is surrounded by an illuminating sky is, the planar light source arrangement ( 2 ) can be freely programmed with predeterminable angle and intensity gradation, by means of which a variable number of arbitrary light functions is generated, which illuminates the object one after the other and the object additionally from a limited solid angle range with egg ner further programmable light source ( 3 ) is illuminated via collimation optics in such a way that the reflection angle condition is met for all points on a flat object surface and a suitably selected point source is imaged into the camera pupil via the surface intended as a flat mirror, and the resulting images from the video camera ( 7 ) recorded and stored in an image storage device ( 9 ) and the gray value sequences of the recorded image stack are subjected to a feature analysis.

2. The method according to claim 1, characterized, that the lighting functions elliptical ring, sector or ring sector Have distributions and the feature analysis a Fourier or similar Is transformation that causes a rotation-invariant classification of the characteristics.

3. The method according to claim 1, characterized, that each light source within the lighting sky from a plurality of separately controllable color light sources, preferably green, red and blue and at the same time one picture was taken with the different superimposed colors a color image is at least three consecutive Gray images replaced.

4. The method according to claim 1, characterized, that to compensate or measure a slight tilt of the object plane the zero point of the lighting coordinate system in that point light source is placed in the camera pupil via the object plane intended as a mirror is mapped and thus leads to the bright field.

5. The method according to claim 1, characterized in that the algorithm of the hierarchical error classification with Fourier transform is as follows:

6. Device for the dynamic detection and classification of surface features and defects of an object ( 1 ), the surface to be detected being illuminable by means of a plurality of illumination sources ( 2, 3 ) which have different positions in space and which illuminate the object sequentially and the light which is diffusely reflected or reflected at any time from the surface can be recorded as a spatio-temporal image using a video camera ( 7 ) and an image storage device ( 9 ), characterized by the following features:

a) a lighting sky (dome) from a multiplicity of freely programmable light sources ( 2 ) which can be combined to form lighting functions of any shape, which are used for sequential lighting of the object from predeterminable solid angle ranges,
b) at least one programmable light source ( 4 ) with lens or mirror optics ( 5 ) for uniform reflective bright-field illumination of flat or slightly curved surfaces,
c) an algorithm generator which is capable of subjecting the image or color image stacks recorded by the video camera to a transformation, with which the surface features and error types sought can be detected and classified with a maximum signal-to-noise ratio if the lighting function is selected appropriately.

7. The device according to claim 6, characterized in that the lighting functions consist of a number of ring sectors (s _{m, n} ), the grayscale image sequences thus generated are subjected to a 1D or 2D Fourier transformation with respect to the lighting coordinates or the ring sector indices m and n, wherein a rotation-invariable classification of the features is carried out using the coefficients obtained.

8. The device according to claim 6, characterized in that the lighting headlining is an internally mirrored, concave curved concave mirror ( 11 ) which has a recess ( 12 ) in its uppermost region, above which the lighting device ( 23 ) for reflective lighting is located and that the lighting device ( 14, 26 ) used for diffuse illumination consists of flat light source fields ( 15, 15 ', 15''; 28, 28' ), which are located below the concave mirror, the object ( 10 ) below the recess ( 12 ) and is arranged approximately centrally within the plane light source fields within the collection point or the collection surface of the concave mirror.

9. The device according to claim 8, characterized in that the concave mirror is a parabolic mirror ( 11 ) and the object ( 10 ) is at the focal point or approximately within the same.

10. The device according to claim 8, characterized in that the concave mirror is a spherical mirror or an ellipsoidal mirror or a similarly curved mirror and the object ( 10 ) is at the focal point or center or approximately within the same.

11. The device according to claim 8, characterized in that the light source fields are flat LED arrays ( 15, 15 ', 15''; 28, 28' ) arranged on a common plane ( 35 ) below the concave mirror and with a diffuser ( 18, 30 ) are covered.

12. The apparatus according to claim 8 or 11, characterized in that between the light source fields ( 15, 15 ', 15'' ) and the concave mirror ( 11 ) a transparent support ( 13 ) for placing the object ( 10 ) is arranged.

13. Device according to one of the preceding claims, characterized in that the lighting devices ( 14, 23, 26 ), in particular the LED arrays ( 15, 15 ', 15''; 28, 28' ), are freely programmable.

14. Device according to one of the preceding claims, characterized in that the illuminating device ( 23 ) serving for reflective illumination consists of an LED array, in front of which a diffuser and above the recess ( 12 ) of the concave mirror ( 11 ) a divider mirror ( 20 ) is arranged, which directs the light reflected by the object ( 10 ) to the video camera ( 21 ).