DE19726094A1

DE19726094A1 - Verfahren zur Bildverarbeitung

Info

Publication number: DE19726094A1
Application number: DE19726094A
Authority: DE
Inventors: Kazunari Yoshimura; Ryosuke Mitaka; Kuninori Nakamura; Yasuyuki Yuki
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-06-25
Filing date: 1997-06-19
Publication date: 1998-03-12
Anticipated expiration: 2017-06-20
Also published as: DE19726094B4; JPH109838A; CN1105995C; CN1170177A; HK1008252A1; JP3312849B2; US5946029A

Description

Die Erfindung bezieht sich auf ein Verfahren zur Bildverar beitung, mit dem eine Vermessung der dreidimensionalen Struktur eines Objekts erreicht werden kann, sowie auf ein Verfahren zur Bildverarbeitung, einschließlich einer Anord nung zum Detektieren von Oberflächen-Fehlstellen eines Objekts, um bei hoher Geschwindigkeit hochpräzise mikro feine, wellenförmige Fehlstellen und jegliche Fehlstelle zu detektieren, die als Information veränderlicher Helligkeit auf einem laminierten Substrat und dergleichen erscheint.

Als mögliche Maßnahme zum Bestimmen oder Vermessen der drei dimensionalen Struktur eines Objekts durch die Verarbeitung von Bildern, die mit einer Fernsehkamera (TV) aufgenommen wurden, wurde in der japanischen Patentveröffentlichung Nr. 63-83873 (Ogata et al.) ein Verfahren zum Vermessen der dreidimensionalen Struktur eines Objekts auf Basis des Reflexionsvermögens anhand mehrerer Bilder vorgeschlagen, die durch aufeinanderfolgendes Erleuchten mehrerer Licht quellen aufgenommen wurden (ein Beleuchtungsstärkendiffe renzraumbild). Bei diesem Verfahren erhält man eine Infor mation über die reflektierte Lichtintensität (Karte des Reflexionsvermögens), die die planare Richtung der Ober fläche des Objekts, die anhand der Bilder bestimmt wurde, die bei Beleuchtung eines Referenzobjekts mit jeweiligen leuchtenden Körpern aufgenommen wurden, mit der Helligkeit oder der Leuchtdichte in Beziehung setzt, die durch die TV-Kamera gemessen wurde. Gradienten der Oberflächenelemente eines aktuellen Objekts der Vermessung werden dabei durch Vergleichen der Leuchtdichte, die von der TV-Kamera bei gleicher Beleuchtung des aktuellen Objekts mit den jeweili gen leuchtenden Körpern gemessen wurde, mit der oben be schriebenen Karte des Reflexionsvermögens bestimmt. Die dreidimensionale Struktur des aktuellen Objekts wird mit den verwendeten Gradienten erneut aufgebaut.

Als Verfahren zum Detektieren einer auf einem glänzenden Objekt vorhandenen Fehlstelle wurde in der japanischen Patentveröffentlichung Nr. 3-296408 (Yamatake et al.) ein Verfahren vorgeschlagen, das die Interferenz eines Laser strahls verwendet. Während eines Verfahrens zur Herstellung von kupferplattiertem Laminat werden die Kupferschichten, deren Dicke mehrere 10 µm auf beiden Oberflächen eines jeweiligen isolierenden Substrats beträgt, geätzt. Mehrere solcher kupferplattierten Substrate werden zu Endprodukten laminiert. Kratzer, Einbeulungen, Korrosion, Flecken oder ähnliche Fehlstellen treten auf den Oberflächen der Substrate vor der Laminierung auf und müssen vorher detek tiert werden. Die Oberflächen der Substrate werden darüber hinaus aufgrund sehr kleiner Unebenheiten von mehreren Mikrometern, die beim Überfahren mit Walzen auftreten, matt, und der Aufbau des isolierenden Substrates aus mit Harz imprägniertem Gewebe führt dazu, daß die Struktur des Gewebes sichtbar wird. Bei dem bekannten Verfahren zum Detektieren von Fehlstellen wird die Detektierung der regel mäßig auf allen Oberflächen vorhandenen Unebenheiten und die Detektierung sehr kleiner Oberflächenfehlstellen auf den weniger glänzenden Ebenen durch Beleuchten mit einem Laser strahl unter sehr flachem Winkel bezüglich der Ebenen durchgeführt, und die Fehlstelle wird durch Beobachten eines Interferenzbandes detektiert, das aufgrund der mikrofeinen Struktur auf der Oberfläche bei der Reflexion des Strahls auftritt. Genauer ausgedrückt wird der von einer Laserquelle projizierte Strahl durch eine Linse so aufgefächert, daß er die Form eines Spalts aufweist, und der spaltförmige Strahl trifft durch eine Projektionslinse auf eine Zone des Substrats mit vorbestimmter Breite auf und wird von dieser in einem flachen Winkel reflektiert. Auf diese Weise wird reflektiertes Licht als Interferenzmuster auf den Schirm projiziert, der gegenüberliegend der Laserstrahlquelle angeordnet ist. Wenn das Substrat Kratzer aufweist, muß das Interferenzband beobachtet werden, indem das Band durch die TV-Kamera aufgenommen wird. Die Fehlstelle kann dann durch eine Einrichtung zur Bildverarbeitung erkannt werden.

Bei dem zuvor beschriebenen Verfahren zum Detektieren der dreidimensionalen Struktur tritt jedoch, da die Karte des Reflexionsvermögens ausgehend von der Annahme erstellt wird, daß die Oberflächeneigenschaften des Objekts über alle Ober flächen des Objekts identisch sind, das Problem auf, daß dieses Verfahren nicht auf ein Objekt angewendet werden kann, das Schwankungen des Oberflächenreflexionsvermögens aufweist. Da weiterhin eine unregelmäßige Reflexionskompo nente verwendet wird, ist das Verfahren auch nicht auf ein glänzendes Objekt anwendbar, von dem man keine unregelmäßige Reflexionskomponente erhält. Da die dreidimensionale Struk tur anhand der Leuchtdichte beim Beleuchten mit dem Leucht körper als Referenz bestimmt wird, ist die Detektierung deutlich durch sekundäres Zurückstrahlen der Beleuchtung beeinflußt.

Bei dem oben beschriebenen Verfahren der Detektierung von Fehlstellen treten weiterhin Probleme dahingehend auf, daß jeder Fremdkörper auf dem Substrat eine deutliche Änderung des Interferenzbandes verursacht, so daß das Substrat fälschlich als Ausschuß erkannt wird. Wenn das Substrat verwunden ist, liegt das Interferenzband außerdem außerhalb des Meßbereichs, so daß es normalerweise nicht gemessen werden kann.

Wenn die dreidimensionale Struktur nicht bestimmt werden kann, können die Fehlstelle mit einigen Einbeulungen und die Fehlstelle ohne Einbeulungen nicht voneinander unterschieden werden. Da weiterhin die Interferenzerscheinung eines Laser strahls verwendet wird, wird die Detektierung sehr kleiner Strukturen auf der Oberfläche des Substrates hiervon deut lich beeinflußt.

Die vorliegende Erfindung wird zur Lösung der vorstehenden Probleme vorgeschlagen, und mit der Erfindung soll ein Ver fahren zur Bildverarbeitung geschaffen werden, das die Bestimmung einer genauen dreidimensionalen Struktur eines Objekts ermöglicht, insbesondere eines mit Farbschattie rungen versehenen oder glänzenden Objekts.

Weiterhin soll mit der Erfindung ein Verfahren zur Bildver arbeitung geschaffen werden, das ein Verfahren zum Detek tieren von Fehlstellen einschließt, das in der Lage ist, bei geringerer Beeinflussung durch Oberflächeneigenschaften und Fremdkörper Oberflächen-Fehlstellen des Objekts stabil zu detektieren.

Gemäß der vorliegenden Erfindung kann dies mit einem Verfah ren zur Bildverarbeitung erreicht werden, das die Schritte des Anordnens einer TV-Kamera zum Aufnehmen eines Objekts und einer Lichtquelle zum Beleuchten des Objekts, des sequentiellen Aufnehmens mehrerer Bilder des Objekts mit der TV-Kamera während die relative Position der Lichtquelle, des Objekts und der TV-Kamera verändert wird, um den Einfalls winkel des Beleuchtungslichts an mehreren Positionen auf der Oberfläche des Objekts sequentiell zu verändern, des Bestim mens einer Winkelverteilung des einfallenden direkt reflek tierten Lichts zu dem Zeitpunkt, zu dem die Leuchtdichte in bezug auf die mehreren Bilder mit verschiedenen Winkeln des einfallenden Beleuchtungslichts an ein und demselben Punkt am größten ist und des Bestimmens von Bildern aufweist, die die Winkelverteilung des direkt reflektierten Lichts an mehreren vorbestimmten Punkten auf der Oberfläche des zu erfassenden Objekts zeigen.

Mit dem obigen Verfahren ist es möglich, den Oberflächen gradient an allen Punkten auf der Oberfläche des zu detek tierenden Objekts mit einer einfachen Anordnung zu messen.

Bevorzugte Ausführungsformen und weitere Vorteile der Erfin dung werden nun anhand der Zeichnung beschrieben, die fol gendes darstellt:

Fig. 1 zeigt eine Ansicht zur Erläuterung des Konzepts einer Einrichtung, die eine Ausführungsform des Verfahrens zur Bildverarbeitung gemäß der vorliegenden Erfindung dar stellt;

Fig. 2 zeigt eine Ansicht zur Erläuterung der theoretischen Funktionsweise der Anordnung der Fig. 1;

Fig. 3 zeigt eine schematische Ansicht des Objekts, wie es von der TV-Kamera in der Anordnung der Fig. 2 aufgenommen wurde;

Fig. 4 zeigt eine weitere schematische Ansicht des Objekts, wie es von der TV-Kamera in der Fig. 2 aufgenommen wurde;

Fig. 5 zeigt ein Schaubild zur Erläuterung der Veränderung der Leuchtdichte auf Oberflächen mit verschiedenen Gradien ten;

Fig. 6 stellt ein Ablaufdiagramm der Ausführungsform der Fig. 1 dar;

Fig. 7 zeigt eine Ansicht zur Erläuterung der Einrichtung der Ausführungsform der Fig. 1;

Fig. 8 zeigt eine Ansicht zur Erläuterung der Bilder, die man mit der Einrichtung der Fig. 7 erhält;

Fig. 9 zeigt eine Ansicht eines Winkelverteilungsbildes, das mit der Ausführungsform der Fig. 1 aufgenommen wurde;

Fig. 10 zeigt eine Darstellung eines Leuchtdichtenvertei lungsbildes, das mit der Ausführungsform der Fig. 1 auf genommen wurde;

Fig. 11 ist eine Ansicht eines Bildes der Oberflächengra dientenverteilung, das durch Umwandeln des in der Fig. 9 gezeigten Winkelverteilungsbildes bestimmt wurde;

Fig. 12 zeigt eine Ansicht eines dreidimensionalen Bildes, das durch Verarbeitung des in der Fig. 11 gezeigten Bildes der Gradientenverteilung bestimmt wurde;

Fig. 13 ist ein Schaubild zur Erläuterung eines ergänzenden Verfahrens zur Verbesserung der Genauigkeit in bezug auf die Ausführungsform der Fig. 1;

Fig. 14 zeigt eine schematische Ansicht einer Einrichtung zur Durchführung einer weiteren Ausführungsform des erfin dungsgemäßen Verfahrens zur Bildverarbeitung;

Fig. 15 zeigt eine schematische Ansicht einer Einrichtung zur Durchführung einer weiteren Ausführungsform des erfin dungsgemäßen Verfahrens zur Bildverarbeitung;

Die Fig. 16(a) und 16(b) sind Ansichten, die zeigen, wie eine Veränderung der Lage der TV-Kamera und des zu detektie renden Objekts zueinander in der Ausführungsform der Fig. 15 erscheint;

Fig. 17 ist eine Ansicht einer Einrichtung zur Durchführung einer weiteren Ausführungsform, die zur Beschleunigung des Verfahrens zur Bildverarbeitung der vorliegenden Erfindung vorgesehen ist;

Fig. 18 ist eine Ansicht einer Einrichtung, die bei einer weiteren Ausführungsform zur Beschleunigung des Verfahrens zur Bildverarbeitung der vorliegenden Erfindung verwendet wird;

Fig. 19 zeigt eine schematische Darstellung zur Erläuterung der Eigenschaft des Winkelverteilungsbildes in dem Verfahren zur Bildverarbeitung der vorliegenden Erfindung;

Die Fig. 20 bis 22 sind schematische Schaubilder, die sich auf Gesichtspunkte des Arbeitsablaufs beim Durchführen einer Gradientenkorrektur in dem Verfahren zur Bildverarbeitung der vorliegenden Erfindung, einschließlich einer Anordnung zum Detektieren von Oberflächen-Fehlstellen, beziehen;

Fig. 23(a) ist eine schematische Ansicht eines Standardbil des, das bezüglich eines Gesichtspunktes des Arbeitsablaufs zum Detektieren einer Fehlstelle in dem Verfahren zur Bild verarbeitung der vorliegenden Erfindung, einschließlich der Anordnung zum Detektieren einer Oberflächen-Fehlstelle, ver wendet wird;

Fig. 23(b) ist eine Ansicht des Prüfbildes entsprechend der Fig. 23(a);

Fig. 24(a) ist ein Schaubild, das die Veränderung des Beleuchtungswinkels zeigt, die in einer Richtung senkrecht zu der Lichtquelle auftritt, wenn die Fehlstelle eine Ein beulung ist;

Fig. 24(b) ist ein Schaubild, das die Veränderung des Beleuchtungswinkels zeigt, die in der Richtung senkrecht zu der Lichtquelle auftritt, wenn die Fehlstelle eine Blase ist;

Fig. 25 ist eine Ansicht, die den Gesichtspunkt der Fehl stellendetektierung von Kratzern in dem Verfahren zur Bild verarbeitung der vorliegenden Erfindung, einschließlich der Anordnung zum Detektieren von Oberflächen-Fehlstellen, erläutert;

Fig. 26 ist eine Ansicht, die den Gesichtspunkt der Fehl stellendetektierung von Korrosion in dem Verfahren zur Bildverarbeitung der vorliegenden Erfindung, einschließlich der Anordnung zum Detektieren von Oberflächen-Fehlstellen, erläutert;

Fig. 27 ist ein Ablaufdiagramm, um den Gesichtspunkt der Fehlstellendetektierung von Korrosion in dem Verfahren zur Bildverarbeitung der vorliegenden Erfindung, einschließlich der Anordnung zum Detektieren von Oberflächen-Fehlstellen zu erläutern;

Fig. 28 ist eine Ansicht, die einen Gesichtspunkt der Fehl stellendetektierung erläutert, wobei ein Gebiet dunkler Flecken in dem Verfahren zur Bildverarbeitung der vorlie genden Erfindung, einschließlich der Anordnung zum Detek tieren von Oberflächen-Fehlstellen, als Referenz dient;

Fig. 29 ist eine Ansicht, die einen Gesichtspunkt der Detek tierung von Fehlstellen erläutert, wobei in dem Verfahren zur Bildverarbeitung der vorliegenden Erfindung, einschließ lich der Anordnung zum Detektieren von Oberflächen-Fehl stellen, ebenfalls ein Gebiet dunkler Flecken als Referenz verwendet wird;

Fig. 30 zeigt eine Ansicht zur theoretischen Erläuterung des Gesichtspunktes der Detektierung eines Fremdkörpers in dem Verfahren zur Bildverarbeitung der vorliegenden Erfindung, einschließlich der Anordnung zum Detektieren von Ober flächen-Fehlstellen;

Fig. 31 ist eine Ansicht, die den Gesichtspunkt der Detek tierung des Fremdkörpers in dem Verfahren zur Bildverarbei tung der vorliegenden Erfindung, einschließlich der Anord nung zum Detektieren von Oberflächen-Fehlstellen, erläutert; und

Fig. 32 ist ein Ablaufdiagramm zur Erläuterung des Gesichts punkts der Detektierung des Fremdkörpers in dem Verfahren zur Bildverarbeitung der vorliegenden Erfindung, einschließ lich der Anordnung zum Detektieren von Oberflächen-Fehlstel len.

Auch wenn die vorliegende Erfindung nun in bezug auf die speziellen Ausführungsformen, die in der Zeichnung gezeigt sind, beschrieben wird, sollte einzusehen sein, daß nicht beabsichtigt ist, die Erfindung nur auf diese speziellen Ausführungsformen zu beschränken, sondern vielmehr alle Ver änderungen, Modifikationen und gleichwertige Anordnungen mit einzuschließen, die innerhalb des Rahmens der angefügten Ansprüche möglich sind.

Fig. 1 zeigt schematisch eine Einrichtung zur Bildverarbei tung, die bei der Verwirklichung einer Ausführungsform des Verfahrens zur Bildverarbeitung gemäß der vorliegenden Erfindung verwendet wird. Die Einrichtung weist eine TV-Kamera 1, eine Lichtquelle 2 und einen Bildverarbeitungsab schnitt 4 auf, wobei eine Oberfläche eines zu detektierenden Objekts 3 durch ein Substrat eines kupferplattierten Lami nats gebildet wird. Die beleuchtete Oberfläche wird von der TV-Kamera 1 aufgenommen, und das von der TV-Kamera aufgenom mene Bild wird in dem Bildverarbeitungsabschnitt 4 verarbei tet.

Die Oberfläche der Kupferschicht auf dem Substrat weist eine Unebenheit von mehreren Mikrometern auf, die beim Walzen der Schicht als Streifen entstehen, die in Walzrichtung liegen und über die gesamte Oberfläche verteilt sind, so daß von der Lichtquelle 2 ausgehendes Licht von einer solchen feinen Unebenheit auf der Oberfläche gestreut wird, aber auch eine starke Komponente direkter Reflexion vorhanden ist, wobei der Reflexionswinkel in Richtung der Walzrichtung liegt.

Bei der hier gezeigten Einrichtung ist daher die TV-Kamera 1 in einer Richtung angeordnet, die im wesentlichen mit der Walzrichtung übereinstimmt, um die direkte Komponente der Reflexion zu beobachten, während die Position der Licht quelle 2, der TV-Kamera 1 und des zu detektierenden Objekts 3 zueinander verändert wird, wie durch die jeweiligen Pfeile angedeutet ist. Die Bilder, die bei dieser Beobachtung unter verschiedenen Winkeln des einfallenden Beleuchtungslichts erhalten werden, sind beispielsweise in den Fig. 3 und 4 gezeigt. Wenn die Lichtquelle 2 sich nun in einer Position L1, die in Fig. 2 gezeigt ist, befindet, ist ein beleuch teter Abschnitt an einer Position A auf der Oberfläche des Objekts 3 fast eben, und die direkte Reflexionskomponente des von der Quelle 2 einfallenden Lichts erscheint in der Form eines Bandes A, das sich seitlich erstreckt und in der Fig. 3 dargestellt ist. Liegt ein fehlerhafter Abschnitt in Form einer Einbeulung B vor, wie in der Fig. 2 gezeigt ist, erscheint eine lokale direkte Reflexionskomponente B1, wie sie in der Fig. 3 dargestellt ist. Wenn die Lichtquelle 2 sich in der Fig. 2 in einer anderen Position L2 befindet, kann die direkte Reflexionskomponente im Abschnitt A2 in Fig. 4, der der Position A in der Fig. 2 entspricht, nicht beobachtet werden, und statt dessen wird eine bandförmige direkte Reflexionskomponente im Abschnitt B2 in Fig. 4 beob achtet, die dem an die Position B in Fig. 2 angrenzenden Abschnitt entspricht. Im Fall des fehlerhaften Abschnitts mit lokal unterschiedlicher Oberflächenrichtung (B in Fig. 2) erhält man jedoch keine direkte Reflexionskomponente. Die Leuchtdichte an den Positionen A und B in der Fig. 4 ändert sich wie in der Fig. 5 dargestellt, wenn der Winkel des ein fallenden Beleuchtungslichts verändert wird. Hierbei hat sich gezeigt, daß der Winkel des einfallenden Beleuchtungs lichts, der die größte Leuchtdichte ergibt (entsprechend den Positionen Pa und Pb der Kurven), zwischen dem ebenen Abschnitt A, dargestellt durch eine Kurve weißer Punkte, und dem fehlerhaften Abschnitt B, dargestellt durch eine Kurve schwarzer Punkte, der einen anderen Gradient als der Abschnitt A aufweist, verschieden ist. Durch sequentielles Messen der Leuchtdichte bei Veränderung des Winkels des ein fallenden Beleuchtungslichts kann daher ein Beleuchtungs winkel bestimmt werden, bei dem die Leuchtdichte am größten wird, indem der Winkel des einfallenden direkt reflektierten Lichts an den jeweiligen Meßpunkten des Objekts bestimmt wird. Durch Bestimmen dieses Winkels des einfallenden direkt reflektierten Lichts an zahlreichen vorbestimmten Punkten des Objekts kann ein Bild bestimmt werden, das eine Winkelverteilung des einfallenden direkt reflektierten Lichts enthält (Winkelverteilungsbild).

Als nächstes wird die Verarbeitungsoperation innerhalb des Bildverarbeitungsabschnitts 4 in dem Verfahren der vorlie genden Ausführungsform in bezug auf das Ablaufdiagramm der Fig. 6 beschrieben. Zunächst wird als Beispiel der einfach sten Verwirklichung ein Fall beschrieben, bei dem die Licht quelle 2 bewegt wird. In der Fig. 7 ist der Betrieb der Ein richtung, die die vorliegende Ausführungsform verwirklicht, gezeigt, und die bei diesem Betrieb mit der TV-Kamera 1 erhältlichen Bilder sind in der Fig. 8 dargestellt.

Zunächst nehmen die TV-Kamera 1, die Lichtquelle 2 und das zu detektierende Objekt 3 eine anfängliche Stellung (i 0) ein, so daß die direkte Reflexionskomponente dann, wenn das zu detektierende Objekt 3 durch die Lichtquelle 2 beleuchtet wird, am Rand des Sichtbereichs der TV-Kamera 1 einfällt. Dann wird die Lichtquelle 2 bewegt und nach jeder Bewegung der Quelle 2 um einen festen Betrag (i i+1) werden Bildsig nale mit unterschiedlicher Helligkeit in 256 Helligkeitsgra dationen von der TV-Kamera 1 in den Bildverarbeitungsab schnitt 4 eingegeben. Bis das Licht von der Lichtquelle 2, das direkt auf dem Objekt 3 reflektiert wird, an dem gegen überliegenden Rand des Sichtbereichs erscheint, wird die Lichtquelle 2 von der Position p0 bis zur Position pn bewegt, und die Bilder S0 bis Sn, wie in der Fig. 8 darge stellt, werden aufgenommen.

Als nächstes werden die Leuchtdichten I0 bis In der jeweili gen Bildelemente der aufgenommenen Bilder bei denselben Koordinaten (x, y) wie in den Bildern S0 bis Sn verglichen, und eine Bildnummer "i", die den größten Wert ergibt, und die Leuchtdichte Ii zum Zeitpunkt "i" werden bestimmt. Wei terhin wird die Bildnummer "i" als numerischer Wert angese hen, der den Beleuchtungswinkel bezeichnet, und wird als Bildelementwert an den Koordinaten (x, y) des Winkelvertei lungsbildes RP abgespeichert. Darüber hinaus wird die größte Leuchtdichte Ii als Bildelementwert an den Koordinaten (x, y) des Leuchtdichtenverteilungsbildes RI abgespeichert.

Durch die oben beschriebene Verarbeitung erhält man schließ lich ein Winkelverteilungsbild RP, wie es in der Fig. 9 gezeigt ist, und ein Leuchtdichtenverteilungsbild RI, wie es in der Fig. 10 gezeigt ist. Die in dem Winkelverteilungsbild RP gespeicherten Daten sind die Bildnummern, bei denen die Leuchtdichte an den jeweiligen Koordinaten am größten ist, und da die Lage der TV-Kamera 1, der Lichtquelle 2 und des zu detektierenden Objekts 3 zueinander für diese Bildnummer über die Anordnung der Einrichtung bekannt ist, kann das Winkelverteilungsbild RP in ein Bild umgewandelt werden, das den der Oberfläche eigenen Gradienten darstellt und in der Fig. 11 gezeigt ist. Durch Integrieren dieses Gradientenbil des in der Richtung "y" der Fig. 11 ist es auch möglich, die vollständige dreidimensionale Struktur wiederherzustellen, wie sie in der Fig. 12 gezeigt ist.

Da bei dem Verfahren der vorstehenden Ausführungsform die aufgenommene Bildnummer als Index verwendet wurde, der bei der Erzeugung des Winkelverteilungsbildes RP den Winkel des einfallenden Beleuchtungslichts zeigt, ist eine sich erge bende Auflösung nur durch die Auflösung bei der Veränderung des Winkels des einfallenden Beleuchtungslichts begrenzt, die durch eine relative Bewegungsgeschwindigkeit der Kamera 1, der Lichtquelle 2 und des Objektes 3 und durch die Auf nahmeintervalle der Bilder bestimmt ist.

Als diesbezügliche Ergänzungsmaßnahme kann ein Verfahren vorgesehen sein, bei dem das Verhältnis des Winkels des ein fallenden Beleuchtungslichts zu der Leuchtdichte durch eine Gaußsche Funktion, eine sekundäre Funktion oder dergleichen approximiert ist und der Scheitelwert der Leuchtdichte aus dem Scheitelwert solch einer Funktion mit einer Auflösung bestimmt wird, die die Bewegungsauflösung des Beleuchtungs winkels übersteigt (Subpixel-Detektierungsverfahren). Das heißt, daß es möglich ist, den Winkel des einfallenden Beleuchtungslichts, der die größte Leuchtdichte ergibt, mit höherer Auflösung zu bestimmen als in dem Fall (A), bei dem nur der größte Wert bestimmt wird, indem im Fall (B) der Scheitelwert mit Hilfe der Näherungsfunktion FP bestimmt wird, wodurch die Auflösung der Messung verbessert ist.

Da in der Fig. 7 die Positionen der TV-Kamera 1 und des zu detektierenden Objekts 3 fest sind und in der verwendeten Einrichtung lediglich die Lichtquelle 2 bewegt wird, kann es vorkommen, daß die vorstehende Anordnung, bei der der Bereich jeder Detektierung auf die Größe des Sichtbereichs der TV-Kamera 1 begrenzt ist, in einem Fall nicht geeignet ist, bei dem das zu detektierende Objekt 3 eine große läng liche Oberfläche, wie beispielsweise ein gewalztes Kupfer blech, aufweist. In diesem Fall kann wirkungsvoll eine Anordnung eingesetzt werden, bei der die Lage der TV-Kamera 1 und der Lichtquelle 2 zueinander in einer einstückigen Einheit fest ist, und das zu detektierende Objekt 3 oder die einstückige Einheit relativ bewegt wird, um die Messung durchzuführen. Eine schematische Anordnung einer Einrich tung, die dieses Verfahren verwendet, ist in der Fig. 14 gezeigt, in der eine Förderanlage 5 für die Bewegung des zu detektierenden Objekts 3 vorgesehen ist.

Wenn das Objekt 3 eine große seitliche Breite aufweist, so daß ein großer Leuchtkörper als Lichtquelle 2 erforderlich ist, können die obigen Detektierungsmittel wirksam einge setzt werden, indem das Objekt 3 und die Lichtquelle 2 fixiert werden und die TV-Kamera 1 bewegt wird. Eine schema tische Anordnung einer Einrichtung, die von dieser Maßnahme Gebrauch macht, ist in der Fig. 15 gezeigt.

Mit Anordnungen, wie sie in den Fig. 14 und 15 gezeigt sind, ist es notwendig, die Zuordnung ein und desselben Punktes auf dem Objekt 3 zwischen jeweiligen Bildern zu erreichen, da die Lage der TV-Kamera 1 zu dem Objekt 3 sich im Gegen satz zu der Anordnung, bei der die Lichtquelle 2 bewegt wird, verändert. Da die Fig. 16(a) und 16(b) den identi schen fehlerhaften Abschnitt B auf der Oberfläche des Objekts 3 zeigen, ist erkennen, daß der Abschnitt B sich auf den Bildern aufgrund der relativen Bewegung zwischen der Kamera 1 und dem Objekt 3 bewegt zu haben scheint. Da das Ausmaß dieser Bewegung ausgehend sowohl von der Geschwindig keit der relativen Bewegung zwischen der Kamera 1 und dem Objekt 3 als auch der Anordnung des verwendeten optischen Systems abgeschätzt werden kann, ist es möglich, die Zuord nung ein und desselben Abschnitts des Objekts 3 zwischen den jeweiligen Bildern zu erreichen.

Wenn das zu detektierende Objekt 3 bezogen auf die TV-Kamera 1 groß ist oder eine Hochgeschwindigkeitsverarbeitung erforderlich ist, kann es vorkommen, daß die einzelne TV-Kamera 1 nicht ausreichend ist. In einem solchen Fall kann dieses Problem durch Verwendung mehrerer, parallel angeord neter TV-Kameras 1 gelöst werden, wie in der Fig. 17 gezeigt ist.

Weiterhin ist es möglich, die Bildaufnahmefrequenz zu ver ringern und die Messung in kürzerer Zeit auszuführen, indem die direkte Reflexionskomponente in mehreren Farben inner halb eines Sichtbereichs der TV-Kamera 1 erfaßt wird. Hierzu enthält die Lichtquelle 2 mehrere, verschiedenfarbiges Licht aussendende lichtemittierende Dioden, Neonröhren oder der gleichen, und diese verschiedenfarbigen Komponenten werden durch eine Farbbildverarbeitung getrennt verarbeitet. Eine diesbezügliche Anordnung ist in der Fig. 18 gezeigt, bei welcher die Lichtquellen eine rote Farbe 2R, eine grüne Farbe 2G und eine blaue Farbe 2B aufweisen.

Bei der Anordnung der vorstehenden Ausführungsform der Fig. 7 können mehrere Bilder, bei denen sich die direkte Refle xionskomponente an dem ebenen Abschnitt allmählich ver schiebt, wie in der Fig. 8 gezeigt ist, durch Bewegen der Lichtquelle 2 erhalten werden. Die Winkelverteilungsbilder RP weisen einen Gradient in senkrechten Richtungen auf, wie in der Fig. 19 gezeigt ist, da die Bildnummer, bei der die Leuchtdichte des jeweiligen Bildelements unter den Bildern RP am größten ist, als der Bildelementwert angesehen wird. Da die Detektierung des fehlerhaften Abschnittes mit einer einfachen Verarbeitung über einen Schwellenwert oder der gleichen unsicher ist, wenn der Gradient unverändert bleibt, ist eine Korrektur des Gradienten notwendig. Zu diesem Zweck können zwei Möglichkeiten bei der Anordnung der Einrichtung vorgesehen sein.

Bei einer ersten Anordnung wird der auftretende Gradient nur in den senkrechten Richtungen der Abbildung in den Winkel verteilungsbildern RP verwendet, und der Gradient wird durch eine lineare Differenzierung in den senkrechten Richtungen in der Abbildung der Bilder entfernt, wobei diese Anordnung in der Fig. 20 gezeigt ist. Mit dieser Anordnung wird der erzielbare Effekt nicht nur die Korrektur des Gradienten sein, sondern auch daß eine große Welligkeit, Verwindung oder dergleichen der Oberfläche des zu detektierenden Objekts 3 entfernt werden kann und daß jegliche sehr kleine fehlerhafte Abschnitte betont werden.

Bei einer zweiten Anordnung wird der in den Bildern auftre tende Gradient mit einem Betrag der Veränderung des Winkels des einfallenden Beleuchtungslichts als Basis vorläufig abgeschätzt, und der Gradient wird durch Bestimmen einer Differenz zwischen dem abgeschätzten Gradienten und dem tat sächlichen Gradienten in den Winkelverteilungsbildern RP korrigiert.

Die zweite Anordnung entspricht der in der Fig. 21 gezeigten Anordnung, nach der ein Betrag des Gradienten 11, wie in der Fig. 21 gezeigt, von dem ursprünglichen Bildelementwert sub trahiert wird und das Bild dadurch, wie in der Fig. 22 gezeigt ist, flach verläuft. Bei dieser Anordnung kann die Welligkeit der Oberfläche oder die Verwindung des Objekts 3 nicht entfernt werden, und die Anordnung ist dann wirkungs voll einzusetzen, wenn die Welligkeit oder die Verwindung detektiert werden sollen.

Als nächstes wird eine Verarbeitung zur Durchführung der Detektierung einer tatsächlichen Fehlstelle anhand der erhaltenen Winkelverteilungsbilder RP beschrieben. Bei der einfachsten Fehlstellendetektierungsanordnung werden zunächst mit der speziellen Anordnung an nicht fehlerhaften Gegenständen gemessene Daten als Standardbild gespeichert, wie in der Fig. 23(a) gezeigt ist, um diese mit Prüfbild daten zu vergleichen, wie sie in der Fig. 23(b) gezeigt sind, die in bezug auf das zu detektierende Objekt gemessen wurden.

Durch Verwendung der Oberflächengradientdaten, die in den Winkelverteilungsbilder RP gespeichert sind, können feine Einbeulungen, Blasen, Kratzer und dergleichen, die auf der Oberfläche des zu detektierenden Objekts 3 vorhanden sind, detektiert werden. Bezogen auf die Oberflächengradientdaten entlang der Bewegungsrichtung der Lichtquelle wird eine Schwankung des Gradienten zwischen der Einbeulungs-Fehlstelle und der Blasen-Fehlstelle genau entgegengesetzt sein, und die Art der Fehlstelle kann mit den verwendeten Daten unterschieden werden. Die Veränderung des Winkels des einfallenden Beleuchtungslichts in Y-Richtung in der Fig. 7 in den Fällen der Einbeulungs-Fehlstelle und der Blasen-Fehlstelle ist in den Fig. 24(a) und 24(b) gezeigt.

Weiterhin wird nun eine Verarbeitung zur Durchführung der Detektierung einer tatsächlichen Fehlstelle anhand der erhaltenen Leuchtdichtenverteilungsbilder RI beschrieben werden. In den Leuchtdichtenverteilungsbildern RI, die durch die oben beschriebene Anordnung bestimmt wurden, sind die Oberflächenreflexionsdaten des Objekts 3 gespeichert, und eine Analyse dieser Daten ermöglicht es, eine Fehlstelle, die eine Schwankung der Leuchtdichte mit sich bringt, zu detektieren, d. h. die Kratzer-Fehlstelle oder die Korrosions-Fehlstelle.

Die Kratzer-Fehlstelle tritt auf, wenn die Metalloberfläche durch irgend ein anderes hartes Objekt zerkratzt wird. Ihr Oberflächenprofil zeigt, daß die Mikrostruktur der Ober fläche gequetscht ist und so einer Spiegeloberfläche nahe kommt. Ihr Reflexionsvermögen ist dadurch sehr hoch und erscheint in den erhaltenen Leuchtdichtenverteilungsbildern RI in der Form einer hellen Fehlstelle, wie in der Fig. 25 gezeigt ist. Da der Kratzer dadurch gekennzeichnet ist, daß er linienförmig auftritt ist es möglich, die kratzerförmige Fehlstelle durch Extrahieren eines Abschnitts, zu detek tieren, in dem sich die Leuchtdichte in den Leuchtdichten verteilungsbildern linienförmig ändert.

Im Fall der Korrosions-Fehlstelle ist das Oberflächen reflexionsvermögen der Metallschicht aufgrund einer Oxyda tion verringert, so daß in dem erhaltenen Leuchtdichten verteilungsbild eine dunkle Fehlstelle auftreten wird, wie sie in der Fig. 26 gezeigt ist. Da die Korrosions-Fehlstelle in bezug auf die Fläche deutlich größer ist als andere Fehl stellen, werden jegliche Abschnitte in dem Leuchtdichten verteilungsbild, die eine geringere Leuchtdichte als die Umgebung und eine große Fläche aufweisen, in gewissem Grade als Korrosions-Fehlstelle erkannt.

Das Detektierungsverfahren für die Korrosions-Fehlstelle wird unter Bezugnahme auf ein Ablaufdiagramm beschrieben, das in der Fig. 27 gezeigt ist. Zunächst wird das Leucht dichten-(Verteilungs)-Bild RI durch einen Schwellenwert TH1 binär codiert. Daraufhin werden mehrere aufeinanderfolgende Zonen extrahiert und, wie in der Fig. 28 gezeigt ist, numeriert. Die Oberflächengröße der jeweiligen extrahierten Zonen wird bestimmt, und eine der Zonen, die eine Größe auf weist, die den Schwellenwert IT1 überschreitet, wird als die Korrosions-Fehlstelle angesehen. Fig. 29 zeigt einen Zustand, in dem die mit 1 und 3 numerierten Zonen als Korrosions-Fehlstelle erkannt sind.

In einem Fall, in dem ein Fremdkörper auf der Oberfläche des zu detektierenden Objekts 3 vorhanden ist, erscheint der durch die TV-Kamera 1 beobachtete Fremdkörper 6 stets als Schattenbild, da Lichtquelle 2 in bezug auf den Fremdkörper 6 immer auf der gegenüberliegenden Seite liegt, wie in der Fig. 30 gezeigt ist. Folglich erscheint der dem Fremdkörper entsprechende Abschnitt in dem Leuchtdichtenverteilungsbild als dunkler Fleck, wie in der Fig. 31 gezeigt ist. Auf diese Weise ist es möglich, den Fremdkörper 6 auf der Oberfläche des Objekts von einer Blasen-Fehlstelle zu unterscheiden, da der Fremdkörper 6 eine größere Höhe als die Blase aufweist und die oben beschriebenen Eigenschaften zeigt. Da der Fremdkörper 6 als dunkler Fleck kleiner Fläche in dem Leuchtdichtenverteilungsbild erscheint, kann ein Abschnitt mit geringerer Leuchtdichte, aber mit im Gegensatz zu der Korrosions-Fehlstelle kleiner Fläche, als Fremdkörper bestimmt werden.

Das Verfahren zur Detektierung des Fremdkörpers 6 wird unter Bezugnahme auf ein Ablaufdiagramm erläutert, das in der Fig. 32 gezeigt ist. Das Leuchtdichten-(Verteilungs)-Bild RI wird zunächst durch einen Schwellenwert TH2 binär codiert, und daraufhin werden aufeinanderfolgende Zonen extrahiert, wie in der Fig. 28 gezeigt ist. Die Oberflächengrößen dieser Zonen werden bestimmt, und jede Zone oder alle Zonen deren Flächengröße geringer ist als der Schwellenwert IT2 können als Fremdkörper angesehen werden. In diesem Fall ist die in der Fig. 29 mit 2 bezeichnete Zone als der Fremdkörper 6 bestimmt.

Claims

1. Verfahren zur Bildverarbeitung mit folgenden Schritten:

- Anordnen einer TV-Kamera zum Aufnehmen eines Objekts und einer Lichtquelle zum Beleuchten des Objekts,
- sequentielles Erfassen mehrerer Bilder des Objekts mit der TV-Kamera, während die Lage der Lichtquelle, des Objekts und der TV-Kamera zueinander verändert wird, wobei der Winkel des einfallenden Beleuchtungslichts an mehreren Positionen auf der Oberfläche des Objekts sequentiell verändert wird,
- Bestimmen einer Winkelverteilung des einfallenden direkt reflektierten Lichts zu dem Zeitpunkt, zu dem die Leucht dichte in bezug auf die mehreren Bilder mit verschiedenen Winkeln des einfallenden Beleuchtungslichts an ein und dem selben Punkt am größten ist, und
- Bestimmen von Bildern, die die Winkelverteilung des direkt reflektierten Lichts an mehreren vorbestimmten Punkten auf der Oberfläche des zu detektierenden Objekts zeigen.

2. Verfahren nach Anspruch 1, bei welchem die verwendete Lichtquelle eine linienförmige Lichtquelle ist.

3. Verfahren nach Anspruch 1, bei welchem die verwendete Lichtquelle eine Punktlichtquelle ist.

4. Verfahren nach Anspruch 1, bei welchem eine dreidimensio nale Struktur des Objekts an Positionen bestimmt wird, die jeweiligen Bildelementen der Bilder entsprechen, und diese anhand des Winkels des direkt reflektierten Lichts an der selben Position auf dem Objekt bestimmt wird.

5. Verfahren nach Anspruch 1, bei welchem dieselbe Position auf dem Objekt in den mehreren Bildern, die von der TV-Kamera aufgenommen wurden, anhand der relativen Lage des Objekts zu der TV-Kamera zugeordnet wird.

6. Verfahren nach Anspruch 1, bei welchem für das Abspei chern des Winkels des einfallenden direkt reflektierten Lichts an derselben Position des Objekts ein Interpolations schritt anhand der Leuchtdichtendaten auf den Bildern vor und nach dem Bild, das die größte Leuchtdichte zeigt, durch geführt wird.

7. Verfahren nach Anspruch 1, bei welchem die Winkelvertei lungsbilder linear in einer Richtung differenziert werden, in der sich die beobachtete direkte Reflexionskomponente bewegt.

8. Verfahren nach Anspruch 1, bei welchem in den Winkelver teilungsbildern ein Gradient des Bildelementwerts, der in der Bewegungsrichtung der beobachteten direkten Reflexions komponente auftritt, anhand eines Bereichs, in dem sich der Winkel des einfallenden Beleuchtungslichts ändert, korri giert wird.

9. Verfahren nach Anspruch 1, bei welchem die Lage der TV-Kamera und des Objekts zueinander fixiert ist und die Licht quelle so bewegt wird, daß der Winkel des einfallenden Beleuchtungslichts an den jeweiligen Positionen auf dem Objekt sequentiell verändert wird.

10. Verfahren nach Anspruch 1, bei welchem die Lage der TV-Kamera und der Lichtquelle zueinander fixiert ist und das Objekt so bewegt wird, daß der Winkel des einfallenden Beleuchtungslichts an den jeweiligen Positionen auf dem Objekt sequentiell verändert wird.

11. Verfahren nach Anspruch 1, bei welchem die Lage des Objekts und der Lichtquelle zueinander fest ist und die TV-Kamera so bewegt wird, daß der Winkel des einfallenden Beleuchtungslichts an den jeweiligen Positionen auf dem Objekt sequentiell verändert wird.

12. Verfahren nach Anspruch 1, bei welchem mehrere TV-Kameras gleichzeitig verwendet werden.

13. Verfahren nach Anspruch 1, bei welchem mehrere Licht quellen mit unterschiedlichen Farben verwendet werden.

14. Verfahren nach Anspruch 1, bei welchem dann, wenn das Objekt ein gewalztes Metall ist, die TV-Kamera so angeordnet ist, daß ihre Beobachtungsrichtung mit einer Streifenrich tung auf dem gewalzten Metall ausgerichtet ist.

15. Verfahren zur Bildverarbeitung mit folgenden Schritten:

- Einrichten einer TV-Kamera zum Aufnehmen eines Objekts und einer Lichtquelle zum Beleuchten des Objekts,
- Erfassen mehrerer Bilder des Objekts mit der TV-Kamera, während die Lage der Lichtquelle, des Objekts und der TV-Kamera zueinander verändert wird, um den Winkel des einfal lenden Beleuchtungslichts an jeweiligen Positionen auf der Oberfläche des Objekts sequentiell zu verändern,
- Bestimmen einer Winkelverteilung des einfallenden direkt reflektierten Lichts zu dem Zeitpunkt, zu dem die Leucht dichte in bezug auf die mehreren Bilder mit verschiedenen Winkeln des einfallenden Beleuchtungslichts an ein und dem selben Punkt am größten ist,
- Bestimmen von Winkelverteilungsbildern, die die Verteilung der Winkel des einfallenden direkt reflektierten Lichts an zahlreichen vorbestimmten Punkten auf der Oberfläche des Objekts zeigen und
- Bestimmen eines fehlerhaften Abschnitts auf der Oberfläche des Objekts durch Unterscheidung anhand der Winkelvertei lungsbilder.

16. Verfahren zur Bildverarbeitung mit folgenden Schritten:

- Einrichten einer TV-Kamera zum Aufnehmen eines Objekts und einer Lichtquelle zum Beleuchten des Objekts,
- Erfassen mehrerer Bilder des Objekts mit der TV-Kamera, während die Lage der Lichtquelle, des Objekts und der TV-Kamera zueinander verändert wird, um den Winkel des einfal lenden Beleuchtungslichts an jeweiligen Positionen auf der Oberfläche des Objekts sequentiell zu verändern,
- Bestimmen einer Winkelverteilung des einfallenden direkt reflektierten Lichts zu dem Zeitpunkt, zu dem die Leucht dichte in bezug auf die mehreren Bilder mit verschiedenen Winkeln des einfallenden Beleuchtungslichts an ein und dem selben Punkt am größten ist,
- Bestimmen von Leuchtdichtenverteilungsbildern, die eine Verteilung der Leuchtdichte bei dem Winkel des einfallenden direkt reflektierten Lichts an gewünschten zahlreichen Punk ten auf der Oberfläche des Objekts zeigen und
- Bestimmen eines fehlerhaften Abschnitts auf der Oberfläche des Objekts durch Unterscheidung anhand der Leuchtdichten verteilungsbilder.

17. Verfahren nach Anspruch 15, bei welchem die Art des feh lerhaften Abschnittes in den Winkelverteilungsbildern anhand der Veränderung des Winkels des einfallenden direkt reflek tierten Lichts an Positionen unterschieden wird, die an den fehlerhaften Abschnitt angrenzen.

18. Verfahren nach Anspruch 16, bei welchem die Art des feh lerhaften Abschnitts in den Leuchtdichtenverteilungsbildern durch Detektieren eines Abschnitts, in dem eine linienför mige Veränderung der Leuchtdichte auftritt, unterschieden wird.

19. Verfahren nach Anspruch 16, bei welchem die Art des feh lerhaften Abschnitts durch Bestimmen eines Referenzwerts der Flächengröße des fehlerhaften Abschnitts und Detektieren eines Abschnitts unterschieden wird, in dem Bildelemente mit einer Leuchtdichte, die von einer Standardleuchtdichte deut lich verschieden ist, aufeinanderfolgend mit einer größeren Fläche als der Referenzwert vorhanden sind.

20. Verfahren nach Anspruch 16, bei welchem die Art des feh lerhaften Abschnitts durch Bestimmen eines Referenzwerts der Flächengröße des fehlerhaften Abschnitts und Detektieren eines Abschnitts unterschieden wird, in dem Bildelemente mit einer Leuchtdichte, die von einer Standardleuchtdichte deut lich verschieden ist, aufeinanderfolgend mit einer kleineren Fläche als der Referenzwert vorhanden sind.