EP1164408A1 - Object recognition with flattened intensity profile - Google Patents
Object recognition with flattened intensity profile Download PDFInfo
- Publication number
- EP1164408A1 EP1164408A1 EP01114509A EP01114509A EP1164408A1 EP 1164408 A1 EP1164408 A1 EP 1164408A1 EP 01114509 A EP01114509 A EP 01114509A EP 01114509 A EP01114509 A EP 01114509A EP 1164408 A1 EP1164408 A1 EP 1164408A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- lighting device
- edge
- receiver
- lens
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
- G02B27/4244—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in wavelength selecting devices
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/005—Diaphragms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
- G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
Definitions
- the invention relates to a device for optically imaging objects for a subsequent one Image processing in object recognition according to the preamble of the claim 1.
- the field of the invention specifically relates to electronic image recognition and specifically to that Detection of contrasts on images of this type, which are taken with a camera, for example be recorded with a CCD camera.
- Such devices can be recognized of barcodes on goods or for recognizing goods to be packed automatically serve.
- the term “light” is generally not limited to that understand visible light. Rather, the term “light” should generally refer to any type of electromagnetic radiation, namely any type of UV light, IR light and visible Light to be understood.
- a problem with the receiving optics used in such sensors is that that the light intensity becomes less and less towards the edge of the received image.
- On the other hand there are natural decreases in brightness towards the edge of the picture, because the opening angle of the effective through opening of the receiving optics reduced to the edge of the picture.
- the evaluation time for an electronic evaluation of the images increases, complicated evaluation algorithms are necessary in the software to determine the intensity decrease to be able to compensate mathematically on the evaluation side.
- the invention has for its object a device for optical imaging of objects for subsequent image processing in object recognition with an improved compensation of the edge drop of the light intensity in the image create.
- the technical solution is characterized by the features in the indicator of the Claim 1.
- the basic idea of the image processing method according to the invention is that of the optoelectronic receiver of the camera receives an image which - in comparison without the edge correction according to the invention - a more uniform light background has, so that the depicted objects over the entire image area Stand out more even contrast from this background.
- a Original brightness drop from 50% without edge correction to 20% with edge correction in In the sense of a significant improvement.
- the compensation the edge drop due to vignetting and natural decrease in brightness such reception optics by strengthening and / or weakening corresponding ones Light rays in the image realized. Usually there is either a strengthening or weakening light rays. A combination of strengthening and But weakening is also conceivable.
- the central area can be a Weakening and strengthening the marginal area.
- Procedures result in overall energy advantages and a significant simplification the downstream evaluation software with simpler evaluation algorithms at one electronic image processing. This reduces the evaluation time. Also a visual one Image processing by viewing the object image on a monitor is simplified. In addition, the light redistribution results in a homogeneity on the receiver without losses. Finally, the dynamic range is achieved by the method according to the invention of the receiver is not reduced by inhomogeneities in the energy distribution.
- the basic idea of the further development according to claim 2 of the image processing method according to the invention is that of the optoelectronic receiver of the camera Image is received which has a substantially uniformly bright background, so that the depicted objects essentially cover the entire image area Stand out constant contrast from this background.
- the intensity fluctuations over the image area can be below 10%, for example.
- the development according to claim 3 provides a concrete technical implementation an illumination-side compensation of the edge drop in receiving optics
- the basic idea is to have the object field to be recorded by the camera towards the edge illuminate more and thus the light intensity with respect to the to increase the medium object area.
- the lighting is thus by means of the imaging Optical arrangement designed so that the object with increasing distance from the optical Axis is illuminated more intensely.
- the lighting curve corresponds exactly to that Inverse of the edge drop of the receiving optics, so that there is a homogeneous light distribution results on the recipient.
- the lighting system can also be designed variably and set analog to the lens become.
- the lighting is thus - in summary - designed so that the vignetting and the natural decrease in brightness towards the edge of the imaging optics in front of the Receiver through an appropriate distribution of illuminance in the object plane is compensated.
- the drop in intensity towards the edge of the receiver is compensated, i.e. Vignetting and natural decrease in brightness towards the edge of the picture and the lighting profile result in the same reception intensity at any place of the recipient.
- Any type of light source can be used for example a diffuse LED light source, but also laser light. This will make one targeted lighting of the object achieved. Depending on the shape of the lighting no overexposure of the measuring field. A user-friendly visualization of the measuring field is possible without additional components.
- Claim 4 proposes a first technical implementation of the lighting device. It is based on the basic structure and basic principle of a Köhler lighting arrangement assumed in front of a light source, for example an LED, typically there are two spaced lenses.
- the advantage in use of these two lenses in the Köhler lighting arrangement is that by the second lens does not directly image the light source (so that, for example, interference fields would be shown on the LED), but that the second lens in the plane Area of the first lens. This is the classic Köhler lighting arrangement even illumination is achieved.
- Lighting arrangement are the classically predetermined values of the Koehler Lighting arrangement specifically changed. This can be done by changing the distance the desired between the two lenses and their imaging properties Increase the lighting intensity towards the edge can be achieved.
- the further training according to claim 5 proposes an alternative to this.
- the usage An energy-redistributing single lens is used in particular with a laser as the light source used. Compared to diffuse light sources is the same number of light sources the illuminance in the object plane is greater. You also get a higher one Illuminance at large distances and small measuring fields than at diffuse-emitting ends Sources because there are no losses across the distance.
- the further training proposes a further technical implementation of the lighting device according to claim 6.
- the development according to claim 7 represents the combination of a refractive with a diffractive Optics according to the above explanations for these two optics techniques in front.
- a further development of the lighting device proposes claim 8, wherein it is independent of what type of light source is used.
- the basic idea is For example, to use a matrix of LEDs, the light components of which are in the object plane overlap. The distribution and alignment of the light sources will be such that the edge area of the object field is illuminated more than the middle area in Optical axis area.
- a lens of the optics not only for refraction serves the light, but that this lens also functions as a transmission filter Fulfills.
- the lens can be evenly colored gray. Since the lens starting to become thinner starting from the optical axis towards the edge area, is increasing towards this edge, the absorption property for the continuous light decreases more and more.
- a further training in the use of a transmission filter suggests according to claim 11 an additional lighting device. It can be a normal lighting device with uniform illumination of the lighting field, namely act on the object field. However, the downstream transmission filter ensures that that the lighting areas in the area of the optical axis are weakened, so that a uniform intensity distribution is created in the image in this way.
- the development according to claim 12 proposes that the transmission filter between the light source and the object to be illuminated is arranged, while the alternative proposes, according to claim 13, to arrange the transmission filter on the receiving side, i.e. a gray scale / transmission mask between the recipient and this upstream of the object. This will then equally weaken the middle area.
- the sensor of FIG. 1 a shows a camera 1 consisting of in a purely schematic manner a lens 2 and a light-sensitive, optoelectronic receiver 3. Die Camera 1 images an object 4 as image 5 on the receiver 3.
- the lighting device 6 has a light source 7 in particular in Form of an LED, two lenses 8, 8 '.
- the light source 7 and the two lenses 8, 8 ' form a lighting arrangement. It is conceivable that the lens 8 is already part of the LED is.
- the sensor works as follows:
- the object 4 would decrease in intensity the brightness towards the edge due to the vignetting and the natural decrease in brightness of the lens 2 shown (Fig. 3 a).
- the lighting device 6 compensates for this edge drop in the receiving optics by that the lighting device 6 illuminates the edge area of the object 4 more than the area of the optical axis (Fig. 2 and Fig. 3 b).
- it is a lighting arrangement in front of the Light source 7 are two mutually spaced lenses 8, 8 '.
- the advantage of this lighting arrangement is that the second lens 8 'does not cause the light source 7 is imaged directly (so that, for example, interference fields on the light source 7 with would be shown), but that the second lens 8 'the plane in the region of the first lens 8 depicts.
Abstract
Description
Die Erfindung betrifft eine Vorrichtung zum optischen Abbilden von Objekten für eine anschließende
Bildverarbeitung in der Objekterkennung nach dem Oberbegriff des Anspruchs
1.The invention relates to a device for optically imaging objects for a subsequent one
Image processing in object recognition according to the preamble of the
Das Erfindungsgebiet betrifft konkret die elektronische Bilderkennung und dabei speziell das Erkennen von Kontrasten auf derartigen Bildern, welche mit einer Kamera, beispielsweise mit einer CCD-Kamera aufgenommen werden. So können derartige Geräte zum Erkennen von Strichcodes auf Waren oder zum Erkennen von automatisch zu verpackenden Waren dienen.The field of the invention specifically relates to electronic image recognition and specifically to that Detection of contrasts on images of this type, which are taken with a camera, for example be recorded with a CCD camera. Such devices can be recognized of barcodes on goods or for recognizing goods to be packed automatically serve.
Soweit der Begriff "Licht" verwendet wird, ist dieser generell nicht als Beschränkung auf das sichtbare Licht zu verstehen. Vielmehr soll unter dem Begriff "Licht" allgemein jede Art von elektromagnetischer Strahlung, nämlich jede Art von UV-Licht, IR-Licht sowie sichtbarem Licht zu verstehen sein.As far as the term "light" is used, it is generally not limited to that understand visible light. Rather, the term "light" should generally refer to any type of electromagnetic radiation, namely any type of UV light, IR light and visible Light to be understood.
Ein Problem bei den verwendeten Empfangsoptiken bei derartigen Sensoren besteht darin, daß zum Rand des empfangenen Bildes hin die Lichtintensität immer geringer wird. Die Gründe sind zweierlei. Zum einen tritt eine sogenannte Vignettierung auf, d.h. in der Empfangsoptik treten Randverluste auf. Zum anderen gibt es zum Bildrand hin natürliche Helligkeitsabnahmen, weil sich der Öffnungswinkel der effektiven Durchgangsöffnung der Empfangsoptik zum Bildrand hin verringert. Dadurch wird bei diesen Bildverarbeitungssystemen aufgrund des Intensitätsabfalls bei den meisten Empfangsobjektiven zum Rand hin die Auswertung der Bilder aufgrund der geringeren Kontraste schwieriger, und die Energiebilanz wird schlechter. Die Auswertezeit bei einer elektronischen Auswertung der Bilder erhöht sich, wobei in der Software komplizierte Auswertealgorithmen notwendig sind, um die Intensitätsabnahme auswerteseitig rechnerisch kompensieren zu können. Auch andere Auswertungsarten, wie beispielsweise ein visuelles Betrachten des Kamerabildes auf einem Monitor werden durch den Randabfall erschwert. Schließlich wird der nutzbare Dynamikbereich des Empfängers durch diese Inhomogenitäten der Intensitätsverteilung reduziert. Auch die Verwendung hochwertiger Objektive mit Einschränkungen hinsichtlich Baugröße, Lichtstärke oder Kosten etc. bringt nur bedingt Abhilfe. Diese Objektive weisen teilweise - je nach Ausführung - keine Vignettierung auf, der natürliche Helligkeitsabfall zum Bildrand hin besteht aber dennoch.A problem with the receiving optics used in such sensors is that that the light intensity becomes less and less towards the edge of the received image. The There are two reasons. On the one hand, so-called vignetting occurs, i.e. in the receiving optics edge losses occur. On the other hand, there are natural decreases in brightness towards the edge of the picture, because the opening angle of the effective through opening of the receiving optics reduced to the edge of the picture. As a result, in these image processing systems due to the drop in intensity with most receiving lenses towards the edge, the evaluation the images more difficult due to the lower contrasts, and the energy balance gets worse. The evaluation time for an electronic evaluation of the images increases, complicated evaluation algorithms are necessary in the software to determine the intensity decrease to be able to compensate mathematically on the evaluation side. Other types of evaluation, such as visually viewing the camera image on a monitor complicated by the edge waste. Finally, the usable dynamic range of the Receiver reduced by these inhomogeneities in the intensity distribution. Use too high quality lenses with restrictions regarding size, light intensity or costs etc. is only of limited help. Some of these lenses have - depending on the version - no vignetting, there is a natural drop in brightness towards the edge of the picture but still.
Davon ausgehend liegt der Erfindung die Aufgabe zugrunde, eine Vorrichtung zum optischen Abbilden von Objekten für eine anschließende Bildverarbeitung in der Objekterkennung mit einer verbesserten Kompensation des Randabfalls der Lichtintensität im Bild zu schaffen.Proceeding from this, the invention has for its object a device for optical imaging of objects for subsequent image processing in object recognition with an improved compensation of the edge drop of the light intensity in the image create.
Die technische Lösung ist gekennzeichnet durch die Merkmale im Kennzeichen des
Anspruchs 1.The technical solution is characterized by the features in the indicator of the
Die Grundidee des erfindungsgemäßen Bildbearbeitungsverfahrens besteht darin, daß von dem optoelektronischen Empfänger der Kamera ein Bild empfangen wird, welches - im Vergleich ohne die erfindungsgemäße Randkorrektur - einen gleichmäßigeren hellen Hintergrund aufweist, so daß sich die abgebildeten Objekte über die gesamte Bildfläche mit gleichmäßigerem Kontrast von diesem Hintergrund abheben. So kann beispielsweise ein ursprünglicher Helligkeitsabfall von 50% ohne Randkorrektur auf 20% mit Randkorrektur im Sinne einer deutlichen Verbesserung reduziert werden. Erfindungsgemäß wird die Kompensation des Randabfalls aufgrund von Vignettierung sowie natürlicher Helligkeitsabnahme bei derartigen Empfangsoptiken durch eine Stärkung und/oder Schwächung von entsprechenden Lichtstrahlenanteilen des Bildes realisiert. In der Regel wird entweder eine Stärkung oder eine Schwächung von Lichtstrahlen durchgeführt. Eine Kombination von Stärkung und Schwächung ist aber auch denkbar. So kann beispielsweise der zentrale Bereich eine Schwächung und der Randbereich eine Stärkung erfahren. Durch das erfindungsgemäße Verfahren ergeben sich insgesamt energetische Vorteile und eine deutliche Vereinfachung der nachgeschalteten Auswertesoftware mit einfacheren Auswertealgorithmen bei einer elektronischen Bildverarbeitung. Dadurch reduziert sich die Auswertezeit. Auch eine visuelle Bildverarbeitung durch Betrachtung des Objektbildes auf einem Monitor wird vereinfacht. Außerdem erhält man auf dem Empfänger durch die Lichtumverteilung eine Homogenität ohne Verluste. Schließlich wird durch das erfindungsgemäße Verfahren der Dynamikbereich des Empfängers nicht durch Inhomogenitäten der Energieverteilung reduziert.The basic idea of the image processing method according to the invention is that of the optoelectronic receiver of the camera receives an image which - in comparison without the edge correction according to the invention - a more uniform light background has, so that the depicted objects over the entire image area Stand out more even contrast from this background. For example, a Original brightness drop from 50% without edge correction to 20% with edge correction in In the sense of a significant improvement. According to the invention, the compensation the edge drop due to vignetting and natural decrease in brightness such reception optics by strengthening and / or weakening corresponding ones Light rays in the image realized. Usually there is either a strengthening or weakening light rays. A combination of strengthening and But weakening is also conceivable. For example, the central area can be a Weakening and strengthening the marginal area. By the invention Procedures result in overall energy advantages and a significant simplification the downstream evaluation software with simpler evaluation algorithms at one electronic image processing. This reduces the evaluation time. Also a visual one Image processing by viewing the object image on a monitor is simplified. In addition, the light redistribution results in a homogeneity on the receiver without losses. Finally, the dynamic range is achieved by the method according to the invention of the receiver is not reduced by inhomogeneities in the energy distribution.
Die Grundidee der Weiterbildung gemäß Anspruch 2 des erfindungsgemäßen Bildbearbeitungsverfahrens
besteht darin, daß von dem optoelektronischen Empfänger der Kamera ein
Bild empfangen wird, welches einen im wesentlichen gleichmäßig hellen Hintergrund aufweist,
so daß sich die abgebildeten Objekte über die gesamte Bildfläche mit im wesentlichen
konstantem Kontrast von diesem Hintergrund abheben. Die Intensitätsschwankungen über
die Bildfläche können dabei beispielsweise unterhalb von 10% liegen.The basic idea of the further development according to
Die Weiterbildung gemäß Anspruch 3 stellt eine konkrete technische Realisierung mittels
einer beleuchtungsseitigen Kompensation des Randabfalls bei Empfangsoptiken dar. Die
Grundidee besteht darin, das mittels der Kamera aufzunehmende Objektfeld zum Rand hin
stärker auszuleuchten und somit in diesem Randbereich die Lichtintensität bezüglich des
mittleren Objektbereiches zu erhöhen. Die Beleuchtung wird somit mittels der abbildenden
Optikanordnung so ausgelegt, daß das Objekt mit zunehmendem Abstand von der optischen
Achse stärker beleuchtet wird. Idealerweise entspricht der Beleuchtungsverlauf genau dem
Inversen des Randabfalls der Empfangsoptik, so daß sich eine homogene Lichtverteilung
auf dem Empfänger ergibt. Bei Zoom-Objektiven sowie bei großer Varianz im Objektabstand
kann das Beleuchtungssystem auch variabel ausgelegt und analog zum Objektiv eingestellt
werden. Die Beleuchtung wird somit - zusammenfassend - so ausgelegt, daß die Vignettierung
und die natürliche Helligkeitsabnahme zum Bildrand der Abbildungsoptiken hin vor dem
Empfänger durch eine entsprechende Verteilung der Beleuchtungsstärke in der Objektebene
kompensiert wird. Somit wird die Beleuchtungsstärke auf dem Empfänger bei vollflächig
gleich remittierendem Objekt annähernd die gleiche Größe besitzen. Der Abfall der Intensität
zum Rand des Empfängers hin wird kompensiert, d.h. Vignettierung und natürliche Helligkeitsabnahme
zum Bildrand hin sowie Beleuchtungsprofil ergeben die gleiche Empfangsintensität
an jedem Ort des Empfängers. Dabei kann jede Art von Lichtquelle verwendet werden,
beispielsweise eine diffuse LED-Lichtquelle, aber auch Laserlicht. Dadurch wird eine
gezielte Beleuchtung des Objektes erzielt. Je nach Ausprägung der Beleuchtung entsteht
kein Überstrahlen des Meßfeldes. Eine anwenderfreundliche Visualisierung des Meßfeldes
ist ohne Zusatzkomponenten möglich.The development according to
Eine erste technische Realisierung der Beleuchtungseinrichtung schlägt Anspruch 4 vor. Es
wird dabei vom Grundaufbau sowie Grundprinzip her von einer Köhlerschen Beleuchtungsanordnung
ausgegangen, bei der sich vor einer Lichtquelle, beispielsweise einer LED, typischerweise
zwei zueinander beabstandete Linsen befinden. Der Vorteil in der Verwendung
dieser beiden Linsen bei der Köhlerschen Beleuchtungsanordnung besteht darin, daß durch
die zweite Linse nicht die Lichtquelle direkt abgebildet wird (so daß beispielsweise auch Störungsfelder
auf der LED mit abgebildet würden), sondern daß die zweite Linse die Ebene im
Bereich der ersten Linse abbildet. Dadurch wird bei der klassischen Köhlerschen Beleuchtungsanordnung
eine gleichmäßige Ausleuchtung realisiert. Bei der erfindungsgemäßen
Beleuchtungsanordnung werden jedoch die klassisch vorgegebenen Werte der Köhlerschen
Beleuchtungsanordnung gezielt verändert. So kann durch eine veränderte Wahl des Abstandes
zwischen den beiden Linsen sowie deren Abbildungseigenschaften die gewünschte
Erhöhung der Beleuchtungsintensität zum Rand hin erzielt werden.
Eine Alternative hierzu schlägt die Weiterbildung gemäß Anspruch 5 vor. Die Verwendung
einer energieumverteilenden Einzellinse wird insbesondere bei einem Laser als Lichtquelle
verwendet. Gegenüber diffus abstrahlenden Lichtquellen ist bei gleicher Anzahl von Lichtquellen
die Beleuchtungsstärke in der Objektebene größer. Außerdem erhält man eine höhere
Beleuchtungsstärke bei großen Abständen und kleinen Meßfeldern als bei diffus abstahlenden
Quellen, weil keine Verluste über den Abstand auftreten.The further training according to
Eine weitere technische Realisierung der Beleuchtungseinrichtung schlägt die Weiterbildung
gemäß Anspruch 6 vor.The further training proposes a further technical implementation of the lighting device
according to
Die Weiterbildung gemäß Anspruch 7 stellt die Kombination einer refraktiven mit einer diffraktiven
Optik entsprechend den vorstehenden Erläuterungen zu diesen beiden Optiktechniken
vor.The development according to
Eine weitere Weiterbildung der Beleuchtungseinrichtung schlägt Anspruch 8 vor, wobei es
unabhängig ist, welche Art von Lichtquelle verwendet wird. Die Grundidee besteht darin,
beispielsweise eine Matrix von LEDs zu verwenden, deren Lichtanteile sich in der Objektebene
überlappen. Die Verteilung und Ausrichtung der Lichtquellen wird dabei so sein, daß
der Randbereich des Objektfeldes stärker ausgeleuchtet wird als der mittlere Bereich im
Gebiet der optischen Achse.A further development of the lighting device proposes
Während bisher eine Verstärkung der entsprechenden Lichtstrahlenanteile zur Erhöhung der Randintensität vorgeschlagen wird, sieht die Alternative gemäß Anspruch 9 eine Schwächung der entsprechenden Lichtstrahlenanteile vor. Die Grundidee besteht darin, intensitätsstarke Bereiche, also den Bereich der optischen Achse zu schwächen. Eine entsprechende Grauwertmaske weist somit mit zunehmendem Abstand von der optischen Achse eine höhere Transmission auf. While previously an increase in the corresponding light beam components to increase the Marginal intensity is proposed, the alternative according to claim 9 sees a weakening of the corresponding light beam components. The basic idea is intense Areas, that is to say weaken the area of the optical axis. A corresponding The gray scale mask thus has a higher distance from the optical axis Transmission on.
Grundsätzlich ist es denkbar, ein separates Transmissionsfilter zu verwenden. Eine Weiterbildung gemäß Anspruch 10 schlägt jedoch vor, daß eine Linse der Optik nicht nur zur Brechung des Lichtes dient, sondern daß diese Linse zugleich auch die Funktion eines Transmissionsfilters erfüllt. Dabei kann die Linse gleichmäßig grau gefärbt sein. Da die Linse aber ausgehend von der optischen Achse zum Randbereich hin immer dünner wird, nimmt zu diesem Rand hin die Absorptionseigenschaft für das durchgehende Licht immer mehr ab.In principle, it is conceivable to use a separate transmission filter. A further education according to claim 10, however, proposes that a lens of the optics not only for refraction serves the light, but that this lens also functions as a transmission filter Fulfills. The lens can be evenly colored gray. Since the lens starting to become thinner starting from the optical axis towards the edge area, is increasing towards this edge, the absorption property for the continuous light decreases more and more.
Eine Weiterbildung in der Anwendung eines Transmissionsfilters schlägt gemäß Anspruch 11 eine zusätzliche Beleuchtungseinrichtung vor. Es kann sich dabei um eine normale Beleuchtungseinrichtung mit einer gleichmäßigen Ausleuchtung des Beleuchtungsfeldes, nämlich des Objektfeldes handeln. Das nachgeordnete Transmissionsfilter sorgt jedoch dafür, daß die Beleuchtungsbereiche im Bereich der optischen Achse abgeschwächt werden, so daß auf diese Weise eine gleichmäßige Intensitätsverteilung im Bild geschaffen ist.A further training in the use of a transmission filter suggests according to claim 11 an additional lighting device. It can be a normal lighting device with uniform illumination of the lighting field, namely act on the object field. However, the downstream transmission filter ensures that that the lighting areas in the area of the optical axis are weakened, so that a uniform intensity distribution is created in the image in this way.
Hierzu schlägt die Weiterbildung gemäß Anspruch 12 vor, daß das Transmissionsfilter zwischen der Lichtquelle und dem zu beleuchtenden Objekt angeordnet ist, während die Alternative hierzu gemäß Anspruch 13 vorschlägt, das Transmissionsfilter empfangsseitig anzuordnen, d.h. eine Grauwert-/Transmissionsmaske dem Empfänger zwischen diesem und dem Objekt vorzuschalten. Diese wird dann gleichermaßen den mittleren Bereich abschwächen.For this purpose, the development according to claim 12 proposes that the transmission filter between the light source and the object to be illuminated is arranged, while the alternative proposes, according to claim 13, to arrange the transmission filter on the receiving side, i.e. a gray scale / transmission mask between the recipient and this upstream of the object. This will then equally weaken the middle area.
Ein Ausführungsbeispiel eines erfindungsgemäßen Sensors wird nachfolgend anhand der Zeichnungen beschrieben. In diesen zeigt:
- Fig. 1 a
- eine schematische Darstellung des Sensors;
- Fig. 1 b
- eine detailliertere Darstellung eines der beiden Einzel-Beleuchtungseinrichtungen bei dem Sensor in Fig. 1 a;
- Fig. 2
- die Energieverteilung der Beleuchtungseinrichtung in der Objektebene;
- Fig. 3 a bis 3 c
- Diagramme bezüglich der Intensitätsverteilungen.
- Fig. 1 a
- a schematic representation of the sensor;
- Fig. 1 b
- a more detailed representation of one of the two individual lighting devices in the sensor in Fig. 1 a;
- Fig. 2
- the energy distribution of the lighting device in the object plane;
- 3 a to 3 c
- Diagrams of the intensity distributions.
Der Sensor der Fig. 1 a zeigt in rein schematischer Weise eine Kamera 1 bestehend aus
einem Objektiv 2 sowie aus einem lichtempfindlichen, optoelektronischen Empfänger 3. Die
Kamera 1 bildet ein Objekt 4 als Bild 5 auf dem Empfänger 3 ab. The sensor of FIG. 1 a shows a
Weiterhin ist eine Beleuchtungseinrichtung 6 in Form zweier Einzelbeleuchtungseinrichtungen
vorgesehen. Die Beleuchtungseinrichtung 6 weist eine Lichtquelle 7 insbesondere in
Form einer LED auf, weiterhin zwei Linsen 8, 8'. Die Lichtquelle 7 sowie die beiden Linsen 8,
8' bilden eine Beleuchtungsanordnung. Denkbar ist, daß die Linse 8 bereits Bestandteil der
LED ist.There is also a
Die Funktionsweise des Sensors ist wie folgt:The sensor works as follows:
Ohne Beleuchtungseinrichtung 6 würde das Objekt 4 mit einem Intensitätsabfall bezüglich
der Helligkeit zum Rand hin wegen der Vignettierung sowie der natürlichen Helligkeitsabnahme
des Objektivs 2 abgebildet (Fig. 3 a).Without the
Die Beleuchtungseinrichtung 6 kompensiert diesen Randabfall der Empfangsoptik dadurch,
daß die Beleuchtungseinrichtung 6 den Randbereich des Objektes 4 stärker ausleuchtet als
den Bereich der optischen Achse (Fig. 2 sowie Fig. 3 b). Dies wird durch die spezielle Anordnung
der Linsen 8, 8' erreicht, wobei der Strahlengang in Fig. 1 b detaillierter dargestellt
ist. Dem Grunde nach handelt es sich um eine Beleuchtungsanordnung, bei der sich vor der
Lichtquelle 7 zwei zueinander beabstandete Linsen 8, 8' befinden. Der Vorteil dieser Beleuchtungsanordnung
besteht darin, daß durch die zweite Linse 8' nicht die Lichtquelle 7
direkt abgebildet wird (so daß beispielsweise auch Störungsfelder auf der Lichtquelle 7 mit
abgebildet würden), sondern daß die zweite Linse 8' die Ebene im Bereich der ersten Linse
8 abbildet. Durch entsprechende Wahl des Abstandes zwischen den beiden Linsen 8, 8' sowie
deren Abbildungseigenschaften wird eine Erhöhung der Beleuchtungsintensität zum
Rand hin erzielt. Da sich somit dem Randabfall in dem Objektiv 2 der Empfangsoptik die
Randerhöhung in der Beleuchtung des Objektes 4 durch die Beleuchtungseinrichtung 6
überlagert, ist die Intensitätsverteilung des Bildes 5 ausgehend von der optischen Achse bis
zum Rand hin im wesentlichen konstant (Fig. 3 c).The
Im Rahmen der Erfindung wäre es aber auch denkbar und bereits eine Verbesserung gegenüber dem Stand der Technik, wenn beispielsweise der ursprüngliche Helligkeitsabfall von 50% auf 20% reduziert würde. In the context of the invention, however, it would also be conceivable and already an improvement over the state of the art, for example when the original drop in brightness would be reduced from 50% to 20%.
- 11
- Kameracamera
- 22nd
- Objektivlens
- 33rd
- optoelektronischer Empfängeroptoelectronic receiver
- 44th
- Objektobject
- 55
- Bildimage
- 66
- BeleuchtungseinrichtungLighting device
- 77
- LichtquelleLight source
- 8, 8'8, 8 '
- Linselens
Claims (13)
mit einer ein Objektiv (2) aufweisenden Kamera (1) zum optischen Abbilden des Objektes (4) als Bild (5) auf einem optoelektronischen Empfänger (3) der Kamera (1),
dadurch gekennzeichnet, daß die Intensitätsverteilung der Helligkeit des Bildes (5) bei einem über die gesamte Fläche gleich remittierenden Objekt (4) durch eine Verstärkung und/oder Schwächung der Intensität von entsprechenden, vom Objekt (4) ausgehenden Lichtstrahlenanteilen auf dem Empfänger (3) über die Bildfläche im Vergleich ohne die Verstärkung und/oder Schwächung vergleichmäßigt ist.Device for optically imaging objects (4) for subsequent image processing in object recognition
with a camera (1) having a lens (2) for optically imaging the object (4) as an image (5) on an optoelectronic receiver (3) of the camera (1),
characterized in that the intensity distribution of the brightness of the image (5) in the case of an object (4) with the same remitting over the entire surface by an intensification and / or weakening of the intensity of corresponding light beam components on the receiver (3) emanating from the object (4) is evened over the image area in comparison without the amplification and / or weakening.
dadurch gekennzeichnet, daß die Intensitätsverteilung an jedem Ort des Empfängers (3) im wesentlichen gleich ist.Device according to claim 1,
characterized in that the intensity distribution is essentially the same at each location of the receiver (3).
dadurch gekennzeichnet,
characterized,
dadurch gekennzeichnet, daß die Beleuchtungseinrichtung (6) eine refraktive Optik mit wenigstens zwei Linsen (8,8') aufweist.Device according to claim 3,
characterized in that the lighting device (6) has refractive optics with at least two lenses (8, 8 ').
dadurch gekennzeichnet, daß die Beleuchtungseinrichtung (6) eine energieumverteilende Einzellinse aufweist.Device according to claim 3,
characterized in that the lighting device (6) has an energy-distributing single lens.
dadurch gekennzeichnet, daß die Beleuchtungseinrichtung (6) eine diffraktive Optik mit wenigstens zwei diffraktiven Elementen aufweist.Device according to claim 3,
characterized in that the lighting device (6) has diffractive optics with at least two diffractive elements.
dadurch gekennzeichnet, daß die Beleuchtungseinrichtung (6) eine Kombination aus refraktiver Optik sowie diffraktiver Optik aufweist.Device according to claim 3,
characterized in that the lighting device (6) has a combination of refractive optics and diffractive optics.
dadurch gekennzeichnet, daß die Beleuchtungseinrichtung (6) mehrere einzelne Lichtquellen (7) aufweist, welche derart verteilt und ausgerichtet sind, daß das Objekt (4) zum Rand hin stärker beleuchtet wird.Device according to one of claims 3 to 7,
characterized in that the lighting device (6) has a plurality of individual light sources (7) which are distributed and aligned in such a way that the object (4) is illuminated more strongly towards the edge.
dadurch gekennzeichnet, daß ein optisches Transmissionsfilter mit über die Filterfläche unterschiedlicher Transmissionscharakteristik vorgesehen ist.Device according to claim 1 or 2,
characterized in that an optical transmission filter is provided with different transmission characteristics over the filter surface.
dadurch gekennzeichnet, daß das Transmissionsfilter durch die Linse einer Optik gebildet ist.Device according to claim 9,
characterized in that the transmission filter is formed by the lens of an optical system.
dadurch gekennzeichnet, daß eine zusätzliche Beleuchtungseinrichtung (6) zum Beleuchten des abzubildenden Objektes vorgesehen ist.Device according to claim 9 or 10,
characterized in that an additional lighting device (6) is provided for illuminating the object to be imaged.
dadurch gekennzeichnet, daß das Transmissionsfilter der Beleuchtungseinrichtung (6) nachgeordnet ist.Device according to claim 11,
characterized in that the transmission filter is arranged downstream of the lighting device (6).
dadurch gekennzeichnet, daß das Transmissionsfilter dem Empfänger (3) vorgeschaltet ist.Device according to one of claims 9 to 11,
characterized in that the transmission filter is connected upstream of the receiver (3).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10029852A DE10029852A1 (en) | 2000-06-16 | 2000-06-16 | Object detection |
DE10029852 | 2000-06-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1164408A1 true EP1164408A1 (en) | 2001-12-19 |
EP1164408B1 EP1164408B1 (en) | 2003-04-23 |
Family
ID=7646065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP01114509A Expired - Lifetime EP1164408B1 (en) | 2000-06-16 | 2001-06-15 | Object recognition with flattened intensity profile |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1164408B1 (en) |
AT (1) | ATE238570T1 (en) |
DE (2) | DE10029852A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4341473A (en) * | 1979-09-28 | 1982-07-27 | Gretag Aktiengesellschaft | Measuring head in or for a densitometer |
EP0153002A2 (en) * | 1984-01-27 | 1985-08-28 | Unisys Corporation | Apparatus for controlling light distribution in line scan optical imaging systems |
EP0527021A2 (en) * | 1991-08-07 | 1993-02-10 | NCR International, Inc. | Apparatus and method for processing image data |
US5486688A (en) * | 1991-06-26 | 1996-01-23 | Asahi Kogaku Kogyo Kabushiki Kaisha | Non-scanning type optical reading apparatus having illuminating equalization filter |
US5686720A (en) * | 1995-03-02 | 1997-11-11 | Hewlett Packard Company | Method and device for achieving high contrast surface illumination |
DE19809395A1 (en) * | 1998-03-05 | 1999-09-09 | Zeiss Carl Fa | Illumination system and REMA lens with lens shift and operating method therefor |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4099865A (en) * | 1977-03-23 | 1978-07-11 | Knippenberg Gerald V | Method and apparatus for making color separations from a color transparency |
DE3524239A1 (en) * | 1985-07-06 | 1987-01-15 | Agfa Gevaert Ag | Illuminating device for uniform illumination of a surface |
DE3540975A1 (en) * | 1985-11-19 | 1987-05-21 | Ostermeier Christine | Method for illuminating the taking zone of a camera by means of a flashlight source, and devices for carrying out the method |
EP0299475B1 (en) * | 1987-07-17 | 1994-09-14 | Dainippon Screen Mfg. Co., Ltd. | Optical system for effecting increased irradiance in peripheral area of object |
DE19528244A1 (en) * | 1995-08-01 | 1997-02-06 | Josef Kirmeier | Copier |
-
2000
- 2000-06-16 DE DE10029852A patent/DE10029852A1/en not_active Withdrawn
-
2001
- 2001-06-15 DE DE50100184T patent/DE50100184D1/en not_active Expired - Lifetime
- 2001-06-15 EP EP01114509A patent/EP1164408B1/en not_active Expired - Lifetime
- 2001-06-15 AT AT01114509T patent/ATE238570T1/en not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4341473A (en) * | 1979-09-28 | 1982-07-27 | Gretag Aktiengesellschaft | Measuring head in or for a densitometer |
EP0153002A2 (en) * | 1984-01-27 | 1985-08-28 | Unisys Corporation | Apparatus for controlling light distribution in line scan optical imaging systems |
US5486688A (en) * | 1991-06-26 | 1996-01-23 | Asahi Kogaku Kogyo Kabushiki Kaisha | Non-scanning type optical reading apparatus having illuminating equalization filter |
EP0527021A2 (en) * | 1991-08-07 | 1993-02-10 | NCR International, Inc. | Apparatus and method for processing image data |
US5686720A (en) * | 1995-03-02 | 1997-11-11 | Hewlett Packard Company | Method and device for achieving high contrast surface illumination |
DE19809395A1 (en) * | 1998-03-05 | 1999-09-09 | Zeiss Carl Fa | Illumination system and REMA lens with lens shift and operating method therefor |
Also Published As
Publication number | Publication date |
---|---|
ATE238570T1 (en) | 2003-05-15 |
EP1164408B1 (en) | 2003-04-23 |
DE10029852A1 (en) | 2001-12-20 |
DE50100184D1 (en) | 2003-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE2513027C2 (en) | Distance measuring device | |
EP2276585B1 (en) | Method for optically detecting moving objects | |
DE102013208625A1 (en) | MULTIAPERTUR PROJECTION DISPLAY AND INDIVIDUAL PRODUCER FOR SUCH A | |
DE602004001500T2 (en) | Apparatus for three-dimensional measurements | |
EP0152894B1 (en) | Device for optically detecting local inhomogeneities in the structure of tested objects | |
DE3117337C2 (en) | ||
CH701902A2 (en) | A method for tracking the color homogeneity of the yarn surface and device for its implementation. | |
DE19758338B4 (en) | lens meter | |
DE112015005932T5 (en) | Optical device and optical device | |
DE4228962A1 (en) | Vehicle dashboard instrument magnifying lens assembly - has pref. fresnel lenses with given transverse aberration smaller than observer eye pupil dia. at eye position | |
EP1983334A1 (en) | Method and apparatus for optically detecting contamination | |
EP1126298A1 (en) | Night vision device | |
DE102018105794B4 (en) | Representation of an object using shadows | |
DE3122538A1 (en) | Device for changing the illuminating optics of a microscope | |
DE102004059951A1 (en) | Device for examining documents | |
EP1164408A1 (en) | Object recognition with flattened intensity profile | |
EP0613569A1 (en) | Bright-field transparency illumination device for microscopes. | |
WO2019048577A1 (en) | Inspection device with optical watermark | |
DE202006020659U1 (en) | Optoelectronic protective device | |
WO2011153648A1 (en) | Apparatus for optoelectronic determination of features of a yarn | |
DE112014006996T5 (en) | Sample observation device and sample observation method | |
DE102015105128A1 (en) | Method and device for measuring the degree of gloss and / or the mattness of objects | |
DE10301094B4 (en) | Device for measuring the distance of distance points to a camera | |
DE202014007103U1 (en) | Device for determining the particle size and / or the particle shape of particles in a particle stream | |
DE1963604A1 (en) | Microscopic device for the high-contrast representation of phase objects in reflected light |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
AX | Request for extension of the european patent |
Free format text: AL;LT;LV;MK;RO;SI |
|
17P | Request for examination filed |
Effective date: 20020131 |
|
17Q | First examination report despatched |
Effective date: 20020326 |
|
AKX | Designation fees paid |
Free format text: AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030423 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030423 Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030423 Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030423 Ref country code: GB Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030423 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REF | Corresponds to: |
Ref document number: 50100184 Country of ref document: DE Date of ref document: 20030528 Kind code of ref document: P |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: GERMAN |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: PATENTANWAELTE FELDMANN & PARTNER AG |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20030615 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030615 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20030615 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20030630 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030723 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030723 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030723 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030723 |
|
NLV1 | Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act | ||
GBV | Gb: ep patent (uk) treated as always having been void in accordance with gb section 77(7)/1977 [no translation filed] |
Effective date: 20030423 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20031030 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D Ref document number: 1164408E Country of ref document: IE |
|
BERE | Be: lapsed |
Owner name: *SICK A.G. Effective date: 20030630 |
|
ET | Fr: translation filed | ||
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20040126 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PFA Owner name: SICK AG Free format text: SICK AG#SEBASTIAN-KNEIPP-STRASSE 1#79183 WALDKIRCH (DE) -TRANSFER TO- SICK AG#SEBASTIAN-KNEIPP-STRASSE 1#79183 WALDKIRCH (DE) |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20030630 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20120622 Year of fee payment: 12 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130630 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130630 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 16 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20160621 Year of fee payment: 16 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20180228 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170630 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20180622 Year of fee payment: 18 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190615 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20200623 Year of fee payment: 20 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R071 Ref document number: 50100184 Country of ref document: DE |