WO2011039184A2 - Method and device for managing object view data in an object database - Google Patents

Method and device for managing object view data in an object database Download PDF

Info

Publication number
WO2011039184A2
WO2011039184A2 PCT/EP2010/064356 EP2010064356W WO2011039184A2 WO 2011039184 A2 WO2011039184 A2 WO 2011039184A2 EP 2010064356 W EP2010064356 W EP 2010064356W WO 2011039184 A2 WO2011039184 A2 WO 2011039184A2
Authority
WO
WIPO (PCT)
Prior art keywords
view
view data
database
views
image
Prior art date
Application number
PCT/EP2010/064356
Other languages
German (de)
French (fr)
Other versions
WO2011039184A3 (en
Inventor
Andreas Ernst
Tobias Ruf
Christian KÜBLBECK
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to EP10765604A priority Critical patent/EP2483838A2/en
Publication of WO2011039184A2 publication Critical patent/WO2011039184A2/en
Publication of WO2011039184A3 publication Critical patent/WO2011039184A3/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Definitions

  • Embodiments of the invention relate to image recognition systems, and more particularly to a method and apparatus for managing object view data in an object database.
  • various approaches are already known (eg, “Paul Viola and Michael Jones: Rapid Object Detection using a Boosted Cascade of Simple Features.") In Proceedings IEEE Conf. On Computer Vision and Pattern Recognition , 2001 “,” Christian Küblbeck and Andreas Ernst Face Vision Computing, 24 (6): 564-572, June 2006 ").
  • one or more images of each face are stored in a system. If a face is to be recognized (identified), it will be compared with all faces stored in the system. In order to increase performance, the information required for comparison is often extracted once when the faces are deposited and also stored. There are different methods for extracting these feature vectors and for comparing the faces using these feature vectors.
  • 3D models are used to create 3D models of faces. Here, for example, strip light projection or laser scanner are used. Similar to 2D methods, the 3D model is already used for recognition in the System stored data in different ways compared and possibly identified.
  • the object of the present invention is to provide an improved concept for managing object view data in an object database, which makes it possible to recognize objects in pictures more quickly.
  • An embodiment according to the invention provides a method for managing object view data in an object database.
  • the method includes capturing a view of an object in an image and comparing view data of the acquired view with object view data of object views of objects in an object database based on a comparison criterion. Furthermore, the method includes storing the acquired view's view data together with time information in the object database as new object view data when the comparison reveals that the acquired view does not correspond to an object view in the object database or changing time information from existing object view data of an object view the object database if the comparison shows that the captured view corresponds to the object view. In addition, the method includes managing the object view data in the object database based on the time information of the object view data.
  • Embodiments according to the invention are based on the core idea that object view data is provided with time information. This time information is updated when a stored object view is recognized by comparing in an image.
  • the average time required to compare the view data until a first match is found based on the match criterion can be significantly reduced, as in successive pictures in the picture sequences, the same objects with the same or similar views usually appear.
  • object view data may also be removed from the object database based on the time information of the object view data when a time criterion is met. For example, object view data may be removed that has not been recognized in an image for more than a maximum amount of time.
  • the amount of data in the object database can be adapted to the respective application and to the respective requirements. Is e.g. As data processing speed is of crucial importance, the amount of data in the object database can be kept low by removing object view data after a short time. This makes it necessary to compare the captured view with fewer object views in the object database.
  • Some embodiments according to the invention relate to an apparatus for managing object view data in an object database.
  • the apparatus includes an object detector, a view data comparison device and an object database memory.
  • the object detector is designed to capture a view of an object in an image.
  • the view data comparison device is configured to compare view data of the acquired view with object view data of object views of objects in an object database based on a comparison criterion.
  • the object database memory is configured to store the acquired view view data together with time information in the object database as new object view data when the comparison indicates that the acquired view does not correspond to an object view in the object database and time information from existing object view data To change the object view in the object database if the comparison shows that the captured view corresponds to the object view.
  • the object database memory is configured to manage the object view data in the object database based on the time information of the object view data.
  • FIG. 2 is a flow chart of a method for managing object view data in an object database
  • FIG. 3 is a schematic representation of an apparatus for managing object view data in an object database.
  • the same reference numerals are used in part for objects and functional units having the same or similar functional properties.
  • optional features of the various embodiments may be combined with each other or interchangeable.
  • 1 shows a flow diagram of a method 100 for managing object view data in an object database according to an embodiment according to the invention.
  • a view of an object in an image is captured 110 and the view data of the captured view is compared 120 with object view data of object views of objects in an object database based on a comparison criterion 120. If the comparison shows that the acquired view does not correspond to an object view in the object database, so the view data of the acquired view is stored together with time information in the object database as new object view data 130. If the comparison reveals that the acquired view corresponds to an object view, time information is changed from existing object view data of the corresponding object view in the object database 140. Further, the Object view data in the object database is maintained 150 based on the time information of the object view data
  • the processing speed of images can be significantly increased because the object view data in the object database can be sorted based on the time information of the object view data, for example, and object view data of recently viewed object views can be compared first.
  • the processing speed can be increased since successive images of a picture sequence usually contain similar or identical views of objects.
  • object view data may be removed from the object database if these views have not been captured in any image for some time. As a result, the amount of data in the object database can be kept manageable and thereby also the processing speed, which can be achieved with the inventive concept can be significantly increased.
  • An image may include one or more objects, where an object may be, for example, a face, a human, a vehicle, or other movable or immovable object.
  • the image may be part of an image sequence or image sequence, where an object may be included in multiple images of the image sequence.
  • the views of an object in different images may differ, such as with moving objects, e.g. People or vehicles that may be the case.
  • the view data may, for example, directly comprise the image section of the view of the object or be derived therefrom or extracted parameters, also called feature vectors.
  • This view data in the form of e.g. Feature vectors of the acquired view can be combined with object view data, object views of objects in the object database, e.g. can also be present in the form of feature vectors.
  • the compare criterion determines how similar the view data and object view data must be to identify or classify a captured view as an already saved object view. If more than one match occurs in the view data of the acquired view with the object view data in the object database based on the comparison criterion, then that object view data belongs to an object and can be combined and assigned to a single object. If the detected view of the object is recognized, the time information of the already stored object view is updated. Otherwise, the view data of the acquired view is stored together with time information as new object view data.
  • the time information may be, for example, the time at which the image was generated, the time at which the view of the object was detected, or the time at which the new object view data was stored or the time information of the existing object view data was changed.
  • a dwell permanently set to zero or a maximum dwell time.
  • the object view data of the object view of an object or all of the stored object views of an object may be removed from the object database.
  • the management may include removing object view data of an object view from the object database if the associated time information satisfies a time criterion.
  • the time criterion as already mentioned, e.g. the expiration of a maximum residence time or exceeding a maximum residence time.
  • the managing may include sorting the object view data of the object views in the object database based on the associated time information of the object data to increase the processing speed of the described method. Sorting allows object view data from object views that were recently captured in an image to be compared to the newly acquired view first. The processing speed can be increased because objects in a current image were also likely to be in the previous image. If the image is part of an image sequence, it can be determined in a further step, for example, whether the detected object in the current image corresponds to a known object from a previous image of the image sequence.
  • the newly acquired view can establish the relationship between the object view data stored for different but actually the same objects. As a result, all of these object view data can be aggregated and associated with a single object.
  • Each object view of an object may have individual time information.
  • each object in the object database can also be assigned only time information that then applies to all object views of the object. If the time information of object view data of an object view of an object is changed, e.g. the individual time information of the object view, the individual time information of all object views of the object or the time information of the object assigned to the object view have been changed.
  • the object view data of each object view in the object database is associated with an object of the objects stored in the object database.
  • the object database can be designed so that at least one object view is assigned to each object. Objects due to e.g. A merging of object views of objects identified as identically identifies no object view data can be removed from the object database.
  • the object database may also be referred to as a gallery or dynamic gallery, and an object may also be referred to as an entry in the database or simply as an entry.
  • a time information is also called timestamp in the following.
  • the object database By evaluating the object database, it can be determined, for example, how often an object appears in a picture sequence, how long an object is present in a picture sequence or how many different objects occur in a picture sequence.
  • FIG. 2 shows a flow chart of a method 200 for managing object view data in an object database according to an embodiment according to the invention.
  • the process is divided into several sub-processes, which can be processed cyclically and depending on the current state of the process.
  • the following are first generally the sub-procedures described in more detail. Thereafter, the nodes of the figure will be explained again. Letters in parentheses refer to the corresponding nodes of the figure.
  • the automatic detection (detection) of objects is carried out. If no objects were detected (B), the cleanup of gallery (D) described above may follow. This process will be explained later in more detail. This is followed by the automatic detection of objects (C, B) for the next image in the sequence.
  • the first object is selected (E) and checked whether an assignment to an object in the previous image is possible (G). This process will also be explained later in more detail. If an assignment was not possible, then it is an object that has been newly detected in this picture, and the sequence goes to node (L).
  • the current view of the object is compared with all gallery entries. The comparison with each individual entry (object in the object database) can be made by comparing the current view in turn with the views of the entry. As soon as the first comparison with a view was successful, there is a match with the gallery entry (object in the object database). Likewise, other gallery entries may match the current (captured) view of the object.
  • node (F) If there is no match at node (F), it is obviously a new view of the object. To check if there are more entries in the gallery that correspond to this object, but were not recognizable with the previous views, a comparison of the current view with all other entries of the gallery (O) can follow. If at least one match has been found, all matching entries can be merged (P) with the current entry of the object and the process continues at node (N). If no match was found in another entry, the previously unknown current view of the object is inserted in the corresponding entry of the gallery (Q) and the process continues at node (K).
  • Node (A) e.g. Starting point of the procedure with the first image of the sequence.
  • Node (B) Detection of the objects in the image, e.g. with already known methods. Depending on whether or not objects are found, node (E) or (D) follows.
  • the comparison of the views may be based on simple difference value generation, but may also use more complex image comparison methods (e.g., use of illumination independent features to compare and / or use histograms for image comparison). Furthermore, it is possible here to use a method known from the prior art, in particular to methods used for faces for identification.
  • Node (G) This node checks whether the object has already been detected in the previous image, i. E. an assignment to an object in the previous picture was possible. The assignment is possible if e.g. Size and position has at least one predetermined similarity value (the overlap area of the detections relative to the sum of the area of both detections exceeds a specified threshold value). In addition to this geometric assignment, a comparison of the image sections of the detections can be used as an assignment criterion (the assumption is that the appearance of an object differs only slightly in successive images of a sequence). For comparison, the same methods described in (F) may be used.
  • Node (H) Selects the next object from the objects detected in the current image.
  • Node (I) Checks if another detected object is present and leads to node (D) or (H) depending on it.
  • Node (K) This node sorts the list of views of all gallery entries by the timestamp. Thereby, e.g. Views that led to finding matches are moved to the top of the list and contribute to faster execution in (F).
  • Node (M) If (L) results in a match of the current view with more than one gallery entry, these entries can be combined and assigned to the object. If it matches a single gallery entry, it will be assigned to the object.
  • Node (N) All views of gallery entries that matched (L), (F), or (O) can be timestamped. This shifts them to the top of the view lists in (K), which speeds up the search in subsequent images at (F) (the view of an object generally changes only slightly in successive images). Furthermore, the current timestamps mean that these views in (D) remain unaffected.
  • unique IDs can be used. For this purpose, e.g. each object in the image assigned a unique Id as long as the object is detected without interruption in the image sequence, see. Fig. 2 transition (G) to (F). If an object disappears and is detected again after some time, a new id is assigned to the object, cf. Fig. 2 transition (G) to (L).
  • Matches can be represented by enumeration or chaining of ids. Either by specifying for each object all Ids already assigned to the object (enumeration) or by specifying only the Ids that the object had at previous detections (concatenation can have more than one Id, see Fig. 2 Transition (O) to (P) and transition (L) to (M)).
  • Some embodiments according to the invention relate to a method for automatically recognizing objects and image sequences from different views.
  • the method of automatically recognizing objects in image sequences from different views may be based on the use of a dynamic (time-varying gallery) where each entry of the gallery may hold a list of different views of the object and each view may be time-stamped .
  • Another aspect of the described concept is to update the gallery by removing views that no longer contributed to a set period of time for recognition and adding new views as soon as an object no longer matches the previous views.
  • Another aspect is adding new entries to the gallery and removing entries that no longer contain views.
  • an initiation of the comparison of an object with all entries of the gallery can be made by the appearance of a new view (this can significantly reduce the number of comparisons required or significantly increase the speed).
  • one aspect of the described concept is the use of a timestamp for each view, which is updated whenever a view provides a match.
  • the timestamp can be used for sorting the views and / or evaluating the value of the views or as an aging criterion (reduces the number of comparisons required since current views are always at the top of the list).
  • Another aspect is the use of a save duration for each view instead of a timestamp set to a maximum duration if the view was found in the image, otherwise it is degraded. When the storage period expires, the view is removed.
  • an aspect of the described concept is a merging of multiple entries of the gallery to find matches.
  • Another aspect is the assignment of detections in successive images within an image sequence to an object based on position and size and / or comparison of the image sections.
  • one aspect is the use of Ids to uniquely identify objects as long as they have been detected in the image sequence without interruption.
  • Id enumerations or concatenations to represent matches may be made.
  • the inventive concept describes z .B. a method for fast, automatic (temporary) recognition of objects from different views in image sequences.
  • the purpose of the invention is to recognize an object (eg, a face) once detected within an image sequence (ie, associate it with the earlier detections) if, after it has disappeared, it repeats itself several times in the image sequence is detected.
  • the method uses a dynamic (time-varying) gallery. This consists eg of a list of entries. An object is represented by one (or more) of these entries.
  • Each entry has a list of one or more views of the object (object views).
  • a view consists of the image section of the object (and / or a feature vector pre-extracted to increase its performance) and a timestamp indicating when this view of the object was last seen in the video sequence (image sequence).
  • Some embodiments according to the invention relate to the recognition of objects, in particular faces, by skillfully storing views of the objects in a gallery (object database).
  • the inventive concept finds application, for example, in systems and methods for the detection and recognition of objects (e.g., faces, objects) or in systems for advertising effectiveness analysis (counting viewers of advertising).
  • the method according to the invention makes it possible, for example, to recognize when persons are viewing the advertisement or the screen several times within a fixed period of time.
  • FIG. 3 shows a schematic representation of an apparatus for managing object view data in an object database according to an embodiment according to the invention.
  • the apparatus 300 includes an object detector 310, a view data comparator 320, and an object database memory 330.
  • the object detector 310 is connected to the view data comparison device 320, and the view data comparison device 320 is connected to the object database memory 330.
  • the object detector 310 acquires a view of an object in an image 302 and provides view data of the acquired view of the view data comparison device 320 for comparing the view data of the acquired view with object view data of object views of objects in an object database based on a comparison criterion. supply.
  • the object database memory 330 stores the acquired view view data together with time information in the object database as new object view data when the comparison shows that the acquired view does not correspond to an object view in the object database. Otherwise, the object database store 330 alters time information of existing object view data of an object view in the object database when the comparison reveals that the acquired view corresponds to the object view. Further, the object database memory 330 manages the object view data in the object database based on the time information of the object view data.
  • the object detector 310, the view data comparison device 320 and the object database memory 330 may be stand-alone hardware units or part of a processor or computer, or computer programs or computer program products for execution on a computer or microprocessor.
  • Some embodiments according to the invention relate to an image recognition system having an apparatus for managing object view data in an object database and a camera.
  • the camera is designed to generate an image sequence, the image with the acquired view being part of the image sequence.
  • the image sequence can also be recorded by more than one camera.
  • aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • Some embodiments according to the invention thus comprise a data carrier which stores electronically readable control Having signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
  • a further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
  • a processing device such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.

Abstract

A method for managing object view data in an object database comprises detecting a view of an object in an image and comparing view data of the detected view to object view data of object views of objects in an object database on the basis of a comparison criterion. The method further comprises storing the view data of the detected view together with time information in the object database as new object view data when the comparison shows that the detected view does not correspond to any object view in the object database, or changing time information of existing object view data of an object view in the object database when the comparison shows that the detected view corresponds to the object view. The method further comprises managing the object view data in the object database on the basis of the time information of the object view data.

Description

Verfahren und Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank  Method and apparatus for managing object view data in an object database
Beschreibung description
Ausfuhrungsbeispiele gemäß der Erfindung beziehen sich auf Bilderkennungssysteme und insbesondere auf ein Verfahren und eine Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank. Für eine automatische Detektion von Objekten (insbesondere Gesichtern) in Bildsequenzen in Echtzeit sind bereits verschiedene Ansätze bekannt (z.B.„Paul Viola und Michael Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition, 2001", "Christian Küblbeck und Andreas Ernst. Face Detection and tracking in video sequences using the modified census transformation. Image Vision Computing, 24(6):564-572, June 2006"). Embodiments of the invention relate to image recognition systems, and more particularly to a method and apparatus for managing object view data in an object database. For automatic detection of objects (especially faces) in real-time image sequences, various approaches are already known (eg, "Paul Viola and Michael Jones: Rapid Object Detection using a Boosted Cascade of Simple Features.") In Proceedings IEEE Conf. On Computer Vision and Pattern Recognition , 2001 "," Christian Küblbeck and Andreas Ernst Face Vision Computing, 24 (6): 564-572, June 2006 ").
Ebenso wird die automatische Wiedererkennung von Gesichtern (zum Teil auch Objekten) anhand von Einzelbildern oder Bildsequenzen bereits in der Praxis eingesetzt. Dabei unterscheidet man Verfahren die auf 2D-Abbildungen und Verfahren die auf 3D-Techniken basieren. Genauere Informationen dazu sind z.B. in„Harry Wechsler. Reliable Face Recognition Methods: System Design, Implementation and Evaluation. (International Series on Biometrics). 2006, Springer- Verlag New York, Inc.",„Anil K. Jain und Stan Z. Li. Handbook of Face Recognition. Springer- Verlag New York, Inc. 2005.Secaucus, NJ, USA" und„W. Zhao, R. Chellappa, A. Rosenfeld, P.J. Phillips, Face Recognition: A Lite- rature Survey, ACM Computing Surveys, 2003, pp. 399-458" zu finden. Likewise, the automatic recognition of faces (in some cases also objects) based on single images or image sequences is already used in practice. A distinction is made between methods based on 2D images and methods based on 3D techniques. More detailed information is available e.g. in "Harry Wechsler. Reliable Face Recognition Methods: System Design, Implementation and Evaluation. (International Series on Biometrics). 2006, Springer-Verlag New York, Inc., "Anil K. Jain and Stan Z. Li's Handbook of Face Recognition, Springer-Verlag New York, Inc. 2005. Sowecu, NJ, USA" and "W. Zhao, R. Chellappa, A. Rosenfeld, P.J. Phillips, Face Recognition: A Literature Survey, ACM Computing Surveys, 2003, p. 399-458 "to find.
Bei 2D- Verfahren werden eine oder mehrere Aufnahmen von jedem Gesicht in einem System hinterlegt. Soll nun ein Gesicht wiedererkannt (identifiziert) werden, so wird es mit allen im System hinterlegten Gesichtern verglichen. Zur Steigerung der Performanz wer- den oftmals beim Hinterlegen der Gesichter bereits die zum Vergleich nötigen Informationen einmalig extrahiert und ebenfalls gespeichert. Zur Extraktion dieser Merkmalsvektoren und zum Vergleich der Gesichter mithilfe dieser Merkmalsvektoren gibt es unterschiedliche Verfahren. Im Gegensatz zu 2D-Verfahren werden bei 3D-Techniken 3D-Modelle der Gesichter erstellt. Hierbei kommen beispielsweise Streifenlichtprojektion oder Laserscanner zum Einsatz. Ähnlich zu 2D- Verfahren wird zur Wiedererkennung das 3D-Modell mit bereits im System hinterlegten Daten auf unterschiedliche Weise verglichen und gegebenenfalls identifiziert. In 2D procedures, one or more images of each face are stored in a system. If a face is to be recognized (identified), it will be compared with all faces stored in the system. In order to increase performance, the information required for comparison is often extracted once when the faces are deposited and also stored. There are different methods for extracting these feature vectors and for comparing the faces using these feature vectors. In contrast to 2D methods, 3D models are used to create 3D models of faces. Here, for example, strip light projection or laser scanner are used. Similar to 2D methods, the 3D model is already used for recognition in the System stored data in different ways compared and possibly identified.
Beide Ansätze haben Vor- und Nachteile. So können 2D-Verfahren mit handelsüblichen Kameras verwendet werden, wohingegen 3 D-Techniken aufwändigere Geräte zur Aufnahme eines 3D-Modells benötigen. Dagegen sind 2D-Verfahren im Allgemeinen anfällig, wenn die Ansicht des zu identifzierenden Gesichts nicht nahezu frontal ist bzw. in dieser Ansicht nicht im System gespeichert ist. Die Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Konzept zum Verwalten von Objektansichtsdaten in einer Objektdatenbank zu schaffen, die es ermöglicht, Objekte in Bildern schneller wiederzuerkennen. Both approaches have advantages and disadvantages. For example, 2D techniques can be used with commercially available cameras, whereas 3D techniques require more sophisticated equipment to capture a 3D model. In contrast, 2D methods are generally vulnerable if the view of the face to be identified is not nearly frontal or is not stored in the system in that view. The object of the present invention is to provide an improved concept for managing object view data in an object database, which makes it possible to recognize objects in pictures more quickly.
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 und eine Vorrichtung gemäß Anspruch 11 gelöst. This object is achieved by a method according to claim 1 and an apparatus according to claim 11.
Ein Ausführungsbeispiel gemäß der Erfindung schafft ein Verfahren zum Verwalten von Objektansichtsdaten in einer Objektdatenbank. Das Verfahren umfasst ein Erfassen einer Ansicht eines Objekts in einem Bild und ein Vergleichen von Ansichtsdaten der erfassten Ansicht mit Objektansichtsdaten von Objektansichten von Objekten in einer Objektdatenbank basierend auf einem Vergleichskriterium. Des Weiteren umfasst das Verfahren ein Speichern der Ansichtsdaten der erfassten Ansicht gemeinsam mit einer Zeitinformation in der Objektdatenbank als neue Objektansichtsdaten, wenn der Vergleich ergibt, dass die erfasste Ansicht keiner Objektansicht in der Objektdatenbank entspricht, oder ein Ändern einer Zeitinformation von bestehenden Objektansichtsdaten einer Objektansicht in der Objektdatenbank, wenn der Vergleich ergibt, dass die erfasste Ansicht der Objektansicht entspricht. Zusätzlich umfasst das Verfahren ein Verwalten der Objektansichtsdaten in der Objektdatenbank basierend auf den Zeitinformationen der Objektansichtsdaten. Ausführungsbeispiele gemäß der Erfindung basieren auf dem Kerngedanken, dass Objektansichtsdaten mit einer Zeitinformation versehen werden. Diese Zeitinformationen werden aktualisiert, wenn eine gespeicherte Objektansicht durch das Vergleichen in einem Bild wiedererkannt wird. Dadurch kann es einerseits ermöglicht werden, die Objektansichtsdaten in der Objektdatenbank basierend auf der Zeitinformation zu sortieren und auf diese Weise z.B. zu implementieren, dass zuerst Objektansichtsdaten von Objektansichten mit den Ansichtsdaten der erfassten Ansicht verglichen werden, die erst vor Kurzem in einem Bild erkannt wurden. Dadurch kann die durchschnittliche Zeit, die benötigt wird, um die Ansichtsdaten zu vergleichen, bis eine erste Übereinstimmung basierend auf dem Vergleichskriterium gefunden wird, deutlich reduziert werden, da in aufeinanderfolgenden Bildern in Bildsequenzen meist dieselben Objekte mit gleichen oder ähnlichen Ansichten auftreten. An embodiment according to the invention provides a method for managing object view data in an object database. The method includes capturing a view of an object in an image and comparing view data of the acquired view with object view data of object views of objects in an object database based on a comparison criterion. Furthermore, the method includes storing the acquired view's view data together with time information in the object database as new object view data when the comparison reveals that the acquired view does not correspond to an object view in the object database or changing time information from existing object view data of an object view the object database if the comparison shows that the captured view corresponds to the object view. In addition, the method includes managing the object view data in the object database based on the time information of the object view data. Embodiments according to the invention are based on the core idea that object view data is provided with time information. This time information is updated when a stored object view is recognized by comparing in an image. As a result, on the one hand, it is possible to sort the object view data in the object database based on the time information and thus to implement, for example, by first comparing object view data of object views with the view data of the acquired view that have only recently been recognized in an image. As a result, the average time required to compare the view data until a first match is found based on the match criterion can be significantly reduced, as in successive pictures in the picture sequences, the same objects with the same or similar views usually appear.
Andererseits können auch Objektansichtsdaten basierend auf den Zeitinformationen der Objektansichtsdaten aus der Objektdatenbank entfernt werden, wenn ein Zeitkriterium erfüllt ist. Beispielsweise können Objektansichtsdaten entfernt werden, die länger als eine maximale Zeitdauer nicht mehr in einem Bild wiedererkannt wurden. Dadurch kann die Datenmenge in der Objektdatenbank an die jeweilige Anwendung und an die jeweiligen Anforderungen angepasst werden. Ist z.B. die Datenverarbeitungsgeschwindigkeit von entscheidender Bedeutung, kann die Datenmenge in der Objektdatenbank, durch ein Entfernen von Objektansichtsdaten nach kurzer Zeit, gering gehalten werden. Dadurch muss die erfasste Ansicht mit weniger Objektansichten in der Objektdatenbank verglichen wer- den. Ist es hingegen wichtiger, Objekte oder Ansichten von Objekten auch nach längerer Zeit noch wiederzuerkennen, kann ein entsprechend längerer Zeitraum bis zum Entfernen von Objektansichtsdaten gewählt werden. Dadurch kann das erfindungsgemäße Konzept flexibel auf die jeweilige Anwendung angepasst werden. Einige Ausführungsbeispiele gemäß der Erfindung beziehen sich auf eine Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank. Die Vorrichtung umfasst einen Objekterfasser, eine Ansichtsdatenvergleichsvorrichtung und einen Objektdatenbankspeicher. Der Objekterfasser ist ausgelegt, um eine Ansicht eines Objekts in einem Bild zu erfassen. Die Ansichtsdatenvergleichsvorrichtung ist ausgelegt, um Ansichtsdaten der erfassten Ansicht mit Objektansichtsdaten von Objektansichten von Objekten in einer Objektdatenbank basierend auf einem Vergleichskriterium zu vergleichen. Des Weiteren ist der Objektdatenbankspeicher ausgelegt, um die Ansichtsdaten der erfassten Ansicht gemeinsam mit einer Zeitinformation in der Objektdatenbank als neue Objektansichtsdaten zu speichern, wenn der Vergleich ergibt, dass die erfasste Ansicht keiner Objektansicht in der Objektdatenbank entspricht, und um eine Zeitinformation von bestehenden Objektansichtsdaten einer Objektansicht in der Objektdatenbank zu ändern, wenn der Vergleich ergibt, dass die erfasste Ansicht der Objektansicht entspricht. Zusätzlich ist der Objektdatenbankspeicher ausgelegt, um die Objektansichtsdaten in der Objektdatenbank basierend auf den Zeitinformationen der Objektansichtsdaten zu verwalten. On the other hand, object view data may also be removed from the object database based on the time information of the object view data when a time criterion is met. For example, object view data may be removed that has not been recognized in an image for more than a maximum amount of time. As a result, the amount of data in the object database can be adapted to the respective application and to the respective requirements. Is e.g. As data processing speed is of crucial importance, the amount of data in the object database can be kept low by removing object view data after a short time. This makes it necessary to compare the captured view with fewer object views in the object database. If, on the other hand, it is more important to recognize objects or views of objects even after a long time, then a correspondingly longer period of time can be selected for the removal of object view data. As a result, the inventive concept can be adapted flexibly to the respective application. Some embodiments according to the invention relate to an apparatus for managing object view data in an object database. The apparatus includes an object detector, a view data comparison device and an object database memory. The object detector is designed to capture a view of an object in an image. The view data comparison device is configured to compare view data of the acquired view with object view data of object views of objects in an object database based on a comparison criterion. Furthermore, the object database memory is configured to store the acquired view view data together with time information in the object database as new object view data when the comparison indicates that the acquired view does not correspond to an object view in the object database and time information from existing object view data To change the object view in the object database if the comparison shows that the captured view corresponds to the object view. In addition, the object database memory is configured to manage the object view data in the object database based on the time information of the object view data.
Ausführungsbeispiele gemäß der Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen: Fig. 1 ein Flussdiagramm eines Verfahrens zum Verwalten von Objektansichtsdaten in einer Objektdatenbank; Embodiments according to the invention are explained below with reference to the accompanying figures. Show it: 1 is a flowchart of a method for managing object view data in an object database;
Fig. 2 ein Flussdiagramm eines Verfahrens zum Verwalten von Objektansichtsdaten in einer Objektdatenbank; und FIG. 2 is a flow chart of a method for managing object view data in an object database; FIG. and
Fig. 3 eine schematische Darstellung einer Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank. Im Folgenden werden teilweise für Objekte und Funktionseinheiten, die gleiche oder ähnliche funktionelle Eigenschaften aufweisen, gleiche Bezugszeichen verwendet. Des Weiteren können optionale Merkmale der verschiedenen Ausführungsbeispiele miteinander kombinierbar oder zueinander austauschbar sein. Fig. 1 zeigt ein Flussdiagramm eines Verfahrens 100 zum Verwalten von Objektansichtsdaten in einer Objektdatenbank entsprechend einem Ausführungsbeispiel gemäß der Erfindung. Dabei wird eine Ansicht eines Objekts in einem Bild erfasst 110 und die Ansichtsdaten der erfassten Ansicht werden mit Objektansichtsdaten von Objektansichten von Objekten in einer Objektdatenbank basierend auf einem Vergleichskriterium verglichen 120. Ergibt der Vergleich, dass die erfasste Ansicht keiner Objektansicht in der Objektdatenbank entspricht, so werden die Ansichtsdaten der erfassten Ansicht gemeinsam mit einer Zeitinformation in der Objektdatenbank als neue Objektansichtsdaten gespeichert 130. Ergibt der Vergleich, dass die erfasste Ansicht einer Objektansicht entspricht, wird eine Zeitinformation von bestehenden Objektansichtsdaten der entsprechenden Objektansicht in der Objektdatenbank geändert 140. Des Weiteren werden die Objektansichtsdaten in der Objektdatenbank basierend auf den Zeitinformationen der Objektansichtsdaten verwaltet 150. 3 is a schematic representation of an apparatus for managing object view data in an object database. Hereinafter, the same reference numerals are used in part for objects and functional units having the same or similar functional properties. Furthermore, optional features of the various embodiments may be combined with each other or interchangeable. 1 shows a flow diagram of a method 100 for managing object view data in an object database according to an embodiment according to the invention. Here, a view of an object in an image is captured 110 and the view data of the captured view is compared 120 with object view data of object views of objects in an object database based on a comparison criterion 120. If the comparison shows that the acquired view does not correspond to an object view in the object database, so the view data of the acquired view is stored together with time information in the object database as new object view data 130. If the comparison reveals that the acquired view corresponds to an object view, time information is changed from existing object view data of the corresponding object view in the object database 140. Further, the Object view data in the object database is maintained 150 based on the time information of the object view data.
Durch das Speichern von Ansichtsdaten mit einer Zeitinformation und durch das Ändern von Zeitinformationen von bestehenden Objektansichtsdaten kann festgehalten werden, wann eine Objektansicht oder ein Objekt zuletzt erkannt wurde. Dadurch kann beispielsweise die Verarbeitungsgeschwindigkeit von Bildern deutlich erhöht werden, da die Objektansichtsdaten in der Objektdatenbank beispielsweise basierend auf der Zeitinformation der Objektansichtsdaten sortiert werden können und Objektansichtsdaten von Objektan- sichten, die erst kürzlich erkannt wurden, zuerst verglichen werden können. Die Verarbeitungsgeschwindigkeit kann dabei erhöht werden, da aufeinanderfolgende Bilder einer Bildsequenz meist ähnliche oder gleiche Ansichten von Objekten enthalten. Des Weiteren können Objektansichtsdaten aus der Objektdatenbank entfernt werden, wenn diese Ansichten bereits seit Längerem in keinem Bild erfasst wurden. Dadurch kann die Datenmenge in der Objektdatenbank überschaubar gehalten werden und dadurch ebenfalls die Verarbeitungsgeschwindigkeit, die mit dem erfindungsgemäßen Konzept erreicht wer- den kann, deutlich erhöht werden. By storing view data with time information and by changing time information from existing object view data, it is possible to record when an object view or an object was last detected. Thus, for example, the processing speed of images can be significantly increased because the object view data in the object database can be sorted based on the time information of the object view data, for example, and object view data of recently viewed object views can be compared first. The processing speed can be increased since successive images of a picture sequence usually contain similar or identical views of objects. Furthermore, object view data may be removed from the object database if these views have not been captured in any image for some time. As a result, the amount of data in the object database can be kept manageable and thereby also the processing speed, which can be achieved with the inventive concept can be significantly increased.
Ein Bild kann ein oder mehrere Objekte enthalten, wobei ein Objekt beispielsweise ein Gesicht, ein Mensch, ein Fahrzeug oder ein anderer beweglicher oder unbeweglicher Gegenstand sein kann. Das Bild kann Teil einer Bildsequenz oder Bildabfolge sein, wobei ein Objekt in mehreren Bildern der Bildsequenz enthalten sein kann. Die Ansichten eines Objekts in unterschiedlichen Bildern können sich unterscheiden, wie es beispielsweise bei beweglichen Objekten, wie z.B. Menschen oder Fahrzeugen, der Fall sein kann. An image may include one or more objects, where an object may be, for example, a face, a human, a vehicle, or other movable or immovable object. The image may be part of an image sequence or image sequence, where an object may be included in multiple images of the image sequence. The views of an object in different images may differ, such as with moving objects, e.g. People or vehicles that may be the case.
Die Ansichtsdaten können beispielsweise den Bildausschnitt der Ansicht des Objekts di- rekt umfassen oder davon abgeleitete oder extrahierte Parameter, auch Merkmalsvektoren genannt, sein. Diese Ansichtsdaten in Form von z.B. Merkmalsvektoren der erfassten Ansicht können mit Objektansichtsdaten, von Objektansichten von Objekten in der Objektdatenbank, die z.B. ebenfalls in Form von Merkmalsvektoren vorliegen können, verglichen werden. The view data may, for example, directly comprise the image section of the view of the object or be derived therefrom or extracted parameters, also called feature vectors. This view data in the form of e.g. Feature vectors of the acquired view can be combined with object view data, object views of objects in the object database, e.g. can also be present in the form of feature vectors.
Das Vergleichskriterium legt fest, wie ähnlich sich die Ansichtsdaten und die Objektansichtsdaten sein müssen, damit eine erfasste Ansicht als bereits gespeicherte Objektansicht identifiziert oder klassifiziert wird. Ergeben sich beim Vergleich der Ansichtsdaten der erfassten Ansicht mit den Objektansichtsdaten in der Objektdatenbank basierend auf dem Vergleichskriterium mehr als eine Übereinstimmung, so gehören diese Objektansichtsdaten zu einem Objekt und können zu- sammengefasst werden und einem einzigen Objekt zugeordnet werden. Wird die erfasste Ansicht des Objekts wiedererkannt, so wird die Zeitinformation der bereits gespeicherten Objektansicht aktualisiert. Anderenfalls werden die Ansichtsdaten der erfassten Ansicht gemeinsam mit einer Zeitinformation als neue Objektansichtsdaten gespeichert. Die Zeitinformation kann dabei beispielsweise der Zeitpunkt sein, zu dem das Bild erzeugt wurde, der Zeitpunkt, an dem die Ansicht des Objekt erfasst wurde oder der Zeitpunkt, an dem die neuen Objektansichtsdaten gespeichert wurden oder die Zeitinformation der bestehenden Objektansichtsdaten geändert wurden. Alternativ kann auch z.B. eine Verweil- dauer auf Null oder eine maximale Verweildauer gesetzt werden. Nach Ablauf der maximalen Verweildauer, oder wenn die Verweildauer einen maximalen vordefinierten Wert erreicht hat, können die Objektansichtsdaten der Objektansicht eines Objekts oder aller gespeicherten Objektansichten eines Objekts aus der Objektdatenbank entfernt werden. The compare criterion determines how similar the view data and object view data must be to identify or classify a captured view as an already saved object view. If more than one match occurs in the view data of the acquired view with the object view data in the object database based on the comparison criterion, then that object view data belongs to an object and can be combined and assigned to a single object. If the detected view of the object is recognized, the time information of the already stored object view is updated. Otherwise, the view data of the acquired view is stored together with time information as new object view data. The time information may be, for example, the time at which the image was generated, the time at which the view of the object was detected, or the time at which the new object view data was stored or the time information of the existing object view data was changed. Alternatively, for example, a dwell permanently set to zero or a maximum dwell time. Upon expiration of the maximum dwell time, or when the dwell time has reached a maximum predefined value, the object view data of the object view of an object or all of the stored object views of an object may be removed from the object database.
In anderen Worten, das Verwalten kann ein Entfernen von Objektansichtsdaten einer Objektansicht aus der Objektdatenbank umfassen, wenn die zugehörige Zeitinformation ein Zeitkriterium erfüllt. Dabei kann das Zeitkriterium, wie bereits erwähnt, z.B. das Ablaufen einer maximalen Verweildauer oder Überschreiten einer maximalen Verweildauer sein. Durch das Entfernen von Objektansichten von Objekten, die bereits lange in keinem Bild mehr aufgetaucht sind, kann die Datenmenge in der Objektdatenbank gering gehalten werden. Dadurch kann der Zeitaufwand zum Vergleichen der Ansichtsdaten von erfassten Ansichten mit gespeicherten Objektansichten im Vergleich zu Verfahren, die keine dynamische Aktualisierung der Objektdatenbank durchführen, deutlich verringert werden. In other words, the management may include removing object view data of an object view from the object database if the associated time information satisfies a time criterion. The time criterion, as already mentioned, e.g. the expiration of a maximum residence time or exceeding a maximum residence time. By removing object views of objects that have not appeared in any image for a long time, the amount of data in the object database can be kept small. As a result, the time required to compare the view data from captured views with stored object views can be significantly reduced as compared to methods that do not dynamically update the object database.
Alternativ oder zusätzlich kann das Verwalten ein Sortieren der Objektansichtsdaten der Objektansichten in der Objektdatenbank basierend auf den zugehörigen Zeitinformationen der Objektdaten umfassen, um die Verarbeitungsgeschwindigkeit des beschriebenen Verfahrens zu erhöhen. Durch das Sortieren können Objektansichtsdaten von Objektansichten, die erst vor Kurzem in einem Bild erfasst wurden, zuerst mit der neu erfassten Ansicht verglichen werden. Die Verarbeitungsgeschwindigkeit kann dadurch erhöht werden, da Objekte in einem aktuellen Bild mit hoher Wahrscheinlichkeit auch im vorhergehenden Bild vorhanden waren. Ist das Bild Teil einer Bildsequenz, kann z.B. in einem weiteren Schritt bestimmt werden, ob das erfasste Objekt in dem aktuellen Bild einem bekannten Objekt aus einem vorhergehenden Bild der Bildsequenz entspricht. In anderen Worten, es kann z.B. durch einen Vergleich von Größe und/oder Positionen eines Objekts in einem Bild mit Größe und/oder Positionen eines Objekts in einem vorhergehenden Bild bestimmt werden, ob es sich dabei um das selbe Objekt handelt. Handelt es sich um das selbe Objekt, so muss zumindest bereits eine Objektansicht für das Objekt in der Objektdatenbank gespeichert sein. Daher kann es ausreichend sein, die erfasste Ansicht nur mit Objektansichtsdaten zu vergleichen, die bereits für dieses Objekt gespeichert sind. Entspricht keiner der bereits für dieses Objekt gespeicherten Objektansichten der neu erfassten Ansicht, so kann die neu erfasste Ansicht mit einer Zeitinformation den Objektansichten des bereits gespeicherten Objekts hinzugefügt werden. Zusätzlich kann die neu erfasste Ansicht auch mit allen anderen gespeicherten Objektansichtsdaten verglichen wer- den, um festzustellen, ob das gespeicherte Objekt bereits früher einmal erfasst wurde, und mit einer Objektansicht gespeichert wurde, die bei einem vorhergehenden Vergleich nicht als entsprechend erkannt wurden, weil sich die Objektansichten zu sehr unterscheiden. Somit kann durch die neu erfasste Ansicht der Zusammenhang zwischen den für unter- schiedliche, aber tatsächlich gleiche, Objekte gespeicherten Objektansichtsdaten hergestellt werden. Als Folge können all diese Objektansichtsdaten zusammengefasst und einem einzigen Objekt zugeordnet werden. Alternatively or additionally, the managing may include sorting the object view data of the object views in the object database based on the associated time information of the object data to increase the processing speed of the described method. Sorting allows object view data from object views that were recently captured in an image to be compared to the newly acquired view first. The processing speed can be increased because objects in a current image were also likely to be in the previous image. If the image is part of an image sequence, it can be determined in a further step, for example, whether the detected object in the current image corresponds to a known object from a previous image of the image sequence. In other words, it can be determined, for example, by comparing the size and / or positions of an object in an image with the size and / or positions of an object in a previous image, whether this is the same object. If it is the same object, at least one object view for the object must already be stored in the object database. Therefore, it may be sufficient to compare the captured view only with object view data already stored for that object. If none of the object views already stored for this object corresponds to the newly acquired view, the newly acquired view with a time information can be added to the object views of the already stored object. In addition, the newly acquired view can also be compared with all other stored object view data. to determine if the stored object was previously captured, and stored with an object view that was not recognized as corresponding in a previous comparison because the object views are too different. Thus, the newly acquired view can establish the relationship between the object view data stored for different but actually the same objects. As a result, all of these object view data can be aggregated and associated with a single object.
Jede Objektansicht eines Objekts kann eine individuelle Zeitinformation aufweisen. Alter- nativ kann jedem Objekt in der Objektdatenbank auch nur eine Zeitinformation zugeordnet sein, die dann für alle Objektansichten des Objekts gilt. Wird die Zeitinformation von Objektansichtsdaten einer Objektansicht eines Objekts geändert, so wird z.B. die individuelle Zeitinformation der Objektansicht, die individuellen Zeitinformationen aller Objektansichten des Objekts oder die der Objektansicht zugeordnete Zeitinformation des Objekts geän- dert. Each object view of an object may have individual time information. Alternatively, each object in the object database can also be assigned only time information that then applies to all object views of the object. If the time information of object view data of an object view of an object is changed, e.g. the individual time information of the object view, the individual time information of all object views of the object or the time information of the object assigned to the object view have been changed.
In einigen Ausführungsbeispielen gemäß der Erfindung sind die Objektansichtsdaten einer jeden Objektansicht in der Objektdatenbank einem Objekt der in der Objektdatenbank gespeicherten Objekte zugeordnet. Die Objektdatenbank kann dabei ausgelegt sein, dass je- dem Objekt zumindest eine Objektansicht zugeordnet ist. Objekte, denen aufgrund von z.B. einer Zusammenlegung von Objektansichten von als gleich identifizierten Objekten keine Objektansichtsdaten mehr zugeordnet sind, können aus der Objektdatenbank entfernt werden. Die Objektdatenbank kann auch als Galerie oder dynamische Galerie bezeichnet werden und ein Objekt kann auch als Eintrag in der Datenbank oder einfach als Eintrag bezeichnet werden. Des Weiteren wird eine Zeitinformation im Folgenden auch Zeitstempel genannt. In some embodiments according to the invention, the object view data of each object view in the object database is associated with an object of the objects stored in the object database. The object database can be designed so that at least one object view is assigned to each object. Objects due to e.g. A merging of object views of objects identified as identically identifies no object view data can be removed from the object database. The object database may also be referred to as a gallery or dynamic gallery, and an object may also be referred to as an entry in the database or simply as an entry. Furthermore, a time information is also called timestamp in the following.
Durch eine Auswertung der Objektdatenbank kann beispielsweise bestimmt werden, wie oft ein Objekt in einer Bildsequenz auftaucht, wie lange ein Objekt in einer Bildsequenz vorhanden ist oder wie viele unterschiedliche Objekte in einer Bildsequenz vorkommen. By evaluating the object database, it can be determined, for example, how often an object appears in a picture sequence, how long an object is present in a picture sequence or how many different objects occur in a picture sequence.
Fig. 2 zeigt ein Flussdiagramm eines Verfahrens 200 zum Verwalten von Objektansichtsdaten in einer Objektdatenbank entsprechend einem Ausführungsbeispiel gemäß der Erfin- dung. 2 shows a flow chart of a method 200 for managing object view data in an object database according to an embodiment according to the invention.
Das Verfahren gliedert sich in mehrere Teilabläufe, die zyklisch und abhängig vom aktuellen Zustand des Verfahrens abgearbeitet werden können. Im Folgenden werden zunächst generell die Teilabläufe genauer beschrieben. Danach werden die Knoten der Abbildung nochmals näher erläutert. Buchstaben in runden Klammern verweisen jeweils auf die entsprechenden Knoten der Abbildung. Zum Start des Verfahrens ist z.B. das erste Bild der Sequenz notwendig, siehe (A). Es wird die automatische Detektion (Erfassung) von Objekten durchgeführt. Falls keine Objekte detektiert wurden (B), kann die Bereinigung der oben beschriebenen Galerie (D) folgen. Dieser Vorgang wird später noch genauer erläutert. Danach folgt für das nächste Bild der Sequenz die automatische Detektion von Objekten (C, B). The process is divided into several sub-processes, which can be processed cyclically and depending on the current state of the process. The following are first generally the sub-procedures described in more detail. Thereafter, the nodes of the figure will be explained again. Letters in parentheses refer to the corresponding nodes of the figure. To start the procedure, for example, the first image of the sequence is necessary, see (A). The automatic detection (detection) of objects is carried out. If no objects were detected (B), the cleanup of gallery (D) described above may follow. This process will be explained later in more detail. This is followed by the automatic detection of objects (C, B) for the next image in the sequence.
Wurden Objekte detektiert (B), wird das erste Objekt davon ausgewählt (E) und überprüft, ob eine Zuordnung zu einem Objekt im vorhergehenden Bild möglich ist (G). Dieser Vorgang wird ebenfalls später genauer erläutert. Falls eine Zuordnung nicht möglich war, so handelt es sich um ein in diesem Bild neu de- tektiertes Objekt und der Ablauf geht über zu Knoten (L). Hier wird die aktuelle Ansicht des Objekts mit allen Galerieeinträgen verglichen. Der Vergleich mit jedem einzelnen Eintrag (Objekt in der Objektdatenbank) kann erfolgen, indem die aktuelle Ansicht der Reihe nach mit den Ansichten des Eintrags verglichen wird. Sobald der erste Vergleich mit einer Ansicht erfolgreich war, ist eine Übereinstimmung mit dem Galerieeintrag (Objekt in der Objektdatenbank) vorhanden. Ebenso können weitere Galerieeinträge mit der aktuellen (erfassten) Ansicht des Objekts übereinstimmen. If objects have been detected (B), the first object is selected (E) and checked whether an assignment to an object in the previous image is possible (G). This process will also be explained later in more detail. If an assignment was not possible, then it is an object that has been newly detected in this picture, and the sequence goes to node (L). Here the current view of the object is compared with all gallery entries. The comparison with each individual entry (object in the object database) can be made by comparing the current view in turn with the views of the entry. As soon as the first comparison with a view was successful, there is a match with the gallery entry (object in the object database). Likewise, other gallery entries may match the current (captured) view of the object.
Falls keine Übereinstimmung mit mindestens einem Galerieeintrag gefunden wurde, so wird ein neuer Eintrag für das Objekt in der Galerie angelegt (gespeichert) und die aktuelle Ansicht des Objekts mit dem zugehörigen Zeitstempel in diesen Eintrag eingefügt (J). Falls danach keine weiteren Objekte vorhanden sind (I, D), wird die Galerie bereinigt und der Ablauf wird bei Knoten (D) fortgeführt, ansonsten wird der Ablauf für das nächste Objekt (I, H) bei Knoten (G) fortgeführt. If no match was found with at least one gallery entry, a new entry for the object in the gallery is created (saved) and the current view of the object with the associated time stamp is inserted in this entry (J). If there are no more objects after that (I, D), the gallery is cleared and the process continues at node (D), otherwise the process continues for the next object (I, H) at node (G).
Falls in (L) eine Übereinstimmung mit mindestens einem Galerieeintrag gefunden wurde (das Objekt konnte wiedererkannt werden), so werden die übereinstimmenden Galerieeinträge z.B. zu einem Eintrag zusammengefügt und diesem Objekt zugeordnet (M). Daraufhin können die Zeitstempel der Ansichten, die zu einem erfolgreichen Vergleich führten, aktualisiert (N) werden. Nach der Sortierung der Liste der Ansichten aller Galerieeinträge (K) fährt der Ablauf wieder bei Knoten (I) fort. Falls in (G) das ausgewählte Objekt einem Objekt aus dem vorherigen Bild zugeordnet werden konnte, ist bereits ein Eintrag für dieses Objekt in der Galerie vorhanden. Nun kann die aktuelle Ansicht des Objekts der Reihe nach mit allen Ansichten des zugehörigen Galerieeintrags verglichen (F) werden. Sobald die erste Übereinstimmung festgestellt wer- den konnte, wird er Zeitstempel der passenden Ansicht aktualisiert (N) und der Ablauf geht über zu Knoten (K). If in (L) a match was found with at least one gallery entry (the object could be recognized), then the matching gallery entries are merged into an entry and assigned to this object (M). The timestamps of the views that resulted in a successful comparison can then be updated (N). After sorting the list of views of all gallery entries (K), the process continues again at node (I). If in (G) the selected object could be assigned to an object from the previous image, an entry for this object already exists in the gallery. Now, the current view of the object can be compared (F) in turn with all views of the associated gallery entry. As soon as the first match has been found, it updates the timestamp of the matching view (N) and the process moves on to node (K).
Ergibt sich keine Übereinstimmung an Knoten (F), handelt es sich offensichtlich um eine neue Ansicht des Objekts. Um zu überprüfen, ob weitere Einträge in der Galerie vorhanden sind, die diesem Objekt entsprechen, aber mit den bisherigen Ansichten nicht wiederzuerkennen waren, kann ein Vergleich der aktuellen Ansicht mit allen anderen Einträgen der Galerie (O) folgen. Wurde mindestens eine Übereinstimmung gefunden, so können alle übereinstimmenden Einträge mit dem aktuellen Eintrag des Objekts zusammengefügt (P) werden und der Ablauf fährt bei Knoten (N) fort. Wurde keine Übereinstimmung in einem anderen Eintrag gefunden, so wird die bisher unbekannte aktuelle Ansicht des Objekts in den zugehörigen Eintrag der Galerie eingefügt (Q) und der Ablauf fährt bei Knoten (K) fort. If there is no match at node (F), it is obviously a new view of the object. To check if there are more entries in the gallery that correspond to this object, but were not recognizable with the previous views, a comparison of the current view with all other entries of the gallery (O) can follow. If at least one match has been found, all matching entries can be merged (P) with the current entry of the object and the process continues at node (N). If no match was found in another entry, the previously unknown current view of the object is inserted in the corresponding entry of the gallery (Q) and the process continues at node (K).
Die einzelnen Knoten der Fig. 2 werden im Folgenden nochmals separat genauer betrach- tet: The individual nodes of FIG. 2 are again considered separately in more detail below:
Knoten (A): Z.B. Startpunkt des Verfahrens mit dem ersten Bild der Sequenz. Node (A): e.g. Starting point of the procedure with the first image of the sequence.
Knoten(B): Detektion der Objekte im Bild, z.B. mit bereits bekannten Verfahren. Abhän- gig davon, ob Objekte gefunden wurden oder nicht folgt Knoten (E) oder (D). Node (B): Detection of the objects in the image, e.g. with already known methods. Depending on whether or not objects are found, node (E) or (D) follows.
Knoten(C): Auswahl bzw. Warten auf das nächste Bild der Sequenz. Node (C): Select or wait for the next image of the sequence.
Knoten (D): Bereinigen der Galerie. Dabei werden zunächst z.B. alle Ansichten (Objektan- sichten) aus allen Einträgen der Galerie entfernt, deren Zeitstempel abgelaufen ist. Dies kann der Fall sein, wenn der Zeitstempel einer Ansicht bezüglich der aktuellen Zeit einen festgelegte maximale Zeitspanne überschreitet. Danach können alle Einträge der Galerie entfernt werden, die keine Ansicht mehr enthalten. Des Weiteren kann die maximale Anzahl der Ansichten jedes Eintrags auf N begrenzt werden. Überschreitet ein Eintrag die maximale Anzahl an Ansichten, so werden alle bis auf N Ansichten mit dem aktuellsten Zeitstempel gelöscht. Außerdem ist es optional möglich Ansichten, die im vorherigen Bild neu hinzugefügt wurden, aber im aktuellen Bild keine Übereinstimmung lieferten, wieder zu löschen. Dadurch werden nur Ansichten in der Galerie gehalten, welche zumindest einmal zu einer Übereinstimmung führten. Node (D): clean up the gallery. For example, all views (object views) are first removed from all entries in the gallery whose timestamp has expired. This may be the case if the timestamp of a view with respect to the current time exceeds a fixed maximum time span. Thereafter, all gallery entries that no longer contain a view can be removed. Furthermore, the maximum number of views of each entry can be limited to N. If an entry exceeds the maximum number of views, all but N views are deleted with the most recent time stamp. In addition, it is optionally possible to display views that were newly added in the previous image but did not match in the current image to delete. As a result, only views in the gallery are kept, which led at least once to a match.
Knoten (E): Wurde mindestens ein Objekt im Bild gefunden, so wird zunächst das erste Objekt ausgewählt. Alle weiteren Objekte werden dann in (H) ausgewählt. Node (E): If at least one object was found in the image, the first object is first selected. All other objects are then selected in (H).
Knoten (F): Ist bereits ein zum Objekt gehöriger Eintrag in der Galerie vorhanden (Objekt wurde bereits im vorherigen Bild detektiert), so wird die aktuelle Ansicht des Objekts der Reihe nach mit allen bereits im Eintrag gespeicherten Ansichten verglichen. Sobald die erste Übereinstimmung gefunden wurde, kann der Vergleich mit weiteren Ansichten abgebrochen werden (aus Performanzgründen). Da die Liste der Ansichten nach dem Zeitstempel sortiert ist, vgl. (K), genügt in sehr vielen Fällen innerhalb der Bildsequenz ein einziger Vergleich pro Objekt mit der ersten Ansicht in der Galerie (in aufeinander folgenden Bildern ändern sich die Ansichten nur geringfügig). Falls keine Übereinstimmung beim Vergleich mit den gespeicherten Ansichten gefunden wurde, so hat sich offensichtlich die Ansicht des Objekts verändert. Node (F): If an entry belonging to the object already exists in the gallery (object was already detected in the previous image), then the current view of the object is compared in sequence with all views already stored in the entry. Once the first match has been found, the comparison with other views can be aborted (for performance reasons). Since the list of views is sorted by the time stamp, cf. (K), in many cases within the image sequence, one single comparison per object is sufficient with the first view in the gallery (in successive images the views change only slightly). If no match was found when comparing with the stored views, then obviously the view of the object has changed.
Der Vergleich der Ansichten kann auf einfacher Differenzwertbildung basieren, aber auch komplexere Verfahren zum Bildvergleich anwenden (z.B. Nutzung beleuchtungsunabhän- giger Merkmale zum Vergleich und/oder Nutzung von Histogrammen zum Bildvergleich). Des Weiteren ist es möglich, hier ein aus dem Stand der Technik bekanntes Verfahren verwenden, insbesondere bei Gesichtern eingesetzte Verfahren zur Identifikation. The comparison of the views may be based on simple difference value generation, but may also use more complex image comparison methods (e.g., use of illumination independent features to compare and / or use histograms for image comparison). Furthermore, it is possible here to use a method known from the prior art, in particular to methods used for faces for identification.
Knoten (G): Dieser Knoten prüft, ob das Objekt bereits im vorherigen Bild detektiert wur- de, d.h. eine Zuordnung zu einem Objekt im vorhergehenden Bild möglich war. Die Zuordnung ist möglich, wenn z.B. Größe und Position mindestens einen festgelegten Ähnlichkeitswert aufweist (der Überlappungsbereich der Detektionen relativ zur Summe der Fläche beider Detektionen überschreitet einen festgelegten Schwellwert). Zusätzlich zu dieser geometrischen Zuordnung kann ein Vergleich der Bildausschnitte der Detektionen als Zuordnungskriterium genutzt werden (dabei gilt die Annahme, dass sich das Aussehen eines Objekts in aufeinander folgenden Bildern einer Sequenz nur wenig unterscheidet). Zum Vergleich können die gleichen in (F) beschriebenen Verfahren zum Einsatz kommen. Node (G): This node checks whether the object has already been detected in the previous image, i. E. an assignment to an object in the previous picture was possible. The assignment is possible if e.g. Size and position has at least one predetermined similarity value (the overlap area of the detections relative to the sum of the area of both detections exceeds a specified threshold value). In addition to this geometric assignment, a comparison of the image sections of the detections can be used as an assignment criterion (the assumption is that the appearance of an object differs only slightly in successive images of a sequence). For comparison, the same methods described in (F) may be used.
Knoten (H): Wählt das nächste Objekt aus den im aktuellen Bild detektierten Objekten aus. Node (H): Selects the next object from the objects detected in the current image.
Knoten (I): Prüft ob ein weiteres detektiertes Objekt vorhanden ist und führt abhängig davon zu Knoten (D) oder (H). ICnoten (J): Für das neu detektierte Objekt wurde (noch) keine Übereinstimmung mit einem Eintrag in der Galerie gefunden, entweder weil das Objekt noch nicht in der Galerie vorhanden ist oder, weil die aktuelle Ansicht noch nicht in evtl. zum Objekt gehörenden Einträgen der Galerie als Ansicht gespeichert ist. Aus diesem Grund wird ein neuer Eintrag (Objekt) in der Galerie angelegt und die Ansicht mit Zeitstempel in den Eintrag eingefugt. Node (I): Checks if another detected object is present and leads to node (D) or (H) depending on it. ICnoten (J): For the newly detected object, no match was found with an entry in the gallery, either because the object is not yet available in the gallery or because the current view is not yet in any entries belonging to the object the gallery is saved as a view. For this reason, a new entry (object) is created in the gallery and the view with time stamp is inserted in the entry.
Knoten (K): Dieser Knoten sortiert die Liste der Ansichten aller Einträge der Galerie nach dem Zeitstempel. Dadurch können z.B. Ansichten, die zum Finden von Übereinstimmungen geführt haben, an den Beginn der Liste verschoben werden und tragen zur schnelleren Ausfuhrung in (F) bei. Node (K): This node sorts the list of views of all gallery entries by the timestamp. Thereby, e.g. Views that led to finding matches are moved to the top of the list and contribute to faster execution in (F).
Knoten (L): Wurde ein Objekt laut (G) neu detektiert, so wird die aktuelle Ansicht des Objekts mit allen Einträgen der Galerie verglichen, um das Objekt nach Möglichkeit wiederzuerkennen, falls es bereits mit einer ähnlichen Ansicht in der Galerie vorhanden ist. Der Vergleich kann den in (F) beschriebenen Verfahren entsprechen. Zusätzlich kann aber noch eine Beschleunigung erfolgen, z.B. durch hierarchische Suche und/oder erst Grobvergleich (schnelles aber ungenaueres Verfahren) und dann aufwändigerer Feinvergleich (langsameres aber genaueres Verfahren). Auch wenn das Objekt bereits in früheren Bildern gefunden wurde und in der Galerie vorhanden ist, kann es vorkommen, dass eine Zuordnung nicht sofort möglich ist, z.B. weil die aktuelle Ansicht zu sehr von den bereits gespeicherten Ansichten abweicht. Dadurch können (zeitweise) mehrere Einträge des gleichen Objekts in der Galerie vorhanden sein, die in späteren Bildern der Sequenz durch (M) oder (P) wieder zusammengefügt werden, wenn dann ein Vergleich eine Übereinstimmung bringt. Node (L): If an object has been redetected according to (G), the current view of the object is compared with all entries in the gallery to recognize the object if possible, if it already exists in the gallery with a similar view. The comparison may correspond to the method described in (F). In addition, however, an acceleration can still take place, e.g. through hierarchical search and / or first rough comparison (fast but less accurate method) and then more complex fine comparison (slower but more accurate method). Even if the object has already been found in earlier images and is present in the gallery, it may happen that an assignment is not immediately possible, e.g. because the current view is too different from the already saved views. This may (temporarily) contain multiple entries of the same object in the gallery, which in later pictures of the sequence are reassembled by (M) or (P), if then a comparison matches.
Knoten (M): Ergibt sich in (L) eine Übereinstimmung der aktuellen Ansicht mit mehr als einem Galerieeintrag, so können diese Einträge zusammengefügt und dem Objekt zugeordnet werden. Bei Übereinstimmung mit einem einzigen Galerieeintrag wird dieser dem Objekt zugeordnet. Node (M): If (L) results in a match of the current view with more than one gallery entry, these entries can be combined and assigned to the object. If it matches a single gallery entry, it will be assigned to the object.
Knoten (N): Alle Ansichten der Galerieeinträge, die in (L), (F) oder (O) zu einer Übereinstimmung führten, können mit einem aktuellen Zeitstempel versehen werden. Dadurch werden sie in (K) an den Anfang der Ansichtenlisten verschoben, wodurch sich die Suche in nachfolgenden Bildern bei (F) beschleunigt (die Ansicht eines Objekts ändert sich in aufeinanderfolgenden Bilden im Allgemeinen nur geringfügig). Des Weiteren führen die aktuellen Zeitstempel dazu, dass diese Ansichten in (D) unberührt bleiben. Knoten (O): Ergab sich in (F) keine Übereinstimmung mit den bereits gespeicherten Ansichten, so hat sich im Normalfall die Ansicht des Objekts verändert (könnte auch durch Verdeckungen oder Beleuchtungsänderungen hervorgerufen werden). Die neue Ansicht des Objekts kann mit allen Galerieeinträgen verglichen werden, um Einträge zu finden, die ebenfalls dieses Objekt repräsentieren, aber mit den bisherigen Ansichten noch nicht wiederzuerkennen waren. Der Vergleich kann auf gleiche Weise wie in (L) beschrieben erfolgen. Node (N): All views of gallery entries that matched (L), (F), or (O) can be timestamped. This shifts them to the top of the view lists in (K), which speeds up the search in subsequent images at (F) (the view of an object generally changes only slightly in successive images). Furthermore, the current timestamps mean that these views in (D) remain unaffected. Node (O): If (F) did not match the already saved views, then normally the view of the object has changed (could also be caused by occlusion or lighting changes). The new view of the object can be compared with all the gallery entries to find entries that also represent this object, but were unrecognizable with the previous views. The comparison can be made in the same way as described in (L).
Knoten (P): Wurde mindestens eine Übereinstimmung in (O) gefunden, so können alle übereinstimmenden Einträge der Galerie zusammengefügt werden. Node (P): If at least one match was found in (O), all matching entries of the gallery can be merged.
Knoten (Q): Wurde auch mit der neuen Ansicht (O) keine Übereinstimmung mit anderen Einträgen der Galerie gefunden, so kann die neue Ansicht in den zugehörigen Eintrag der Galerie mit Zeitstempel eingefügt werden. Node (Q): If the new view (O) did not match the other entries in the gallery, the new view can be added to the associated gallery entry with a time stamp.
Um gefundene Übereinstimmungen in dem Verfahren zu verdeutlichen, können eindeutige Ids (Kennzahlen, Schlüssel, Identifikation) zum Einsatz kommen. Dazu wird z.B. jedem Objekt im Bild eine eindeutige Id zugeordnet, solange das Objekt ohne Unterbrechung in der Bildsequenz detektiert wird, vgl. Fig. 2 Übergang (G) nach (F). Verschwindet ein Ob- jekt und wird nach einiger Zeit wieder detektiert, so wird dem Objekt eine neue Id zugewiesen, vgl. Fig. 2 Übergang (G) nach (L). In order to clarify found matches in the procedure, unique IDs (key figures, keys, identification) can be used. For this purpose, e.g. each object in the image assigned a unique Id as long as the object is detected without interruption in the image sequence, see. Fig. 2 transition (G) to (F). If an object disappears and is detected again after some time, a new id is assigned to the object, cf. Fig. 2 transition (G) to (L).
Übereinstimmungen können so über Aufzählungen oder Verkettungen von Ids dargestellt werden. Entweder indem für jedes Objekt alle Ids angegeben werden, die dem Objekt be- reits zugewiesen wurden (Aufzählung) oder indem nur die Ids angegeben werden, die das Objekt bei vorherigen Detektionen hatte (Verkettung kann mehr als eine Id haben, vgl. Fig. 2 Übergang (O) nach (P) und Übergang (L) nach (M)). Matches can be represented by enumeration or chaining of ids. Either by specifying for each object all Ids already assigned to the object (enumeration) or by specifying only the Ids that the object had at previous detections (concatenation can have more than one Id, see Fig. 2 Transition (O) to (P) and transition (L) to (M)).
Einige Ausführungsbeispiele gemäß der Erfindung beziehen sich auf ein Verfahren zur automatischen Wiedererkennung von Objekten und Bildsequenzen aus unterschiedlichen Ansichten. Some embodiments according to the invention relate to a method for automatically recognizing objects and image sequences from different views.
Das Verfahren zur automatischen Wiedererkennung von Objekten in Bildsequenzen aus unterschiedlichen Ansichten kann auf eine Verwendung einer dynamischen (zeitlich ver- änderlichen Galerie) gestützt sein, wobei jeder Eintrag der Galerie eine Liste unterschiedlicher Ansichten des Objekts halten kann und jede Ansicht mit einem Zeitstempel versehen sein kann. Ein weiterer Aspekt des beschriebenen Konzepts ist eine Aktualisierung der Galerie durch Entfernung von Ansichten, die eine festgesetzte Zeitspanne nicht mehr zur Wiedererkennung beitrugen und Hinzufügen neuer Ansichten, sobald ein Objekt mit den bisherigen Ansichten nicht mehr übereinstimmt. The method of automatically recognizing objects in image sequences from different views may be based on the use of a dynamic (time-varying gallery) where each entry of the gallery may hold a list of different views of the object and each view may be time-stamped , Another aspect of the described concept is to update the gallery by removing views that no longer contributed to a set period of time for recognition and adding new views as soon as an object no longer matches the previous views.
Ein anderer Aspekt bezieht sich auf ein Hinzufügen von neuen Einträgen in die Galerie und Entfernen von Einträgen, die keine Ansichten mehr enthalten. Another aspect is adding new entries to the gallery and removing entries that no longer contain views.
Des Weiteren kann eine Initiierung des Vergleichs eines Objekts mit allen Einträgen der Galerie durch Auftreten einer neuen Ansicht erfolgen (dadurch lässt sich die Anzahl der benötigten Vergleiche deutlich senken bzw. die Geschwindigkeit erheblich steigern). Furthermore, an initiation of the comparison of an object with all entries of the gallery can be made by the appearance of a new view (this can significantly reduce the number of comparisons required or significantly increase the speed).
Ebenso ein Aspekt des beschriebenen Konzepts ist die Verwendung eines Zeitstempels für jede Ansicht, der aktualisiert wird, sobald eine Ansicht eine Übereinstimmung liefert. Also, one aspect of the described concept is the use of a timestamp for each view, which is updated whenever a view provides a match.
Zusätzlich kann eine Verwendung des Zeitstempels zur Sortierung der Ansichten und/oder Beurteilung des Werts der Ansichten bzw. als Alterungskriterium erfolgen (verringert die Anzahl benötigter Vergleiche, da aktuelle Ansichten immer am Anfang der Liste stehen). Ein weiterer Aspekt ist die Verwendung einer Speicherdauer für jede Ansicht anstatt eines Zeitstempels, die auf eine maximale Dauer gesetzt wird, wenn die Ansicht im Bild gefunden wurde, ansonsten erniedrigt wird. Nach Ablauf der Speicherdauer wird die Ansicht entfernt. Genauso ein Aspekt des beschriebenen Konzepts ist ein Zusammenfügen mehrerer Einträge der Galerie nach Finden von Übereinstimmungen. In addition, the timestamp can be used for sorting the views and / or evaluating the value of the views or as an aging criterion (reduces the number of comparisons required since current views are always at the top of the list). Another aspect is the use of a save duration for each view instead of a timestamp set to a maximum duration if the view was found in the image, otherwise it is degraded. When the storage period expires, the view is removed. Just as an aspect of the described concept is a merging of multiple entries of the gallery to find matches.
Ein anderer Aspekt ist die Zuordnung von Detektionen in aufeinander folgenden Bildern innerhalb einer Bildsequenz zu einem Objekt anhand von Position und Größe und/oder Vergleich der Bildausschnitte. Another aspect is the assignment of detections in successive images within an image sequence to an object based on position and size and / or comparison of the image sections.
Ebenso ist ein Aspekt die Verwendung von Ids (Kennzahlen) zur eindeutigen Kennzeichnung von Objekten, so lange sie ohne Unterbrechung in der Bildsequenz detektiert wurden. Zusätzlich kann eine Verwendung von Id- Aufzählungen oder Verkettungen zur Darstellung von Übereinstimmungen erfolgen. Das erfindungsgemäße Konzept beschreibt z .B. ein Verfahren zur schnellen, automatischen (zeitlich befristeten) Wiedererkennung von Objekten aus unterschiedlichen Ansichten in Bildsequenzen. Der Zweck der Erfindung besteht also z.B. darin, ein Objekt (z.B. ein Gesicht), das innerhalb einer Bildsequenz einmal detektiert wurde, wiederzuerkennen (d.h. der/den früheren Detektionen zuzuordnen), wenn es, nachdem es wieder verschwunden ist, weitere Male in der Bildsequenz detektiert wird. Dazu verwendet das Verfahren eine dynamische (zeitlich veränderliche) Galerie. Diese besteht z.B. aus einer Liste von Einträgen. Ein Objekt wird durch einen (oder mehrere) dieser Einträge repräsentiert. Jeder Eintrag wiederum hat eine Liste von einer oder mehreren Ansichten des Objekts (Objektansichten). Eine Ansicht besteht aus dem Bildausschnitt des Objekts (und/oder einem zur Performanzsteigerung daraus vorextrahierten Merkmals- vektor) und einem Zeitstempel, der angibt, wann diese Ansicht des Objekts zum letzten Mal in der Videosequenz (Bildsequenz) zu sehen war. Also, one aspect is the use of Ids to uniquely identify objects as long as they have been detected in the image sequence without interruption. In addition, use of Id enumerations or concatenations to represent matches may be made. The inventive concept describes z .B. a method for fast, automatic (temporary) recognition of objects from different views in image sequences. Thus, for example, the purpose of the invention is to recognize an object (eg, a face) once detected within an image sequence (ie, associate it with the earlier detections) if, after it has disappeared, it repeats itself several times in the image sequence is detected. For this purpose, the method uses a dynamic (time-varying) gallery. This consists eg of a list of entries. An object is represented by one (or more) of these entries. Each entry in turn has a list of one or more views of the object (object views). A view consists of the image section of the object (and / or a feature vector pre-extracted to increase its performance) and a timestamp indicating when this view of the object was last seen in the video sequence (image sequence).
Einige Ausführungsbeispiele gemäß der Erfindung beziehen sich auf eine Wiedererkennung von Objekten, insbesondere Gesichter, durch geschickte Speicherung von Ansichten der Objekte in einer Galerie (Objektdatenbank). Some embodiments according to the invention relate to the recognition of objects, in particular faces, by skillfully storing views of the objects in a gallery (object database).
Das erfindungsgemäße Konzept findet beispielsweise Anwendung in Systemen und Verfahren zur Detektion und Wiedererkennung von Objekten (z.B. Gesichter, Gegenstände) oder in Systemen zur Werbewirkungsanalyse (Zählen der Betrachter von Werbung). In diesem Fall ermöglicht das erfindungsgemäße Verfahren es beispielsweise zu erkennen, wenn Personen innerhalb einer festgesetzten Zeitspanne weitere Male die Werbung oder den Bildschirm (screen) betrachten. The inventive concept finds application, for example, in systems and methods for the detection and recognition of objects (e.g., faces, objects) or in systems for advertising effectiveness analysis (counting viewers of advertising). In this case, the method according to the invention makes it possible, for example, to recognize when persons are viewing the advertisement or the screen several times within a fixed period of time.
Fig. 3 zeigt eine schematische Darstellung einer Vorrichtung zum Verwalten von Objekt- ansichtsdaten in einer Objektdatenbank entsprechend einem Ausführungsbeispiel gemäß der Erfindung. Die Vorrichtung 300 umfasst einen Objekterfasser 310, eine Ansichtdaten- vergleichsvorrichtung 320 und einen Objektdatenbankspeicher 330. Der Objekterfasser 310 ist mit der Ansichtsdatenvergleichsvorrichtung 320 verbunden und die Ansichtsdaten- vergleichsvorrichtung 320 ist mit dem Objektdatenbankspeicher 330 verbunden. Der Ob- jekterfasser 310 erfasst eine Ansicht eines Objekts in einem Bild 302 und stellt Ansichtsdaten der erfassten Ansicht der Ansichtsdatenvergleichsvorrichtung 320 für einen Vergleich der Ansichtsdaten der erfassten Ansicht mit Objektansichtsdaten von Objektansichten von Objekten in einer Objektdatenbank basierend auf einem Vergleichskriterium zur Verfü- gung. Der Objektdatenbankspeicher 330 speichert die Ansichtsdaten der erfassten Ansicht gemeinsam mit einer Zeitinformation in der Objektdatenbank als neue Objektansichtsdaten, wenn der Vergleich ergibt, dass die erfasste Ansicht keiner Objektansicht in der Objektdatenbank entspricht. Andernfalls ändert der Objektdatenbankspeicher 330 eine Zeitin- formation von bestehenden Objektansichtsdaten einer Objektansicht in der Objektdatenbank, wenn der Vergleich ergibt, dass die erfasste Ansicht der Objektansicht entspricht. Des Weiteren verwaltet der Objektdatenbankspeicher 330 die Objektansichtsdaten in der Objektdatenbank basierend auf den Zeitinformationen der Objektansichtsdaten. Der Objekterfasser 310, die Ansichtsdatenvergleichsvorrichtung 320 und der Objektdatenbankspeicher 330 können eigenständige Hardwareeinheiten oder Teil eines Prozessors oder Computers sein, oder Computerprogramme oder Computeφrogrammprodukte zur Ausführung auf einem Computer oder Mikroprozessor sein. Einige Ausführungsbeispiele gemäß der Erfindung beziehen sich auf ein Bilderkennungssystem mit einer Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank und eine Kamera. Die Kamera ist dabei ausgelegt, um eine Bildsequenz zu erzeugen, wobei das Bild mit der erfassten Ansicht Teil der Bildssequenz ist. Alternativ kann die Bildsequenz auch von mehr als einer Kamera aufgenommen werden. FIG. 3 shows a schematic representation of an apparatus for managing object view data in an object database according to an embodiment according to the invention. The apparatus 300 includes an object detector 310, a view data comparator 320, and an object database memory 330. The object detector 310 is connected to the view data comparison device 320, and the view data comparison device 320 is connected to the object database memory 330. The object detector 310 acquires a view of an object in an image 302 and provides view data of the acquired view of the view data comparison device 320 for comparing the view data of the acquired view with object view data of object views of objects in an object database based on a comparison criterion. supply. The object database memory 330 stores the acquired view view data together with time information in the object database as new object view data when the comparison shows that the acquired view does not correspond to an object view in the object database. Otherwise, the object database store 330 alters time information of existing object view data of an object view in the object database when the comparison reveals that the acquired view corresponds to the object view. Further, the object database memory 330 manages the object view data in the object database based on the time information of the object view data. The object detector 310, the view data comparison device 320 and the object database memory 330 may be stand-alone hardware units or part of a processor or computer, or computer programs or computer program products for execution on a computer or microprocessor. Some embodiments according to the invention relate to an image recognition system having an apparatus for managing object view data in an object database and a camera. The camera is designed to generate an image sequence, the image with the acquired view being part of the image sequence. Alternatively, the image sequence can also be recorded by more than one camera.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuer- Signale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable. Some embodiments according to the invention thus comprise a data carrier which stores electronically readable control Having signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerpro- grammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer. The program code can also be stored, for example, on a machine-readable carrier. Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer. A further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. at In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Va- riationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented in the description and explanation of the embodiments herein.

Claims

Patentansprüche claims
1. Verfahren (100; 200) zum Verwalten von Objektansichtsdaten in einer Objektdatenbank, mit folgenden Schritten: A method (100; 200) for managing object view data in an object database, comprising the steps of:
Erfassen (110, B) einer Ansicht eines Objekts in einem Bild; Detecting (110, B) a view of an object in an image;
Vergleichen (120, F, L, O) von Ansichtsdaten der erfassten Ansicht mit Objektansichtsdaten von Objektansichten von Objekten in einer Objektdatenbank basierend auf einem Vergleichskriterium; Comparing (120, F, L, O) acquired view view data with object view data of object views of objects in an object database based on a comparison criterion;
Speichern (130, J, Q) der Ansichtsdaten der erfassten Ansicht gemeinsam mit einer Zeitinformation in der Objektdatenbank als neue Objektansichtsdaten, wenn der Vergleich ergibt, dass die erfasste Ansicht keiner Objektansicht in der Objektdatenbank entspricht, oder Ändern (140, N) einer Zeitinformation von bestehenden Objektansichtsdaten einer Objektansicht in der Objektdatenbank, wenn der Vergleich ergibt, dass die erfasste Ansicht der Objektansicht entspricht; und Storing (130, J, Q) the acquired view view data together with time information in the object database as new object view data when the comparison reveals that the acquired view does not correspond to an object view in the object database, or changing (140, N) time information from existing object view data of an object view in the object database if the comparison indicates that the acquired view corresponds to the object view; and
Verwalten (150, D, K) der Objektansichtsdaten in der Objektdatenbank basierend auf den Zeitinformationen der Objektansichtsdaten. Managing (150, D, K) the object view data in the object database based on the time information of the object view data.
2. Verfahren gemäß Anspruch 1, wobei das Verwalten ( 50) ein Entfernern (D) von Objektansichtsdaten einer Objektansicht aus der Objektdatenbank umfasst, wenn die zugehörige Zeitinformation ein Zeitkriterium erfüllt. The method of claim 1, wherein the managing (50) comprises removing (D) object view data of an object view from the object database if the associated time information satisfies a time criterion.
3. Verfahren gemäß Anspruch 1 oder 2, wobei das Verwalten (150) ein Sortieren (K) der Objektansichten in der Objektdatenbank basierend auf den zugehörigen Zeitinformationen der Objektansichten umfasst. The method of claim 1 or 2, wherein the managing (150) comprises sorting (K) the object views in the object database based on the associated time information of the object views.
4. Verfahren gemäß einem der Ansprüche 1 bis 3, wobei jede Objektansicht in der Objektdatenbank einem Objekt der in der Objektdatenbank gespeicherten Objekte zugeordnet ist, wobei jedem Objekt zumindest eine Objektansicht zugeordnet ist. 4. The method of claim 1, wherein each object view in the object database is associated with an object of the objects stored in the object database, wherein each object is associated with at least one object view.
5. Verfahren gemäß einem der Ansprüche 1 bis 4, mit folgendem weiteren Schritt: Zusammenfügen (M, P) von gleichen Objekten und derer Objektansichten in der Objektdatenbank zu einem einzigen Objekt, wobei gleiche Objekte erkannt werden, wenn der Vergleich ergibt, dass die erfasste Ansicht mehr als einer Objektansicht entspricht und die entsprechenden Objektansichten unterschiedlichen gespeicherten Objekten zugeordnet sind, wobei alle Objektansichten der als gleich erkannten Objekte bei dem Zusammenfügen (M, P) dem einzigen Objekt zugeordnet werden. 5. The method according to any one of claims 1 to 4, with the following further step: Merging (M, P) identical objects and their object views in the object database into a single object, whereby identical objects are recognized, if the comparison reveals that the acquired view corresponds to more than one object view and the corresponding object views are assigned to different stored objects, wherein all object views of the objects recognized as the same in the joining (M, P) are assigned to the single object.
Verfahren gemäß einem der Ansprüche 1 bis 5, wobei das Bild Teil einer Bildsequenz ist, mit folgendem weiteren Schritt: Method according to one of claims 1 to 5, wherein the image is part of an image sequence, with the following further step:
Bestimmen (G), ob das erfasste Objekt in dem Bild (102) einem bekannten Objekt aus einem vorhergehenden Bild der Bildsequenz entspricht. Determining (G) whether the detected object in the image (102) corresponds to a known object from a previous image of the image sequence.
Verfahren gemäß Anspruch 6, wobei die Ansichtsdaten der erfassten Ansicht mit Objektansichtsdaten eines bekannten Objekts verglichen werden (F), wenn das erfasste Objekt dem bekannten Objekt aus einem vorhergehenden Bild entspricht. A method according to claim 6, wherein the view data of the acquired view is compared with object view data of a known object (F) if the detected object corresponds to the known object from a previous image.
Verfahren gemäß Anspruch 7, wobei die Ansichtsdaten der erfassten Ansicht mit den Objektansichtsdaten der restlichen Objekte in der Objektdatenbank verglichen werden (O), wenn der Vergleich ergibt, dass die erfasste Ansicht keiner der Objektansichten des bekannten Objekts entspricht. The method of claim 7, wherein the view data of the acquired view is compared with the object view data of the remaining objects in the object database (O) if the comparison reveals that the acquired view does not correspond to any of the object views of the known object.
Verfahren gemäß Anspruch 7 oder 8, wobei die neuen Objektansichtsdaten beim Speichern dem bekannten Objekt zugeordnet werden (Q), wenn der Vergleich ergibt, dass die erfasste Ansicht keiner Objektansicht in der Objektdatenbank entspricht. A method according to claim 7 or 8, wherein the new object view data is associated with the known object (Q) upon storage when the comparison reveals that the acquired view does not correspond to an object view in the object database.
Verfahren gemäß Anspruch 7 oder 8, wobei Objektansichtsdaten eines weiteren Objekts der Objektdatenbank dem bekannten Objekt zugeordnet werden (P), wenn der Vergleich ergibt, dass die erfasste Ansicht einer Objektansicht des weiteren Objekts entspricht. Method according to claim 7 or 8, wherein object view data of a further object of the object database are assigned to the known object (P) if the comparison reveals that the acquired view corresponds to an object view of the further object.
Vorrichtung (300) zum Verwalten von Objektansichtsdaten in einer Objektdatenbank, mit folgenden Merkmalen: einem Objekterfasser (310), der ausgelegt ist, um eine Ansicht eines Objekts in einem Bild (302) zu erfassen; einer Ansichtsdatenvergleichsvorrichtung (320), die ausgelegt ist, um Ansichtsdaten der erfassten Ansicht mit Objektansichtsdaten von Objektansichten von Objekten in einer Objektdatenbank basierend auf einem Vergleichskriterium zu vergleichen; und einem Objektdatenbankspeicher (330), der ausgelegt ist, um die Ansichtsdaten der erfassten Ansicht gemeinsam mit einer Zeitinformation in der Objektdatenbank als neue Objektansichtsdaten zu speichern, wenn der Vergleich ergibt, dass die erfasste Ansicht keiner Objektansicht in der Objektdatenbank entspricht, und ausgelegt ist, um eine Zeitinformation von bestehenden Objektansichtsdaten einer Objektansicht in der Objektdatenbank zu ändern, wenn der Vergleich ergibt, dass die erfasste Ansicht der Objektansicht entspricht, und wobei der Objektdatenbankspeicher (330) ausgelegt ist, um die Objektansichtsdaten in der Objektdatenbank basierend auf den Zeitinformationen der Objektansichtsdaten zu verwalten. Apparatus (300) for managing object view data in an object database, comprising: an object finder (310) adapted to capture a view of an object in an image (302); a view data comparison device (320) configured to compare view data of the acquired view with object view data of object views of objects in an object database based on a comparison criterion; and an object database store (330) arranged to store the acquired view view data together with time information in the object database as new object view data if the comparison reveals that the acquired view does not correspond to an object view in the object database, and to change time information of existing object view data of an object view in the object database when the comparison shows that the acquired view corresponds to the object view, and wherein the object database memory (330) is adapted to receive the object view data in the object database based on the time information of the object view data manage.
12. Bilderkennungssystem mit folgenden Merkmale: einer Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank gemäß Anspruch 11 ; und einer Kamera, die ausgelegt ist, um eine Bildsequenz zu erzeugen, wobei die Bildsequenz eine Mehrzahl von Bilder umfasst, und wobei das Bild mit der erfassten Ansicht Teil der Bildsequenz ist. 12. An image recognition system comprising: an apparatus for managing object view data in an object database according to claim 11; and a camera configured to generate an image sequence, the image sequence comprising a plurality of images, and wherein the captured view image is part of the image sequence.
13. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens gemäß einem der Ansprüche 1 bis 10, wenn das Computerprogramm auf einem Computer oder MikroController abläuft. 13. Computer program with a program code for carrying out the method according to one of claims 1 to 10, when the computer program runs on a computer or microcontroller.
PCT/EP2010/064356 2009-10-02 2010-09-28 Method and device for managing object view data in an object database WO2011039184A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP10765604A EP2483838A2 (en) 2009-10-02 2010-09-28 Method and device for managing object view data in an object database

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009048118.4A DE102009048118B4 (en) 2009-10-02 2009-10-02 Method and device for managing object view data in an object database
DE102009048118.4 2009-10-02

Publications (2)

Publication Number Publication Date
WO2011039184A2 true WO2011039184A2 (en) 2011-04-07
WO2011039184A3 WO2011039184A3 (en) 2011-06-16

Family

ID=43705670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/064356 WO2011039184A2 (en) 2009-10-02 2010-09-28 Method and device for managing object view data in an object database

Country Status (3)

Country Link
EP (1) EP2483838A2 (en)
DE (1) DE102009048118B4 (en)
WO (1) WO2011039184A2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10702206B2 (en) 2015-06-29 2020-07-07 Braun Gmbh Toothbrush for oral cavity position detection
ES2964759T3 (en) 2015-09-08 2024-04-09 Braun Gmbh Determination of a user's currently treated body part
EP3207823A1 (en) 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111517A (en) 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
DE59801086D1 (en) * 1997-05-07 2001-08-30 Siemens Ag METHOD FOR ADJUSTING A REFERENCE DATA SET BY MEANS OF AT LEAST ONE INPUT DATA SET BY A COMPUTER
JP3621245B2 (en) * 1997-12-12 2005-02-16 株式会社東芝 Person recognition device, person recognition method, and person recognition program recording medium
JP4314016B2 (en) * 2002-11-01 2009-08-12 株式会社東芝 Person recognition device and traffic control device
WO2005096213A1 (en) 2004-03-05 2005-10-13 Thomson Licensing Face recognition system and method
JP4577113B2 (en) * 2005-06-22 2010-11-10 オムロン株式会社 Object determining device, imaging device, and monitoring device

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANIL K. JAIN; STAN Z. LI.: "Handbook of Face Recognition", 2005, SPRINGER-VERLAG NEW YORK, INC.
CHRISTIAN KÜBLBECK; ANDREAS ERNST.: "Face Detection and tracking in video sequences using the modified census transformation", IMAGE VISION COMPUTING, vol. 24, no. 6, June 2006 (2006-06-01), pages 564 - 572
HARRY WECHSLER: "Reliable Face Recognition Methods: System Design, Implementation and Evaluation", 2006, SPRINGER-VERLAG NEW YORK, INC.
PAUL VIOLA; MICHAEL JONES: "Rapid Object Detection using a Boosted Cascade of Simple Features", PROCEEDINGS IEEE CONF. ON COMPUTER VISION AND PATTERN RECOGNITION, 2001
W. ZHAO; R. CHELLAPPA; A. ROSENFELD; P.J. PHILLIPS: "Face Recognition: A Literature Survey", 2003, ACM COMPUTING SURVEYS, pages: 399 - 458

Also Published As

Publication number Publication date
WO2011039184A3 (en) 2011-06-16
EP2483838A2 (en) 2012-08-08
DE102009048118A1 (en) 2011-04-07
DE102009048118B4 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
DE102007010186A1 (en) Apparatus, method and computer program for image-based tracking of surveillance objects
DE102009038364A1 (en) Method and system for automatic object recognition and subsequent object tracking according to the object shape
EP2368216A1 (en) Method and device for analyzing surrounding objects and/or surrounding scenes, such as for object and scene class segmenting
DE102008043954A1 (en) Sensor network system, transmission protocol, method for recognizing an object and computer program
DE102010016251A1 (en) Detection method for a moving object and the command input method underlying the detection of the moving object
DE112017007724T5 (en) System and method for tracking objects in a temporal sequence of digital images
DE102017200940A1 (en) Method and device for calculating parking space occupancy
DE112018008077T5 (en) Global mapping using local on-board maps created through fleet trajectories and observations
DE102019117559A1 (en) Method and system for merging two-dimensional semantic information from images with a three-dimensional point cloud
DE112013002731T5 (en) Shape recognition using chain code status states
DE102015115394A1 (en) A method and apparatus for superimposing an image of a real scene with a virtual image and mobile device
WO2020061603A1 (en) Method and device for analyzing a sensor data stream and method for guiding a vehicle
DE102009048118B4 (en) Method and device for managing object view data in an object database
DE102014113817A1 (en) Device and method for recognizing an object in an image
DE102020117544A1 (en) SYSTEM AND METHOD FOR PROCESSING VIDEO DATA FROM THE ARCHIVE
CN109815878B (en) Foothold analysis method and device based on face recognition
DE102022110889A1 (en) SEMI-SUPERVISED TRAINING OF COARSE LABELS IN IMAGE SEGMENTATION
WO2011039351A1 (en) Method and apparatus for recognizing erroneous detection of an object in an image
DE60307916T2 (en) Arrangement and method for determining whether images correspond to each other, and associated program
DE102009024066A1 (en) Method and device for classifying situations
DE102011011931A1 (en) Method for evaluating a plurality of time-shifted images, device for evaluating images, monitoring system
WO2010057732A1 (en) Device for creating and/or processing an object signature, monitoring device, method and computer program
DE102017222675A1 (en) Person recognition by means of a camera
DE102013018561A1 (en) Method for data acquisition and data processing for lane identification of vehicle, involves filtering and discarding self-similarities of environment characteristics for non-relevant correspondence in generating road shape hypotheses
DE102018132627A1 (en) Method for capturing an environment of a motor vehicle by means of temporal fusion of images through an artificial neural network; Control unit, driver assistance system; Computer program product

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10765604

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2010765604

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE