WO1994023390A1 - Apparatus for identifying person - Google Patents

Apparatus for identifying person Download PDF

Info

Publication number
WO1994023390A1
WO1994023390A1 PCT/JP1994/000493 JP9400493W WO9423390A1 WO 1994023390 A1 WO1994023390 A1 WO 1994023390A1 JP 9400493 W JP9400493 W JP 9400493W WO 9423390 A1 WO9423390 A1 WO 9423390A1
Authority
WO
WIPO (PCT)
Prior art keywords
extracted
feature
image
personal identification
unit
Prior art date
Application number
PCT/JP1994/000493
Other languages
English (en)
French (fr)
Inventor
Yoshiyasu Kado
Masamichi Nakagawa
Kunio Nobori
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US08/343,543 priority Critical patent/US5995639A/en
Priority to KR1019940704328A priority patent/KR0158038B1/ko
Publication of WO1994023390A1 publication Critical patent/WO1994023390A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the present invention relates to a personal identification device that identifies a person based on a face image, such as entrance control, and that sequentially searches and outputs a person close to an input face image from a data file.
  • FIG. 15 is a block diagram showing one configuration of a conventional personal identification device using face images.
  • 21 is an image input unit for inputting a face image
  • 22 is a feature point extraction unit composed of an octal / 0 converter, a central processing unit, a memory, etc.
  • 23 is a feature point of the person's face image.
  • the personal database unit 24 recorded on the card or the like uses the feature point information from the feature point extracting unit 22 and the feature database information from the personal database unit 23, detects the difference, and determines whether the obtained difference is larger than a certain threshold value. It is a judgment unit that performs personal identification processing based on whether or not it is the person.
  • a basic object of the present invention is to provide a personal identification device having high identification power.
  • a further object of the present invention is to provide a personal identification device capable of accurately determining a slight change in imaging conditions (illumination conditions, face direction, etc.).
  • the present invention extracts feature points of face parts such as eyes, nose, mouth, etc. from an input face image, and uses the extracted feature points to convert a face image into a triangle.
  • the face image is described as a set of such patches.
  • the features are extracted for each patch, and a set of the extracted features is used to identify a personal face image.
  • the feature value 'the average brightness of each patch can be used.
  • the processing can be relatively simplified.However, the image formed by the obtained dark and light patches sufficiently reflects the characteristics of the face, and has unevenness, flatness, and curvature. Are expressed indirectly. Therefore, by using these features, individual identification can be performed accurately.
  • a brightness difference between adjacent patches can be used in addition to the average brightness.
  • the feature points of the input face image are extracted using a reference structure model that describes the reference face image as a set of patches, it is compared with the feature points of the reference structure model, and the reference structure The model is deformed and matched based on the extracted feature point information to obtain a matched structure model corresponding to the input face image.
  • the matching structure model obtained in this manner is expressed as a set of patches, as described above, and the characteristic amount of each patch is extracted.
  • the extracted feature quantity is compared with the feature quantity of each person in a personal database prepared in advance, and the degree of coincidence is detected by calculating the distance between the two feature quantities.
  • the data may be compared with the data of the individual in the database.
  • face images with a high degree of matching are extracted by sequentially comparing the data with those stored in the personal database.
  • the reference structure model may be two-dimensional or three-dimensional.
  • 3D if the normal vector of each patch is extracted as a feature along with the brightness, the unevenness of the face can be expressed more clearly, the position of the light source can be estimated from the brightness distribution, and the light source Can be corrected according to the position.
  • a correction error that makes the brightness distribution symmetrical can prevent a determination error due to the inclination.
  • FIG. 1 is a system configuration diagram of a personal identification device according to the present invention.
  • FIG. 2 is a block diagram showing an embodiment of the personal identification device according to the present invention.
  • FIG. 3 is an explanatory diagram showing feature points of a face.
  • FIG. 4, FIG. 5, FIG. 6, and FIG. 7 are enlarged explanatory views showing the positions of characteristic points of the eyebrows, eyes, nose, and mouth, respectively.
  • FIG. 8 is a diagram showing the distribution of the extracted feature points.
  • FIG. 9 shows the frame structure of the reference structure model.
  • Fig. 10 shows the frame structure obtained by deforming and matching the reference structure model of Fig. 9 based on the extracted feature points.
  • FIG. 3 is a diagram showing a frame structure.
  • FIG. 11 is a diagram showing a system diagram of the personal identification device according to the present invention.
  • FIG. 12 is a flowchart of feature point extraction.
  • FIG. 13 is an explanatory diagram for explaining a linear interpolation method of vertices.
  • FIG. 14 is a block diagram showing another embodiment of the personal identification device according to the present invention.
  • FIG. 15 is a block diagram showing the configuration of a conventional personal identification device.
  • the hardware of the personal identification device includes an image input unit 2 including a television camera 1 for imaging the face of an individual to be identified, and an image captured by the television camera 1. And an image processing unit 4 including a microcomputer 3 to which the input face image data is input.
  • the image processing section 4 includes, in addition to the microcomputer 3, a display 5 for displaying necessary information, a printer 6 for recording necessary information, a keyboard 7 for operating the microcomputer 3, and a mouse (not shown).
  • An operating means 8 is provided.
  • FIG. 2 shows the first embodiment of the present invention, in which the contents of image processing performed on the input face image by the microcomputer 3 are extracted as functions and displayed as a block diagram. It is.
  • the face image data input from the image input unit 2 is first stored in the image storage unit 12, and the feature point extraction unit 13 stores the stored facial image data as described below.
  • the term special point refers to a predetermined point for specifying the individual elements constituting the face image, for example, eyes, nose, mouth, head, head, etc., as exemplified by black dots in FIG. means. Therefore, extraction of a feature point means, for example, detecting where the feature point indicating the center of the pupil is located on the input face image, and detecting position information of each feature point.
  • Figures 4, 5, 6, and 7 detail the features of the eyebrows, eyes, nose, and mouth, respectively.
  • FIG. 8 illustrates the extracted feature points.
  • the feature points whose positions are specified by the feature point extraction unit 13 are individually determined in advance by the structural model matching unit 15 with the feature points of the reference structure model of the face.
  • the reference structure model is deformed and matched so that the feature points of the corresponding to the extracted corresponding feature points.
  • the reference structure model is also referred to as a reference wireframe, and as shown in FIG. 9, a reference face image is divided into a number of small patches (patch) and is approximately represented as a set of patches.
  • This patch may be an arbitrary polygon (polygon), but it is preferable to use a triangle as shown in Fig. 5 for ease of processing.
  • the specific matching method will be described later.
  • the result of matching the reference structure model of FIG. 9 using the extracted feature points shown in FIG. 8 is shown in FIG. 10.
  • the structural model after matching is called the matching structural model.
  • the feature amount extraction unit 16 individually extracts the face images stored in the image storage unit 12. And extract features for each patch.
  • the feature amount for example, the average brightness in a patch can be used.
  • Feature value Using lightness as, under certain lighting conditions, the lightness distribution on the face surface reflects the three-dimensional shape of the face relatively faithfully. In addition, the brightness distribution has the advantage that it is hardly affected even if the face is slightly turned sideways during imaging.
  • the feature value is not limited to the brightness of each patch (average brightness), and the difference in brightness between adjacent patches can also be used.
  • the judging unit 18 sorts the extracted feature amount in the order of an individual prepared in the personal database unit 17 and an individual feature amount in order. Compare, determine the degree of coincidence by distance calculation, and output the result (person search).
  • the determination unit 18 compares the extracted feature amounts with the individual feature amounts stored in the personal database unit 17. The distance (absolute value of the difference) is calculated, and when the sum of the distances is smaller than a predetermined threshold value, the user is identified as the subject.
  • Fig. 11 is a schematic diagram of the above-mentioned personal identification processing, and the procedure of the processing will be clearly understood.
  • the feature point extraction described below is not a feature of the present invention, but the present invention presupposes feature point extraction.
  • the feature point extraction method which is the premise, is described in the published application filed by the applicant of the present invention as Japanese Patent Application No. Hei 4-19753 and published as Japanese Patent Application Laid-Open No. Hei 5-19773. The basic principle will be described with reference to the flowchart of FIG.
  • step S1 the face image stored in the image storage unit 12 is input, and in step S2, the brightness is converted to generate a monochrome grayscale image.
  • step S3 generates an edge image.
  • the S0be] operator [DH Ballad, C. M. Brown (B rown), Translated by Akio Fuemura, "Computer Vision", Japan Computer Association, 1 Edges are extracted using operators that can obtain not only the edge size but also the direction, such as 987, P98].
  • the edge obtained in this way is called an edge vector because its size and direction are elements.
  • the edge image obtained by extracting the edges is indicated on the display 5 by edges in the left and right directions in red and edges in the vertical direction in red. Is displayed.
  • a search area indicating where face parts such as eyes and nose are located is determined.
  • This search area is a total of six areas: the eyebrow area, the iris area, the nose area, the left and right ⁇ areas, and the mouth area.
  • the iris search area in the vertical center of the face image Determine the iris position.
  • the positions of the left and right irises are detected, the size of the entire face can be estimated from the distance and inclination between the irises.
  • the other five areas are determined sequentially using the positions of the iris that have already been obtained.
  • each search area is determined, the edge image of each search area is binarized to 0 or 1 in step S5. Normally, each extracted edge has a size and contains noise. The binarization is performed for the purpose of noise removal, and a predetermined threshold is used for determination. This threshold value is set so that 20% of the edge pixels in the search area are 1 and the rest are 0.
  • step S6 shape matching is performed on the binarized edge image using the shape template, and the degree of coincidence is determined to derive a candidate region. Since the degree of coincidence ⁇ is expressed as a vector, both the edge and the shape data of each part of the shape template are represented by vectors, for example, two vectors Can be calculated by taking the inner product of
  • the degree of coincidence with the shape data for each coordinate of the search area is calculated.
  • a plurality of coordinate locations with a high degree of coincidence 0 are set as the face part candidate areas.
  • both irises, shields, hair between ⁇ and ears, nostrils, etc. are raised as parts having a high degree of matching in the edge image. That is, in the determined iris search area, when the degree of coincidence determination is performed using the iris shape template, each of the above parts is derived as an iris candidate area.
  • step S7 for each edge image of the candidate area obtained as described above, the corresponding shape template is deformed to determine matching (degree of coincidence).
  • the elements of the shape template of each part are slightly shifted, and the degree of matching with each edge image is calculated.
  • the shape of the plate is deformed (step S7).
  • step S8 When the highest matching degree is obtained (step S8), a feature point is extracted from the shape of the shape template at that time in step S9.
  • Fig. 4 The extraction of feature points is performed according to the promise shown in Fig. 4 for eyebrows, for example.
  • the left and right endpoints are first feature points, and the intersection of the upper and lower trisecting lines that divide the endpoints into three equal parts, for a total of four points Are further feature points. Therefore, a total of six feature points were extracted for one eyebrow.
  • a total of five points that is, four points at the top, bottom, left, and right of the eye and the center point of the iris are extracted as feature points.
  • feature points are extracted by the methods shown in FIGS. 6 and 7, respectively.
  • the size and inclination of the entire face can be estimated by determining the positions of both irises. 'If the slope of both irises (the slope of the line segment connecting the feature points) is known, the slope of the input face image can be known. Affine transformation is performed on the edge image in step S10.
  • feature points are extracted from the eye contour.
  • the position of the eyebrows can be estimated, so the feature points of the eyebrows are extracted.
  • the positions of the nose and chin can be estimated by extracting the mouth, the feature points of these parts are extracted, and finally the feature points of the head vertex and the outline of ⁇ are extracted. Extraction of feature points does not necessarily need to be performed in the above order, but following the above order has the advantage that feature points can be extracted smoothly. Thus, all the feature points are extracted, and the feature point extraction routine ends.
  • the reference structure model is composed of 205 vertex data and 385 triangular patches formed by connecting these vertices, as shown in Fig. 9.
  • the connected structure itself is invariable, and therefore, by matching the vertex data according to the extracted feature points, a matched structure model can be obtained.
  • This alignment is performed according to the following rules.
  • the vertex to be obtained is the corresponding feature point itself (for example, the center of the iris, the outer corner of the eye, or both ends of the mouth), the coordinates of the extracted feature point are used as they are.
  • the left triangle ⁇ . ⁇ , ⁇ 2 is a triangle formed by three special points ⁇ 0 , ⁇ , ⁇ 2 surrounding vertex q on the reference structure model, and ⁇ 0 ' ⁇ ⁇ 2 ' on the right It is a triangle formed by feature points ⁇ 0 ', Pi', and ⁇ 2 'extracted corresponding to feature points Po.
  • Point q ' is the vertex obtained when the above vertex Q on the reference structure model is linearly interpolated.
  • the feature point Po, the P have the coordinates P 2 (xo. Yo).
  • the desired vertex coordinates q '( ⁇ ', y ') can be obtained as follows using the weight ratios m 0 and m lt m 2 obtained above.
  • This lightness correction is performed to prevent erroneous determination due to a difference in light source position at the time of imaging.
  • a brightness correction unit 19 for correcting the brightness of the face image is provided after the feature amount extraction unit 16.
  • the reference structure model unit 14 stores the normal vector of each patch as data.
  • the reference structure model The Dell is three-dimensionalized, and the normal vector of each patch is given in advance.
  • the characteristic amount extraction unit 16 extracts the brightness and the normal vector of each patch from the matched structure model obtained by the structure model matching unit 15.
  • the position of the light source is estimated from the brightness and the normal vector of each extracted patch. For example, when a face image is divided into four parts, up, down, left, and right, the direction of the light source with respect to the face to be photographed can be estimated by looking at the brightness distribution in each part.
  • the brightness is corrected so as to match one of the light sources. That is, the brightness of patches near the normal of the old light source direction is decreased, and the brightness of patches near the normal of the new light source direction is increased. With such brightness correction, erroneous determination can be effectively prevented even under different lighting conditions.

Description

明 細 書 個人識別装置 技術分野
本発明は、 入室管理など顔画像により本人か否かの識別を行ったり、 入 力顔画像に近い人物をデータファイルから順次検索出力する個人識別装置 に関する。
背景技術
従来の顔画像による個人識別においては、 例えば、 特開昭 6 3 - 1 7 7 2 7 3号公報に記載されるものがあった。 以下にその構成を説明する。 第 1 5図は従来の顔画像による個人識別装置の一構成を示すプロック図 である。 図中 2 1は顔画像を入力する画像入力部、 2 2は八/0変換器、 中央処理装置、 メモリ等から構成される特徴点抽出部、 2 3は本人の顔画 像の特徴点をカード等に記録した個人データベース部、 2 4は前記特徴点 抽出部 2 2並びに前記個人データベース部 2 3からの特徵点情報を用い、 その差分を検出し、 得られた差分がある閾値より大きいか否かで本人かど うかを個人識別処理する判定部である。
上記従来の技術において個人識別を行う場合には、 画像入力部 2 1から 入力された顏画像の特徴点を特徵点抽出部 2 2で抽出し、 その特徴点と、 個人データベース部 2 3に登録されている顔画像の特徴点との違いを判定 部 2 4により検出し、 その差分の大きさによって本人か否かの個人識別処 理を行っている。 その際、 両顔画像間で画像の大きさ、 撮影角度の違いが あると、 特徴点間の差分が大きくなり、 同一人物であっても別人とみなさ れる場合があった。 また、 このような事態を防ぐためには、 画像入力部と 被撮影者との距離を固定にし、 正面を向いて画像を入力してもらう必要が あった。 し力、し、 このような入力方法では被撮影者に対しての負担になり、 またいかに正面を向いていても、 わずかに顔が回転したり、 傾いたりする ので正確に正面を向いた画像を撮影するのは難しいという問題があった。 本発明は、 高い識別力を有する個人識別装置を提供することを基本的な 目的とする。
さらに、 本発明は、 撮像条件 （照明条件、 顔の向き等々） の多少の変動 に対しても判定が正確に行える個人識別装置を提供することを目的として いる。
発明の開示
上記目的を達成するために、 本発明は、 入力された顔画像から目、 鼻、 口等の顔部品の特徴点を抽出したうえで、 抽出した特徴点を利用して、 顔 画像を 3角形等の小さなパッチに分割し、 このパッチの集合として顔画像 を記述する。 そして、 特徴量は各パッチごとに抽出し、 抽出した特徴量の 集合で、 個人の顔画像を特定する。 特徴量としては、 '各パッチの平均明度 を用いることができる。 この場合は、 モノクロ画像として扱えるので、 処 理が比較的簡単化できるが、 得られる濃淡のパッチで形成される画像は、 顔の特徵を充分に反映したものとなり、 凸凹や平坦度、 湾曲度等が間接的 ではあるが表現される。 したがって、 これらの特徴量を用いることにより、 個人の識別が正確に行えることになる。 なお、 特徴量としては、 平均明度 の他、 隣接するパッチ間の明度差を用いることができる。
実際的な方法として、 基準とする顔画像をパッチの集合として記述した 基準構造モデルを用い、 入力された顔画像の特徴点が抽出されると、 基準 構造モデルの特徴点と比較し、 基準構造モデルを抽出された特徴点情報に 基づいて変形整合し、 入力された顔画像に対応した整合構造モデルを得る。 このようにして求めた整合構造モデルは、 前述した如く、 パッチの集合と して表現され、 各パッチの特徵量を抽出する。
抽出された特徵量は、 予め用意してある個人データベースの各人の特徴 量と比較され、 両特徴量間の距離を計算することで一致度を検出する。 本 人確認の場合は、 データベース中の本人のデータと比較すればよく、 人物 検索の場合には、 個人データベースに格納されているデータと順次比較し て、 一致度の高い顔画像を抽出する。
基準構造モデルは、 2次元であってもよいが、 3次元のものでもよい。 3次元の場合には、 各パッチの法線べク トルを明度とともに特徴量として 抽出するようにすれば、 顔の凸凹がより明確に表現でき、 明度分布から光 源の位置を推定でき、 光源の位置に見合った補正を行うことが可能となる。 また、 カメラに対し多少顔が傾いていた場合も、 明度分布を左右対称とす るような補正を行うことによって、 傾きによる判定誤差を防止できる。 図面の簡単な説明
本発明の目的と特徴は、 添付の図面に示した本発明の好ましい実施例に 関連した以下の記述より明らかになるであろう。
第 1図は、 本発明にかかる個人識別装置のシステム構成図である。
第 2図は、 本発明にかかる個人識別装置の実施例を示すプロック図であ る o
第 3図は、 顔の特徴点を示す説明図である。
第 4図、 第 5図、 第 6図及び第 7図は、 夫々、 眉、 目、 鼻、 口の特徴点 の位置を示す拡大説明図である。
第 8図は、 抽出された特徴点の分布を示す図である。
第 9図は基準構造モデルのフレーム構造を示す図、 第 1 0図は、 抽出さ れた特徴点に基づいて第 9図の基準構造モデルを変形整合した結果のフレ ーム構造を示す図である。
第 1 1図は、 本発明にかかる個人識別装置のシステムダイヤグラムを示 す図である。
第 1 2図は、 特徴点抽出のフローチヤ一トである。
第 1 3図は、 頂点の線形補間方式を説明する説明図である。
第 1 4図は、 本発明にかかる個人識別装置のいま一つの実施例を示すブ 口ック図である。
第 1 5図は従来の個人識別装置の構成を示すプロック図である。
発明を実施するための最良の形態
以下に、 本発明の実施例を詳細に説明する。
<システム構成〉
本発明にかかる個人識別装置のハードウエアは、 第 1図に示すように、 識別対象の個人の顔部分を撮像するためのテレビカメラ 1からなる画像入 力部 2と、 テレビカメラ 1によって撮像された顔画像データが入力される マイクロコンピュータ 3からなる画像処理部 4とから基本的に構成される。 この画像処理部 4は、 マイクロコンピュータ 3本体に加えて、 必要な情報 を表示するディスプレイ 5、 必要な情報を記録するプリンタ 6、 マイクロ コンピュータ 3を操作するためのキーボード 7やマウス （図示せず） によつ て構成される操作手段 8を備えている。
<機能ブロック構成〉
第 2図は、 本発明の第 1の実施例を示すものであり、 マイクロコンピュ 一夕 3が入力された顔画像に対して行う画像処理の内容を機能として抽出 し、 ブロック図として表示したものである。
画像入力部 2から入力された顔画像データは、 まず画像記憶部 1 2に格 納され、 特徴点抽出部 1 3は、 以下に説明するように、 格納された顔画像 から特徵点を抽出する。 ここで、 特徵点なる用語は、 第 3図に黒点で例示 するように、 顔画像を構成する個々の要素、 例えば目、 鼻、 口、 頭、 頰等 を特定するために予め定めた点を意味する。 したがって、 特徵点の抽出と は、 例えば、 瞳の中心を示す特徴点が、 入力された顔画像上のどの位置に あるかを検出することを意味し、 個々の特徴点の位置情報を検出すること によって、 個人の顔の特徴が記述されることになる。 第 4図、 第 5図、 第 6図、 第 7図には、 眉、 目、 鼻、 口の特徵点が夫々詳しく示されている。 特徴点の抽出方法については後述するが、 第 8図には、 抽出された特徴点 を例示する。
特徴点抽出部 1 3によってその位置が特定された特徴点は、 構造モデル 整合部 1 5において、 予め定めておいて顔の基準構造モデルの特徴点と個 々に比較され、 基準構造モデルの個々の特徴点が抽出された対応する特徴 点に一致するように、 基準構造モデルが変形整合される。
基準構造モデルは、 基準ワイヤフレームともいわれ、 第 9図に例示する ように、 基準とする顔画像を多数の小さいパッチ （p a t c h ) に分割し、 パッチの集合として近似的に表現したものである。 このパッチは、 任意の 多角形 （p o l y g o n ) であってよいが、 処理の容易さから、 第 5図の ように、 3角形を用いることが好ましい。 具体的な整合方法については後 述するが、 第 9図の基準構造モデルを第 8図に示す抽出特徴点を用いて整 合した結果 第 1 0図に示す。 以下では、 整合後の構造モデルを整合構造 モデルという。
再び第 2図に戻って、 特徴量抽出部 1 6は、 構造モデル整合部 1 5によつ て得られた整合構造モデルに基づいて、 画像記憶部 1 2に格納された顔画 像を個々のパッチごとに切り出し、 パッチごとの特徴量を抽出する。 特徴 量としては、 例えば、 パッチ内の平均明度を用いることができる。 特徴量 として明度を用いると、 一定の照明条件下では、 顔表面の明度分布は、 顔 の立体形状を比較的忠実に反映する。 また、 明度分布は撮像時、 多少顔が 横を向いていたとしても影響を受けにくい利点がある。 特徴量は、 各パッ チの明度 （平均明度） に限られるものではなく、 隣接するパッチ間の明度 の差分を用いることもできる。
このようにして、 整合構造モデルの特徴量が抽出されると、 判定部 1 8 は、 抽出された特徴量を個人データベース部 1 7に予め用意されていた個 人、 個人の特徴量と順番に比較し、 距離演算により一致度を判定し、 その 結果を出力する （人物検索） 。
本人照合の場合、 つまり入力された顔画像が確かに本人であるか否かを 照合する場合、 判定部 1 8は抽出された特徴量と、 個人データベース部 1 7に格納された本人の特徴量との距離 （差の絶対値） を演算し、 距離の総 和が予め定めた閾値より小さいときには、 本人であると同定する。
第 1 1図は、 以上の個人識別処理を図式化したものであり、 処理の手順 が明瞭に理解されるであろう。
次に、 個々の処理についてより具体的に説明する。
ぐ特徴点抽出 >
以下に説明する特徴点抽出は、 本願発明の特徴とするところではないが、 本願発明は、 特徴点抽出をその前提としている。 そして、 この前提たる特 徴点抽出方式については、 本願出願人が特願平 4一 9 7 5 3号として出願 し、 特開平 5— 1 9 7 7 9 3号として公開された公開公報に記載されてい るが、 その基本原理を第 1 2図のフローチヤ一トを用いて説明する。
特徴点抽出は、 前述した如く、 特徴点抽出部 1 3において実行される。 まず、 ステップ S 1において、 画像記憶部 1 2に記憶された顔画像を入 力し、 ステップ S 2で輝度変換してモノクロの濃淡画像を生成した後、 ス テツプ S 3がエッジ画像を生成する。 この場合、 例えば、 S 0 b e 】オペ レータ [D. H. バラ一ド （B a 1 1 a r d ) ， C . M. ブラウン （B r o w n ) 著、 副村晃夫訳 「コンピュータビジョン」、 日本コンピュータ協 会、 1 9 8 7、 P 9 8 ] のようなエッジの大きさだけでなく方向の得られ る演算子を用いてエツジを抽出する。 このようにして得られるエツジは大 きさと方向を要素としているのでエッジべク トルと呼ばれる。 実際に図示 はできないが、 エッジを抽出することによって得られるエッジ画像は、 ディ スプレイ 5上では、 左右方向のエツジは綠で上下方向のエツジは赤で表示 し、 色の濃淡によってエッジの強さを表示する。
次に、 ステップ S 4で、 目や鼻といった顔部品がどこのあるかを示す探 索領域を決定する。 この探索領域は、 眉領域、 虹彩領域、 鼻領域、 左、 右 の頰領域、 口領域の計 6領域とし、 まず最初に顔画像の上下方向の中央部 にある虹彩の探索領域から、 左右の虹彩位置を決定する。 左右の虹彩の位 置が検出されると、 虹彩間の距離および傾きから顔全体の大きさが推測で きることになる。 その他の計 5領域は、 既に得られた虹彩の位置を用いて 順次決定する。
各探索領域が決定されると、 ステップ S 5で各探索領域のエツジ画像を 0か 1に 2値化する。 通常、 抽出されたエッジは夫々大きさをもっており、 ノイズを含んでいる。 2値化は、 ノイズ除去の目的で行い、 所定の閾値を 判定に用いる。 この閾値は探索領域中の面積比で 2 0 %のエツジ画素が 1、 残りが 0となるような値を用いる。
次に、 ステップ S 6において、 2値化されたエッジ画像に対し、 形状テ ンプレートを用いて形状マッチングを行い、 一致度を判定して候補領域を 導出する。 この一致度 øは、 エッジと形状テンプレートの各部品の形状デ 一夕のいずれもがべク トルで表現されているので、 例えば 2つのべク トル の内積をとることによって計算できる。
より具体的には、 エッジの画像中のエッジべク トルを
u " ,= ( U x, u y) ( i , j ：画像の x, y座標、
Figure imgf000010_0001
とし、 形状データを
要素データ P k= ( 1 k, n ) ( 1 k, mk :要素の x, y座標） 勾配べク トノレ Vk= ( V v >·) ( v x2+ v y 2= 1 )
但し l ^k n (nは要素数）
とすると、 エッジ画像中の座標 （ i， j ) における形状データとの一致度 øは
ø = (∑ U i + 1 k, j+mk · v k) / n ( 1≤ k≤ n )
但し、 U i+ l k， i+mk * V k= U x X V x+ U y X V y
となる。
このようにして探索領域の各座標に対する形状データとの一致度が算出 される。 このうち、 一致度 0の大きい複数の座標地をこの顔部品の候補領 域とする。
実際には、 例えば目のテンプレートの場合、 エッジ画像中、 両虹彩、 盾、 頰と耳の間の頭髪部分、 鼻の穴等が高い一致度を持つ部分として上げられ てくる。 つまり、 決定された虹彩探索領域内において、 虹彩の形状テンプ レートを用いた一致度判定を行うと、 上記のような各部分が虹彩の候補領 域として導出されることになる。
次のステップ S 7では、 上記のようにして得られた候補領域の各エツジ 画像に対し、 対応する形状テンプレートを変形させてマッチング （一致度） を判定する。 変形の手法は、 各部品の形状テンプレー トの要素を少しずら し、 各エッジ画像との一致度を計算し、 一致度が向上するように形状テン プレートの形状を変形する （ステップ S 7 ) 。 最も高い一致度が得られる と （ステップ S 8 ) 、 そのときの形状テンプレートの形状から、 特徵点を ステップ S 9で抽出する。
特徴点の抽出は、 例えば、 眉についていうと、 第 4図に示した約束にし たがって行う。 つまり、 マッチングした （一致度の最も高い） 眉形状につ いて、 まず左右の端点を特徴点とし、 両端点間を 3等分する各 3等分線と の上、 下の交点、 計 4点をさらに特徴点とする。 したがって、 一つの眉に ついて、 合計 6個の特徴点が抽出されたことになる。 同様に、 目について は第 5図に示すように、 目の上下左右の 4点及び虹彩の中心点の計 5点を 特徵点として抽出する。 鼻、 口についても、 第 6図、 第 7図に夫々示され ている方法で、 特徴点の抽出が行われる。
実際の特徴点の抽出は、 第 1 2図のフローチヤ一卜には明示されていな いが、 以下の順序で行う。
まず、 虹彩を抽出する。 上に述べたように、 両虹彩の位置を求めること によって、 顔全体の大きさや傾きが推測可能である。'両虹彩の傾き （特徴 点を結んだ線分の傾き） が分かると、 入力された顔画像の傾きが分かるか ら、 まず虹彩の特徴点をステップ S 9で抽出したときには、 傾きを修正す るァフィン変換をステップ S 1 0でエツジ画像に対して行う。
ァフィ ン変換後は、 目の輪郭について特徴点抽出を行う。 目が抽出され ると、 眉の ίί [置も推測可能であるので、 眉についての特徴点抽出を行う。 さらに、 口を抽出することで、 鼻、 顎の位置の推測ができるので、 これら 部品の特徴点を抽出し、 最後に頭の頂点と頰の輪郭についての特徴点抽出 を行う。 特徴点の抽出は、 必ずしも上記の順序で行う必要はないが、 上記 の順序にしたがえば、 特徴点の抽出がスムーズに行える利点がある。 この ようにして、 全特徴点の抽出を行い、 特徴点抽出ルーチンを終了する。 <構造モデル整合処理ルーチン >
特徴点抽出部 13で合計 49個の特徴点 （第 3図参照） が抽出されると、 これら 49個の特徴点を用いて基準構造モデル （第 9図） の変形整合を行 う。 この変形整合は、 構造モデル整合部 15により行う。
基準構造モデルは、 第 9図に示すように 205点の頂点データとこれら 頂点を連結してできる 385個の 3角パッチによって構成される。 変形整 合に際して、 連結構造自体は不変であるので、 抽出された特徴点にしたがつ て、 頂点データを整合させることにより、 整合構造モデルを得ることがで さる。
この整合は、 次のルールにしたがって行う。
(a) 求める頂点が対応する特徴点そのものの場合 （例えば、 虹彩の中心、 目尻、 口の両端等） 、 抽出された特徴点の座標をそのまま用いる。
(b)求める頂点が、 特徴点そのものでない場合所定のルールにより、 特 徴点を 3個選定し、 これら 3個の特徴点の座標を用いて、 以下の要 領により線形補間を行う。
線形補間の方法を第 13図を参照しながら説明する。
第 13図において、 左側の 3角形 Ρ。Ρ,Ρ2は、 基準構造モデル上の頂 点 qを取り囲む 3つの特徵点 Ρ0, Ρ,, Ρ2で形成される 3角形であり、 右側の ΔΡ0' ΡΓ Ρ2' は、 基準構造モデルの特徴点 Po. PL P2に対 応して抽出された特徴点 Ρ0' , Pi' , Ρ2' で形成される 3角形である。 点 q ' は基準構造モデル上の上記頂点 Qを線形補間したときに得られる頂 点である。 いま、 特徴点 Po, Pい P2の座標を （xo. y o) . y i) , (x2, y2) とし、 頂点 qの座標を （x, y) とし、 頂点 Qに対す る特徴点 Po， Pi. P2の重みの比を m0， m,, m2とすると、 m0, m m 2は以下の 3つの式を解くことによって求めることができる。
Figure imgf000013_0001
次に、 変形後の構造モデル即ち整合構造モデルの対応する特徴点 P , ΡΓ ， Ρ2' の座標を （χ0' , y0' ) , (χΓ , y ） ， (χ2' ， y2' ) とすると、 目的の頂点座標 q' (χ' ， y' ) は、 上で求めた重 みの比 m0， mlt m2を用いて以下の通りに求めることができる。
Figure imgf000013_0002
y =m。yQ + m i y i ' +m2 y 2'
特徴点の選定ルールは以下の通りである。
規則 1. 3つの特徴点で 3角形が作れること。
規則 2. 変形前後で位相が変化しないこと。 即ち時計廻り方向の順序が変 わらないこと （Pn—Pi— Pz: Ρο' →Ρι' →Ρ2' ) 。 規則 3. 3角形の内部に頂点 Qが存在すること。
規則 4. Po. Pi, P2が可能な限り頂点 Qの近くに存在していること。 この線形補間は、 205点全部の頂点について行い。 これによつて第 1 0図に示す如き整合構造モデルを得ることができる。 なお、 基準構造モデ ルの外周部分は全て特徴点である必要があるため、 構造モデル整合部 15 において、 頭の周囲、 顎の周囲等は 2次関数等の関数で近似する。
<明度補正 >
この明度補正は、 撮像時の光源位置の相違等による誤判定を防ぐために 行う。
第 14図に示すように、 特徴量抽出部 16の後段に顔画像の明度を補正 する明度補正部 19を設ける。 この場合、 基準構造モデル部 14には、 各 パッチの法線べク トルをデータとして格納しておく。 つまり、 基準構造モ デルを立体化して、 各パッチの法線べク トルを予め与えておく。 そして、 特徵量抽出部 1 6は、 構造モデル整合部 1 5で得られた整合構造モデルに ついて、 各パッチの明度と法線べク トルを抽出する。 これら抽出された各 パッチの明度と法線べク トルとから、 光源の位置を推定する。 例えば、 顔 画像を上下左右に 4分割したときに、 各部分での明度分布をみれば、 光源 が撮影される顔に対してどの方向にあるかは推定できる。 推定された光源 の位置と個人データベース部 1 7内の個人特徴量作成時の光源の位置とが 異なる場合、 どちらか一方の光源に合うように明度を補正する。 即ち、 古 い光源方向の法線に近いパッチの明度を下げ、 新しい光源方向の法線に近 いパッチは明度を上げる。 このような明度補正をかければ、 異なる照明条 件下でも誤判定を有効に防止することができる。
以上、 本発明の実施例について詳述したが、 本発明は上記実施例に限定 されるものではなく、 当業者にとって自明な変更や修正は、 請求の範囲に 記載された技術的思想の範囲内において当然に含まれる。
産業上の利用可能性
本発明の構成によれば、 多数の小区画から抽出した特徴量を用いること により、 精度の高い個人識別、 本人確認を行うことができる。

Claims

請 求 の 範 囲
1. 識別すべき人物の顔画像を入力する画像入力部と、 画像入力部から入 力された顔画像情報を格納する画像記憶部と、 画像記憶部に格納された顔 画像から特徴点を抽出する特徵点抽出部と、 抽出された特徴点に基づいて 顔画像を所定のルールにより小区画に細分して、 小区画の集合として記述 するとともに、 小区画ごとの特徴量を抽出する特徴量抽出部と、 特徴量抽 出部によって抽出された特徴量と予め求めておいた本人の顔画像の特徴量 との距離を計算し、 本人か否かの識別を行なう判定部とからなる個人識別
2. 特徴量抽出部は、 基準とする顔の構造を小区画の集合で記述した基準 構造モデル部と、 特徴点抽出部で抽出された特徴点に基づいて、 基準構造 モデルを変形し、 入力された顔画像に整合させる構造モデル整合部とから なる請求項 1記載の個人識別装置。
3. 特徴量として、 各小区画における平均明度を用いる請求項 1記載の個 人識別装置。
4. 特徴量として、 小区画間の平均明度の差分を用いる請求項 1記載の個 人識別装置。
5. 小区画の平均明度の分布から光源の位置を推定し、 推定された光源の 位置に応じて小区画の平均明度を補正する請求項 3記載の個人識別装置。
6. 基準構造モデルが小区画とその法線べク トルで定義された立体モデル であり、 小区画毎の法線べク トルが平均明度とともに検出され、 法線べク トルおよび平均明度から光源の位置を推定する請求項 5記載の個人識別装
PCT/JP1994/000493 1993-03-29 1994-03-28 Apparatus for identifying person WO1994023390A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US08/343,543 US5995639A (en) 1993-03-29 1994-03-28 Apparatus for identifying person
KR1019940704328A KR0158038B1 (ko) 1993-03-29 1994-03-28 개인식별장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP6960593 1993-03-29
JP5/69605 1993-03-29

Publications (1)

Publication Number Publication Date
WO1994023390A1 true WO1994023390A1 (en) 1994-10-13

Family

ID=13407647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1994/000493 WO1994023390A1 (en) 1993-03-29 1994-03-28 Apparatus for identifying person

Country Status (4)

Country Link
US (2) US5995639A (ja)
KR (1) KR0158038B1 (ja)
CN (1) CN1045129C (ja)
WO (1) WO1994023390A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7764828B2 (en) 2004-12-08 2010-07-27 Sony Corporation Method, apparatus, and computer program for processing image
JP2011086051A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 眼位置認識装置
JP4793698B2 (ja) * 2005-06-03 2011-10-12 日本電気株式会社 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム
CN107358186A (zh) * 2017-07-04 2017-11-17 四川云物益邦科技有限公司 通过图像处理实现的自动对照系统
WO2023176375A1 (ja) * 2022-03-16 2023-09-21 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023390A1 (en) * 1993-03-29 1994-10-13 Matsushita Electric Industrial Co., Ltd. Apparatus for identifying person
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US6137896A (en) * 1997-10-07 2000-10-24 National Research Council Of Canada Method of recognizing faces using range images
AU1099899A (en) * 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
JPH11250071A (ja) * 1998-02-26 1999-09-17 Minolta Co Ltd 画像データベースの構築方法および画像データベース装置並びに画像情報記憶媒体
JP3549725B2 (ja) * 1998-04-13 2004-08-04 シャープ株式会社 画像処理装置
WO1999060522A1 (en) * 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
US6333990B1 (en) * 1998-06-02 2001-12-25 General Electric Company Fourier spectrum method to remove grid line artifacts without changing the diagnostic quality in X-ray images
IT1315446B1 (it) * 1998-10-02 2003-02-11 Cselt Centro Studi Lab Telecom Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti.
US6393136B1 (en) * 1999-01-04 2002-05-21 International Business Machines Corporation Method and apparatus for determining eye contact
US6130617A (en) * 1999-06-09 2000-10-10 Hyundai Motor Company Driver's eye detection method of drowsy driving warning system
US6795567B1 (en) * 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
JP2001209802A (ja) * 1999-11-15 2001-08-03 Fuji Photo Film Co Ltd 顔抽出方法および装置並びに記録媒体
US6792144B1 (en) * 2000-03-03 2004-09-14 Koninklijke Philips Electronics N.V. System and method for locating an object in an image using models
JP2001331799A (ja) * 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
JP2001266151A (ja) * 2000-03-17 2001-09-28 Toshiba Corp 個人識別装置および個人識別方法
EP1136937B1 (en) * 2000-03-22 2006-05-10 Kabushiki Kaisha Toshiba Facial image forming recognition apparatus and a pass control apparatus
US6738512B1 (en) * 2000-06-19 2004-05-18 Microsoft Corporation Using shape suppression to identify areas of images that include particular shapes
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
TW517210B (en) * 2000-08-31 2003-01-11 Bextech Inc A method for generating speaking expression variation without distortion in 2D picture using polygon computation
US6990452B1 (en) 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
US7203648B1 (en) 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
US7091976B1 (en) 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US20080040227A1 (en) 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
US6963839B1 (en) 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US7035803B1 (en) 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US6542638B2 (en) 2001-02-21 2003-04-01 Shannon Roy Campbell Method for matching spatial patterns
US20020172419A1 (en) * 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
US7671861B1 (en) * 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
US7286692B2 (en) * 2001-12-27 2007-10-23 Amnart Kanarat Automatic celebrity face matching and attractiveness rating machine
WO2003063080A2 (en) * 2002-01-22 2003-07-31 Matchlight Software Inc. System and method for image attribute recording and analysis for biometric applications
US20030161505A1 (en) * 2002-02-12 2003-08-28 Lawrence Schrank System and method for biometric data capture and comparison
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
JP3954909B2 (ja) * 2002-06-19 2007-08-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 認識モデル生成システム、認識モデル生成方法、該認識モデル生成方法をコンピュータに対して実行させるためのプログラムおよび該プログラムが記録されたコンピュータ可読な記録媒体、ならびに構造メッシュ生成システム
EP1413972B1 (de) * 2002-10-24 2008-10-22 L-1 Identity Solutions AG Prüfung von Bildaufnahmen von Personen
US20050276452A1 (en) * 2002-11-12 2005-12-15 Boland James M 2-D to 3-D facial recognition system
US7804982B2 (en) 2002-11-26 2010-09-28 L-1 Secure Credentialing, Inc. Systems and methods for managing and detecting fraud in image databases used with identification documents
US7194110B2 (en) * 2002-12-18 2007-03-20 Intel Corporation Method and apparatus for tracking features in a video sequence
JP2004213087A (ja) * 2002-12-26 2004-07-29 Toshiba Corp 個人認証装置および個人認証方法
US20080004109A1 (en) * 2002-12-26 2008-01-03 Amnart Kanarat Automatic attractiveness rating machine
US7643671B2 (en) * 2003-03-24 2010-01-05 Animetrics Inc. Facial recognition system and method
CN100361160C (zh) * 2003-03-28 2008-01-09 富士通株式会社 摄影装置及个人识别系统
US7519236B2 (en) * 2003-04-09 2009-04-14 Arcsoft, Inc. Image retrieval
DE602004030434D1 (de) 2003-04-16 2011-01-20 L 1 Secure Credentialing Inc Dreidimensionale datenspeicherung
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
JP2005100367A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 画像生成装置、画像生成方法、及び画像生成プログラム
AU2004285183A1 (en) * 2003-10-30 2005-05-12 Nec Corporation Estimation system, estimation method, and estimation program for estimating object state
US20050099775A1 (en) * 2003-11-12 2005-05-12 Himanshu Pokharna Pumped liquid cooling for computer systems using liquid metal coolant
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
EP1811456B1 (en) * 2004-11-12 2011-09-28 Omron Corporation Face feature point detector and feature point detector
US7809171B2 (en) * 2005-01-10 2010-10-05 Battelle Memorial Institute Facial feature evaluation based on eye location
US8130285B2 (en) * 2005-04-05 2012-03-06 3Vr Security, Inc. Automated searching for probable matches in a video surveillance system
US20070071288A1 (en) * 2005-09-29 2007-03-29 Quen-Zong Wu Facial features based human face recognition method
JP4991317B2 (ja) * 2006-02-06 2012-08-01 株式会社東芝 顔特徴点検出装置及びその方法
US20070183665A1 (en) * 2006-02-06 2007-08-09 Mayumi Yuasa Face feature point detecting device and method
JP4414401B2 (ja) 2006-02-10 2010-02-10 富士フイルム株式会社 顔特徴点検出方法および装置並びにプログラム
JP4585471B2 (ja) * 2006-03-07 2010-11-24 株式会社東芝 特徴点検出装置及びその方法
JP4093273B2 (ja) * 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
US9042606B2 (en) * 2006-06-16 2015-05-26 Board Of Regents Of The Nevada System Of Higher Education Hand-based biometric analysis
JP2008059197A (ja) * 2006-08-30 2008-03-13 Canon Inc 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
US20090021514A1 (en) * 2007-05-22 2009-01-22 Mark Klusza Handling raster image 3d objects
US20120169732A1 (en) * 2008-01-09 2012-07-05 Allergan, Inc. Method for analysis of facial appearance to assist medical procedure
KR101488795B1 (ko) * 2008-03-25 2015-02-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8391642B1 (en) * 2008-05-12 2013-03-05 Hewlett-Packard Development Company, L.P. Method and system for creating a custom image
KR20100047521A (ko) * 2008-10-29 2010-05-10 삼성전자주식회사 가상 조명을 이용한 영상 표시 방법 및 이를 이용한 단말기
KR20100058280A (ko) * 2008-11-24 2010-06-03 삼성전자주식회사 휴대 단말기를 이용한 영상 촬영 방법 및 장치
JP5505410B2 (ja) * 2009-04-06 2014-05-28 日本電気株式会社 データ処理装置、画像照合方法、プログラムおよび画像照合システム
US8194938B2 (en) * 2009-06-02 2012-06-05 George Mason Intellectual Properties, Inc. Face authentication using recognition-by-parts, boosting, and transduction
US8655084B2 (en) * 2009-06-23 2014-02-18 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Hand-based gender classification
IL199657A0 (en) * 2009-07-02 2011-08-01 Carmel Haifa University Economic Corp Ltd Face representation systems for privacy aware applications and methods useful in conjunction therewith
TWI435704B (zh) * 2011-03-15 2014-05-01 Crystalvue Medical Corp 口腔光學診斷裝置及其運作方法
CN102521578B (zh) * 2011-12-19 2013-10-30 中山爱科数字科技股份有限公司 一种入侵检测和识别方法
GB2500647B (en) * 2012-03-28 2014-11-05 P S Comp Services Ltd System and method for validating an identity card
RU2514155C1 (ru) * 2012-11-01 2014-04-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Московский государственный университет леса" (ФГБОУ ВПО МГУЛ) Способ автоматической идентификации объектов на изображениях
US10452892B2 (en) * 2013-12-17 2019-10-22 Sony Corporation Controlling image processing device to display data based on state of object in real space
JP2015176252A (ja) * 2014-03-13 2015-10-05 オムロン株式会社 画像処理装置および画像処理方法
CN104063690B (zh) * 2014-06-25 2017-08-25 广州卓腾科技有限公司 基于人脸识别技术的身份认证方法、装置及系统
US10515259B2 (en) * 2015-02-26 2019-12-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining 3D object poses and landmark points using surface patches
CA3002134C (en) * 2015-10-15 2021-11-02 Ilan Paz Image recognition-based dosage form dispensers
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
CN106599894A (zh) * 2016-12-27 2017-04-26 上海铁路局科学技术研究所 一种基于图像识别的接触网杆号识别方法
CN109919876B (zh) * 2019-03-11 2020-09-01 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相系统
CN112508773B (zh) * 2020-11-20 2024-02-09 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02187866A (ja) * 1989-01-17 1990-07-24 Secom Co Ltd 個人照合方法および装置
JPH04101280A (ja) * 1990-08-20 1992-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔画像照合装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630943B2 (ja) 1985-01-31 1994-04-27 ジューキ株式会社 インクリボン送り装置
DE3689271T2 (de) * 1985-02-26 1994-02-24 Sony Corp Verfahren zur Bildanzeige.
US4710876A (en) * 1985-06-05 1987-12-01 General Electric Company System and method for the display of surface structures contained within the interior region of a solid body
US4829446A (en) * 1986-12-12 1989-05-09 Caeco, Inc. Method and apparatus for recording and rearranging representations of objects in a model of a group of objects located using a co-ordinate system
JPS63177273A (ja) * 1987-01-19 1988-07-21 Oki Electric Ind Co Ltd 本人照合方法
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
US5448687A (en) * 1988-09-13 1995-09-05 Computer Design, Inc. Computer-assisted design system for flattening a three-dimensional surface and for wrapping a flat shape to a three-dimensional surface
US5012522A (en) * 1988-12-08 1991-04-30 The United States Of America As Represented By The Secretary Of The Air Force Autonomous face recognition machine
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JP2940226B2 (ja) * 1991-06-20 1999-08-25 三菱電機株式会社 画像合成装置
CH684590A5 (de) * 1991-09-26 1994-10-31 Grapha Holding Ag Verfahren zur Einheitlichkeitsprüfung von Druckbogen und Vorrichtung zur Durchführung desselben.
GB9201006D0 (en) * 1992-01-17 1992-03-11 Philip Electronic And Associat Classifying faces
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
US5659625A (en) * 1992-06-04 1997-08-19 Marquardt; Stephen R. Method and apparatus for analyzing facial configurations and components
WO1994023390A1 (en) * 1993-03-29 1994-10-13 Matsushita Electric Industrial Co., Ltd. Apparatus for identifying person
US5561749A (en) * 1994-12-02 1996-10-01 General Electric Company Modeling of surfaces employing polygon strips

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02187866A (ja) * 1989-01-17 1990-07-24 Secom Co Ltd 個人照合方法および装置
JPH04101280A (ja) * 1990-08-20 1992-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔画像照合装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7764828B2 (en) 2004-12-08 2010-07-27 Sony Corporation Method, apparatus, and computer program for processing image
JP4793698B2 (ja) * 2005-06-03 2011-10-12 日本電気株式会社 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム
US8320660B2 (en) 2005-06-03 2012-11-27 Nec Corporation Image processing system, 3-dimensional shape estimation system, object position/posture estimation system and image generation system
JP2011086051A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 眼位置認識装置
CN107358186A (zh) * 2017-07-04 2017-11-17 四川云物益邦科技有限公司 通过图像处理实现的自动对照系统
WO2023176375A1 (ja) * 2022-03-16 2023-09-21 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
CN1108035A (zh) 1995-09-06
KR0158038B1 (ko) 1998-12-15
CN1045129C (zh) 1999-09-15
KR950702051A (ko) 1995-05-17
US6181806B1 (en) 2001-01-30
US5995639A (en) 1999-11-30

Similar Documents

Publication Publication Date Title
WO1994023390A1 (en) Apparatus for identifying person
KR100682889B1 (ko) 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4723834B2 (ja) 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置
US7221809B2 (en) Face recognition system and method
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
US6975750B2 (en) System and method for face recognition using synthesized training images
JP5709410B2 (ja) パターン処理装置及びその方法、プログラム
EP1650711B1 (en) Image processing device, imaging device, image processing method
US7512255B2 (en) Multi-modal face recognition
EP1677250B9 (en) Image collation system and image collation method
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
US20150310672A1 (en) Augmented reality method applied to the integration of a pair of spectacles into an image of a face
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
CN110991258B (zh) 一种人脸融合特征提取方法及系统
JP2000311248A (ja) 画像処理装置
JP4993615B2 (ja) 画像認識方法および装置
JP3577908B2 (ja) 顔画像認識システム
JP7107380B2 (ja) 推定装置、推定方法、およびプログラム
JPH06168317A (ja) 個人識別装置
US20230103555A1 (en) Information processing apparatus, information processing method, and program
JPH0896137A (ja) 入力座標判定装置
JPH0644365A (ja) 顔基準点抽出方法
CN116778549A (zh) 一种录像过程同步人脸替换方法、介质及系统
Castelán Face shape recovery from a single image view
JP2002334331A (ja) 画像照合装置、画像照合方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

WWE Wipo information: entry into national phase

Ref document number: 08343543

Country of ref document: US

CFP Corrected version of a pamphlet front page

Free format text: UNDER INID NUMBERS(72)"INVENTORS;AND"AND(75)"INVENTORS/APPLICANTS(FOR US ONLY)",THE JAPANESE TRANSCRIPTION OF "NAKAGAWA,MASAMICHI "SHOULD BE CORRECTED