JP2008191743A - Face authentication device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To perform high-security face authentication for preventing impersonation. <P>SOLUTION: A face authentication device for calculating a collation score showing similarity between a face in an input facial image and a face previously registered, and having an authentication means for performing authentication by comparing the calculated collation score and a threshold has a control means for performing the control for improving security strength of the authentication means based on a history of failures in authentication. The security strength is preferably realized by increasing the threshold, by invalidating processing corresponding to illumination variations and face orientation, and by reducing an individual range in a feature space. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

Translated fromJapanese

本発明は、顔認証技術に関し、特に、顔認証技術においてなりすましによる誤認証を防止する技術に関する。  The present invention relates to a face authentication technique, and more particularly to a technique for preventing erroneous authentication due to impersonation in the face authentication technique.

現在、様々な場面で顔認証技術が利用されている。たとえば、高機能化によってセキュリティ対策が重視され始めている携帯電話機や、所定区域内への立ち入りを管理する入退室管理システム等において、顔認証技術が利用されている。このように、顔認証技術が普及し始めている一方で、写真等を用いたなりすましが問題となっている。  Currently, face recognition technology is used in various situations. For example, face authentication technology is used in mobile phones, for which security measures are beginning to be emphasized due to higher functionality, and in an entrance / exit management system that manages entry into a predetermined area. Thus, while face authentication technology has begun to spread, spoofing using photographs and the like has become a problem.

なりすましを防止するために、認証者に対して、目を所定時間閉じて開くという動作を行わせたり、顔の向きや表情を指示する技術が知られている（たとえば、特許文献１，２）。
特開２００２−２５１６１４号公報特開２００３−３１７１００号公報In order to prevent impersonation, a technique for causing the authenticator to perform an operation of closing and opening the eyes for a predetermined time, or instructing a face orientation or facial expression is known (for example,Patent Documents 1 and 2). .
JP 2002-251614 A JP 2003-317100 A

上記の従来技術のように、顔認証とジェスチャの読み取りとを組み合わせることで、なりすましを検知することが可能であるが、ユーザはジェスチャを行う必要があり、負担が生じていた。  Although it is possible to detect impersonation by combining face authentication and reading of a gesture as in the above-described conventional technology, the user needs to perform a gesture and a burden is generated.

また、なりすまし行為をしようとする人物が、認証を成功させようとして複数回認証処理を試行した場合でも、常に同一の処理を行っていた。したがって、なりすまし者のスキルが向上すると、なりすましが成功してしまう可能性もあった。  In addition, even when a person who tries to impersonate tries authentication processing a plurality of times in order to succeed in authentication, the same processing is always performed. Therefore, if the skill of the impersonator is improved, the impersonation may be successful.

そこで、本発明はこれらの問題を解決して、なりすましを防止した高セキュリティな顔認証技術を提供することを目的とする。  Therefore, an object of the present invention is to solve these problems and provide a high-security face authentication technique that prevents spoofing.

本発明に係る顔認証装置は、なりすましに対する危険性を判断し、なりすましの危険性が高い場合には認証成功の判断基準を厳しくするものである。  The face authentication apparatus according to the present invention determines the risk of impersonation, and when the risk of impersonation is high, the criteria for determining the success of authentication are strict.

本発明に係る顔認証装置は、認証手段と、認証手段のセキュリティレベルを制御する制御手段とを有する。認証手段は、入力される顔画像中の顔とあらかじめ登録された顔との類似度を示す照合スコアを算出し、算出された照合スコアと閾値との比較によって、認証に成功したと判断する。  The face authentication apparatus according to the present invention includes an authentication unit and a control unit that controls the security level of the authentication unit. The authentication means calculates a matching score indicating the degree of similarity between the face in the input face image and a face registered in advance, and determines that the authentication is successful by comparing the calculated matching score with a threshold value.

認証手段は、より具体的には、入力された顔画像から顔を検出する顔検出手段、検出された顔から特徴量を取得する特徴量取得手段、取得された特徴量と登録された特徴量を照合して照合スコアを算出する照合手段などを含んで構成されることができる。顔検出するための技術としては、テンプレートマッチングやニューラルネットワークによる学習結果を用いる技術など、既存のどのような技術が用いられても良い。また、取得する特徴量は、顔の個人差を表現する特徴を表すものであれば、どのような特徴量が用いられても良い。  More specifically, the authentication unit is a face detection unit that detects a face from the input face image, a feature amount acquisition unit that acquires a feature amount from the detected face, and the acquired feature amount and the registered feature amount Can be configured to include a collating means for calculating a collation score. As a technique for detecting a face, any existing technique such as a technique using template matching or a learning result by a neural network may be used. In addition, any feature amount may be used as long as the feature amount to be acquired represents a feature expressing individual differences in the face.

本発明における制御手段は、認証の失敗履歴に基づいて、認証手段のセキュリティ強度
を上げる処理を行う。認証の失敗とは、入力された顔画像中の顔と、あらかじめ登録された顔とが一致しないと認証手段によって判断されることをいう。The control means in the present invention performs processing for increasing the security strength of the authentication means based on the authentication failure history. Authentication failure means that the authentication means determines that the face in the input face image does not match the face registered in advance.

制御手段は、より具体的には、連続して認証に失敗した回数に応じて、認証手段のセキュリティ強度を上げるように構成されることができる。また、制御手段は、連続して失敗した認証に係る照合スコア（例えば、その合計など）に応じて、制御手段のセキュリティ強度を上げるように構成されることができる。また、制御手段は、直近の所定回数の認証（試行）における、失敗の回数または頻度に応じて、認証手段のセキュリティ強度を上げる構成とすることができる。また、制御手段は、直近の所定回数の認証における、失敗した認証に係る照合スコアに応じて、制御手段のセキュリティ強度を上げることができる。  More specifically, the control means can be configured to increase the security strength of the authentication means in accordance with the number of times authentication has failed continuously. In addition, the control means can be configured to increase the security strength of the control means in accordance with a matching score (for example, the sum total) related to authentication that has failed successively. Further, the control means can be configured to increase the security strength of the authentication means according to the number or frequency of failures in the most recent predetermined number of authentications (trials). Further, the control means can increase the security strength of the control means according to the verification score related to the failed authentication in the most recent predetermined number of authentications.

なお、セキュリティ強度を上げるというのは、認証手段において他人を誤って本人（登録者）と判断する確率を少なくする、すなわち、他人許容率を低くすることをいう。  Increasing the security strength means reducing the probability that the authentication means erroneously determines another person (registrant), that is, lowering the other person's allowable rate.

一般に、なりすましを行おうとする者は、認証を繰り返して行い、なんとか認証を成功させようとする。そして、試行回数が増すにつれて、徐々になりすましのスキルが向上すると考えられる。これに対して、本発明に係る顔認証装置は、認証の失敗履歴に基づいてセキュリティ強度を上げているので、なりすまし者の試行回数が増すにつれて認証成功とみなす判断基準を厳しくできる。したがって、なりすまし者のスキルが向上した場合でも、それに伴ってセキュリティ強度も上がるので、なりすましを防止することが可能となる。  In general, a person who tries to impersonate repeats authentication and manages to succeed. And as the number of trials increases, it is considered that the skill of impersonation gradually improves. On the other hand, since the face authentication apparatus according to the present invention increases the security strength based on the authentication failure history, the criteria for determining the authentication success as the number of attempts by the spoofer can be tightened. Therefore, even when the skill of the impersonator is improved, the security strength is increased accordingly, and it is possible to prevent impersonation.

本発明における制御手段は、具体的には、以下のようにして認証手段のセキュリティ強度を上げる制御を行う。たとえば、制御手段は、認証が成功したと判断する照合スコアの閾値を高くするように認証手段を制御することができる。閾値を上げることで、セキュリティ強度が上がる。  Specifically, the control means in the present invention performs control to increase the security strength of the authentication means as follows. For example, the control means can control the authentication means so as to increase the threshold value of the matching score for determining that the authentication is successful. Increasing the threshold increases the security strength.

あるいは、入力される顔画像の撮影状態に応じて補正を行う補正手段を認証手段が有する場合には、制御手段は、認証手段がこれらの補正を無効とするように制御することができる。ここでいう補正処理には、顔画像の照明条件に応じて顔画像を補正する処理や取得される特徴量にバイアスをかける処理、顔画像における顔の向きに応じて取得される特徴量にバイアスをかける処理や照合アルゴリズムを変更する処理などが含まれる。言い換えると、ここでいう補正処理とは、顔画像に応じて本人拒否率を下げるような処理と表現できる。このような補正処理を無効とすることで、本人拒否率が上がってしまう可能性があるものの、他人許容率も下がるため、セキュリティ強度を上げることができる。  Alternatively, when the authentication unit has a correction unit that performs correction according to the photographing state of the input face image, the control unit can control the authentication unit to invalidate these corrections. The correction processing here includes processing for correcting the face image according to the illumination condition of the face image, processing for biasing the acquired feature amount, and biasing to the feature amount acquired according to the orientation of the face in the face image. Processing to change the collation algorithm. In other words, the correction processing referred to here can be expressed as processing that lowers the person rejection rate in accordance with the face image. Disabling such correction processing may increase the rejection rate of the principal, but also reduces the acceptance rate of others, thereby increasing the security strength.

また、認証手段が学習型の認証アルゴリズムを用いるものである場合、制御手段は登録された顔の特徴空間の範囲を狭めるように認証手段を制御することができる。登録された顔と一致するとみなされる特徴空間の範囲が狭まるため、セキュリティ強度が上がる。  When the authentication means uses a learning type authentication algorithm, the control means can control the authentication means so as to narrow the range of the registered facial feature space. Since the range of the feature space considered to match the registered face is narrowed, the security strength is increased.

なお、本発明は、上記手段の少なくとも一部を有する顔認証装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む顔認証方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。  The present invention can be understood as a face authentication device having at least a part of the above means. The present invention can also be understood as a face authentication method including at least a part of the above processing, or a program for realizing the method. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.

たとえば、本発明の一態様としての顔認証方法は、情報処理装置が、認証対象者の顔画像の入力を受け付ける画像入力ステップと、あらかじめ登録された顔との類似度を示す照合スコアを算出する照合スコア算出ステップと、算出された照合スコアが所定の閾値以上である場合に、認証に成功したと判断する認証ステップと、認証の失敗履歴に基づいて、前記認証ステップにおけるセキュリティ強度を上げる制御ステップと、を実行することを
特徴とする。For example, in the face authentication method as one aspect of the present invention, the information processing apparatus calculates a matching score indicating the degree of similarity between an image input step for receiving input of a face image of the person to be authenticated and a face registered in advance. A verification score calculating step, an authentication step for determining that the authentication is successful when the calculated verification score is equal to or greater than a predetermined threshold, and a control step for increasing the security strength in the authentication step based on the authentication failure history And executing.

また、本発明の一態様としての顔認証プログラムは、情報処理装置に対して、認証対象者の顔画像の入力を受け付ける画像入力ステップと、あらかじめ登録された顔との類似度を示す照合スコアを算出する照合スコア算出ステップと、算出された照合スコアが所定の閾値以上である場合に、認証に成功したと判断する認証ステップと、認証の失敗履歴に基づいて、前記認証ステップにおけるセキュリティ強度を上げる制御ステップと、を実行させることを特徴とする。  Further, the face authentication program as one aspect of the present invention provides an information processing apparatus with an image input step for receiving an input of a face image of a person to be authenticated and a matching score indicating the similarity between a face registered in advance. Based on a verification score calculation step to be calculated, an authentication step to determine that the authentication is successful when the calculated verification score is equal to or greater than a predetermined threshold, and an authentication failure history, the security strength in the authentication step is increased. And a control step.

本発明によれば、なりすましを防止した高セキュリティな顔認証が可能となる。  According to the present invention, high-security face authentication that prevents spoofing is possible.

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。  Exemplary embodiments of the present invention will be described in detail below with reference to the drawings.

（第１の実施形態）
＜構成＞
本実施形態に係る顔認証装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置などを備えるように構成される。この場合、プログラムがＣＰＵに実行されることによって、顔認証装置１が実現される。(First embodiment)
<Configuration>
Theface authentication device 1 according to the present embodiment is configured to include a CPU (Central Processing Unit), a main storage device (RAM), an auxiliary storage device, and the like connected via a bus in terms of hardware. . In this case, theface authentication apparatus 1 is realized by executing the program on the CPU.

図１は、顔認証装置１の機能ブロック例を示す図である。顔認証装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２、顔認証部３、顔検出部４、特徴量取得部５、照合部６、登録者ＤＢ７、制御部８、条件ＤＢ９として機能する。また、顔認証装置１の全部または一部は、専用のチップとして構成されても良い。  FIG. 1 is a diagram illustrating an example of functional blocks of theface authentication device 1. Theface authentication device 1 is loaded with various programs (OS, applications, etc.) stored in the auxiliary storage device and executed by the CPU, whereby theimage input unit 2, theface authentication unit 3, and theface detection unit 4. It functions as a featurequantity acquisition unit 5, acollation unit 6, aregistrant DB 7, acontrol unit 8, and acondition DB 9. Further, all or part of theface authentication device 1 may be configured as a dedicated chip.

次に、顔認証装置１が含む各機能部について説明する。  Next, each functional unit included in theface authentication device 1 will be described.

画像入力部２は、顔画像のデータを顔認証装置１へ入力するためのインタフェースとして機能する。画像入力部２によって、顔画像のデータが顔認証装置１へ入力される。画像入力部２は、顔認証装置１へ顔画像のデータを入力するためのどのような既存の技術を用いて構成されても良い。  Theimage input unit 2 functions as an interface for inputting face image data to theface authentication device 1. Theimage input unit 2 inputs face image data to theface authentication apparatus 1. Theimage input unit 2 may be configured using any existing technique for inputting face image data to theface authentication device 1.

たとえば、ネットワーク（ＬＡＮやインターネットなど）を介して顔画像のデータが顔認証装置１へ入力されても良い。また、デジタルカメラやデジタルビデオカメラ等から顔画像が顔認証装置１へ入力されても良い。また、顔認証装置１がデジタルカメラ等の撮像装置またはデジタルカメラ等の撮像装置を備える各種装置（携帯電話機やＰＤＡ（Personal Digital Assistant）等）の内部に含まれ、撮像された画像が顔認証装置１へと入力されても良い。  For example, face image data may be input to theface authentication apparatus 1 via a network (such as a LAN or the Internet). In addition, a face image may be input to theface authentication apparatus 1 from a digital camera, a digital video camera, or the like. Further, theface authentication device 1 is included in various devices (such as a mobile phone and a PDA (Personal Digital Assistant)) equipped with an imaging device such as a digital camera or an imaging device such as a digital camera, and the captured image is a face authentication device. 1 may be input.

顔認証部３は、顔認証装置１へ入力された顔画像が登録者ＤＢ７に登録されている顔と一致するか否かの判定を行う。顔認証部３は、顔検出部４、特徴量取得部５および照合部６を含む。  Theface authentication unit 3 determines whether or not the face image input to theface authentication device 1 matches the face registered in theregistrant DB 7. Theface authentication unit 3 includes aface detection unit 4, a featureamount acquisition unit 5, and acollation unit 6.

顔検出部４は、画像入力部２を介して入力された顔画像から、人の顔を検出する。顔検出部４は、たとえば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、顔の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出するように構
成されても良い。また、顔検出部４は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部４は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部４は、その他既存のどのような技術が適用されることによって実現されても良い。Theface detection unit 4 detects a human face from the face image input via theimage input unit 2. Theface detection unit 4 may be configured to detect a face by template matching using a reference template corresponding to the outline of the entire face, for example. Further, theface detection unit 4 may be configured to detect a face by template matching based on face components (eyes, nose, ears, etc.). Theface detection unit 4 may be configured to detect an area close to the skin color and detect the area as a face. Further, theface detection unit 4 may be configured to perform learning by a teacher signal using a neural network and detect a face-like region as a face. Theface detection unit 4 may be realized by applying any other existing technique.

顔検出部４は、検出された顔の位置を特定し、その位置を特徴量取得部５へ渡す。このとき、顔検出部４は、顔の傾きや顔の大きさを取得し、その値を特徴量取得部５にさらに渡すように構成されても良い。  Theface detection unit 4 specifies the position of the detected face and passes the position to the featureamount acquisition unit 5. At this time, theface detection unit 4 may be configured to acquire the inclination of the face and the size of the face, and further pass the values to the featureamount acquisition unit 5.

特徴量取得部５は、顔検出部４によって検出された顔から特徴点を検出し、その特徴点付近での特徴量を取得する。特徴量取得部５が取得する特徴量としては、画像の輝度値、Ｓｏｂｅｌフィルタ特徴量、ＨａａｒＷａｖｅｌｅｔ特徴量、ＧａｂｏｒＷａｖｅｌｅｔ特徴量、Ｈａａｒ特徴量、これらを複合した値を用いることができる。また、特徴量取得部５が取得する特徴量は、その他の既存のどのような特徴量であっても構わない。  The featureamount acquisition unit 5 detects a feature point from the face detected by theface detection unit 4 and acquires a feature amount near the feature point. As the feature value acquired by the featurevalue acquiring unit 5, an image brightness value, a Sobel filter feature value, a Haar Wavelet feature value, a Gabor Wavelet feature value, a Haar feature value, or a value obtained by combining these can be used. The feature quantity acquired by the featurequantity acquisition unit 5 may be any other existing feature quantity.

照合部６は、入力された顔画像の特徴量と、登録者ＤＢ７に格納されている登録者の顔の特徴量とを照合し、類似度を示す照合スコアを算出する。ここでは、照合部６は、照合スコアを１０００点満点として算出し、スコアが高いほど類似度が高いものとする。そして、照合部６は、算出した照合スコアが所定の判定閾値以上である場合には、入力された顔画像中の顔と、登録者ＤＢ７に格納されている顔が一致すると判定し、判定結果を出力する。  Thecollation unit 6 collates the feature amount of the input face image with the feature amount of the registrant's face stored in theregistrant DB 7, and calculates a collation score indicating the similarity. Here, thecollation unit 6 calculates the collation score as a perfect score, and the higher the score, the higher the similarity. And thecollation part 6 determines with the face in the input face image and the face stored in registrant DB7 matching, when the calculated collation score is more than a predetermined determination threshold value, and the determination result Is output.

登録者ＤＢ７には、登録者の顔の特徴量が格納される。  Theregistrant DB 7 stores the facial features of the registrant.

制御部８は、過去の認証の失敗履歴に基づいて、顔認証部３のセキュリティ強度を制御する。制御部８は、なりすましが行われている危険性を表す値として、なりすまし度を以下のように算出する。すなわち、制御部は、直近の連続して失敗した認証について、照合スコアとスコアの最大値（例えば、１０００）との差（１０００−照合スコア）の合計を、なりすまし度として算出する。このようにして算出されるなりすまし度は、登録者との不一致度を表すものであり、値が大きいほど入力された顔が登録者の顔と似ていないことを示す。したがって、この値が大きいほど他人による認証が行われている可能性が高い、すなわち、なりすましが行われている可能性が高いといえる。なお、制御部８は、一旦認証が成功した場合には、なりすまし度をリセットする。  Thecontrol unit 8 controls the security strength of theface authentication unit 3 based on the past authentication failure history. Thecontrol unit 8 calculates the degree of impersonation as follows as a value representing the risk of impersonation. That is, the control unit calculates the total difference (1000−matching score) between the matching score and the maximum score value (for example, 1000) as the degree of impersonation for the latest consecutively failed authentications. The impersonation degree calculated in this way represents the degree of inconsistency with the registrant, and the larger the value, the more the input face is not similar to the registrant's face. Therefore, it can be said that the larger this value is, the higher the possibility that authentication by another person is performed, that is, the higher possibility that spoofing is performed. Note that thecontrol unit 8 resets the degree of impersonation once authentication is successful.

制御部８は、なりすまし度の値に応じて、顔認証部３の認証が成功したと判断する判定閾値の値を大きくする制御を行う。なりすまし度の値と判定閾値との値の関係は、条件ＤＢ９に格納されている。このように、判定閾値を高くすることによって、登録者とは異なる他人が誤って登録者であると判定される確率（他人許容率）を低くすることができる。したがって、なりすまし者による認証が成功する可能性を低くすることができ、なりすましを防止することができる。  Thecontrol unit 8 performs control to increase the value of the determination threshold value for determining that the authentication of theface authentication unit 3 has succeeded according to the value of the degree of impersonation. The relationship between the value of the degree of impersonation and the determination threshold value is stored in thecondition DB 9. In this way, by increasing the determination threshold, it is possible to reduce the probability (other person's allowable rate) that another person different from the registrant is erroneously determined to be the registrant. Therefore, it is possible to reduce the possibility of successful authentication by the impersonator and prevent impersonation.

条件ＤＢ９には、なりすまし度の値と判定閾値の関係とが格納される。図２は、なりすまし度と判定閾値の関係を示すテーブルの一例である。なお、判定閾値をいくつにするかは照合部６の設計に依存し、また判定閾値をなりすまし度に応じてどのように高くしていくのかも適宜設計することができる。  Thecondition DB 9 stores the value of the degree of impersonation and the relationship between the determination threshold values. FIG. 2 is an example of a table indicating the relationship between the degree of impersonation and the determination threshold value. Note that the number of determination thresholds depends on the design of thecollation unit 6, and how the determination threshold is increased according to the degree of impersonation can be appropriately designed.

＜動作例＞
以下に、顔認証装置１の動作例について説明する。図３は、顔認証装置１の動作例を示すフローチャートである。<Operation example>
Below, the operation example of theface authentication apparatus 1 is demonstrated. FIG. 3 is a flowchart illustrating an operation example of theface authentication device 1.

まず、顔認証装置１は、画像入力部２を介して被認証者の顔画像の入力を受け付ける（Ｓ１０１）。そして、顔認証部３が、入力された被認証者の顔と、登録者ＤＢ７に格納されている顔が一致するか否かの認証を行う（Ｓ１０２）。より具体的には、顔検出部４が入力画像から顔を検出し、特徴量取得部５が顔の特徴量を取得し、照合部６が取得した特徴量と登録者の特徴量の比較をして、照合スコアが判定閾値以上であるか否かによって認証結果を判定する。  First, theface authentication device 1 receives an input of a face image of the person to be authenticated through the image input unit 2 (S101). Then, theface authentication unit 3 authenticates whether the input face of the person to be authenticated matches the face stored in the registrant DB 7 (S102). More specifically, theface detection unit 4 detects a face from the input image, the featureamount acquisition unit 5 acquires the feature amount of the face, and compares the feature amount acquired by thecollation unit 6 with the feature amount of the registrant. Then, the authentication result is determined based on whether or not the matching score is equal to or greater than the determination threshold value.

顔認証部３は、算出された照合スコアが判定閾値以上であるか否かを判定することによって、認証が成功したか否か判定する（Ｓ１０３）。照合スコアが判定閾値以上である場合（Ｓ１０３−ＹＥＳ）は、認証に成功したと判断して処理を終了する（Ｓ１０４）。  Theface authentication unit 3 determines whether or not the authentication is successful by determining whether or not the calculated matching score is equal to or greater than a determination threshold (S103). If the matching score is equal to or greater than the determination threshold (S103-YES), it is determined that the authentication has been successful, and the process is terminated (S104).

照合スコアが判定閾値未満である場合（Ｓ１０３−ＮＯ）は、連続して失敗した回数が所定の回数以下であるか判定する（Ｓ１０５）。所定回数より多く続けて認証に失敗した場合（Ｓ１０５−ＮＯ）は、認証の失敗を確定させて処理を終了させる（Ｓ１０６）。ここで、たとえば、顔認証機能をロックさせて、パスワード入力や音声認識など他の手段による認証を受けなければ、顔画像による認証を行えないようにしても良い。  When the collation score is less than the determination threshold (S103-NO), it is determined whether the number of consecutive failures is equal to or less than a predetermined number (S105). If authentication fails for more than the predetermined number of times (S105-NO), the authentication failure is confirmed and the process is terminated (S106). Here, for example, the face authentication function may be locked so that authentication by a face image cannot be performed unless authentication by other means such as password input or voice recognition is performed.

連続して認証に失敗した回数が所定回数以下である場合（Ｓ１０５−ＹＥＳ）は、制御部８が、なりすまし度を算出する（Ｓ１０７）。具体的には、制御部８は、連続して失敗した照合に係る照合スコアの最大値からの差（例えば、１０００−照合スコア）の累積をなりすまし度として算出する。そして、制御部８は、条件ＤＢ９を参照して、算出したなりすまし度に応じて、顔認証部３の判定閾値の値を変更する（Ｓ１０８）。  When the number of consecutive authentication failures is less than or equal to the predetermined number (S105-YES), thecontrol unit 8 calculates the degree of impersonation (S107). Specifically, thecontrol unit 8 calculates the accumulation of the difference (for example, 1000−matching score) from the maximum value of the matching score related to the failed matching continuously as the degree of impersonation. Then, thecontrol unit 8 refers to thecondition DB 9 and changes the determination threshold value of theface authentication unit 3 according to the calculated degree of impersonation (S108).

この後、ステップＳ１０１へ戻り、再び、顔画像の入力そして顔認証を行う。この際、なりすまし度に応じて、判定閾値が大きくなっているので、セキュリティが厳しくなっている。したがって、なりすましが成功してしまう可能性を低くすることができる。  Thereafter, the process returns to step S101, and the face image is input and the face authentication is performed again. At this time, since the determination threshold value is increased according to the degree of impersonation, security is severe. Therefore, the possibility that spoofing will be successful can be reduced.

＜実施形態の作用・効果＞
本実施形態では、認証の失敗履歴に基づいて、失敗した認証の照合スコアの累積値をなりすまし度として算出している。そして、このなりすまし度に応じて判定閾値を上げて顔認証のセキュリティ強度を強くする制御を行っている。<Operation / Effect of Embodiment>
In the present embodiment, based on the authentication failure history, the accumulated value of the verification scores of the failed authentications is calculated as the degree of impersonation. Then, control is performed to increase the security level of face authentication by raising the determination threshold according to the degree of impersonation.

このような構成によって、なりすまし者によるなりすまし行為を検知し、なりすましの試行回数が増えるとともに、なりすましが成功しにくくするようにできる。特に、なりすまし者が何回も試行回数を重ねて、なりすましのスキルが向上した場合であっても、顔認証装置も判定閾値を上げるので、セキュリティレベルを維持することができる。  With such a configuration, it is possible to detect an impersonation act by an impersonator and increase the number of attempts for impersonation and make it difficult for impersonation to succeed. In particular, even if the impersonator repeats the number of trials and the impersonation skill is improved, the face authentication device also raises the determination threshold, so that the security level can be maintained.

（第２の実施形態）
図４は、第２の実施形態に係る顔認証装置１の機能ブロック例を示す図である。本実施形態が第１の実施形態と異なるのは、顔認証部３に照明対応部１０および顔向き対応部１１が設けられている点と、制御部８の制御内容である。(Second Embodiment)
FIG. 4 is a diagram illustrating an example of functional blocks of theface authentication device 1 according to the second embodiment. This embodiment differs from the first embodiment in that theface authentication unit 3 is provided with anillumination corresponding unit 10 and a face orientation corresponding unit 11 and the control content of thecontrol unit 8.

まず、照明対応部１０および顔向き対応部１１について説明する。照明対応部１０および顔向き対応部１１は、いずれも、入力された顔画像の照明条件や顔向きの条件に応じて、顔認証処理に補正処理を施す機能部である。一般に照明条件が悪い場合（逆光や横からの照明、全体的に明るい・暗いなど）や、顔向きが正面ではない場合などには、登録者本人の画像が入力された場合も他人の画像が入力された場合も、照合スコアが低くなってしまう。そこで、入力された画像に対して補正（ヒストグラム平坦化やガンマ補正など）を行ったり、取得する特徴量を変化させたり、取得する特徴量にバイアスをかけたり、ある
いは、判定閾値の値を下げたりといった補正処理を行うことが、従来から採用されている。First, theillumination corresponding part 10 and the face orientation corresponding part 11 will be described. Both theillumination corresponding unit 10 and the face orientation corresponding unit 11 are functional units that perform a correction process on the face authentication process in accordance with the illumination condition and face orientation condition of the input face image. In general, when the lighting conditions are bad (backlight or side lighting, overall bright or dark), or when the face is not in front, the image of the other person is displayed even when the registrant's image is entered. If entered, the matching score will be low. Therefore, correction (such as histogram flattening and gamma correction) is performed on the input image, the feature quantity to be acquired is changed, the feature quantity to be acquired is biased, or the judgment threshold value is lowered. Conventionally, it has been adopted to perform a correction process such as.

照明対応部１０は、顔画像のコントラストを判定することによって、照明条件を取得する。そして、照明対応部１０は、照明条件に応じて、入力された顔画像に対してヒストグラムの平坦化処理を施す。また、照明対応部１０は、特徴量取得部５が取得する特徴量に対してバイアスをかける処理を行っても良い。  The illumination corresponding |compatible part 10 acquires illumination conditions by determining the contrast of a face image. And the illumination corresponding |compatible part 10 performs the flattening process of a histogram with respect to the input face image according to illumination conditions. Moreover, the illumination corresponding |compatible part 10 may perform the process which biases with respect to the feature-value which the feature-value acquisition part 5 acquires.

顔向き対応部１１は、顔検出部４が検出する顔の特徴点の位置関係により、顔の向きを取得する。そして、顔が横向きや上向きや下向きなど正面向きではない場合には、顔認証部３の判定閾値を下げる処理を行う。また、顔向き対応部１１は、特徴量取得部５が取得する特徴量に対してバイアスをかける処理を行っても良い。また、顔向き対応部１１は、顔の向きに応じて、顔認証部３が用いる認証アルゴリズムを変更しても良い。  The face orientation correspondence unit 11 acquires the face orientation based on the positional relationship between the facial feature points detected by theface detection unit 4. If the face is not facing forward, such as sideways, upward, or downward, a process for lowering the determination threshold of theface authentication unit 3 is performed. Further, the face orientation corresponding unit 11 may perform a process of biasing the feature amount acquired by the featureamount acquiring unit 5. Further, the face orientation corresponding unit 11 may change the authentication algorithm used by theface authenticating unit 3 according to the face orientation.

次に、本実施形態における制御部８が行う、なりすまし度に応じたセキュリティ強度を上げる処理について説明する。  Next, a process of increasing the security strength according to the degree of impersonation performed by thecontrol unit 8 in the present embodiment will be described.

制御部８は、第１の実施形態と同様の方法によって算出したなりすまし度に応じて、照明対応部１０や顔向き対応部１１が行う補正処理を無効にする。なりすまし度と、無効にする補正機能の関係は、条件ＤＢ９に格納されている。図５は、本実施形態に係る条件ＤＢの例を示す図であり、なりすまし度と補正機能の有効・無効の関係を示す図である。本実施形態では、なりすまし度が０でなければ照明対応部１０の機能は無効にし、なりすまし度がさらに大きくなれば顔向き対応部１１の機能も無効にしている。もっとも、なりすまし度と補正機能の有効・無効の関係は適宜設計することができる。  Thecontrol unit 8 invalidates the correction processing performed by theillumination corresponding unit 10 and the face orientation corresponding unit 11 according to the degree of impersonation calculated by the same method as in the first embodiment. The relationship between the degree of impersonation and the correction function to be invalidated is stored in thecondition DB 9. FIG. 5 is a diagram showing an example of the condition DB according to the present embodiment, and is a diagram showing the relationship between the degree of impersonation and the validity / invalidity of the correction function. In this embodiment, if the impersonation degree is not 0, the function of theillumination corresponding unit 10 is invalidated, and if the impersonation degree is further increased, the function of the face orientation corresponding unit 11 is also invalidated. However, the relationship between the degree of impersonation and the validity / invalidity of the correction function can be designed as appropriate.

図６は、本実施形態に係る顔認証装置１の動作例を示すフローチャートである。以下、図６を参照して、本実施形態に係る顔認証装置１の動作例について説明する。  FIG. 6 is a flowchart showing an operation example of theface authentication apparatus 1 according to the present embodiment. Hereinafter, an operation example of theface authentication apparatus 1 according to the present embodiment will be described with reference to FIG.

まず、顔認証装置１は、顔画像の入力を受け付ける（Ｓ２０１）。そして、顔画像に応じた補正処理を行う（Ｓ２０２）。具体的には、顔画像の照明条件に応じて、照明対応部１０が入力画像に対してヒストグラム平坦化処理を施す。また、顔画像中の顔の向きに応じて、顔向き対応部１１は、特徴量取得部５が取得する特徴量に対してバイアスをかける処理を施す。そして、顔認証部３は、入力された顔と登録されている顔を照合して認証を行う（Ｓ２０３）。照合スコアが判定閾値以上である場合（Ｓ２０４−ＹＥＳ）は、認証が成功したとして処理を終了する（Ｓ２０５）。  First, theface authentication device 1 accepts input of a face image (S201). Then, correction processing corresponding to the face image is performed (S202). Specifically, theillumination corresponding unit 10 performs histogram flattening processing on the input image according to the illumination condition of the face image. Further, the face orientation corresponding unit 11 performs a process of biasing the feature amount acquired by the featureamount acquiring unit 5 according to the face orientation in the face image. Then, theface authentication unit 3 performs authentication by comparing the input face with the registered face (S203). If the collation score is equal to or greater than the determination threshold value (S204-YES), the process is terminated as a result of successful authentication (S205).

照合スコアが判定閾値未満である場合（Ｓ２０４−ＮＯ）は、連続して認証に失敗した回数が所定の回数以下であるか判定する（Ｓ２０６）。連続して認証に失敗した回数が所定の回数よりも多い場合（Ｓ２０６−ＮＯ）は、認証の失敗を確定させて処理を終了させる（Ｓ２０７）。連続して認証に失敗した回数が所定の回数以下であれば（Ｓ２０６−ＹＥＳ）、制御部８が、なりすまし度を算出する（Ｓ２０８）。そして、制御部８がなりすまし度に応じて、照明対応部１０および顔向き対応部１１の機能の有効・無効を制御し（Ｓ２０９）、ステップＳ２０１へ戻る。  When the collation score is less than the determination threshold value (S204-NO), it is determined whether the number of consecutive authentication failures is equal to or less than a predetermined number (S206). If the number of consecutive authentication failures is greater than the predetermined number (S206—NO), the authentication failure is confirmed and the process is terminated (S207). If the number of consecutive authentication failures is less than or equal to the predetermined number (S206—YES), thecontrol unit 8 calculates the degree of impersonation (S208). Then, thecontrol unit 8 controls the validity / invalidity of the functions of theillumination corresponding unit 10 and the face orientation corresponding unit 11 according to the degree of impersonation (S209), and the process returns to step S201.

そして、再び、画像入力・補正処理・認証処理が行われる。ただし、ステップＳ２０２において実行される補正処理は、Ｓ２０９で有効と設定された補正処理のみとなる。  Then, image input / correction processing / authentication processing is performed again. However, the correction process executed in step S202 is only the correction process set as valid in S209.

このような構成によって、第１の実施形態と同様に、なりすましを検知し、なりすましの試行回数が増えるとともに、セキュリティ強度を上げ、なりすましを防止することができる。  With this configuration, as in the first embodiment, it is possible to detect impersonation, increase the number of attempts for impersonation, increase the security strength, and prevent impersonation.

（第３の実施形態）
第３の実施形態に係る顔認証装置１の機能ブロックは、図１で示した第１の実施形態と同様である。(Third embodiment)
The functional blocks of theface authentication device 1 according to the third embodiment are the same as those in the first embodiment shown in FIG.

本実施形態における顔認証部３は、学習型の認証アルゴリズムを用いており、登録者本人の登録データの特徴空間における領域と、入力画像中の顔の特徴量との距離に基づいて照合スコアを算出する。  Theface authentication unit 3 in the present embodiment uses a learning type authentication algorithm, and calculates a matching score based on the distance between the area in the feature space of the registered data of the registrant himself and the feature quantity of the face in the input image. calculate.

本実施形態では、制御部８が、なりすまし度に応じて、本人データの特徴空間内での領域を狭くする制御を行うことで、セキュリティ強度を上げる。図７は、特徴空間において本人領域を狭くする制御を説明する概念図である。図７において、黒丸が本人データ、白丸が他人データを表す。このようなデータ分布の場合、通常であれば、実線で示す領域が本人領域になる。しかしながら、制御部８は、なりすまし度に応じて、本人領域を点線で示すような範囲に狭くする。  In the present embodiment, thecontrol unit 8 increases the security strength by performing control to narrow the area in the feature space of the principal data according to the degree of impersonation. FIG. 7 is a conceptual diagram illustrating control for narrowing the principal area in the feature space. In FIG. 7, black circles represent the principal data, and white circles represent the other person data. In the case of such data distribution, the area indicated by the solid line is usually the principal area. However, thecontrol unit 8 narrows the principal area to a range indicated by a dotted line according to the degree of impersonation.

制御部８が、どの程度本人領域の範囲を狭くするかについては、あらかじめ定められていても良く、本人データの分布に応じて決定されても良い。本実施形態では、標準の本人領域の範囲の他に、これよりも狭い２段階（「狭い」「非常に狭い」）の範囲をあらかじめ設定している。  The extent to which thecontrol unit 8 narrows the range of the principal area may be determined in advance or may be determined according to the distribution of the principal data. In the present embodiment, in addition to the standard principal area range, a narrower two-stage range (“narrow” and “very narrow”) is set in advance.

図８は、条件ＤＢ９に格納される、なりすまし度と採用する特徴空間の対応例を示す図である。図に示すように、なりすまし度が大きくなるにつれて、特徴空間における本人領域の範囲を徐々に狭くする。  FIG. 8 is a diagram illustrating an example of correspondence between the degree of impersonation and the feature space to be employed, which is stored in thecondition DB 9. As shown in the figure, as the degree of impersonation increases, the range of the principal area in the feature space is gradually narrowed.

このように、なりすまし度に応じて、制御部８が本人領域の範囲を狭くすることで、入力された顔画像と登録者の類似度が低く算出され、したがって、セキュリティが厳しくなるのでなりすましが成功してしまうことを防ぐことが可能となる。  In this way, thecontrol unit 8 reduces the identity area range according to the degree of impersonation, so that the similarity between the input face image and the registrant is calculated to be low, and thus impersonation is successful because security becomes severe. It becomes possible to prevent that.

図９は、本実施形態に係る顔認証装置１の動作例を示すフローチャートである。本実施形態における動作例は第１の実施形態とほぼ同様であるが、ステップＳ３０８における、制御部８の制御が、特徴空間における本人領域の範囲をなりすまし度に応じて狭くする処理である点が異なる。  FIG. 9 is a flowchart illustrating an operation example of theface authentication apparatus 1 according to the present embodiment. The operation example in the present embodiment is almost the same as that in the first embodiment. However, the control of thecontrol unit 8 in step S308 is a process of narrowing the range of the person area in the feature space according to the degree of impersonation. Different.

このような処理によっても、上記実施形態と同様に、なりすましを検知して、なりすましの試行回数が増えるとともに、セキュリティ強度を上げ、なりすましを防止することができる。  Also by such processing, impersonation can be detected and the number of impersonation trials can be increased, security strength can be increased, and impersonation can be prevented, as in the above embodiment.

（その他）
上記の実施形態では、なりすまし度として、連続して失敗した認証に係る照合スコアの照合スコア最大値からの差（例えば、１０００−照合スコア）の合計を用いた。しかしながら、なりすまし度としては、他の方法によって算出した値を用いることができる。(Other)
In the above-described embodiment, the total of the differences (for example, 1000−matching score) from the matching score maximum value of the matching score related to the authentication that failed successively is used as the degree of impersonation. However, as the degree of impersonation, a value calculated by another method can be used.

たとえば、なりすまし度として、連続して失敗した認証に係る照合スコアと判定閾値との差の合計を用いることもできる。また、なりすまし度として、連続して失敗した認証の回数を用いることができる。また、なりすまし度として、直近の所定回数の認証における、照合スコアと最大スコアの差の合計を用いることもできる。また、なりすまし度として、直近の所定回数の認証における、失敗認証の回数を用いることもできる。また、なりすまし度として、全期間における失敗認証の割合を用いることもできる。  For example, as the degree of impersonation, the sum of the differences between the verification score related to authentication that has failed successively and the determination threshold value can be used. Further, the number of authentications that have failed in succession can be used as the degree of impersonation. Further, as the degree of impersonation, the sum of differences between the matching score and the maximum score in the most recent predetermined number of authentications can be used. Further, as the degree of impersonation, the number of failed authentications in the most recent predetermined number of authentications can be used. Moreover, the ratio of failure authentication over the whole period can also be used as the degree of impersonation.

また、上記の各実施形態における、判定閾値の変更、補正機能の無効化、特徴空間の制御は、これらの全部または一部を組み合わせて実行することも可能である。  Further, the change of the determination threshold value, the invalidation of the correction function, and the control of the feature space in each of the above-described embodiments can be executed in combination of all or part of them.

第１および第３の実施形態に係る顔認証装置の機能ブロック例を示す図である。It is a figure which shows the example of a functional block of the face authentication apparatus which concerns on 1st and 3rd embodiment.第１の実施形態に係る条件ＤＢの例を示す図である。It is a figure which shows the example of condition DB which concerns on 1st Embodiment.第１の実施形態に係る顔認証装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the face authentication apparatus which concerns on 1st Embodiment.第２の実施形態に係る顔認証装置の機能ブロック例を示す図である。It is a figure which shows the example of a functional block of the face authentication apparatus which concerns on 2nd Embodiment.第２の実施形態に係る条件ＤＢの例を示す図である。It is a figure which shows the example of condition DB which concerns on 2nd Embodiment.第２の実施形態に係る顔認証装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the face authentication apparatus which concerns on 2nd Embodiment.第３の実施形態における特徴空間制御を説明する概念図である。It is a conceptual diagram explaining the feature space control in 3rd Embodiment.第３の実施形態に係る条件ＤＢの例を示す図である。It is a figure which shows the example of condition DB which concerns on 3rd Embodiment.第３の実施形態に係る顔認証装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the face authentication apparatus which concerns on 3rd Embodiment.

符号の説明Explanation of symbols

１ 顔認証装置
２ 画像入力部
３ 顔認証部
４ 顔検出部
５ 特徴量取得部
６ 照合部
７ 登録者ＤＢ
８ 制御部
９ 条件ＤＢ
１０ 照明対応部
１１ 顔向き対応部


DESCRIPTION OFSYMBOLS 1Face authentication apparatus 2Image input part 3Face authentication part 4Face detection part 5 Feature-value acquisition part 6Collation part 7 Registrant DB
8Control unit 9 Condition DB
10 Illumination corresponding part 11 Face orientation corresponding part

Claims (8)

Translated fromJapanese

入力される顔画像中の顔とあらかじめ登録された顔との類似度を示す照合スコアを算出し、算出された照合スコアと閾値との比較によって認証を行う認証手段を有する顔認証装置であって、
認証の失敗履歴に基づいて、前記認証手段のセキュリティ強度を上げる制御を行う制御手段を有することを特徴とする顔認証装置。A face authentication device having an authentication unit that calculates a matching score indicating a degree of similarity between a face in an input face image and a face registered in advance, and performs authentication by comparing the calculated matching score with a threshold value. ,
A face authentication apparatus comprising control means for performing control to increase the security strength of the authentication means based on an authentication failure history. 前記制御手段は、連続して認証に失敗した回数に応じて、前記認証手段のセキュリティ強度を上げる
ことを特徴とする請求項１に記載の顔認証装置。The face authentication apparatus according to claim 1, wherein the control unit increases the security strength of the authentication unit according to the number of times authentication fails continuously. 前記制御手段は、連続して失敗した認証に係る照合スコアに応じて、前記認証手段のセキュリティ強度を上げる
ことを特徴とする請求項１に記載の顔認証装置。The face authentication apparatus according to claim 1, wherein the control unit increases the security strength of the authentication unit according to a matching score related to authentication that has failed successively. 前記制御手段は、前記認証手段の前記閾値を高くすることによって、前記認証手段のセキュリティ強度を上げる
ことを特徴とする請求項１〜３のいずれかに記載の顔認証装置。The face authentication apparatus according to claim 1, wherein the control unit increases the security strength of the authentication unit by increasing the threshold value of the authentication unit. 前記認証手段は、入力される顔画像の撮影状態に応じた補正を行う補正手段を有し、
前記制御手段は、前記補正手段の機能を無効とすることで、前記認証手段のセキュリティ強度を上げる
ことを特徴とする請求項１〜４のいずれかに記載の顔認証装置。The authentication unit includes a correction unit that performs correction according to the shooting state of the input face image.
The face authentication apparatus according to claim 1, wherein the control unit increases the security strength of the authentication unit by invalidating the function of the correction unit. 前記認証手段は、学習型の認証アルゴリズムを用いるものであり、
前記制御手段は、登録された顔の特徴空間の範囲を狭めることで、前記認証手段のセキュリティ強度を上げる
ことを特徴とする請求項１〜５のいずれかに記載の顔認証装置。The authentication means uses a learning type authentication algorithm,
The face authentication apparatus according to claim 1, wherein the control unit increases the security strength of the authentication unit by narrowing a range of a registered facial feature space. 情報処理装置が、
認証対象者の顔画像の入力を受け付ける画像入力ステップと、
あらかじめ登録された顔との類似度を示す照合スコアを算出する照合スコア算出ステップと、
算出された照合スコアが所定の閾値以上である場合に、認証に成功したと判断する認証ステップと、
認証の失敗履歴に基づいて、前記認証ステップにおけるセキュリティ強度を上げる制御ステップと、
を実行することを特徴とする顔認証方法。Information processing device
An image input step for receiving input of a face image of the person to be authenticated;
A matching score calculating step for calculating a matching score indicating a similarity to a face registered in advance;
An authentication step for determining that the authentication is successful when the calculated matching score is equal to or greater than a predetermined threshold;
A control step for increasing the security strength in the authentication step based on an authentication failure history;
The face authentication method characterized by performing. 情報処理装置に対して、
認証対象者の顔画像の入力を受け付ける画像入力ステップと、
あらかじめ登録された顔との類似度を示す照合スコアを算出する照合スコア算出ステップと、
算出された照合スコアが所定の閾値以上である場合に、認証に成功したと判断する認証ステップと、
認証の失敗履歴に基づいて、前記認証ステップにおけるセキュリティ強度を上げる制御ステップと、
を実行させることを特徴とする顔認証プログラム。For information processing equipment
An image input step for receiving input of a face image of the person to be authenticated;
A matching score calculating step for calculating a matching score indicating a similarity to a face registered in advance;
An authentication step for determining that the authentication is successful when the calculated matching score is equal to or greater than a predetermined threshold;
A control step for increasing the security strength in the authentication step based on an authentication failure history;
A face authentication program characterized in that

Images