JP2013058828A

Movatterモバイル変換

Info

Publication number: JP2013058828A
Application number: JP2011194731A
Authority: JP
Inventors: Masaru Ninomiya; 賢二宮
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-09-07
Filing date: 2011-09-07
Publication date: 2013-03-28

Abstract

PROBLEM TO BE SOLVED: To provide a smile determination device capable of improving smile determination accuracy even when the facial specs and smile level of each person are different.SOLUTION: A face detector 11 and a face detection program 181 are used to detect a face in an image. A face organ detector 15 and a face organ detection program 184 are used to detect face organ information. A smile level detection program 182 is used to detect a smile level on the basis of the face organ information. A registration part 186 registers normal face image information in a state where a smile is not instructed, smile non-instruction smile level in a state where a smile is not instructed, and a smile instruction smile level in a state where a smile is instructed. When a face is authenticated with the use of a face authenticator 16 and a face authentication program 185, a face determination program 183 determines whether it is a smile or not through the use of a present smile level, a smile non-instruction smile level, and a smile instruction smile level.

Description

Translated fromJapanese

本発明は、映像信号に含まれている顔画像の顔が笑顔であるか否かを判定する笑顔判定装置及び方法に関する。 The present invention relates to a smile determination device and method for determining whether or not a face of a face image included in a video signal is a smile.

ビデオカメラやデジタルスチルカメラ等の撮像装置において、被写体の顔が笑顔であるか否かを判定し、笑顔でない通常の顔から笑顔になった時点で被写体を撮像するという技術が実用化されている。笑顔は、顔器官情報の内、目と口の情報に基づいて判定するのが一般的である。 In an imaging device such as a video camera or a digital still camera, a technique has been put to practical use in which it is determined whether or not a subject's face is smiling, and the subject is imaged when a normal face that is not a smile becomes a smile. . In general, smile is determined based on information on eyes and mouth in facial organ information.

特開２００９−１７７６７８号公報JP 2009-177678 A特開２０１０−１８６３７３号公報JP 2010-186373 A特開２００８−４２３１９号公報JP 2008-42319 A

ところが、人によって顔の作りが異なり、笑顔の程度（笑い方）も異なる。また、顔の向きは必ずしも正面を向いているとは限らず、顔の向きは一定ではない。従って、笑顔となっているにもかかわらず笑顔であると判定されない場合が多々発生する。そこで、笑顔の判定精度を向上させることが求められている。 However, the face creation varies from person to person, and the degree of smile (how to laugh) also varies. Also, the face orientation is not necessarily facing the front, and the face orientation is not constant. Therefore, there are many cases in which it is not determined that a smile is made even though it is a smile. Therefore, it is required to improve the accuracy of smile determination.

本発明はこのような要望に対応するため、人それぞれの顔の作りや笑顔の程度が異なっても、笑顔の判定精度を向上させることができる笑顔判定装置及び方法を提供することを目的とする。また、顔の向きが異なっても、笑顔の判定精度を向上させることができる笑顔判定装置及び方法を提供することを目的とする。 SUMMARY OF THE INVENTION In order to meet such demands, the present invention has an object to provide a smile determination device and method that can improve smile determination accuracy even if each person has different face creation and smile levels. . It is another object of the present invention to provide a smile determination device and method that can improve smile determination accuracy even when the orientation of the face is different.

本発明は、上述した従来の技術の課題を解決するため、画像内の顔を検出する顔検出部（１１，１８１）と、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出部（１５，１８４）と、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出部（１８２）と、被写体に対して笑顔を指示していない状態での通常顔画像情報と、被写体に対して笑顔を指示していない状態で前記笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で前記笑顔度検出部が検出した笑顔指示時笑顔度とを登録する登録部（１８６）と、前記通常顔画像情報を用いて、前記顔検出部で検出された顔が前記登録部に登録された顔であるか否かを判定して顔を認証する顔認証部（１６，１８５）と、前記顔認証部によって、前記顔検出部で検出された顔が登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔が笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出部で検出された顔が笑顔であるか否かを判定する笑顔判定部（１８３）とを備えることを特徴とする笑顔判定装置を提供する。 In order to solve the above-described problems of the prior art, the present invention provides a face detection unit (11, 181) for detecting a face in an image, and a face for detecting at least eye and mouth facial organ information from the face in the image. An organ detection unit (15, 184), a smile level detection unit (182) that detects a smile level that is a value indicating the degree of smile based on the facial organ information, and a state in which no smile is instructed to the subject The normal face image information at the face, the smile level when the smile level detection unit detects the smile level when the smile level is not instructed to the subject, and the smile level detection level when the smile is commanded to the subject A registration unit (186) for registering the smile level at the time of smile instruction detected by the unit, and whether the face detected by the face detection unit using the normal face image information is a face registered in the registration unit Face authentication unit (16, 185) for determining whether or not to authenticate the face When the face authentication unit authenticates that the face detected by the face detection unit is a registered face, the smile degree detection unit detects that the face detected by the face detection unit is a smile The face detected by the face detection unit is a smile using the current smile level detected at the time of determining whether or not, the smile level when the smile is not specified, and the smile level when the smile is specified. There is provided a smile determination device comprising a smile determination unit (183) for determining whether or not there is a smile.

上記の笑顔判定装置において、前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することができる。 In the smile determination apparatus, the registration unit can register the smile level detected by the smile level detection unit based on the normal face image information as the smile level when the smile is not instructed.

上記の笑顔判定装置において、前記登録部は、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することができる。 In the smile determination device described above, when the face detected by the face detector is authenticated as a face registered in the register, the smile degree detector The smile degree averaged by detecting the smile degree of the face detected a plurality of times can be registered as the smile degree when not instructed to smile.

上記の笑顔判定装置において、前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した第１の笑顔度と、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した第２の笑顔度とを所定の割合で加算した第３の笑顔度を前記笑顔非指示時笑顔度として登録することが好ましい。 In the smile determination device, the registration unit registers the first smile level detected by the smile level detection unit based on the normal face image information and the face detected by the face detection unit in the registration unit. When the face is authenticated, the smile level detection unit detects the smile level of the face detected by the face detection unit a plurality of times and averages the second smile level at a predetermined ratio. It is preferable to register the added third smile degree as the smile degree when not instructed to smile.

上記の笑顔判定装置において、前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することができる。 In the smile determination apparatus, the registration unit includes front face image information with a face facing the front of the photographing apparatus and a non-front face image with the face facing at least one of up, down, left, and right. Information is registered as the normal face image information, and the smile degree detected by the smile degree detection unit based on the front face image information and the smile degree detected based on the non-front face image information at a predetermined ratio The added smile level can be registered as the smile level when the smile is not instructed.

上記の笑顔判定装置において、前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第１の笑顔度とすることが好ましい。 In the smile determination apparatus, the registration unit includes front face image information with a face facing the front of the photographing apparatus and a non-front face image with the face facing at least one of up, down, left, and right. Information is registered as the normal face image information, and the smile degree detected by the smile degree detection unit based on the front face image information and the smile degree detected based on the non-front face image information at a predetermined ratio It is preferable that the added smile degree is the first smile degree.

上記の笑顔判定装置において、前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第１の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第２の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出部で検出された顔が笑顔であるか否かを判定することが好ましい。 In the above-described smile determination device, the smile determination unit is configured such that when the smile instruction smile degree is less than the first smile degree, or when the smile instruction smile degree is less than the second smile degree, The smile detected when the smile is not instructed is invalidated, and the face detected by the face detection unit is determined to be a smile based on the current smile level without using the smile level when the smile is not specified and the smile level when the smile is specified. It is preferable to determine whether or not there is.

上記の笑顔判定装置において、前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第１の笑顔度以上であり、前記笑顔指示時笑顔度が前記第２の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第３の笑顔度よりも第１の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することが好ましい。 In the above smile determination device, the smile determination unit has a smile degree when the smile instruction is greater than or equal to the first smile degree, and when the smile degree when the smile instruction is equal to or greater than the second smile degree, When the smile level when the smile is not instructed is valid, the current smile level is greater than or equal to the smile level when the smile is instructed, and the current smile level is greater than the third predetermined smile level by a first predetermined value or more Furthermore, it is preferable to determine that the face detected by the face detection unit is a smile.

上記の笑顔判定装置において、前記笑顔判定部は、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第３の笑顔度よりも前記第１の所定の値より大きい第２の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することが好ましい。 In the smile determination device, the smile determination unit may be configured such that the current smile level is less than the third smile level when the current smile level is less than the smile level at the time of the smile instruction. It is preferable to determine that the face detected by the face detection unit is a smile when it is greater than a second predetermined value that is greater than the value of.

また、本発明は、上述した従来の技術の課題を解決するため、画像内の顔を検出する顔検出ステップ（Ｓ１０１）と、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出ステップ（Ｓ１０２）と、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出ステップ（Ｓ１０４）と、被写体に対して笑顔を指示していない状態での通常顔画像情報を登録する第１の登録ステップ（Ｓ２０４）と、被写体に対して笑顔を指示していない状態で前記笑顔度検出ステップにて検出した笑顔非指示時笑顔度を登録する第２の登録ステップ（Ｓ２０５，Ｓ２１０）と、被写体に対して笑顔を指示した状態で前記笑顔度検出ステップが検出した笑顔指示時笑顔度とを登録する第３の登録ステップ（Ｓ２１６）と、前記通常顔画像情報を用いて、前記顔検出ステップで検出された顔が前記第１の登録ステップにて登録された顔であるか否かを判定して顔を認証する顔認証ステップ（Ｓ３０１）と、前記顔認証ステップにて、前記顔検出ステップにて検出された顔が登録された顔であると認証された場合に、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定しようとする時点で前記笑顔度検出ステップにて検出された現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定する笑顔判定ステップ（Ｓ４０１〜Ｓ４１０）とを含むことを特徴とする笑顔判定方法を提供する。 Further, the present invention solves the above-described problems of the prior art by a face detection step (S101) for detecting a face in an image, and a face for detecting at least eye and mouth facial organ information from the face in the image. An organ detection step (S102), a smile level detection step (S104) for detecting a smile level, which is a value indicating the degree of smile based on the facial organ information, and a state in which the subject is not instructed to smile A first registration step (S204) for registering normal face image information, and a second step for registering the smile level when the smile is not instructed detected in the smile level detection step in a state where no smile is instructed to the subject. A registration step (S205, S210), a third registration step (S216) for registering the smile level at the time of smile indication detected by the smile level detection step in a state where a smile is instructed to the subject; A face authentication step (S301) for authenticating a face by determining whether or not the face detected in the face detection step is a face registered in the first registration step using normal face image information; Whether the face detected in the face detection step is a smile when the face authentication step determines that the face detected in the face detection step is a registered face. It is detected in the face detection step using the current smile level detected in the smile level detection step at the time of determination, the smile level when not instructing smiles, and the smile level when instructing smiles. And a smile determination step (S401 to S410) for determining whether or not the face is a smile.

上記の笑顔判定方法において、前記第２の登録ステップは、前記笑顔度検出ステップにて前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することができる。 In the smile determination method, in the second registration step, the smile level detected based on the normal face image information in the smile level detection step can be registered as the smile level when the smile is not instructed.

上記の笑顔判定方法において、前記第２の登録ステップは、前記顔検出ステップにて検出された顔が前記第１の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出部にて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することができる。 In the smile determination method, the smile level is determined when the second registration step authenticates that the face detected in the face detection step is the face registered in the first registration step. The detection unit can register the smile degree averaged by detecting the smile degree of the face detected in the face detection step a plurality of times as the smile degree when the smile is not instructed.

上記の笑顔判定方法において、前記第２の登録ステップは、前記笑顔度検出部ステップにて前記通常顔画像情報に基づいて検出した第１の笑顔度と、前記顔検出ステップにて検出された顔が前記第１の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出ステップにて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した第２の笑顔度とを所定の割合で加算した第３の笑顔度を前記笑顔非指示時笑顔度として登録することが好ましい。 In the smile determination method, the second registration step includes the first smile degree detected based on the normal face image information in the smile degree detection unit step, and the face detected in the face detection step. Is recognized as the face registered in the first registration step, the smile level detection step detects the smile level of the face detected in the face detection step a plurality of times and calculates the average It is preferable to register a third smile level obtained by adding the second smile level at a predetermined ratio as the smile level when the smile is not instructed.

上記の笑顔判定方法において、前記第１の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第２の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することができる。 In the smile determination method, the first registration step includes front face image information with the face facing the front of the photographing apparatus and non-face direction with at least one of up, down, left, and right. Front face image information is registered as the normal face image information, and the second registration step includes the smile degree detected based on the front face image information in the smile degree detection step and the non-front face image information. The smile level obtained by adding the smile level detected on the basis of a predetermined ratio can be registered as the smile level when the smile is not instructed.

上記の笑顔判定方法において、前記第１の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第２の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第１の笑顔度とすることが好ましい。 In the smile determination method, the first registration step includes front face image information with the face facing the front of the photographing apparatus and non-face direction with at least one of up, down, left, and right. Front face image information is registered as the normal face image information, and the second registration step includes the smile degree detected based on the front face image information in the smile degree detection step and the non-front face image information. It is preferable that a smile degree obtained by adding the smile degree detected based on a predetermined ratio as the first smile degree.

上記の笑顔判定方法において、前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第１の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第２の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定することが好ましい。 In the smile determination method, the smile determination step includes the step of determining whether the smile level at the smile instruction is smaller than the first smile level or the smile level at the smile instruction is lower than the second smile level. The face detected in the face detection step is made into a smile based on the current smile level without using the smile level when not smiling and not using the smile level when not smiling and the smile level when smiling It is preferable to determine whether or not.

上記の笑顔判定方法において、前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第１の笑顔度以上であり、前記笑顔指示時笑顔度が前記第２の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第３の笑顔度よりも第１の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することが好ましい。 In the smile determination method, the smile determination step includes a case where the smile level at the time of smile instruction is equal to or higher than the first smile level, and the smile level at the time of smile command is equal to or higher than the second smile level. When the smile level when the smile is not instructed is valid, the current smile level is greater than or equal to the smile level when the smile is instructed, and the current smile level is greater than the third predetermined smile level by a first predetermined value or more In addition, it is preferable to determine that the face detected in the face detection step is a smile.

上記の笑顔判定方法において、前記笑顔判定ステップは、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第３の笑顔度よりも前記第１の所定の値より大きい第２の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することが好ましい。 In the smile determination method, in the smile determination step, the current smile level is less than the third smile level when the current smile level is less than the smile level at the time of the smile instruction. It is preferable to determine that the face detected in the face detection step is a smile when it is greater than a second predetermined value greater than the value of.

本発明の笑顔判定装置及び方法によれば、人それぞれの顔の作りや笑顔の程度が異なっても、精度よく笑顔であるか否かを判定することが可能となる。また、顔の向きが異なっても、精度よく笑顔であるか否かを判定することが可能となる。 According to the smile determination device and method of the present invention, it is possible to accurately determine whether or not a person is smiling even if each person's face creation and smile level differ. Even if the face orientation is different, it is possible to accurately determine whether the face is smiling.

本発明の笑顔判定装置の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of the smile determination apparatus of this invention.笑顔度を検出する際の処理を示すフローチャートである。It is a flowchart which shows the process at the time of detecting a smile degree.顔画像を登録する際の処理を示すフローチャートである。It is a flowchart which shows the process at the time of registering a face image.図３の処理で登録される顔画像の例を概念的に示す図である。It is a figure which shows notionally the example of the face image registered by the process of FIG.撮影時の笑顔度を検出する際の処理を示すフローチャートである。It is a flowchart which shows the process at the time of detecting the smile degree at the time of imaging | photography.笑顔であるか否かを判定する際の処理を示すフローチャートである。It is a flowchart which shows the process at the time of determining whether it is a smile.

以下、本発明の笑顔判定装置及び方法の一実施形態について、添付図面を参照して説明する。図１は、一実施形態の笑顔判定装置を備える映像処理装置（撮影装置）１００を示している。 Hereinafter, an embodiment of a smile determination device and method according to the present invention will be described with reference to the accompanying drawings. FIG. 1 shows a video processing device (photographing device) 100 including a smile determination device according to an embodiment.

＜映像処理装置１００の全体構成＞
図１において、被写体を撮像して生成した映像データを記録する記録モードでは、撮像部２は、撮像レンズ１で集光した光を光電変換して電気信号として出力する。撮像部２は例えばＣＭＯＳセンサまたはＣＣＤセンサである。撮像部２より出力された電気信号はカメラコントローラ３でデジタル信号に変換されて、映像データとしてメモリセレクタ６へと出力される。<Overall Configuration ofVideo Processing Device 100>
In FIG. 1, in a recording mode in which video data generated by imaging a subject is recorded, the imaging unit 2 photoelectrically converts the light collected by the imaging lens 1 and outputs it as an electrical signal. The imaging unit 2 is, for example, a CMOS sensor or a CCD sensor. The electrical signal output from the imaging unit 2 is converted into a digital signal by thecamera controller 3 and output to thememory selector 6 as video data.

記録された映像データを再生する再生モードでは、映像メモリ４から読み出された映像データはメモリコントローラ５を介してメモリセレクタ６へと出力される。メモリセレクタ６は、記録モードではカメラコントローラ３から供給された映像データを選択し、再生モードではメモリコントローラ５から供給された映像データを選択してリサイズコントローラ７へと出力する。リサイズコントローラ７は、入力された映像データに対してゲイン，オフセット等を調整し、ユーザ操作に従って電子ズーム，デジタルエフェクト等の処理を施して、これらの信号処理を施した映像データをＶＧＡセレクタ８へと出力する。 In the reproduction mode for reproducing the recorded video data, the video data read from thevideo memory 4 is output to thememory selector 6 via thememory controller 5. Thememory selector 6 selects the video data supplied from thecamera controller 3 in the recording mode, and selects the video data supplied from thememory controller 5 in the reproduction mode and outputs it to the resize controller 7. The resize controller 7 adjusts gain, offset, and the like for the input video data, performs processing such as electronic zoom and digital effect according to the user operation, and applies the video data subjected to these signal processing to theVGA selector 8. Is output.

ＶＧＡセレクタ８は、映像データをＱＶＧＡコントローラ９及びＶＧＡコントローラ１３に供給する。ＶＧＡセレクタ８より出力される映像データは、一例として水平方向の画素数が６４０、垂直方向の画素数が４８０のいわゆるＶＧＡの大きさである。ＱＶＧＡコントローラ９は、ワークメモリであるメモリ１０を用いて、入力された映像データをＱＶＧＡの大きさに変換して、顔検出用の映像データを生成する。ＱＶＧＡの大きさは、水平方向の画素数が３２０、垂直方向の画素数が２４０である。本実施形態では顔検出用の映像データをＱＶＧＡの大きさとしているが、これに限定されるものではなく、ＶＧＡの大きさのままでもよいし、他の大きさに変換してもよい。 TheVGA selector 8 supplies the video data to theQVGA controller 9 and theVGA controller 13. For example, the video data output from theVGA selector 8 has a so-called VGA size in which the number of pixels in the horizontal direction is 640 and the number of pixels in the vertical direction is 480. TheQVGA controller 9 converts the input video data into a QVGA size using thememory 10 which is a work memory, and generates video data for face detection. The size of QVGA is 320 in the horizontal direction and 240 in the vertical direction. In the present embodiment, the video data for face detection has a QVGA size, but the present invention is not limited to this, and the VGA size may be used as it is or may be converted to another size.

顔検出器１１は、制御部１８に格納されている顔検出プログラム１８１に従って、ＱＶＧＡコントローラ９から出力された顔検出用の映像データによる画像内の顔を検出する。検出された顔の画像情報はワークメモリであるメモリ１２に格納される。顔検出器１１は、顔検出プログラム１８１に従って顔を検出する主としてハードウェアにて構成される部分である。顔検出器１１と顔検出プログラム１８１とで顔検出部を構成する。メモリ１２に格納された顔の画像情報は制御部１８に供給される。 Theface detector 11 detects a face in an image based on face detection video data output from theQVGA controller 9 according to aface detection program 181 stored in thecontrol unit 18. The detected face image information is stored in thememory 12 which is a work memory. Theface detector 11 is a part mainly composed of hardware that detects a face in accordance with theface detection program 181. Theface detector 11 and theface detection program 181 constitute a face detection unit. The face image information stored in thememory 12 is supplied to thecontrol unit 18.

ＶＧＡコントローラ１３は、入力された映像データを顔器官検出及び顔認証用の映像データとしてワークメモリであるメモリ１４に保持する。顔器官検出器１５は、制御部１８に格納されている顔器官検出プログラム１８４に従って、顔の画像情報を参照しながら、顔の器官を検出する。検出された顔器官情報は、顔に対する目や口の位置や、目や口の特徴情報を含む。顔器官情報はワークメモリであるメモリ１７に格納される。顔の器官は少なくとも目と口である。顔器官検出器１５は、顔器官検出プログラム１８４に従って顔の器官を検出する主としてハードウェアにて構成される部分である。顔器官検出器１５と顔器官検出プログラム１８４とで顔器官検出部を構成する。メモリ１７に格納された顔器官情報は制御部１８に供給される。 TheVGA controller 13 holds the input video data in thememory 14 as a work memory as video data for face organ detection and face authentication. Theface organ detector 15 detects a face organ while referring to face image information in accordance with a faceorgan detection program 184 stored in thecontrol unit 18. The detected facial organ information includes the position of the eyes and mouth with respect to the face and the feature information of the eyes and mouth. The facial organ information is stored in thememory 17 which is a work memory. The facial organs are at least the eyes and mouth. Theface organ detector 15 is a part mainly composed of hardware that detects a face organ in accordance with the faceorgan detection program 184. Thefacial organ detector 15 and the facialorgan detection program 184 constitute a facial organ detector. The facial organ information stored in thememory 17 is supplied to thecontrol unit 18.

顔認証器１６は、制御部１８に格納されている顔認証プログラム１８５に従って、顔検出器１１が検出した顔を認証する。具体的には、顔認証器１６は、顔検出器１１が検出した顔が、制御部１８内の登録部１８６に予め登録されている顔の画像と同一人物であるかを判定する。顔認証器１６は、複数の顔の画像が登録されている場合には、どの顔の画像と同一人物であるかを判定する。認証結果は、メモリ１７に格納される。顔認証器１６は、顔認証プログラム１８５に従って顔の画像を認証する主としてハードウェアにて構成される部分である。顔認証器１６と顔認証プログラム１８５とで顔認証部を構成する。 Theface authenticator 16 authenticates the face detected by theface detector 11 according to theface authentication program 185 stored in thecontrol unit 18. Specifically, theface authenticator 16 determines whether the face detected by theface detector 11 is the same person as the face image registered in theregistration unit 186 in thecontrol unit 18 in advance. When a plurality of face images are registered, theface authenticator 16 determines which face image is the same person. The authentication result is stored in thememory 17. Theface authenticator 16 is a part mainly configured by hardware that authenticates a face image in accordance with theface authentication program 185. Theface authentication unit 16 and theface authentication program 185 constitute a face authentication unit.

制御部１８は、詳細には、中央処理装置（ＣＰＵ）と、各種のプログラムを格納するＲＯＭと、ワークエリアとしてのＲＡＭ等を含む半導体集積回路であり、映像処理装置１００の全体を制御する。制御部１８は、笑顔度検出プログラム１８２と笑顔判定プログラム１８３も格納している。笑顔度検出プログラム１８２は、顔器官情報をワークエリアであるメモリ１９に展開しながら、顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する。笑顔度は、目と口の特徴情報として、例えば目じりの状態、口角の状態、歯が見えているか否か等を用いて検出することができる。図１の例では、ソフトウェアのみで笑顔度の検出を行っており、笑顔度検出プログラム１８２が笑顔度検出部となっている。 Specifically, thecontrol unit 18 is a semiconductor integrated circuit including a central processing unit (CPU), a ROM that stores various programs, a RAM as a work area, and the like, and controls the entirevideo processing apparatus 100. Thecontrol unit 18 also stores a smilelevel detection program 182 and asmile determination program 183. The smilelevel detection program 182 detects the smile level, which is a value indicating the degree of smile based on the facial organ information, while developing the facial organ information in the memory 19 which is a work area. The degree of smile can be detected by using, for example, the state of eye contact, the state of the mouth corner, whether or not teeth are visible, etc. as the feature information of the eyes and mouth. In the example of FIG. 1, the smile level is detected only by software, and the smilelevel detection program 182 serves as a smile level detection unit.

笑顔判定プログラム１８３は、笑顔度検出プログラム１８２で検出した笑顔度と、顔の画像を登録した際の笑顔度と、顔認証器１６で顔を認証した際の笑顔度とを用いて、被写体に含まれている顔が笑顔であるか否かを判定する。笑顔判定プログラム１８３による笑顔であるか否かの判定の具体的処理についは後に詳述する。図１の例では、ソフトウェアのみで笑顔であるか否かを判定しており、笑顔判定プログラム１８３が笑顔判定部となっている。 Thesmile determination program 183 uses the smile level detected by the smilelevel detection program 182, the smile level when a face image is registered, and the smile level when a face is authenticated by theface authenticator 16 as a subject. It is determined whether the included face is a smile. A specific process for determining whether or not the smile is determined by thesmile determination program 183 will be described in detail later. In the example of FIG. 1, it is determined whether or not a smile is made only by software, and thesmile determination program 183 is a smile determination unit.

＜笑顔度検出処理＞
図２のフローチャートを用いて笑顔度を検出する処理について説明する。図２では、顔検出部，顔器官検出部，笑顔度検出プログラム１８２で行われる動作について説明する。図２において、顔検出部（顔検出器１１及び顔検出プログラム１８１）は、ステップＳ１０１にて画像内の顔を検出する。顔器官検出部（顔器官検出器１５及び顔器官検出プログラム１８４）は、ステップＳ１０２にて顔の器官を検出し、ステップＳ１０３にて顔器官情報を制御部１８に供給する。<Smile level detection process>
Processing for detecting the smile level will be described with reference to the flowchart of FIG. 2, operations performed by the face detection unit, the face organ detection unit, and the smilelevel detection program 182 will be described. In FIG. 2, the face detection unit (facedetector 11 and face detection program 181) detects a face in the image in step S101. The facial organ detection unit (thefacial organ detector 15 and the facial organ detection program 184) detects the facial organ in step S102, and supplies the facial organ information to thecontrol unit 18 in step S103.

笑顔度検出プログラム１８２は、ステップＳ１０４にて笑顔度を検出する。笑顔度は、一例として、１００％を最大として笑顔の程度を割合である％で表したものである。勿論、割合ではなく、笑顔の程度によって数値が大小するスコアのような数字であってもよい。 The smilelevel detection program 182 detects the smile level in step S104. As an example, the degree of smile represents 100% as a maximum and the degree of smile as a percentage. Of course, it may be a number such as a score that is not a ratio but a value that increases or decreases depending on the degree of smile.

笑顔度検出プログラム１８２によって検出された笑顔度は、人それぞれの顔の作りや笑い方の違いを考慮せず、顔器官情報に基づいて客観的に検出されたものである。従って、笑顔度検出プログラム１８２によって検出された笑顔度のみに基づいて笑顔であるか否かを判定すると、笑顔の判定精度はさほど高くはならない。そこで、本実施形態においては、顔認証部（顔認証器１６及び顔認証プログラム１８５）で顔認証を行う際に必要となる顔の画像を登録する際に笑顔度の情報を取得しておく。 The smile level detected by the smilelevel detection program 182 is objectively detected on the basis of facial organ information without considering the difference in face creation and laughing method of each person. Therefore, when it is determined whether or not a smile is based only on the smile level detected by the smilelevel detection program 182, the smile determination accuracy is not so high. Therefore, in this embodiment, smile level information is acquired when a face image necessary for face authentication is registered by the face authentication unit (faceauthentication device 16 and face authentication program 185).

＜顔画像登録処理＞
図３のフローチャートを用いて、制御部１８が顔の画像を登録する際の処理について説明する。図３において、制御部１８は、ステップＳ２０１にて、被写体である人に対して映像処理装置１００の正面を向くよう指示する。図１では図示していないが、表示部に“正面を向いて下さい”と文字で表記したり、スピーカより音声にて“正面を向いて下さい”と発音したりすればよい。制御部１８は、ステップＳ２０２にて、顔器官検出部によって検出された顔器官情報に基づいて顔の角度を測定する。制御部１８は、ステップＳ２０３にて、ステップＳ２０２にて測定された顔の角度に基づいて顔の角度が正面の範囲内に入ったか否かを判定する。<Face image registration process>
A process when thecontrol unit 18 registers a face image will be described with reference to the flowchart of FIG. In FIG. 3, in step S <b> 201, thecontrol unit 18 instructs a person who is a subject to face the front of thevideo processing apparatus 100. Although not shown in FIG. 1, it is only necessary to write “Please turn to the front” on the display section, or to pronounce “Please turn to the front” from the speaker. In step S202, thecontrol unit 18 measures the face angle based on the facial organ information detected by the facial organ detection unit. In step S203, thecontrol unit 18 determines whether the face angle is within the front range based on the face angle measured in step S202.

制御部１８は、正面の範囲内に入っていなければ（NO）、処理をステップＳ２０２に戻し、正面の範囲内に入っていれば（YES）、ステップＳ２０４にて、顔検出器１１より出力された顔の画像を正面顔画像情報として登録部１８６に登録する。図４（Ａ）は、登録した正面顔画像情報を概念的に示している。図４（Ａ）〜（Ｃ）において、枠画像２０は、被写体の撮影位置を指定するために表示されたものである。制御部１８（笑顔度検出プログラム１８２）は、正面顔画像情報に基づいて笑顔度P(A1)を検出して保持する。なお、ここでは特に笑顔を要求していないので、正面顔は通常は笑顔ではなく普通の顔であることが多い。従って、笑顔度P(A1)は比較的低い値となる可能性が高い。 If it is not within the front range (NO), thecontrol unit 18 returns the process to step S202. If it is within the front range (YES), thecontrol unit 18 outputs it from theface detector 11 at step S204. The face image is registered in theregistration unit 186 as front face image information. FIG. 4A conceptually shows the registered front face image information. 4A to 4C, theframe image 20 is displayed for designating the shooting position of the subject. The control unit 18 (smile level detection program 182) detects and holds the smile level P (A1) based on the front face image information. Since no smile is particularly required here, the front face is usually not a smile but an ordinary face in many cases. Therefore, the smile degree P (A1) is likely to be a relatively low value.

制御部１８は、ステップＳ２０６にて、被写体である人に対して顔の向きを回転させるよう指示する。例えば、表示部に“顔を上下左右に回転させて下さい”と文字で表記したり、スピーカより音声にて“顔を上下左右に回転させて下さい”と発音したりすればよい。制御部１８は、ステップＳ２０７にて顔の角度を測定し、ステップＳ２０８にて、上・下・左・右の内、未登録の顔の角度を検出したか否かを判定する。未登録の顔の角度を検出しなければ（NO）、制御部１８は、処理をステップＳ２０７に戻す。未登録の顔の角度を検出したら（YES）、制御部１８は、ステップＳ２０９にて顔画像情報を登録部１８６に登録する。図４（Ｂ）は、登録した左向き顔画像情報を概念的に示している。 In step S206, thecontrol unit 18 instructs the person who is the subject to rotate the face direction. For example, “Please rotate your face up, down, left and right” may be written on the display unit, or you may pronounce “Please rotate your face up, down, left, right” from the speaker. Thecontrol unit 18 measures the face angle in step S207, and determines in step S208 whether an unregistered face angle is detected among the upper, lower, left, and right. If the angle of the unregistered face is not detected (NO), thecontrol unit 18 returns the process to step S207. If the angle of the unregistered face is detected (YES), thecontrol unit 18 registers the face image information in theregistration unit 186 in step S209. FIG. 4B conceptually shows the registered left-facing face image information.

制御部１８は、ステップＳ２１０にて、笑顔度P(A2)〜P(A5)のいずれかを取得して保持する。笑顔度P(A2)〜P(A5)は、顔の角度が上・下・左・右であるときの笑顔度である。 In step S210, thecontrol unit 18 acquires and holds any one of smile levels P (A2) to P (A5). Smile levels P (A2) to P (A5) are smile levels when the face angle is up, down, left, or right.

制御部１８は、ステップＳ２１１にて、上・下・左・右の全ての方向の顔画像情報の登録が完了したか否かを判定する。全ての方向の顔登録が完了していなければ（NO）、制御部１８は、処理をステップＳ２０７に戻す。全ての方向の顔登録が完了していれば（YES）、顔の角度が上・下・左・右のときの笑顔度P(A2)〜P(A5)を全て取得したということである。正面顔と同様に、ここでは特に笑顔を要求していないので、上・下・左・右を向いた顔も普通の顔であることが多い。従って、笑顔度P(A2)〜P(A5)は比較的低い値となる可能性が高い。 In step S211, thecontrol unit 18 determines whether or not registration of face image information in all directions of up, down, left, and right has been completed. If face registration in all directions has not been completed (NO), thecontrol unit 18 returns the process to step S207. If face registration in all directions has been completed (YES), it means that all smile levels P (A2) to P (A5) when the face angle is up / down / left / right are acquired. Like the front face, no smile is required here, so faces facing up, down, left, and right are often normal faces. Therefore, the smile levels P (A2) to P (A5) are likely to be relatively low values.

全ての方向の顔登録が完了していれば（YES）、制御部１８は、ステップＳ２１２にて、被写体に対して笑顔とするよう指示する。例えば、表示部に“正面を向いて笑顔にして下さい”と文字で表記したり、スピーカより音声にて“正面を向いて笑顔にして下さい”と発音したりすればよい。制御部１８（笑顔度検出プログラム１８２）は、ステップＳ２１３にて笑顔度を検出する。制御部１８は、ステップＳ２１４にて、ステップＳ２１３にて検出した笑顔度が所定の値以上であるか否かを判定する。所定の値は例えば６０％以上である。笑顔度６０％を標準笑顔度とする。所定の値以上でなければ（NO）、制御部１８は、処理をステップＳ２１３に戻す。 If face registration in all directions has been completed (YES), thecontrol unit 18 instructs the subject to smile in step S212. For example, it may be written on the display section with the words “Please turn to the front and make a smile,” or voiced from the speaker to “Please turn to the front and make it smile.” The controller 18 (smile level detection program 182) detects the smile level in step S213. In step S214, thecontrol unit 18 determines whether or not the smile level detected in step S213 is greater than or equal to a predetermined value. The predetermined value is 60% or more, for example. The standard smile level is 60%. If the value is not equal to or greater than the predetermined value (NO), thecontrol unit 18 returns the process to step S213.

所定の値以上であれば（YES）、制御部１８は、ステップＳ２１５にて顔画像情報を登録部１８６に登録する。図４（Ｃ）は、登録した笑顔の顔画像情報を概念的に示している。制御部１８は、ステップＳ２１６にて、ステップＳ２１５にて登録した笑顔の顔画像情報の笑顔度P(S)を保持する。ステップＳ２１４での所定の値が６０％以上であるから、笑顔度P(S)は６０％以上となる。 If it is equal to or greater than the predetermined value (YES), thecontrol unit 18 registers the face image information in theregistration unit 186 in step S215. FIG. 4C conceptually shows the registered smile face image information. In step S216, thecontrol unit 18 holds the smile degree P (S) of the smile face image information registered in step S215. Since the predetermined value in step S214 is 60% or more, the smile degree P (S) is 60% or more.

制御部１８は、ステップＳ２１７にて、次の式（１）を用い、笑顔度P(A1)，P(A2)〜P(A5)に基づいて通常登録時笑顔度P(A)を計算して終了する。
P(A)=P(A1)/2+(P(A2)+P(A3)+P(A4)+P(A5))/4/2 …（１）
制御部１８は、笑顔度P(S)をそのまま笑顔指示時笑顔度とする。以下、笑顔指示時笑顔度P(S)と称する。In step S217, thecontrol unit 18 calculates the smile level P (A) during normal registration based on the smile levels P (A1) and P (A2) to P (A5) using the following formula (1). To finish.
P (A) = P (A1) / 2 + (P (A2) + P (A3) + P (A4) + P (A5)) / 4/2 (1)
Thecontrol unit 18 uses the smile level P (S) as it is as the smile level at the time of smile instruction. Hereinafter, it is referred to as smile degree P (S) at the time of smile instruction.

本実施形態では、正面の顔画像情報に加えて、上・下・左・右それぞれの方向での顔画像情報を登録するので、顔認証部での顔の認証精度を向上させることができる。簡略化のため、正面の顔画像情報のみを登録してもよい。正面の顔画像情報と、上・下・左・右の内、選択した１または複数の方向での顔画像情報を登録してもよい。勿論、正面の顔画像情報と上・下・左・右全ての方向での顔画像情報を登録することが好ましい。 In the present embodiment, in addition to the front face image information, face image information in each of the up, down, left, and right directions is registered, so that the face authentication accuracy in the face authentication unit can be improved. For simplification, only front face image information may be registered. Front face image information and face image information in one or more selected directions among upper, lower, left, and right may be registered. Of course, it is preferable to register the face image information of the front and the face image information in all the upper, lower, left and right directions.

本実施形態では、認証のための顔画像情報の登録に併せて、笑顔度P(A1)，P(A2)〜P(A5)を検出し、通常登録時笑顔度P(A)を取得するので、笑顔を指示していない状態の普通の顔の笑顔度を得ることができる。なお、正面の顔画像情報のみを登録する場合には、通常登録時笑顔度P(A)は笑顔度P(A1)となる。例えば、笑顔度P(A2)，P(A3)のみを検出した場合には、笑顔度P(A1)と笑顔度P(A2)，P(A3)の平均値とを所定の割合で加算して通常登録時笑顔度P(A)とすればよい。また、本実施形態では、笑顔を指示した状態での笑顔指示時笑顔度P(S)を得ることができる。後述する笑顔であるか否かの判定の際に通常登録時笑顔度P(A)及び笑顔指示時笑顔度P(S)を用いることによって、笑顔の判定精度を向上させることができる。 In this embodiment, in addition to registration of face image information for authentication, smile levels P (A1) and P (A2) to P (A5) are detected, and smile level P (A) is acquired during normal registration. Therefore, it is possible to obtain the smile level of an ordinary face that is not instructed to smile. When only front face image information is registered, the smile level P (A) during normal registration is the smile level P (A1). For example, when only smile levels P (A2) and P (A3) are detected, smile levels P (A1) and average values of smile levels P (A2) and P (A3) are added at a predetermined rate. The smile level P (A) during normal registration may be used. Further, in the present embodiment, the smile degree P (S) at the time of smile instruction in the state where the smile is instructed can be obtained. The smile determination accuracy can be improved by using the normal registration smile degree P (A) and the smile instruction smile degree P (S) when determining whether or not a smile is described later.

映像処理装置１００は、被写体を撮影している際に、顔検出器１１が顔を検出した場合には、顔認証部が登録されている顔であるかを認証する。認証の際には、少なくとも正面の顔画像情報を用いる。認証の際に、正面の顔画像情報に加えて、上・下・左・右の方向での顔画像情報を用いることが好ましい。本実施形態では、登録されている顔であることが認証された場合に、所定時間毎に笑顔度を検出して、後述する笑顔であるか否かの判定の際に用いる。 When theface detector 11 detects a face while photographing a subject, thevideo processing apparatus 100 authenticates whether the face authentication unit is a registered face. At the time of authentication, at least front face image information is used. In the authentication, it is preferable to use face image information in the upward, downward, left, and right directions in addition to the front face image information. In this embodiment, when it is authenticated that the face is registered, the smile level is detected every predetermined time and used when determining whether the face is a smile described later.

＜通常撮影時処理＞
図５のフローチャートを用いて、通常撮影時の処理について説明する。図５において、制御部１８は、ステップＳ３０１にて、顔認証の結果、登録された顔であるか否かを判定する。登録された顔でなければ（NO）、制御部１８は処理をステップＳ３０１に戻す。登録された顔であれば（YES）、制御部１８（笑顔度検出プログラム１８２）は、ステップＳ３０２にて、所定時間毎に笑顔度を検出する。所定時間毎とは例えば１０秒毎である。<Processing during normal shooting>
With reference to the flowchart of FIG. 5, processing during normal shooting will be described. In FIG. 5, in step S <b> 301, thecontrol unit 18 determines whether the face is a registered face as a result of face authentication. If it is not a registered face (NO), thecontrol unit 18 returns the process to step S301. If it is a registered face (YES), the control unit 18 (smile level detection program 182) detects the smile level every predetermined time in step S302. For example, every predetermined time is every 10 seconds.

制御部１８は、ステップＳ３０３にて、ステップＳ３０２にて検出した過去の笑顔度を積算した積算笑顔度Ｔと積算回数ｎとを求めて保持する。制御部１８は、ステップＳ３０４にて、次の式（２）に基づいて、撮影時笑顔度P(T)を計算する。
P(T)=T/n …（２）
即ち、過去所定期間の笑顔度の平均を撮影時笑顔度P(T)とする。同一人物を検出している期間中、順次笑顔度を積算して積算笑顔度Ｔを求め、撮影時笑顔度P(T)をその都度計算すればよい。In step S303, thecontrol unit 18 obtains and holds an accumulated smile level T obtained by integrating the past smile levels detected in step S302 and the accumulated number n. In step S304, thecontrol unit 18 calculates the shooting smile P (T) based on the following equation (2).
P (T) = T / n (2)
That is, the average smile level during a predetermined period in the past is defined as the smile level P (T) during shooting. During the period when the same person is detected, the smile levels are sequentially integrated to obtain the integrated smile level T, and the smile level P (T) at the time of shooting is calculated each time.

さらに本実施形態では、撮影時笑顔度P(T)をそのまま笑顔であるか否かの判定の際に用いるのではなく、次のように条件分けして、通常笑顔度P(N)を求めて、通常笑顔度P(N)を笑顔であるか否かの判定の際に用いる。まず、P(A)＜P(T)＜P(S)を満たす場合には、次の式（３）に基づいて、通常笑顔度P(N)を計算する。
P(N)=(P(A)+P(T))/2 …（３）
即ち、通常登録時笑顔度P(A)と撮影時笑顔度P(T)との平均を通常笑顔度P(N)とする。Further, in the present embodiment, the normal smile degree P (N) is obtained by dividing as follows, instead of using the smile degree P (T) at the time of shooting as it is to determine whether or not the face is a smile. Thus, the normal smile degree P (N) is used when determining whether or not the user is smiling. First, when P (A) <P (T) <P (S) is satisfied, the normal smile degree P (N) is calculated based on the following equation (3).
P (N) = (P (A) + P (T)) / 2 (3)
That is, the average of the smile level P (A) during normal registration and the smile level P (T) during shooting is defined as the normal smile level P (N).

次に、P(T)＜P(A)＜P(S)を満たす場合には、次の式（４）に基づいて、通常笑顔度P(N)を計算する。
P(N)=2/3×P(A)+1/3×P(T) …（４）
即ち、通常登録時笑顔度P(A)と撮影時笑顔度P(T)とを、通常登録時笑顔度P(A)の方の比率を大きくして加算する。Next, when P (T) <P (A) <P (S) is satisfied, the normal smile degree P (N) is calculated based on the following equation (4).
P (N) = 2/3 × P (A) + 1/3 × P (T) (4)
That is, the normal registration smile level P (A) and the shooting smile level P (T) are added with a larger ratio of the normal registration smile level P (A).

さらに、P(S)＜P(A)またはP(S)＜P(T)を満たす場合、即ち、笑顔指示時笑顔度P(S)が通常登録時笑顔度P(A)または撮影時笑顔度P(T)より小さい場合には、通常笑顔度P(N)を無効とする。 Furthermore, when P (S) <P (A) or P (S) <P (T) is satisfied, that is, the smile degree P (S) when instructing smile is the smile degree P (A) when registering normally or smiling when shooting When it is smaller than the degree P (T), the normal smile degree P (N) is invalidated.

通常登録時笑顔度P(A)は、笑顔を指示していない状態で検出した通常の顔の笑顔度（笑顔非指示時笑顔度）である。撮影時笑顔度P(T)も、笑顔を指示していない状態で検出した通常の顔の笑顔度（笑顔非指示時笑顔度）である。通常登録時笑顔度P(A)と撮影時笑顔度P(T)とを用いて通常笑顔度P(N)を求めているのは、笑顔非指示時笑顔度の精度を向上させるためである。通常笑顔度P(N)は、通常登録時笑顔度P(A)と撮影時笑顔度P(T)とを用いて精度を向上させた笑顔非指示時笑顔度である。 The normal smile level P (A) at the time of registration is a normal smile level of a face detected when no smile is instructed (a smile level when no smile is instructed). The smile level P (T) at the time of shooting is also the normal smile level of the face detected in the state where the smile is not instructed (the smile level when the smile is not instructed). The reason why the normal smile level P (N) is calculated using the normal smile level P (A) and the shooting smile level P (T) is to improve the accuracy of the smile level when the smile is not instructed. . The normal smile level P (N) is a smile level when the smile is not instructed and the accuracy is improved by using the normal smile level P (A) at the time of registration and the smile level P (T) at the time of shooting.

後述する笑顔判定処理において、笑顔非指示時笑顔度として通常登録時笑顔度P(A)を用いて笑顔であるか否かを判定してもよい。笑顔非指示時笑顔度として撮影時笑顔度P(T)を用いて笑顔であるか否かを判定してもよい。笑顔判定処理で通常登録時笑顔度P(A)を用いる場合には、登録部１８６に通常登録時笑顔度P(A)を登録しておく。笑顔判定処理で撮影時笑顔度P(T)を用いる場合には、登録部１８６に撮影時笑顔度P(T)を登録しておく。笑顔判定処理で通常笑顔度P(N)を用いる場合には、登録部１８６に通常笑顔度P(N)を登録しておく。 In the smile determination process described later, it may be determined whether or not the face is a smile using the normal registration smile degree P (A) as the smile degree when not instructing smile. Whether or not it is a smile may be determined by using the smiling degree P (T) at the time of shooting as the smiling degree when the smile is not instructed. When the smile level P (A) during normal registration is used in the smile determination process, the smile level P (A) during normal registration is registered in theregistration unit 186. When the smile level P (T) at the time of shooting is used in the smile determination process, the smile level P (T) at the time of shooting is registered in theregistration unit 186. When the normal smile degree P (N) is used in the smile determination process, the normal smile degree P (N) is registered in theregistration unit 186.

勿論、笑顔非指示時笑顔度として通常笑顔度P(N)を用いて笑顔であるか否かを判定する方が高精度となる。後述する笑顔判定処理においては、笑顔非指示時笑顔度として通常笑顔度P(N)を用いて笑顔であるか否かを判定する例について説明する。 Of course, it is more accurate to use the normal smile degree P (N) as the smile degree when not instructing a smile to determine whether or not the face is a smile. In the smile determination process described later, an example will be described in which it is determined whether or not a smile is made using the normal smile level P (N) as the smile level when smile is not instructed.

＜笑顔判定処理＞
図６のフローチャートを用いて、笑顔判定プログラム１８３が、顔検出部によって検出された顔が笑顔であるか否かを判定する処理について説明する。図６において、笑顔判定プログラム１８３は、ステップＳ４０１にて、笑顔度検出プログラム１８２によって検出された現在の笑顔度Pを取得する。現在の笑顔度Pは、顔検出部で検出された顔の画像が笑顔であるか否かを判定しようとする時点で検出した笑顔度である。<Smile determination processing>
A process in which thesmile determination program 183 determines whether the face detected by the face detection unit is a smile using the flowchart of FIG. In FIG. 6, thesmile determination program 183 obtains the current smile level P detected by the smilelevel detection program 182 in step S401. The current smile level P is a smile level detected at the time when it is determined whether or not the face image detected by the face detection unit is a smile.

笑顔判定プログラム１８３は、ステップＳ４０２にて、顔認証部での認証結果を参照して登録された顔であるか否かを判定する。登録された顔でなければ（NO）、笑顔判定プログラム１８３は、処理をステップＳ４０４に移行させる。登録された顔であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０３にて、笑顔非指示時笑顔度である通常笑顔度P(N)が有効であるか否かを判定する。 In step S402, thesmile determination program 183 determines whether the face is a registered face with reference to the authentication result in the face authentication unit. If it is not a registered face (NO), thesmile determination program 183 shifts the processing to step S404. If it is a registered face (YES),smile determination program 183 determines in step S403 whether or not the normal smile level P (N), which is the smile level when no smile is instructed, is valid.

通常笑顔度P(N)が有効でなければ（NO）、笑顔判定プログラム１８３は、処理をステップＳ４０４に移行させ、有効であれば（YES）、処理をステップＳ４０５に移行させる。笑顔判定プログラム１８３は、ステップＳ４０４にて、現在の笑顔度Pが標準笑顔度である６０％以上であるか否かを判定する。６０％以上であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０９にて、笑顔であると判定する。ステップＳ４０４からステップＳ４０９へと移行した場合の笑顔であるとの判定は、笑顔であるか否かを判定しようとする時点で検出した顔器官情報のみに基づく判定である。 If the normal smile degree P (N) is not valid (NO), thesmile determination program 183 shifts the process to step S404, and if valid (YES), shifts the process to step S405. In step S404, thesmile determination program 183 determines whether or not the current smile level P is 60% or higher, which is the standard smile level. If it is 60% or more (YES), thesmile determination program 183 determines that it is a smile in step S409. The determination that the face is a smile when the process proceeds from step S404 to step S409 is based on only the facial organ information detected at the time when it is determined whether or not the face is a smile.

笑顔判定プログラム１８３は、ステップＳ４０５にて、現在の笑顔度Pが絶対笑顔度である９０％以上であるか否かを判定する。９０％以上であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０９にて笑顔であると判定する。９０％以上でなければ（NO）、笑顔判定プログラム１８３は、ステップＳ４０６にて、現在の笑顔度Pが笑顔指示時笑顔度P(S)以上であるか否かを判定する。現在の笑顔度Pが笑顔指示時笑顔度P(S)以上であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０７にて、現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上であるか否かを判定する。現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上であれば、笑顔判定プログラム１８３は、ステップＳ４０９にて笑顔であると判定する。 In step S405, thesmile determination program 183 determines whether or not the current smile level P is 90% or more, which is the absolute smile level. If it is 90% or more (YES), thesmile determination program 183 determines that it is a smile in step S409. If it is not 90% or more (NO), thesmile determination program 183 determines in step S406 whether or not the current smile level P is greater than or equal to the smile level P (S) at the time of smile instruction. If the current smile level P is greater than or equal to the smile level P (S) at the time of smile instruction (YES), thesmile determination program 183 determines that the current smile level P is (normal smile level P (N) + 10%) in step S407. ) Determine whether it is above. If the current smile level P is equal to or greater than (normal smile level P (N) + 10%), thesmile determination program 183 determines that it is a smile in step S409.

ステップＳ４０６にて現在の笑顔度Pが笑顔指示時笑顔度P(S)以上でなければ（NO）、笑顔判定プログラム１８３は、ステップＳ４０８にて、現在の笑顔度Pが（通常笑顔度P(N)＋３０％）以上であるか否かを判定する。現在の笑顔度Pが（通常笑顔度P(N)＋３０％）以上であれば、笑顔判定プログラム１８３は、ステップＳ４０９にて笑顔であると判定する。ステップＳ４０７では、現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上としたので、ステップＳ４０８では、１０％よりも大きい例えば３０％とし、（通常笑顔度P(N)＋３０％）以上とすることが好ましい。 If the current smile level P is not equal to or greater than the smile level P (S) at the time of smile instruction in step S406 (NO), thesmile determination program 183 determines that the current smile level P is (normal smile level P ( N) + 30%) or not is determined. If the current smile level P is equal to or greater than (normal smile level P (N) + 30%), thesmile determination program 183 determines that it is a smile in step S409. In step S407, since the current smile degree P is set to (normal smile degree P (N) + 10%) or more, in step S408, it is set to, for example, 30% larger than 10%, and (normal smile degree P (N) + 30%). ) Or more.

ステップＳ４０５からステップＳ４０９へと移行した場合、ステップＳ４０７からステップＳ４０９へと移行した場合、ステップＳ４０８からステップＳ４０９へと移行した場合の笑顔であるとの判定は、笑顔であるか否かを判定しようとする時点で検出した顔器官情報と、予め登録しておいた通常笑顔度P(N)や笑顔指示時笑顔度P(S)とに基づく判定である。 When the process proceeds from step S405 to step S409, when the process proceeds from step S407 to step S409, or when the process proceeds from step S408 to step S409, it is determined whether the smile is a smile. Is determined based on the facial organ information detected at the time and the normal smile level P (N) and the smile level P (S) when instructed to smile.

一方、ステップＳ４０４にて、現在の笑顔度Pが標準笑顔度である６０％以上でなかった場合（NO）、ステップＳ４０７にて、現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上でなかった場合（NO）、ステップＳ４０８にて、現在の笑顔度Pが（通常笑顔度P(N)＋３０％）以上でなかった場合（NO）には、笑顔判定プログラム１８３は、ステップＳ４１０にて笑顔ではないと判定する。笑顔判定プログラム１８３は、ステップＳ４０９及びステップＳ４１０での判定後、処理をステップＳ４０１に戻す。 On the other hand, if the current smile degree P is not 60% or more which is the standard smile degree in step S404 (NO), the current smile degree P is (normal smile degree P (N) + 10%) in step S407. ) If not (NO), if the current smile level P is not (normal smile level P (N) + 30%) or higher (NO) in step S408, thesmile determination program 183 In S410, it is determined that it is not a smile. Thesmile determination program 183 returns the process to step S401 after the determination in step S409 and step S410.

ステップＳ４０４における標準笑顔度６０％以上、ステップＳ４０５における絶対笑顔度９０％以上、ステップＳ４０７における（通常笑顔度P(N)＋１０％）の１０％、ステップＳ４０８における（通常笑顔度P(N)＋３０％）の３０％は好適な例であるが、これらの数値に限定されるものではない。 Standard smile degree 60% or more in step S404, absolute smile degree 90% or more in step S405, 10% of (normal smile degree P (N) + 10%) in step S407, (normal smile degree P (N) +30 in step S408) %) Is a preferred example, but is not limited to these values.

以上説明したように、本実施形態では、被写体に対して笑顔を指示していない状態で笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で笑顔度検出部が検出した笑顔指示時笑顔度とを用いて、笑顔判定部が笑顔であるか否かを判定するので、人それぞれの顔の作りや笑顔の程度が異なっても、笑顔の判定精度を向上させることができる。顔の作りが異なれば笑い方も異なることになり、笑顔の程度がばらつくことになる。笑顔非指示時笑顔度と笑顔指示時笑顔度とを用いることにより、笑顔の程度がばらついても、人それぞれの笑顔でない状態と笑顔の状態とを区別することが可能となる。 As described above, in this embodiment, the smile level when the smile level detection unit detects the smile level when the smile level is not instructed to the subject and the smile level when the smile level is instructed to the subject. The smile determination unit uses the smile level detected by the detection unit to determine whether or not the smile is smiling. Can be improved. Different faces make different ways of laughing, and the degree of smiles will vary. By using the smile level when not instructing smiles and the smile level when instructing smiles, even if the degree of smile varies, it is possible to distinguish between a non-smile state and a smile state of each person.

また、本実施形態では、好ましい構成として、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを通常顔画像情報として登録するので、顔の認証精度が向上する。正面顔画像情報に基づいて検出した笑顔度と非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を用いれば、顔の向きが異なっても、精度よく笑顔であるか否かを判定すること可能となる。 In the present embodiment, as a preferred configuration, front face image information with the face facing the front of the photographing apparatus and non-front face image information with the face facing at least one of up, down, left, and right Are registered as normal face image information, so that the face authentication accuracy is improved. If you use a smile degree that adds a smile ratio detected based on front face image information and a smile degree detected based on non-front face image information at a predetermined ratio, even if the face direction is different, you can smile accurately It can be determined whether or not there is.

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図６に示す笑顔判定処理は好ましい判定処理の例を示すが、図６に限定されるものではない。笑顔判定部は、笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、笑顔非指示時笑顔度と、笑顔指示時笑顔度とを用い、これらを適宜比較して、現在の笑顔度と笑顔非指示時笑顔度または笑顔指示時笑顔度の大小関係や差の程度に基づいて笑顔であるか否かを判定すればよい。 The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the scope of the present invention. The smile determination process shown in FIG. 6 shows an example of a preferable determination process, but is not limited to FIG. The smile determination unit uses the current smile level detected at the time of determining whether or not it is a smile, the smile level at the time of smile non-instruction, and the smile level at the time of smile instruction. Whether or not it is a smile may be determined based on the magnitude relationship or the degree of difference between the current smile level and the smile level when no smile is specified or when the smile level is specified.

本発明はハードウェアで構成してもソフトウェアで構成してもよい。両者を適宜組み合わせてもよく、ハードウェアとソフトウェアの使い分けは任意である。本発明をコンピュータプログラムとして構成して、記録媒体に記録して頒布したり、インターネット等の通信回線によって提供したりしてもよい。 The present invention may be configured by hardware or software. Both may be combined as appropriate, and the proper use of hardware and software is arbitrary. The present invention may be configured as a computer program, recorded on a recording medium and distributed, or provided via a communication line such as the Internet.

１撮像レンズ
２撮像部
３カメラコントローラ
４映像メモリ
５メモリコントローラ
６メモリセレクタ
７リサイズコントローラ
８ＶＧＡセレクタ
９ＱＶＧＡコントローラ
１０，１２，１４，１７，１９メモリ
１１顔検出器（顔検出部）
１３ＶＧＡコントローラ
１５顔器官検出器（顔器官検出部）
１６顔認証器（顔認証部）
１８制御部
１８１顔検出プログラム（顔検出部）
１８２笑顔度検出プログラム（笑顔度検出部）
１８３笑顔判定プログラム（笑顔判定部）
１８４顔器官検出プログラム（顔器官検出部）
１８５顔認証プログラム（顔認証部）
１８６登録部DESCRIPTION OF SYMBOLS 1 Imaging lens 2Imaging part 3Camera controller 4Video memory 5Memory controller 6 Memory selector 7Resize controller 8VGA selector 9QVGA controller 10, 12, 14, 17, 19Memory 11 Face detector (face detection part)
13VGA controller 15 Facial organ detector (facial organ detector)
16 Face recognition device (face recognition part)
18Control unit 181 Face detection program (face detection unit)
182 Smile level detection program (smile level detector)
183 Smile determination program (smile determination part)
184 Face organ detection program (face organ detection unit)
185 Face Authentication Program (Face Authentication Department)
186 Registration Department