JP2006308375A - Infrared eye position detector - Google Patents

Abstract

Translated fromJapanese

【課題】 目の位置を従来より高精度に検出することができる赤外線利用型目位置検出装置を提供する。
【解決手段】 目位置検出装置１０は、赤外線を照射する赤外線照射装置１１と、赤外線照射装置１１によって照射された赤外線の反射光を捉える赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像から顔の画像を取得する顔画像取得部２１と、顔画像取得部２１によって取得された顔の画像中の輝度に基づいて顔の画像中の目の位置を検出する目位置検出部２２とを備える。
【選択図】 図１PROBLEM TO BE SOLVED: To provide an infrared type eye position detecting device capable of detecting an eye position with higher accuracy than conventional.
An eye position detection device (10) includes an infrared irradiation device (11) that emits infrared rays, an infrared camera (12) that captures reflected infrared rays irradiated by the infrared irradiation device (11), and a face from an image captured by the infrared camera (12). A face image acquisition unit 21 that acquires the image of the face, and an eye position detection unit 22 that detects the position of the eye in the face image based on the luminance in the face image acquired by the face image acquisition unit 21.
[Selection] Figure 1

Description

Translated fromJapanese

本発明は、赤外線を利用して目の位置を検出する赤外線利用型目位置検出装置に関するものである。  The present invention relates to an infrared type eye position detection device that detects the position of an eye using infrared rays.

従来の赤外線利用型目位置検出装置としては、取得画像の温度分布に基づいて目の位置を検出するものが知られている（例えば、特許文献１参照。）。  As a conventional infrared eye type eye position detection device, one that detects the eye position based on the temperature distribution of an acquired image is known (for example, see Patent Document 1).

特開平７−１６７６１８号公報（第３頁、第２図）Japanese Patent Laid-Open No. 7-167618 (page 3, FIG. 2)

しかしながら、従来の赤外線利用型目位置検出装置においては、取得画像の温度分布に基づいて目の位置を検出するので、画像のコントラストが十分に取れず、目の位置の検出の精度が低いという問題があった。  However, in the conventional infrared eye type eye position detection device, the eye position is detected based on the temperature distribution of the acquired image, so that the contrast of the image cannot be sufficiently obtained, and the accuracy of the eye position detection is low. was there.

本発明は、従来の問題を解決するためになされたもので、目の位置を従来より高精度に検出することができる赤外線利用型目位置検出装置を提供することを目的とする。  The present invention has been made to solve the conventional problems, and an object of the present invention is to provide an infrared utilizing eye position detection device capable of detecting the position of the eyes with higher accuracy than in the past.

本発明の赤外線利用型目位置検出装置は、赤外線を照射する赤外線照射手段と、前記赤外線照射手段によって照射された前記赤外線の反射光を捉える赤外線撮像手段と、前記赤外線撮像手段によって撮像された画像から顔の画像を取得する顔画像取得手段と、前記顔画像取得手段によって取得された前記顔の画像中の輝度に基づいて前記顔の画像中の目の位置を検出する目位置検出手段とを備えた構成を有している。  An infrared-based eye position detection device according to the present invention includes an infrared irradiation unit that irradiates infrared rays, an infrared imaging unit that captures reflected light of the infrared rays irradiated by the infrared irradiation unit, and an image captured by the infrared imaging unit. A face image acquisition means for acquiring a face image from the eye, and an eye position detection means for detecting the position of the eye in the face image based on the luminance in the face image acquired by the face image acquisition means. It has the composition provided.

この構成により、本発明の赤外線利用型目位置検出装置は、自身が照射した赤外線の反射光に基づいて目の位置を検出するので、顔の画像における目の画像が従来より明確になり、目の位置を従来より高精度に検出することができる。  With this configuration, the infrared-based eye position detection device of the present invention detects the position of the eye based on the reflected infrared light irradiated by itself, so that the eye image in the face image becomes clearer than before, Can be detected with higher accuracy than in the past.

また、本発明の赤外線利用型目位置検出装置は、顔認証を行う顔認証手段と、前記顔認証用の顔の画像を記憶する顔画像記憶手段とを備え、前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像記憶手段によって記憶された前記顔の画像とに基づいて、前記顔認証を行う構成を有している。  The eye position detection device using infrared rays of the present invention includes face authentication means for performing face authentication and face image storage means for storing the face image for face authentication, wherein the face authentication means includes the face authentication means. Configuration for performing the face authentication based on the face image acquired by the image acquisition unit and the eye position detection unit detecting the eye position, and the face image stored by the face image storage unit have.

この構成により、本発明の赤外線利用型目位置検出装置は、目の位置を従来より高精度に検出することができるので、従来より高精度に顔認証を行うことができる。  With this configuration, the infrared-based eye position detection device of the present invention can detect the position of the eyes with higher accuracy than before, and can perform face authentication with higher accuracy than before.

また、本発明の赤外線利用型目位置検出装置は、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを前記目位置検出手段によって検出された前記目の位置に基づいて推定する顔向推定手段と、前記顔画像記憶手段によって記憶された複数の前記顔の画像から少なくとも１つの前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択する顔画像選択手段とを備え、前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像選択手段によって選択された前記顔の画像とに基づいて、前記顔認証を行う構成を有している。  In addition, the infrared eye type eye position detection apparatus according to the present invention estimates the orientation of the face in the face image acquired by the face image acquisition means based on the eye position detected by the eye position detection means. A face direction estimating unit that selects at least one face image from the plurality of face images stored by the face image storing unit based on the face direction estimated by the face direction estimating unit An image selecting means, wherein the face authenticating means is selected by the face image selecting means acquired by the face image acquiring means, and the face image from which the eye position is detected by the eye position detecting means. The face authentication is performed based on the face image.

この構成により、本発明の赤外線利用型目位置検出装置は、予め記憶している顔の画像のうち実際の顔の向きに近い向きの顔の画像に基づいて顔認証を行うことができるので、より確実に顔認証を行うことができる。  With this configuration, the infrared-based eye position detection device of the present invention can perform face authentication based on a face image in a direction close to the actual face direction among pre-stored face images. Face authentication can be performed more reliably.

また、本発明の赤外線利用型目位置検出装置は、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定する顔向確定手段を備え、前記顔画像選択手段は、前記顔画像記憶手段によって記憶された複数の前記顔の画像から２つ以上の前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択し、前記顔向確定手段は、前記顔画像選択手段によって選択された前記顔の画像毎の前記顔認証手段による前記顔認証の結果に基づいて、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定する構成を有している。  In addition, the infrared-based eye position detection device of the present invention includes a face orientation determination unit that determines the orientation of the face in the face image acquired by the face image acquisition unit, and the face image selection unit includes the face image selection unit, Two or more facial images are selected from the plurality of facial images stored by the facial image storage means based on the facial orientation estimated by the facial orientation estimation means, and the facial orientation determination means comprises: Based on the result of the face authentication by the face authentication unit for each face image selected by the face image selection unit, the orientation of the face in the face image acquired by the face image acquisition unit is determined. It has a configuration.

この構成により、本発明の赤外線利用型目位置検出装置は、複数の顔認証の結果に基づいて顔認証の対象者の顔の向きを確定するので、赤外線撮像手段によって撮像された対象者の顔の向きを高精度に確定することができる。  With this configuration, the infrared-based eye position detection device of the present invention determines the orientation of the face of the face authentication target person based on a plurality of face authentication results, so the face of the target person imaged by the infrared imaging means Can be determined with high accuracy.

また、本発明の赤外線利用型目位置検出装置は、前記顔向確定手段によって確定された前記顔の向きに基づいて脇見運転を判定する脇見運転判定手段を備えた構成を有している。  Further, the infrared eye type eye position detection device of the present invention has a configuration including a side-by-side operation determination unit that determines a side-by-side operation based on the face orientation determined by the face direction determination unit.

この構成により、本発明の赤外線利用型目位置検出装置は、顔認証の対象者が乗物の運転者であるときに、運転者が脇見運転を行っているか否かを判定することができる。  With this configuration, the infrared-based eye position detection device according to the present invention can determine whether or not the driver is performing a side-by-side driving when the subject of face authentication is a vehicle driver.

また、本発明の赤外線利用型目位置検出装置は、虹彩認証を行う虹彩認証手段と、前記虹彩認証用の虹彩の画像を記憶する虹彩画像記憶手段とを備え、前記虹彩認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の虹彩の画像と、前記虹彩画像記憶手段に記憶された前記虹彩の画像とに基づいて、前記虹彩認証を行う構成を有している。  The eye position detection device using infrared rays of the present invention includes iris authentication means for performing iris authentication, and iris image storage means for storing an iris image for iris authentication, wherein the iris authentication means includes the face Based on the iris image stored in the iris image storage unit and the iris image stored in the iris image storage unit obtained by the image acquisition unit and the eye position detection unit detecting the eye position. The iris authentication is performed.

この構成により、本発明の赤外線利用型目位置検出装置は、目の位置を従来より高精度に検出することができるので、従来より高精度に虹彩認証を行うことができる。  With this configuration, the infrared-based eye position detection device of the present invention can detect the eye position with higher accuracy than in the past, and therefore can perform iris authentication with higher accuracy than in the past.

また、本発明の赤外線利用型目位置検出装置は、網膜認証を行う網膜認証手段と、前記網膜認証用の網膜の画像を記憶する網膜画像記憶手段とを備え、前記網膜認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の網膜の画像と、前記網膜画像記憶手段に記憶された前記網膜の画像とに基づいて、前記網膜認証を行う構成を有している。  The eye position detection device using infrared rays of the present invention includes retinal authentication means for performing retinal authentication, and retinal image storage means for storing an image of the retina for retinal authentication, wherein the retinal authentication means includes the face Based on the retina image of the eye in the face image acquired by the image acquisition means and the eye position detected by the eye position detection means, and the retina image stored in the retinal image storage means Thus, the retina authentication is performed.

この構成により、本発明の赤外線利用型目位置検出装置は、目の位置を従来より高精度に検出することができるので、従来より高精度に網膜認証を行うことができる。  With this configuration, the infrared-based eye position detection device of the present invention can detect the position of the eyes with higher accuracy than before, and therefore can perform retina authentication with higher accuracy than before.

また、本発明の赤外線利用型目位置検出装置は、前記顔画像取得手段によって取得された前記顔の画像のコントラストに基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段を備えた構成を有している。  In addition, the infrared-based eye position detection device of the present invention is an infrared irradiation amount adjustment unit that adjusts the amount of infrared irradiation by the infrared irradiation unit based on the contrast of the face image acquired by the face image acquisition unit. It has the composition provided with.

この構成により、本発明の赤外線利用型目位置検出装置は、赤外線の照射量を調整するので、より高精度に目の位置を検出することができる。  With this configuration, the infrared-based eye position detection device of the present invention adjusts the amount of infrared irradiation, so that the eye position can be detected with higher accuracy.

また、本発明の赤外線利用型目位置検出装置は、前記赤外線撮像手段の撮像環境の明暗を検出する明暗検出手段と、前記明暗検出手段による検出結果に基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段とを備えた構成を有している。  In addition, the infrared-based eye position detection device according to the present invention includes a light / dark detection unit that detects light and darkness of an imaging environment of the infrared imaging unit, and the infrared irradiation by the infrared irradiation unit based on a detection result by the light / dark detection unit. And an infrared irradiation amount adjusting means for adjusting the amount.

この構成により、本発明の赤外線利用型目位置検出装置は、赤外線の照射量を調整するので、より高精度に目の位置を検出することができる。  With this configuration, the infrared-based eye position detection device of the present invention adjusts the amount of infrared irradiation, so that the eye position can be detected with higher accuracy.

本発明は、画像処理の負荷を軽減しながら目の位置を従来より高精度に検出することができる赤外線利用型目位置検出装置を提供することができるものである。  The present invention can provide an infrared-based eye position detection device that can detect the eye position with higher accuracy than before while reducing the load of image processing.

以下、本発明の実施の形態について、図面を用いて説明する。  Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施の形態）
まず、本発明の第１の実施の形態に係る赤外線利用型目位置検出装置の構成について図１を用いて説明する。(First embodiment)
First, the configuration of the infrared-based eye position detection device according to the first embodiment of the present invention will be described with reference to FIG.

図１に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての目位置検出装置１０は、赤外線を照射する赤外線照射手段としての赤外線照射装置１１と、赤外線照射装置１１によって照射された赤外線の反射光を捉える赤外線撮像手段としての赤外線カメラ１２と、赤外線照射装置１１及び赤外線カメラ１２の動作を制御する制御装置２０と、目位置検出結果を報知する報知部１４とを備えている。  As shown in FIG. 1, an eye position detection device 10 as an infrared-based eye position detection device according to the present embodiment is irradiated by aninfrared irradiation device 11 as an infrared irradiation unit that irradiates infrared rays, and theinfrared irradiation device 11. Provided with aninfrared camera 12 as an infrared imaging means for capturing reflected infrared light, acontrol device 20 for controlling the operation of theinfrared irradiation device 11 and theinfrared camera 12, and aninforming unit 14 for informing the eye position detection result. Yes.

制御装置２０は、顔を赤外線カメラ１２によって撮像し、その撮像された顔の画像（以下「顔画像」という。）を取得する顔画像取得手段としての顔画像取得部２１と、顔画像取得部２１によって取得された顔画像中の輝度に基づいて顔画像中の目の位置を検出する目位置検出手段としての目位置検出部２２とを有している。なお、制御装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等によって構成された一般的なコンピュータである。  Thecontrol device 20 images a face with theinfrared camera 12 and a faceimage acquisition unit 21 as a face image acquisition unit that acquires an image of the captured face (hereinafter referred to as “face image”), and a face image acquisition unit. And an eyeposition detecting unit 22 as eye position detecting means for detecting the position of the eyes in the face image based on the luminance in the face image acquired by thecontrol unit 21. Thecontrol device 20 is a general computer configured with, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.

次に、目位置検出装置１０の動作について、図２を用いて説明する。  Next, the operation of the eye position detection device 10 will be described with reference to FIG.

まず制御装置２０は、対象者に向けて赤外線照射装置１１に赤外線を照射させ（Ｓ４１）、赤外線カメラ１２に対象者を撮像させる（Ｓ４２）。ここで、対象者の眼球の角膜や、角膜の前面の液体は、赤外線照射装置１１によって照射された赤外線を対象者の顔の構成の中で最も多量に反射する。したがって、赤外線カメラ１２によって撮像された画像中の顔画像においては、対象者の眼球の角膜や、角膜の前面の液体に対応する部分が撮像画像中、最も輝度が高くなる。  First, thecontrol device 20 causes theinfrared irradiation device 11 to emit infrared rays toward the subject (S41), and causes theinfrared camera 12 to image the subject (S42). Here, the cornea of the eyeball of the subject and the liquid on the front of the cornea reflect the infrared ray irradiated by theinfrared irradiation device 11 in the largest amount in the configuration of the subject's face. Therefore, in the face image in the image captured by theinfrared camera 12, the luminance of the cornea of the subject's eyeball and the portion corresponding to the liquid in front of the cornea is highest in the captured image.

そして、制御装置２０は、赤外線カメラ１２によって撮像された画像から顔画像を顔画像取得部２１によって取得して（Ｓ４３）、顔画像取得部２１によって取得された顔画像中の輝度に基づいて顔画像中の目の位置を目位置検出部２２によって検出する（Ｓ４４）。即ち、目位置検出部２２は、顔画像取得部２１によって取得された顔画像にイコライズ処理を行い、イコライズ処理を行った顔画像中の最も輝度が高い２点について２点の間隔や２点を通る直線と水平線との角度（図３参照。）が規定範囲内であるかを検証し、規定範囲内であると検証したとき、顔画像中の最も輝度が高い２点の位置を、目の位置として検出する。  Then, thecontrol device 20 acquires a face image from the image captured by theinfrared camera 12 by the face image acquisition unit 21 (S43), and based on the brightness in the face image acquired by the faceimage acquisition unit 21 The eye position in the image is detected by the eye position detector 22 (S44). That is, the eyeposition detection unit 22 performs an equalization process on the face image acquired by the faceimage acquisition unit 21, and sets an interval of two points or two points for two points with the highest luminance in the face image subjected to the equalization process. When the angle between the straight line passing through and the horizontal line (see FIG. 3) is verified to be within the specified range, and verified to be within the specified range, the positions of the two points with the highest luminance in the face image are Detect as position.

次いで、制御装置２０は、目位置検出部２２によって目の位置が検出できたか否かを判別し（Ｓ４５）、目位置検出部２２によって目の位置が検出できなかったとＳ４５において判断すると、目の位置が検出できなかったことを報知部１４によって利用者に報知する（Ｓ４６）。例えば、運転者の両目の目位置が一定時間検出できないと、片目又は両目を開けていないか、又は横を向いていると判断し、『居眠り注意』等の注意音声を出力する。  Next, thecontrol device 20 determines whether or not the eye position can be detected by the eye position detection unit 22 (S45), and determines that the eye position cannot be detected by the eyeposition detection unit 22 in S45. Thenotification unit 14 notifies the user that the position could not be detected (S46). For example, if the eyes position of both eyes of the driver cannot be detected for a certain period of time, it is determined that one eye or both eyes are not opened or facing sideways, and a caution sound such as “attention to doze” is output.

以上に説明したように、目位置検出装置１０は、自身が照射した赤外線の反射光に基づいて目の位置を検出するので、顔画像における目の画像が従来より明確になり、目の位置を従来より高精度に検出することができる。また、目位置検出装置１０は、顔画像における目の画像が従来より明確になるので、目の位置を検出するときの画像処理負荷を簡易にすることができる。また、目位置検出装置１０は、可視光ではなく赤外線を利用して目の位置を検出するようになっているので、夜間であっても目の位置を高精度に検出することができる。  As described above, the eye position detection device 10 detects the position of the eye based on the reflected infrared light emitted by the eye, so the eye image in the face image becomes clearer than before, and the eye position is determined. It can be detected with higher accuracy than before. Further, the eye position detection device 10 can simplify the image processing load when detecting the eye position since the eye image in the face image becomes clearer than before. Moreover, since the eye position detection apparatus 10 detects an eye position using infrared rays instead of visible light, the eye position can be detected with high accuracy even at night.

（第２の実施の形態）
まず、本発明の第２の実施の形態に係る赤外線利用型目位置検出装置の構成について図４を用いて説明する。(Second Embodiment)
First, the configuration of an infrared-based eye position detection device according to a second embodiment of the present invention will be described with reference to FIG.

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第１の実施の形態に係る目位置検出装置１０（図１参照。）の構成と同様な構成については、目位置検出装置１０の構成と同一の符号を付して説明する。  Of the configurations of the infrared-based eye position detection device according to the present embodiment, the same configuration as the configuration of the eye position detection device 10 (see FIG. 1) according to the first embodiment will be described. The description will be made with the same reference numerals as those of the detection device 10.

図４に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての認証装置６０の構成は、制御装置７０を制御装置２０（図１参照。）に代えて備えた目位置検出装置１０が、エンジン始動制御を行うエンジン始動装置１５を更に備えた構成と同様である。  As shown in FIG. 4, the configuration of the authentication device 60 serving as an infrared-based eye position detection device according to the present embodiment includes eye position detection in which acontrol device 70 is provided instead of the control device 20 (see FIG. 1). The apparatus 10 is the same as the structure further provided with theengine starting apparatus 15 which performs engine starting control.

また、制御装置７０の構成は、顔認証を行う顔認証手段としての認証部７１と、顔認証用の顔画像を記憶する顔画像記憶手段としての画像記憶部７２と、画像記憶部７２への顔画像の登録や画像記憶部７２からの顔画像の削除を行う登録削除部７３とを制御装置２０が備えた構成と同様である。  The configuration of thecontrol device 70 includes anauthentication unit 71 as a face authentication unit that performs face authentication, animage storage unit 72 as a face image storage unit that stores a face image for face authentication, and animage storage unit 72. This is the same as the configuration in which thecontrol device 20 includes a registration /deletion unit 73 that registers a face image and deletes a face image from theimage storage unit 72.

なお、認証部７１は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、画像記憶部７２に記憶されている顔画像とに基づいて、顔認証を行うようになっている。  Theauthentication unit 71 performs face authentication based on the face image acquired by the faceimage acquisition unit 21 and the eye position detected by the eyeposition detection unit 22, and the face image stored in theimage storage unit 72. Is supposed to do.

次に、認証装置６０の動作について図５を用いて説明する。  Next, operation | movement of the authentication apparatus 60 is demonstrated using FIG.

なお、認証装置６０の動作のうち、目位置検出装置１０の動作と同様な動作については、目位置検出装置１０の動作と同一の符号を付して説明を省略する。  Of the operations of the authentication device 60, the same operations as those of the eye position detection device 10 are denoted by the same reference numerals as those of the eye position detection device 10, and description thereof is omitted.

図５に示すように、制御装置７０は、目位置検出部２２によって目の位置が検出できたとＳ４５において判断すると、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、画像記憶部７２に記憶された顔画像とに基づいて、目位置を中心に正規化し認証部７１によって顔認証を行う（Ｓ９１）。認証がＯＫになると、制御装置７０は、エンジン始動装置１５に、エンジン始動要求を出力し、エンジン始動をし（Ｓ９２）、認証結果がＯＫであったこととエンジン始動を開始したことを報知部１４を通して運転者に報知する（Ｓ９３）。  As shown in FIG. 5, when thecontrol device 70 determines in S45 that the eye position can be detected by the eyeposition detection unit 22, the eyeposition detection unit 22 detects the eye position acquired by the faceimage acquisition unit 21. Based on the face image stored in theimage storage unit 72 and the face image stored in theimage storage unit 72, theauthentication unit 71 normalizes the eye position and performs face authentication (S91). When the authentication is OK, thecontrol device 70 outputs an engine start request to theengine start device 15 to start the engine (S92), and notifies that the authentication result is OK and the engine start has started. 14 is notified to the driver (S93).

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ９４）、目位置が検出できる様、正面に向くことを促す。  On the other hand, if the eye position cannot be detected in S45, the driver is notified through thenotification unit 14 that the eye position cannot be detected (S94), and the driver is prompted to face the front so that the eye position can be detected.

一方、Ｓ９１で、顔認証ＮＧの場合は、顔認証ＮＧであった事とエンジン始動ができなかった事を報知部１４を通して運転者に報知し（Ｓ９５）、顔認証開始が認証開始ＳＷ押下による物であれば、それを押下する等、再度顔認証を開始する様、促す。  On the other hand, in the case of face authentication NG in S91, the driver is notified through thenotification unit 14 that the face authentication is NG and the engine could not be started (S95), and the start of face authentication is due to pressing of the authentication start SW. If it is an object, the user is prompted to start face authentication again, such as pressing it.

以上に説明したように、認証装置６０は、目位置検出装置１０と同様に目の位置を従来より高精度に検出することができるので、画像処理の負荷を増すことなく従来より高精度に顔認証を行うことができる。  As described above, since the authentication device 60 can detect the position of the eyes with higher accuracy than in the past, as with the eye position detection device 10, the face with higher accuracy than in the past without increasing the load of image processing. Authentication can be performed.

なお、認証装置６０は、顔認証を行うようになっているが、虹彩認証用の虹彩の画像を記憶する虹彩画像記憶手段として画像記憶部７２を機能させ、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像中の目の虹彩の画像と、画像記憶部７２に記憶された虹彩の画像とに基づいて、虹彩認証を行う虹彩認証手段として認証部７１を機能させることによって、従来より高精度に虹彩認証を行うことができる。  The authentication device 60 is adapted to perform face authentication, but causes theimage storage unit 72 to function as an iris image storage unit that stores an iris image for iris authentication, and is acquired by the faceimage acquisition unit 21. Anauthentication unit 71 serving as iris authentication means for performing iris authentication based on the iris image in the face image in which the eye position is detected by theposition detection unit 22 and the iris image stored in theimage storage unit 72. By making this function, iris authentication can be performed with higher accuracy than before.

また、認証装置６０は、網膜認証用の網膜の画像を記憶する網膜画像記憶手段として画像記憶部７２を機能させ、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像中の目の網膜の画像と、画像記憶部７２に記憶された網膜の画像とに基づいて、網膜認証を行う網膜認証手段として認証部７１を機能させることによって、従来より高精度に網膜認証を行うことができる。  The authentication device 60 also causes theimage storage unit 72 to function as a retinal image storage unit that stores a retina image for retinal authentication, and is acquired by the faceimage acquisition unit 21 and an eye position is detected by the eyeposition detection unit 22. By causing theauthentication unit 71 to function as a retinal authentication unit that performs retinal authentication based on the retina image of the eye in the face image and the retina image stored in theimage storage unit 72, it is more accurate than before. Retina authentication can be performed.

（第３の実施の形態）
まず、本発明の第３の実施の形態に係る赤外線利用型目位置検出装置の構成について図６を用いて説明する。(Third embodiment)
First, the configuration of an infrared-based eye position detection device according to a third embodiment of the present invention will be described with reference to FIG.

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第２の実施の形態に係る認証装置６０（図４参照。）の構成と同様な構成については、認証装置６０の構成と同一の符号を付して説明する。  Of the configuration of the infrared-based eye position detection device according to the present embodiment, the same configuration as that of the authentication device 60 (see FIG. 4) according to the second embodiment is the same as that of the authentication device 60. Description will be made with the same reference numerals as the configuration.

図６に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての認証装置１１０の構成は、シフトロック解除制御を行う機能を有したシフトロック解除部１６と、制御装置１２０とを、エンジン始動装置１５（図４参照。）及び制御装置７０（図４参照。）に代えて認証装置６０が備えた構成と同様である。  As shown in FIG. 6, the configuration of the authentication device 110 as the infrared eye type eye position detection device according to the present embodiment includes a shiftlock release unit 16 having a function of performing shift lock release control, acontrol device 120, and Is similar to the configuration provided in the authentication device 60 in place of the engine starting device 15 (see FIG. 4) and the control device 70 (see FIG. 4).

また、制御装置１２０の構成は、顔認証を行う顔認証手段としての認証部１２１と、正面向き、上向き、下向き、左向き、右向き等の複数の向きの顔画像を顔認証用の顔画像として記憶する顔画像記憶手段としての画像記憶部１２２と、顔画像取得部２１によって取得された顔画像における顔の向きを目位置検出部２２によって検出された目の位置に基づいて推定する顔向推定手段としての顔向推定部１２３と、画像記憶部１２２に記憶された複数の顔画像から１つの顔画像を顔向推定部１２３によって推定された顔の向きに基づいて選択する顔画像選択手段としての顔画像選択部１２４とを、認証部７１（図４参照。）及び画像記憶部７２（図４参照。）に代えて制御装置７０が備えた構成と同様である。  In addition, the configuration of thecontrol device 120 stores anauthentication unit 121 as a face authentication unit for performing face authentication, and face images in a plurality of orientations such as front-facing, upward, downward, left-facing, and right-facing as face images for face authentication. Animage storage unit 122 serving as a face image storage unit, and a face direction estimation unit that estimates the face orientation in the face image acquired by the faceimage acquisition unit 21 based on the eye position detected by the eyeposition detection unit 22 As a face image selection unit that selects one face image from a plurality of face images stored in theimage storage unit 122 based on the face direction estimated by the facedirection estimation unit 123. The faceimage selection unit 124 has the same configuration as that of thecontrol device 70 instead of the authentication unit 71 (see FIG. 4) and the image storage unit 72 (see FIG. 4).

また、認証部１２１は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１２４によって選択された顔画像とに基づいて、顔認証を行うようになっている。  Theauthentication unit 121 also performs face authentication based on the face image acquired by the faceimage acquisition unit 21 and the eye position detected by the eyeposition detection unit 22 and the face image selected by the faceimage selection unit 124. Is supposed to do.

次に、認証装置１１０の動作について、図７を用いて説明する。  Next, operation | movement of the authentication apparatus 110 is demonstrated using FIG.

なお、認証装置１１０の動作のうち、認証装置６０の動作と同様な動作については、認証装置６０の動作と同一の符号を付して説明を省略する。  Of the operations of the authentication device 110, operations similar to those of the authentication device 60 are denoted by the same reference numerals as those of the authentication device 60, and description thereof is omitted.

図７に示すように、制御装置１２０は、目位置検出部２２によって目の位置が検出できたとＳ４５において判断すると、顔画像取得部２１によって取得された顔画像における顔の向きを目位置検出部２２によって検出された目の位置に基づいて顔向推定部１２３によって推定する（Ｓ１４１）。例えば、正面時、顔輪郭に対する両目位置は、左右対称であるが、右向き時は、両目位置が右側に偏る（図８参照。）。  As shown in FIG. 7, when thecontrol device 120 determines in S45 that the eye position can be detected by the eyeposition detection unit 22, the face position in the face image acquired by the faceimage acquisition unit 21 is determined as the eye position detection unit. Based on the position of the eyes detected by theface 22, the facedirection estimation unit 123 estimates the position (S141). For example, the positions of both eyes with respect to the face contour are symmetrical when viewed from the front, but the positions of both eyes are biased to the right when facing right (see FIG. 8).

次いで、制御装置１２０は、画像記憶部１２２に記憶された複数の顔画像から、顔の向きが顔向推定部１２３によって推定された顔の向きに最も近い顔画像を、顔画像選択部１２４によって選択する（Ｓ１４２）。  Next, thecontrol device 120 uses the faceimage selection unit 124 to select a face image whose face direction is closest to the face direction estimated by the facedirection estimation unit 123 from the plurality of face images stored in theimage storage unit 122. Select (S142).

そして、制御装置１２０は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１２４によって選択された顔画像とに基づいて、認証部１２１によって顔認証を行う（Ｓ１４３）。顔認証結果がＯＫであれば、シフトロック解除部１６にシフトロック解除命令を出力しシフトロックを解除する（Ｓ１４４）。そして、報知部１４を通してシフトロックを解除したことを運転者に報知する（Ｓ１４５）。  Then, based on the face image acquired by the faceimage acquisition unit 21 and the eye position detected by the eyeposition detection unit 22 and the face image selected by the faceimage selection unit 124, thecontrol device 120 authenticates the authentication unit. Face authentication is performed by 121 (S143). If the face authentication result is OK, a shift lock release command is output to the shiftlock release unit 16 to release the shift lock (S144). Then, the driver is informed through thenotification unit 14 that the shift lock has been released (S145).

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ１４６）、目位置が検出できる様、正面に向くことを促す。  On the other hand, if the eye position cannot be detected in S45, the driver is notified through thenotification unit 14 that the eye position cannot be detected (S146), and the driver is prompted to face the front so that the eye position can be detected.

一方、Ｓ１４３で、顔認証ＮＧの場合は、顔認証ＮＧであった事とシフトロックが解除ができなかった事を報知部１４を通して運転者に報知し（Ｓ１４７）、顔認証開始が認証開始ＳＷ押下による物であれば、それを押下する等、再度顔認証を開始する様、促す。  On the other hand, in the case of face authentication NG in S143, the driver is notified through thenotification unit 14 that the face authentication is NG and the shift lock cannot be released (S147), and the face authentication start is the authentication start SW. If the object is pressed, the user is prompted to start face authentication again, such as pressing it.

例えば、制御装置１２０は、顔画像取得部２１によって取得された顔画像における顔の向きを顔向推定部１２３によって上向きと推定すると、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、画像記憶部１２２に記憶された複数の顔画像のうち顔の向きが上向きである顔画像とに基づいて、認証部１２１によって顔認証を行う。  For example, when the face orientation in the face image acquired by the faceimage acquisition unit 21 is estimated to be upward by the facedirection estimation unit 123, thecontrol device 120 acquires the eye image by the faceimage acquisition unit 21 and the eyeposition detection unit 22. Face authentication is performed by theauthentication unit 121 based on the face image whose position has been detected and the face image with the face facing upward among the plurality of face images stored in theimage storage unit 122.

以上に説明したように、認証装置１１０は、予め記憶している顔画像のうち実際の顔の向きに近い向きの顔画像に基づいて顔認証を行うことができるので、画像処理の負荷を増すことなくより確実に顔認証を行うことができる。  As described above, the authentication device 110 can perform face authentication based on a face image in a direction close to the actual face direction among the face images stored in advance, thereby increasing the load of image processing. Face authentication can be performed more reliably without any problem.

（第４の実施の形態）
まず、本発明の第４の実施の形態に係る赤外線利用型目位置検出装置の構成について図９を用いて説明する。(Fourth embodiment)
First, the configuration of an infrared-based eye position detection device according to the fourth embodiment of the present invention will be described with reference to FIG.

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第３の実施の形態に係る認証装置１１０（図６参照。）の構成と同様な構成については、認証装置１１０の構成と同一の符号を付して説明する。  Of the configuration of the infrared-based eye position detection device according to the present embodiment, the configuration similar to that of the authentication device 110 (see FIG. 6) according to the third embodiment is the same as that of the authentication device 110. Description will be made with the same reference numerals as the configuration.

図９に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての顔向検出装置１６０の構成は、ヘッドライト向きを制御する機能を有するヘッドライト向制御部１７と、制御装置１７０とを、シフトロック解除部１６（図６参照。）及び制御装置１２０（図６参照。）に代えて認証装置１１０が備えた構成と同様である。  As shown in FIG. 9, the configuration of the face direction detection device 160 as the infrared-based eye position detection device according to the present embodiment includes a headlightdirection control unit 17 having a function of controlling the headlight direction, and a control device. 170 is the same as the configuration provided in the authentication device 110 in place of the shift lock release unit 16 (see FIG. 6) and the control device 120 (see FIG. 6).

また、制御装置１７０の構成は、顔認証を行う顔認証手段としての認証部１７１と、画像記憶部１２２に記憶された複数の顔画像から２つ以上の顔画像を顔向推定部１２３によって推定された顔の向きに基づいて選択する顔画像選択手段としての顔画像選択部１７２と、顔画像取得部２１によって取得された顔画像における顔の向きを確定する顔向確定手段としての顔向確定部１７３とを、認証部１２１（図６参照。）及び顔画像選択部１２４（図６参照。）に代えて制御装置１２０が備えた構成と同様である。  The configuration of thecontrol device 170 includes anauthentication unit 171 as a face authentication unit that performs face authentication, and a facedirection estimation unit 123 that estimates two or more face images from a plurality of face images stored in theimage storage unit 122. A faceimage selection unit 172 as a face image selection unit for selecting based on the face orientation and a face direction determination unit as a face direction determination unit for determining the face direction in the face image acquired by the faceimage acquisition unit 21. Theunit 173 is the same as the configuration provided in thecontrol device 120 in place of the authentication unit 121 (see FIG. 6) and the face image selection unit 124 (see FIG. 6).

また、認証部１７１は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１７２によって選択された顔画像とに基づいて、顔画像選択部１７２によって選択された顔画像毎に顔認証を行うようになっている。  Further, theauthentication unit 171 is based on the face image acquired by the faceimage acquisition unit 21 and the eye position detected by the eyeposition detection unit 22 and the face image selected by the faceimage selection unit 172. Face authentication is performed for each face image selected by theselection unit 172.

また、顔向確定部１７３は、顔画像選択部１７２によって選択された顔画像毎の認証部１７１による顔認証の結果に基づいて、顔画像取得部２１によって取得された顔画像における顔の向きを確定するようになっている。  Further, the faceorientation determination unit 173 determines the face orientation in the face image acquired by the faceimage acquisition unit 21 based on the result of face authentication by theauthentication unit 171 for each face image selected by the faceimage selection unit 172. It is to be confirmed.

次に、顔向検出装置１６０の動作について図１０を用いて説明する。  Next, the operation of the face direction detection device 160 will be described with reference to FIG.

なお、顔向検出装置１６０の動作のうち、認証装置１１０の動作と同様な動作については、認証装置１１０の動作と同一の符号を付して説明を省略する。  Of the operations of the face direction detection device 160, operations similar to those of the authentication device 110 are denoted by the same reference numerals as those of the authentication device 110, and description thereof is omitted.

図１０に示すように、制御装置１７０は、顔画像取得部２１によって取得された顔画像における顔の向きをＳ１４１において推定すると、画像記憶部１２２に記憶された複数の顔画像から、顔の向きが顔向推定部１２３によって推定された顔の向きに近い２方向以上の顔画像を、顔画像選択部１７２によって選択する（Ｓ１９１）。  As illustrated in FIG. 10, when estimating the face orientation in the face image acquired by the faceimage acquisition unit 21 in S141, thecontrol device 170 determines the face orientation from a plurality of face images stored in theimage storage unit 122. The faceimage selection unit 172 selects face images in two or more directions close to the face direction estimated by the face direction estimation unit 123 (S191).

次いで、制御装置１７０は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１７２によって選択された顔画像とに基づいて、顔画像選択部１７２によって選択された顔画像毎に認証部１７１によって顔認証を行う（Ｓ１９２）。例えば、上向きの顔画像と、正面向きの顔画像とが顔画像選択部１７２によって選択された場合、制御装置１７０は、上向きの顔画像に基づいた顔認証と、正面向きの顔画像に基づいた顔認証とを認証部１７１によって行う。  Next, thecontrol device 170 determines the face image based on the face image acquired by the faceimage acquisition unit 21 and the eye position detected by the eyeposition detection unit 22, and the face image selected by the faceimage selection unit 172. Face authentication is performed by theauthentication unit 171 for each face image selected by the selection unit 172 (S192). For example, when an upward face image and a front face image are selected by the faceimage selection unit 172, thecontrol device 170 performs face authentication based on the upward face image and the front face image. Face authentication is performed by theauthentication unit 171.

そして、制御装置１７０は、顔画像選択部１７２によって選択された顔画像毎の認証部１７１による顔認証の結果に基づいて、顔画像取得部２１によって取得された顔画像における顔の向きを顔向確定部１７３によって確定する（Ｓ１９３）。例えば、上向きの顔画像に基づいた顔認証と、正面向きの顔画像に基づいた顔認証とが認証部１７１によって行われ、上向きの顔画像に基づいた顔認証の結果が正面向きの顔画像に基づいた顔認証の結果と比較して良好である場合、顔向確定部１７３は、顔画像取得部２１によって取得された顔画像における顔の向きを上向きと確定する。顔向きを確定すると、ヘッドライト向制御部１７に、現在の顔向き情報を出力し、ヘッドライトの向きを顔向きと合うように動かす（Ｓ１９４）。そして、ヘッドライト向制御可能状態に入った事を運転者に報知する（Ｓ１９５）。これにより、夜間、カーブ先路面状況等の情報が顔向きによりいち早く入手できる。  Then, thecontrol device 170 determines the face orientation in the face image acquired by the faceimage acquisition unit 21 based on the result of face authentication by theauthentication unit 171 for each face image selected by the faceimage selection unit 172. It is confirmed by the confirmation unit 173 (S193). For example, face authentication based on an upward face image and face authentication based on a front face image are performed by theauthentication unit 171, and the result of face authentication based on the upward face image is converted to a front face image. When it is better than the result of the face authentication based on the face authentication, the faceorientation determination unit 173 determines the face orientation in the face image acquired by the faceimage acquisition unit 21 as upward. When the face orientation is determined, the current face orientation information is output to theheadlight orientation controller 17, and the headlight orientation is moved to match the face orientation (S194). Then, the driver is notified that the headlight direction control enabled state has been entered (S195). As a result, information such as the road surface condition at a curve at night can be obtained more quickly in the face direction.

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ１９６）、目位置が検出できる様、正面方向に向くことを促す。  On the other hand, if the eye position cannot be detected in S45, the driver is notified through thenotification unit 14 that the eye position cannot be detected (S196), and the driver is prompted to face the front so that the eye position can be detected. .

一方、Ｓ１９３で、顔向き確定ＮＧの場合は、顔向き確定ＮＧであった事とヘッドライト向制御に入らなかった事を報知部１４を通して運転者に報知し（Ｓ１９７）、顔向き検出開始が検出開始ＳＷ押下による物であれば、それを押下する等、再度顔検出を開始する様、促す。  On the other hand, in the case of the face orientation determination NG in S193, the driver is notified through thenotification section 14 that the face orientation determination NG and headlight direction control has not been entered (S197), and the face orientation detection start is started. If the detection start SW is pressed, the user is prompted to start face detection again, such as pressing it.

以上に説明したように、顔向検出装置１６０は、予め顔向角度も登録した複数の顔認証の結果に基づいて顔認証の対象者の顔の向きを確定するので、複数登録画像と認識をすればするほど、赤外線カメラ１２によって撮像された対象者の顔の向きを高精度に確定することができる。  As described above, the face orientation detection device 160 determines the face orientation of the person to be face-authenticated based on the results of face recognition in which face orientation angles are registered in advance. The more it is done, the more accurately the orientation of the face of the subject imaged by theinfrared camera 12 can be determined.

（第５の実施の形態）
まず、本発明の第５の実施の形態に係る赤外線利用型目位置検出装置の構成について図１１を用いて説明する。(Fifth embodiment)
First, the configuration of an infrared-based eye position detection device according to a fifth embodiment of the present invention will be described with reference to FIG.

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第４の実施の形態に係る顔向検出装置１６０（図９参照。）の構成と同様な構成については、顔向検出装置１６０の構成と同一の符号を付して説明する。  Note that, in the configuration of the infrared eye type eye position detection device according to the present embodiment, the same configuration as the configuration of the face direction detection device 160 (see FIG. 9) according to the fourth embodiment is used. A description will be given with the same reference numerals as the configuration of the detection device 160.

図１１に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての脇見運転検出装置２１０の構成は、車両速度を減速する機能を備えた減速制御部１８と、制御装置２２０とを、ヘッドライト向制御部１７（図９参照。）及び制御装置１７０（図９参照。）に代えて顔向検出装置１６０が備えた構成と同様である。なお、脇見運転検出装置２１０は、車両の運転者の顔が赤外線カメラ１２によって撮像されるように車両に搭載されている。  As shown in FIG. 11, the configuration of the armpit driving detection device 210 as the infrared eye type eye position detection device according to the present embodiment includes adeceleration control unit 18 having a function of reducing the vehicle speed, acontrol device 220, Is the same as the configuration provided in the face direction detection device 160 instead of the headlight direction control unit 17 (see FIG. 9) and the control device 170 (see FIG. 9). The armpit driving detection device 210 is mounted on the vehicle so that the face of the driver of the vehicle is imaged by theinfrared camera 12.

また、制御装置２２０の構成は、顔向確定部１７３によって確定された顔の向きに基づいて運転者の脇見運転を判定する脇見運転判定手段としての脇見運転判定部２２１を制御装置１７０が備えた構成と同様である。  In addition, the configuration of thecontrol device 220 includes thecontrol device 170 including an armpit driving determination unit 221 as an armpit driving determination unit that determines the driver's armpit driving based on the face orientation determined by the facedirection determination unit 173. The configuration is the same.

次に、脇見運転検出装置２１０の動作について図１２を用いて説明する。  Next, the operation of the armpit driving detection device 210 will be described with reference to FIG.

なお、脇見運転検出装置２１０の動作のうち、顔向検出装置１６０の動作と同様な動作については、顔向検出装置１６０の動作と同一の符号を付して説明を省略する。  Of the operations of the armpit driving detection device 210, operations similar to those of the face direction detection device 160 are denoted by the same reference numerals as those of the face direction detection device 160, and description thereof is omitted.

図１２に示すように、制御装置２２０は、赤外線カメラ１２によって撮像された対象者の顔の向きをＳ１９３において確定すると、顔向確定部１７３によって確定した対象者の顔の向きが正面向き以外の向きであることが一定時間以上連続したか否かを脇見運転判定部２２１によって判断する（Ｓ２４１）。  As illustrated in FIG. 12, when thecontrol device 220 determines the orientation of the subject's face captured by theinfrared camera 12 in S193, the orientation of the subject's face determined by the faceorientation determination unit 173 is other than the front orientation. Whether or not the orientation is continued for a certain time or more is determined by the armpit driving determination unit 221 (S241).

そして、制御装置２２０は、顔向確定部１７３によって確定した対象者の顔の向きが正面向き以外の向きであることが一定時間以上（交通環境にもよるが、例えば、高速走行時は２秒間）連続したと脇見運転判定部２２１によってＳ２４１において判断すると、運転者の脇見運転であると脇見運転判定部２２１によって判定し（Ｓ２４２）、減速制御部１８に減速命令を出力し車両の速度を減速する（Ｓ２４３）。そして、報知部１４を用いて、脇見をしている事と減速している事を運転者に報知する（Ｓ２４４）。  Thecontrol device 220 determines that the orientation of the subject's face determined by the faceorientation determination unit 173 is a direction other than the front direction for a certain period of time or longer (for example, 2 seconds during high-speed traveling, depending on the traffic environment). ) When it is determined in S241 that the driver is looking aside, the driver determines that the driver is looking aside (S242), and outputs a deceleration command to thedeceleration controller 18 to reduce the vehicle speed. (S243). And the driver | operator is alert | reported using the alerting | reportingpart 14 that he is looking aside and decelerating (S244).

一方、制御装置２２０は、顔向確定部１７３によって確定した対象者の顔の向きが正面向き以外の向きであることが一定時間以上連続していないと脇見運転判定部２２１によってＳ２４１において判断すると、再びＳ４１の処理を実行する。  On the other hand, when thecontrol device 220 determines in S241 that the face direction determination unit 221 determines that the orientation of the face of the subject determined by the facedirection determination unit 173 is not a direction other than the front direction for a predetermined time or longer, in S241, The process of S41 is executed again.

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ２４５）、目位置が検出できる様、正面を向くことを促す。  On the other hand, if the eye position cannot be detected in S45, the driver is notified through thenotification unit 14 that the eye position cannot be detected (S245), and the driver is prompted to face the front so that the eye position can be detected.

以上に説明したように、脇見運転検出装置２１０は、運転者が脇見運転を行っているか否かを判定することができる。  As described above, the armpit driving detection device 210 can determine whether or not the driver is performing the armpit driving.

（第６の実施の形態）
まず、本発明の第６の実施の形態に係る赤外線利用型目位置検出装置の構成を図１３に示し、説明する。(Sixth embodiment)
First, the configuration of an infrared utilizing eye position detection apparatus according to the sixth embodiment of the present invention will be described with reference to FIG.

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第１の実施の形態に係る目位置検出装置１０（図１参照。）の構成と同様な構成については、目位置検出装置１０の構成と同一の符号を付して説明する。  Of the configurations of the infrared-based eye position detection device according to the present embodiment, the same configuration as the configuration of the eye position detection device 10 (see FIG. 1) according to the first embodiment will be described. The description will be made with the same reference numerals as those of the detection device 10.

図１３に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての目位置検出装置２６０の構成は、制御装置２７０を制御装置２０（図１参照。）に代えて備えた目位置検出装置１０が、運転者の疲労度を検知する疲労検知部１９を更に備えた構成と同様である。  As shown in FIG. 13, the configuration of the eye position detection device 260 as the infrared-based eye position detection device according to the present embodiment includes acontrol device 270 instead of the control device 20 (see FIG. 1). The position detection apparatus 10 is the same as the structure further provided with thefatigue detection part 19 which detects a driver | operator's fatigue degree.

また、制御装置２７０の構成は、目位置検出部２２の検出結果に基づいて赤外線照射装置１１による赤外線の照射量を調整する赤外線照射量調整手段としての赤外線照射量調整部２７２を制御装置２０が備えた構成と同様である。  Further, the configuration of thecontrol device 270 is such that thecontrol device 20 includes an infrared irradiationamount adjustment unit 272 as an infrared irradiation amount adjustment unit that adjusts the infrared irradiation amount by theinfrared irradiation device 11 based on the detection result of the eyeposition detection unit 22. The configuration is the same as that provided.

次に、図１４により、目位置検出装置２６０の動作について説明する。  Next, the operation of the eye position detection device 260 will be described with reference to FIG.

なお、目位置検出装置２６０の動作のうち、目位置検出装置１０の動作と同様な動作については、目位置検出装置１０の動作と同一の符号を付して説明を省略する。  Of the operations of the eye position detection device 260, operations similar to the operations of the eye position detection device 10 are denoted by the same reference numerals as those of the eye position detection device 10, and description thereof is omitted.

図１４に示すように、制御装置２７０は、目位置検出部の検出結果に基づいて赤外線照射装置１１による赤外線の照射量を赤外線照射量調整部２７２に調整させる。即ち、取得顔画像中、最高輝度部２点を検出しその位置関係が、目位置テンプレート（顔の輪郭に対する両目の位置関係と制限したもの）に入るか確認し、入れば目位置検出ＯＫ、入らなければ、目位置検出ＮＧとする（Ｓ４５）。Ｓ４５で目位置検出ＮＧとなると、赤外線の照射量設定値を前回照射値よりあげて（Ｓ２９２）、再度、赤外線を照射し（Ｓ４１）、再度、赤外線カメラ１２により対象者を撮像させる（Ｓ４２）。  As illustrated in FIG. 14, thecontrol device 270 causes the infrared irradiationamount adjustment unit 272 to adjust the infrared irradiation amount by theinfrared irradiation device 11 based on the detection result of the eye position detection unit. That is, in the acquired face image, two points with the highest luminance are detected and it is confirmed whether the positional relationship falls within the eye position template (restricted with the positional relationship of both eyes with respect to the face outline). If not, eye position detection NG is set (S45). When the eye position detection is NG in S45, the infrared irradiation amount setting value is increased from the previous irradiation value (S292), the infrared light is irradiated again (S41), and the subject is imaged again by the infrared camera 12 (S42). .

一方、Ｓ４５において目位置検出ができた場合は、常に、目位置情報を疲労検知部１９に出力する。疲労検知部１９では、両目位置の変化を記録し（Ｓ２９４）、時間に対する変化率が大幅に低下すると、疲労による運動反射の低下と判断し（Ｓ２９５）、報知部１４を通して、疲労している事と休息の促進を運転者に報知する（Ｓ２９６）。  On the other hand, when the eye position can be detected in S45, the eye position information is always output to thefatigue detection unit 19. Thefatigue detection unit 19 records the change in the position of both eyes (S294), and when the rate of change with respect to time decreases significantly, it is determined that the movement reflex is reduced due to fatigue (S295), and the fatigue is detected through thenotification unit 14. The driver is informed of the promotion of rest (S296).

一方、Ｓ２９５において、疲労と判断されなかった場合は、Ｓ４１にもどり疲労判定制御を続ける。  On the other hand, if it is not determined as fatigue in S295, the process returns to S41 and the fatigue determination control is continued.

以上に説明したように、目位置検出装置２６０は、赤外線の照射量を調整するので、目位置検出装置１０と比較して、より高精度に確実に目の位置を検出することができる。  As described above, since the eye position detection device 260 adjusts the amount of infrared irradiation, the eye position detection device 260 can reliably detect the eye position with higher accuracy than the eye position detection device 10.

（第７の実施の形態）
まず、本発明の第７の実施の形態に係る赤外線利用型目位置検出装置の構成について図１５に示し説明する。(Seventh embodiment)
First, the configuration of an infrared utilizing eye position detection apparatus according to a seventh embodiment of the present invention will be described with reference to FIG.

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第１の実施の形態に係る目位置検出装置１０（図１参照。）の構成と同様な構成については、目位置検出装置１０の構成と同一の符号を付して説明する。  Of the configurations of the infrared-based eye position detection device according to the present embodiment, the same configuration as the configuration of the eye position detection device 10 (see FIG. 1) according to the first embodiment will be described. The description will be made with the same reference numerals as those of the detection device 10.

図１５に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての目位置検出装置２８０の構成は、制御装置２９０を制御装置２０（図１参照。）に代え、撮像環境の明暗を検出する明暗検出手段としての明暗センサ１３を更に備え、さらにハンドル位置を動かすハンドル位置制御部３１を備えた目位置検出装置１０の構成と同様である。  As shown in FIG. 15, the configuration of the eye position detection device 280 as the infrared-based eye position detection device according to the present embodiment is obtained by replacing thecontrol device 290 with the control device 20 (see FIG. 1). The eye position detection apparatus 10 further includes a light /dark sensor 13 as light / dark detection means for detecting light / dark, and further includes a handleposition control unit 31 for moving the handle position.

また、制御装置２９０の構成は、明暗センサ１３による明暗検出結果に基づいて赤外線照射装置１１による赤外線の照射量を調整する赤外線照射量調整手段としての赤外線照射量調整部２９１とを制御装置２０が備えた構成と同様である。  In addition, thecontrol device 290 is configured such that thecontrol device 20 includes an infrared irradiationamount adjusting unit 291 as an infrared irradiation amount adjusting unit that adjusts the infrared irradiation amount by theinfrared irradiation device 11 based on the brightness detection result by the light /dark sensor 13. The configuration is the same as that provided.

次に、目位置検出装置２８０の動作について図１６を用いて説明する。  Next, the operation of the eye position detection device 280 will be described with reference to FIG.

なお、目位置検出装置２８０の動作のうち、目位置検出装置１０の動作と同様な動作については、目位置検出装置１０の動作と同一の符号を付して説明を省略する。  Of the operations of the eye position detection device 280, the same operations as those of the eye position detection device 10 are denoted by the same reference numerals as those of the eye position detection device 10, and the description thereof is omitted.

図１６に示すように、制御装置２９０は、明暗センサ１３から撮像環境の明暗データを取得する（Ｓ２９３）。次にこれを元に赤外線照射量を赤外線照射量調整部２９１により調整する（Ｓ２９１）。そして、赤外線を照射する（Ｓ４１）。即ち、赤外線照射量調整部２９１は明暗センサ１３による検出結果に基づいて撮像環境を判断し、赤外線照射装置１１による赤外線の照射量が十分となる量まで照射量を増加し、赤外線カメラ１２により対象者を撮像させる（Ｓ４２）。  As illustrated in FIG. 16, thecontrol device 290 acquires light / dark data of the imaging environment from the light / dark sensor 13 (S <b> 293). Next, based on this, the infrared irradiation amount is adjusted by the infrared irradiation amount adjusting unit 291 (S291). Then, infrared rays are irradiated (S41). That is, the infrared irradiationamount adjustment unit 291 determines the imaging environment based on the detection result by the light /dark sensor 13, increases the irradiation amount to an amount sufficient for the infrared irradiation amount by theinfrared irradiation device 11, and theinfrared camera 12 performs the target. The person is imaged (S42).

Ｓ４３，Ｓ４５と通して、目位置を検出し、目位置を検出できると、報知部１４を通して、目位置を検出できた事とハンドル位置制御を開始することを運転者に報知する（Ｓ３０１）。そして、制御装置２９０は、目位置情報をハンドル位置制御部３１に出力する。ハンドル位置制御部３１は、運転者の目位置の高さに予め記憶された最適なハンドル位置を推定し、その位置にハンドルを移動する（Ｓ３０２）。  When the eye position is detected through S43 and S45, and the eye position can be detected, the driver is notified through thenotification unit 14 that the eye position has been detected and that the steering wheel position control is to be started (S301). Then, thecontrol device 290 outputs the eye position information to the handleposition control unit 31. The steering wheelposition control unit 31 estimates an optimal steering wheel position stored in advance at the height of the driver's eye position, and moves the steering wheel to that position (S302).

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ３０３）、目位置が検出できる様、正面に向くことを促す。  On the other hand, if the eye position cannot be detected in S45, the driver is notified through thenotification unit 14 that the eye position cannot be detected (S303), and the driver is prompted to face the front so that the eye position can be detected.

以上に説明したように、目位置検出装置２８０は、赤外線の照射量を調整するので、目位置検出装置１０と比較して、より高精度に確実に目の位置を検出することができる。  As described above, since the eye position detection device 280 adjusts the amount of infrared irradiation, the eye position detection device 280 can reliably detect the eye position with higher accuracy than the eye position detection device 10.

なお、目位置検出結果/認証結果を他の制御装置に出力する例として、エンジン始動装置、シフトロック解除装置を例に挙げたが、目の状態/目位置の変化/認証結果に基づいて制御可能な装置が対象であれば、いずれの制御装置に、目位置検出結果/認証結果を出力しても良い。  As an example of outputting the eye position detection result / authentication result to another control device, an engine start device and a shift lock release device are given as examples, but control based on the eye state / eye position change / authentication result If possible devices are targets, the eye position detection result / authentication result may be output to any control device.

以上のように、本発明に係る赤外線利用型目位置検出装置は、画像処理の負荷を軽減しながら目の位置を従来より高精度に検出することができるという効果を有し、顔認証、虹彩認証又は網膜認証に利用される赤外線利用型目位置検出装置等として有用である。  As described above, the infrared-based eye position detection device according to the present invention has the effect of being able to detect the position of the eyes with higher accuracy than before while reducing the load of image processing. It is useful as an infrared eye type eye position detection device used for authentication or retina authentication.

本発明の第１の実施の形態に係る目位置検出装置のブロック図The block diagram of the eye position detection apparatus which concerns on the 1st Embodiment of this invention.図１に示す目位置検出装置の動作を示すフローチャートFlowchart showing the operation of the eye position detection device shown in FIG.高輝度部分の２点間の水平に対する角度を算出し、目位置を検出する方法を示す図The figure which shows the method of calculating the angle with respect to the horizontal between 2 points | pieces of a high-intensity part, and detecting an eye position本発明の第２の実施の形態に係る認証装置のブロック図The block diagram of the authentication apparatus which concerns on the 2nd Embodiment of this invention.図４に示す認証装置の動作を示すフローチャートThe flowchart which shows operation | movement of the authentication apparatus shown in FIG.本発明の第３の実施の形態に係る認証装置のブロック図The block diagram of the authentication apparatus which concerns on the 3rd Embodiment of this invention.図６に示す認証装置の動作を示すフローチャートThe flowchart which shows operation | movement of the authentication apparatus shown in FIG.正面と右向き時の、顔輪郭／目位置の違いを示す図The figure which shows the difference in the face outline / eye position when facing the front and right本発明の第４の実施の形態に係る顔向検出装置のブロック図The block diagram of the face direction detection apparatus which concerns on the 4th Embodiment of this invention.図９に示す顔向検出装置の動作を示すフローチャートThe flowchart which shows operation | movement of the face direction detection apparatus shown in FIG.本発明の第５の実施の形態に係る脇見運転検出装置のブロック図Block diagram of an armpit driving detection device according to a fifth embodiment of the present invention図１１に示す脇見運転検出装置の動作を示すフローチャートThe flowchart which shows operation | movement of the side-view driving | running | working detection apparatus shown in FIG.本発明の第６の実施の形態に係る目位置検出装置のブロック図Block diagram of an eye position detection device according to a sixth embodiment of the present invention図１３に示す目位置検出装置の動作を示すフローチャートThe flowchart which shows operation | movement of the eye position detection apparatus shown in FIG.本発明の第７の実施の形態に係る目位置検出装置のブロック図Block diagram of an eye position detection device according to a seventh embodiment of the present invention図１５に示す目位置検出装置の動作を示すフローチャートThe flowchart which shows operation | movement of the eye position detection apparatus shown in FIG.

符号の説明Explanation of symbols

１０ 目位置検出装置（赤外線利用型目位置検出装置）
１１ 赤外線照射装置（赤外線照射手段）
１２ 赤外線カメラ（赤外線撮像手段）
１３ 明暗センサ（明暗検出手段）
１４ 報知部（運転者への報知手段）
１５ エンジン始動装置
１６ シフトロック解除部
１７ ヘッドライト向制御部
１８ 減速制御部（車両速度の減速）
１９ 疲労検知部（運転者の疲労検知）
２１ 顔画像取得部（顔画像取得手段）
２２ 目位置検出部（目位置検出手段）
３１ ハンドル位置制御部
６０ 認証装置（赤外線利用型目位置検出装置）
７１ 認証部（顔認証手段、虹彩認証手段、網膜認証手段）
７２ 画像記憶部（顔画像記憶手段、虹彩画像記憶手段、網膜画像記憶手段）
１１０ 認証装置（赤外線利用型目位置検出装置）
１２１ 認証部（顔認証手段）
１２２ 画像記憶部（顔画像記憶手段）
１２３ 顔向推定部（顔向推定手段）
１２４ 顔画像選択部（顔画像選択手段）
１６０ 顔向検出装置（赤外線利用型目位置検出装置）
１７１ 認証部（顔認証手段）
１７２ 顔画像選択部（顔画像選択手段）
１７３ 顔向確定部（顔向確定手段）
２１０ 脇見運転検出装置（赤外線利用型目位置検出装置）
２２１ 脇見運転判定部（脇見運転判定手段）
２６０ 目位置検出装置（赤外線利用型目位置検出装置）
２７２ 赤外線照射量調整部（赤外線照射量調整手段）10 Eye position detection device (Infrared type eye position detection device)
11 Infrared irradiation device (infrared irradiation means)
12 Infrared camera (infrared imaging means)
13 Light / dark sensor (light / dark detection means)
14 Notifying part (notifying means to the driver)
15Engine starter 16 Shiftlock release unit 17 Headlightdirection control unit 18 Deceleration control unit (deceleration of vehicle speed)
19 Fatigue detection part (driver fatigue detection)
21. Face image acquisition unit (face image acquisition means)
22 Eye position detection unit (eye position detection means)
31 Handle position control unit 60 Authentication device (Infrared-use eye position detection device)
71 Authentication unit (face authentication means, iris authentication means, retina authentication means)
72 Image storage unit (face image storage means, iris image storage means, retinal image storage means)
110 Authentication device (Infrared-based eye position detection device)
121 Authentication unit (face authentication means)
122 Image storage unit (face image storage means)
123 face orientation estimation unit (face orientation estimation means)
124 face image selection unit (face image selection means)
160 Face orientation detection device (Infrared eye type eye position detection device)
171 Authentication unit (face authentication means)
172 Face image selection unit (face image selection means)
173 Face orientation determination unit (face orientation determination means)
210 Armpit driving detection device (infrared eye type eye position detection device)
221 Armpit driving determination unit (armpit driving determination means)
260 Eye position detection device (infrared eye type eye position detection device)
272 Infrared irradiation amount adjustment unit (Infrared irradiation amount adjustment means)

Claims (9)

Translated fromJapanese

赤外線を照射する赤外線照射手段と、前記赤外線照射手段によって照射された前記赤外線の反射光を捉える赤外線撮像手段と、前記赤外線撮像手段によって撮像された画像から顔の画像を取得する顔画像取得手段と、前記顔画像取得手段によって取得された前記顔の画像中の輝度に基づいて前記顔の画像中の目の位置を検出する目位置検出手段とを備えたことを特徴とする赤外線利用型目位置検出装置。Infrared irradiation means for irradiating infrared rays; infrared imaging means for capturing reflected light of the infrared rays irradiated by the infrared irradiation means; and face image acquisition means for acquiring a face image from an image captured by the infrared imaging means; An eye position detecting means for detecting an eye position in the face image based on a luminance in the face image acquired by the face image acquiring means. Detection device.顔認証を行う顔認証手段と、前記顔認証用の顔の画像を記憶する顔画像記憶手段とを備え、
前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像記憶手段によって記憶された前記顔の画像とに基づいて、前記顔認証を行うことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。Face authentication means for performing face authentication, and face image storage means for storing the face image for face authentication,
The face authentication means is based on the face image acquired by the face image acquisition means and the position of the eyes detected by the eye position detection means, and the face image stored by the face image storage means. The infrared type eye position detection apparatus according to claim 1, wherein the face authentication is performed.前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを前記目位置検出手段によって検出された前記目の位置に基づいて推定する顔向推定手段と、前記顔画像記憶手段によって記憶された複数の前記顔の画像から少なくとも１つの前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択する顔画像選択手段とを備え、
前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像選択手段によって選択された前記顔の画像とに基づいて、前記顔認証を行うことを特徴とする請求項２に記載の赤外線利用型目位置検出装置。Stored by the face direction estimation means for estimating the face orientation in the face image acquired by the face image acquisition means based on the eye position detected by the eye position detection means, and the face image storage means A face image selecting unit that selects at least one of the face images from the plurality of the face images based on the face direction estimated by the face direction estimating unit;
The face authenticating means is based on the face image acquired by the face image acquiring means and the eye position detected by the eye position detecting means, and the face image selected by the face image selecting means. The infrared-based eye position detection apparatus according to claim 2, wherein the face authentication is performed.前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定する顔向確定手段を備え、
前記顔画像選択手段は、前記顔画像記憶手段によって記憶された複数の前記顔の画像から２つ以上の前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択し、
前記顔向確定手段は、前記顔画像選択手段によって選択された前記顔の画像毎の前記顔認証手段による前記顔認証の結果に基づいて、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定することを特徴とする請求項３に記載の赤外線利用型目位置検出装置。A face orientation determining means for determining the orientation of the face in the face image acquired by the face image acquiring means;
The face image selection means selects two or more face images from the plurality of face images stored by the face image storage means based on the face direction estimated by the face direction estimation means. ,
The face orientation determination unit is configured to determine whether the face image acquired by the face image acquisition unit is based on a result of the face authentication performed by the face authentication unit for each face image selected by the face image selection unit. The infrared eye type eye position detection device according to claim 3, wherein the orientation of the face is determined.前記顔向確定手段によって確定された前記顔の向きに基づいて脇見運転を判定する脇見運転判定手段を備えたことを特徴とすることを特徴とする請求項４に記載の赤外線利用型目位置検出装置。5. The infrared eye type eye position detection according to claim 4, further comprising: an aside operation determination unit that determines an aside operation based on the face orientation determined by the face direction determination unit. apparatus.虹彩認証を行う虹彩認証手段と、前記虹彩認証用の虹彩の画像を記憶する虹彩画像記憶手段とを備え、
前記虹彩認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の虹彩の画像と、前記虹彩画像記憶手段に記憶された前記虹彩の画像とに基づいて、前記虹彩認証を行うことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。An iris authentication means for performing iris authentication; and an iris image storage means for storing an image of the iris for iris authentication,
The iris authentication means is stored in the iris image storage means and the iris image in the face image acquired by the face image acquisition means and the eye position detected by the eye position detection means. The infrared-based eye position detection apparatus according to claim 1, wherein the iris authentication is performed based on the iris image.網膜認証を行う網膜認証手段と、前記網膜認証用の網膜の画像を記憶する網膜画像記憶手段とを備え、
前記網膜認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の網膜の画像と、前記網膜画像記憶手段に記憶された前記網膜の画像とに基づいて、前記網膜認証を行うことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。Retina authentication means for performing retina authentication, and a retina image storage means for storing a retina image for retina authentication,
The retina authentication unit is stored in the retina image storage unit and the retina image of the eye in the face image acquired by the face image acquisition unit and the eye position is detected by the eye position detection unit. The infrared-based eye position detection apparatus according to claim 1, wherein the retina authentication is performed based on the retina image.前記顔画像取得手段によって取得された前記顔の画像のコントラストに基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段を備えたことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。The infrared irradiation amount adjustment unit that adjusts the amount of infrared irradiation by the infrared irradiation unit based on the contrast of the face image acquired by the face image acquisition unit. Infrared type eye position detection device.前記赤外線撮像手段の撮像環境の明暗を検出する明暗検出手段と、前記明暗検出手段による検出結果に基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段とを備えたことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。Light and darkness detection means for detecting the light and darkness of the imaging environment of the infrared imaging means, and infrared irradiation amount adjustment means for adjusting the amount of infrared irradiation by the infrared irradiation means based on the detection result by the lightness and darkness detection means The infrared-use type eye position detection device according to claim 1.

Images